CN113615204B - 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 - Google Patents

Abstract

根据实施方式的一种点云数据发送方法包括以下步骤：获取点云数据；对所述点云数据中包括的几何信息进行编码；对所述点云数据中包括的属性信息进行编码；以及发送编码后的几何信息和编码后的属性信息。

Description

点云数据发送装置、点云数据发送方法、点云数据接收装置和 点云数据接收方法

技术领域

实施方式涉及用于处理点云内容的方法和设备。

背景技术

点云内容是由点云表示的内容，点云是属于表示三维空间的坐标系的点的集合。点云内容可以表示三维配置的媒体，并用于提供诸如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、XR(扩展现实)和自动驾驶这样的各种服务。然而，需要几万到几十万的点数据来表示点云内容。因此，需要用于高效处理大量点数据的方法。

也就是说，发送和接收点云数据需要吞吐量。因此，由于点云数据的量大，在发送和接收点云数据的处理中执行的用于压缩/解压缩的编码操作复杂且耗时。

发明内容

技术问题

为解决上述问题而设计的本公开的目的是提供用于高效发送和接收点云的点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法。

本公开的另一目的是提供用于解决等待时间和编码/解码复杂度的点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法。

根据实施方式的另一目的是提供可以通过改进几何-点云压缩(G-PCC)的属性的编码来改善点云压缩性能的点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法。

根据实施方式的另一目的是提供可以通过使用点云数据的几何结构上相邻的属性之间的相似度进行属性预测以对属性信息进行编码和解码来解决等待时间和编码/解码复杂度的点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法。

本公开的目的不限于以上提到的目的，并且本领域的普通技术人员在查阅了以下描述后，以上未提到的本公开的其它目的将变得清楚。

技术方案

为了实现这些目的和其它优点并根据实施方式，一种用于发送点云数据的方法可以包括以下步骤：获取点云数据；对所述点云数据中包括的几何信息进行编码；对所述点云数据中包括的属性信息进行编码；以及发送编码后的几何信息和编码后的属性信息。

在实施方式中，对所述几何信息进行编码可以包括：对所述几何信息进行量化；基于量化后的几何信息来生成具有八进制树结构的八叉树结构；近似所述八叉树结构；基于生成的八叉树结构和近似的八叉树结构来重构几何信息；以及对生成的八叉树结构或近似的八叉树结构的占用码进行熵编码，由此输出几何位流。

在实施方式中，对所述属性信息进行编码可以包括：基于所述八叉树结构和所述属性信息从所述八叉树结构的起始预测级别到结束预测级别递归地检测待编码节点的邻居节点，基于检测到的邻居节点来预测属性信息，估计残差属性信息，并输出所述结束预测级别的预测属性信息和所述结束预测级别的先前预测级别的残差属性信息；基于量化系数来量化输出的预测属性信息和输出的残差属性信息，以及通过对量化后的预测属性信息和量化后的估计的残差属性信息进行熵编码来发送属性位流。

在实施方式中，所述属性位流还可以包括信令信息，其中，所述信令信息可以包括用于识别所述八叉树结构的起始预测级别的信息、用于识别所述八叉树结构的结束预测级别的信息或用于识别预测级别的数目的信息中的至少一者。

在实施方式中，所述八叉树结构的起始预测级别可以是与所述八叉树结构的最低层相对应的叶节点级别，并且所述八叉树结构的结束预测级别可以是与所述八叉树结构的最高层相对应的根节点。

在实施方式中，所述待编码节点的所述邻居节点可以具有相同的预测属性信息。

根据实施方式，一种用于发送点云数据的设备可以包括：获取器，该获取器被配置为获取点云数据；几何编码器，该几何编码器被配置为对所述点云数据中包括的几何信息进行编码；属性编码器，该属性编码器被配置为对所述点云数据中包括的属性信息进行编码；以及发送器，该发送器被配置为发送编码后的几何信息和编码后的属性信息。

在实施方式中，所述几何编码器可以包括：量化器，该量化器被配置为量化所述几何信息；

八叉树分析器，该八叉树分析器被配置为基于量化后的几何信息来生成具有八进制树结构的八叉树结构；近似分析器，该近似分析器被配置为近似所述八叉树结构；几何重构器，该几何重构器被配置为基于生成的八叉树结构和近似的八叉树结构来重构几何信息；以及算术编码器，该算术编码器被配置为对生成的八叉树结构或近似的八叉树结构的占用码进行熵编码，由此输出几何位流。

在实施方式中，所述属性编码器可以包括：属性压缩器，该属性压缩器被配置为：基于所述八叉树结构和所述属性信息，从所述八叉树结构的起始预测级别到结束预测级别递归地检测待编码节点的邻居节点；基于检测到的所述邻居节点来预测属性信息；估计残差属性信息；以及输出所述结束预测级别的预测属性信息和所述结束预测级别的先前预测级别的残差属性信息；量化器，该量化器被配置为基于量化系数来量化输出的预测属性信息和输出的残差属性信息；以及算术编码器，该算术编码器被配置为通过对量化后的预测属性信息和量化后的估计的残差属性信息进行熵编码上发送属性位流。

在实施方式中，所述属性位流还可以包括信令信息，其中，所述信令信息可以包括用于识别所述八叉树结构的起始预测级别的信息、用于识别所述八叉树结构的结束预测级别的信息或用于识别预测级别的数目的信息中的至少一者。

在实施方式中，所述八叉树结构的起始预测级别是与所述八叉树结构的最低层相对应的叶节点级别，并且所述八叉树结构的结束预测级别是与所述八叉树结构的最高层相对应的根节点。

在实施方式中，所述待编码节点的所述邻居节点可以具有相同的预测属性信息。

根据实施方式，一种用于接收点云数据的方法可以包括以下步骤：接收点云数据和信令信息；对所述点云数据中包括的几何信息进行解码；对所述点云数据中包括的属性信息进行解码；以及处理并渲染解码后的几何信息和解码后的属性信息。

在实施方式中，对所述几何信息进行解码可以包括：基于所述几何信息中包括的占用码来重新生成八叉树结构。

在实施方式中，对所述属性信息进行解码可以包括：基于所述八叉树结构的结束预测级别的预测属性信息以及所述八叉树结构的结束预测级别的先前预测级别的残差属性信息从所述八叉树结构的结束预测级别到起始预测级别递归地检测待解码节点的邻居节点，以及基于以检测到的所述邻居节点为基础预测的所述属性信息和对应预测级别的所述残差属性信息来重构对应级别的属性信息。

在实施方式中，所述信令信息可以包括用于识别所述八叉树结构的起始预测级别的信息、用于识别所述八叉树结构的结束预测级别的信息或用于识别预测级别的数目的信息中的至少一者。

根据实施方式，一种用于接收点云数据的设备可以包括：接收器，该接收器被配置为接收点云数据和信令信息；几何解码器，该几何解码器被配置为对所述点云数据中包括的几何信息进行解码；属性解码器，该属性解码器被配置为对所述点云数据中包括的属性信息进行解码；以及渲染器，该渲染器被配置为处理并渲染解码后的几何信息和解码后的属性信息。

在实施方式中，所述几何解码器可以基于所述几何信息中包括的占用码来重新生成八叉树结构；并且所述属性解码器可以被配置为：基于所述八叉树结构的结束预测级别的预测属性信息以及所述八叉树结构的结束预测级别的先前预测级别的残差属性信息从所述八叉树结构的结束预测级别到起始预测级别递归地检测待解码节点的邻居节点，并且基于以检测到的所述邻居节点为基础预测的所述属性信息和对应预测级别的所述残差属性信息来重构对应级别的属性信息。

在实施方式中，所述信令信息可以包括用于识别所述八叉树结构的起始预测级别的信息、用于识别所述八叉树结构的结束预测级别的信息或用于识别预测级别的数目的信息中的至少一者。

有利效果

根据实施方式的点云数据发送方法、点云数据发送设备、点云数据接收方法和点云数据接收设备可以提供高质量的点云服务。

根据实施方式的点云数据发送方法、发送设备、点云数据接收方法和接收设备可以实现各种视频编解码器方案。

根据实施方式的点云数据发送方法、发送设备、点云数据接收方法和接收设备可以提供诸如自动驾驶服务这样的通用点云内容。

根据实施方式的点云数据发送方法、发送设备、点云数据接收方法和接收设备可以使用几何结构上相邻的属性之间的相似度进行属性预测，以通过点云发送设备压缩属性并通过接收设备解压缩点云的属性。由此，可以有效地去除用于预测属性的几何结构中高相关属性之间的相似度。具体地，与使用RAHT变换或LOD/提升变换的属性压缩相比，计算复杂度和对几何解码的依赖性可以降低，由此提高解码速度。

具体地，当基于本公开压缩点云数据时，发送侧可以基于较少的计算量压缩属性信息，并且该信息极有可能用在要求低延迟的发送系统中。另外，压缩用于各种容量的解码器的属性信息可以通过一个位流支持各种容量的接收器，而不是生成或存储适于每个解码器容量的独立压缩信息，因此可以在发送侧的存储空间和位效率方面有优势。

另外，当基于本公开接收点云数据时，属性信息可以在接收侧被重构，同时以较少的计算量执行几何解码，因此可以可用于要求低延迟的发送/接收系统。另外，当选定了属性信息的输出级别时，即使具有低计算能力的接收器也可以不延迟地输出适于接收器容量的属性信息。例如，在属性解码和重构的处理中，可以根据接收器的容量或系统要求输出不同的结果。在这种情况下，每个级别的解码或重构属性可以用作与该级别的八叉树节点匹配的属性值。

附图说明

附图被包括进来以提供对本公开的进一步理解，并且被并入本申请的一部分中并构成本申请的部分，例示了本公开的实施方式并且与说明书一起用来说明本公开的原理。在附图中：

图1例示了根据实施方式的示例性点云内容提供系统。

图2是例示了根据实施方式的点云内容提供操作的框图。

图3例示了根据实施方式的捕获点云视频的示例性处理。

图4是例示了根据实施方式的示例性点云视频编码器的框图。

图5例示了根据实施方式的3D空间中的体素的示例。

图6例示了根据实施方式的八叉树和占用码的示例。

图7例示了根据实施方式的邻居节点模式的示例。

图8例示了根据实施方式的每个LOD的点云内容的点配置的示例。

图9例示了根据实施方式的每个LOD的点云内容的点配置的示例。

图10例示了根据实施方式的点云视频解码器的框图的示例。

图11例示了根据实施方式的示例性点云视频解码器。

图12例示了根据实施方式的发送设备的点云视频编码的配置。

图13例示了根据实施方式的接收设备的点云视频解码的配置。

图14例示了根据实施方式的用于存储和流传输基于G-PCC的点云数据的体系结构。

图15例示了根据实施方式的点云数据的存储和发送的示例。

图16例示了根据实施方式的接收设备的示例。

图17例示了根据实施方式的与用于发送和接收点云数据的方法/设备在操作上可连接的示例性结构。

图18是例示了根据实施方式的另一示例性点云视频编码器的框图。

图19是例示了根据实施方式的示例性基于八叉树的属性压缩器的框图。

图20是例示了根据实施方式的基于八叉树的属性压缩方法的示例的流程图。

图21的(a)至图21的(e)是例示了根据实施方式的基于八叉树预测属性信息和估计残差属性的示例的示图。

图22是例示了根据实施方式的另一示例性点云视频解码器的框图。

图23是例示了根据实施方式的示例性基于八叉树的属性解压缩器的框图。

图24是例示了根据实施方式的基于八叉树的属性解压缩方法的示例的流程图。

图25的(a)至图25的(c)是例示了根据实施方式的基于八叉树的重构属性信息的示例的示图。

图26是例示了根据实施方式的点云视频编码方法的示例的流程图。

图27是例示了根据实施方式的点云视频解码方法的示例的流程图。

图28示出了根据实施方式的属性参数集(attribute_paramter_set())的示例性语法结构。

图29示出了根据实施方式的通用属性位流(general_attribute_bitstream())的示例性语法结构。

图30示出了根据实施方式的属性切片头(attribute_slice_header())的示例性语法结构。

图31示出了根据实施方式的属性切片数据(attribute_slice_data())的示例性语法结构。

图32示出了根据实施方式的几何属性编码位流(GeometricAttributeCoding_bitstream(dimension))的示例性语法结构。

图33例示了根据实施方式的输出不同级别的几何结构的示例。

图34例示了根据实施方式的输出不同级别的属性的示例。

具体实施方式

现在，将参照附图根据本文中公开的示例性实施方式详细给出描述。为了参照附图简要描述，可为相同或等同的部件提供相同的标号，其描述将不再重复。应该注意，以下示例仅用于体现本公开，并不限制本公开的范围。本发明所属技术领域的专家从本公开的详细描述和示例中可以容易地推断出的内容将被解释为在本公开的范围内。

本说明书中的详细描述应该在所有方面都被解释为例示性而非限制性的。本公开的范围应该由所附权利要求及其法律等同物来确定，并且落入所附权利要求的含义和等同范围内的所有改变旨在被涵盖在本文中。

现在，将详细参照本公开的优选实施方式，在附图中例示了这些实施方式的示例。下文将参照附图给出的详细描述旨在解释本公开的示例性实施方式，而非示出可以根据本公开实现的仅有的实施方式。以下详细描述包括具体细节，以提供对本公开的透彻理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本公开。虽然在本说明书中使用的大多数术语已选自本领域中广泛使用的通用术语，但申请人已任意选择一些术语，并且在下面的描述中将根据需要详细解释它们的含义。因此，应当基于术语的本意而非它们的简单名称或含义来理解本公开。另外，以下的附图和详细描述不应该被解释为限于具体描述的实施方式，而应该被解释为包括附图和详细描述中描述的实施方式的等同物或替代物。

图1示出了根据实施方式的示例性点云内容提供系统。

图1中例示的点云内容提供系统可以包括发送装置10000和接收装置10004。发送装置10000和接收装置10004能够进行有线或无线通信，以发送和接收点云数据。

根据实施方式的点云数据发送装置10000可以保护和处理点云视频(或点云内容)，并发送该点云视频(或点云内容)。根据实施方式，发送装置10000可以包括固定站、基站收发器系统(BTS)、网络、人工智能(AI)装置和/或系统、机器人、AR/VR/XR装置和/或服务器。根据实施方式，发送装置10000可以包括被配置为使用无线电接入技术(例如，5G新RAT(NR)、长期演进(LTE))与基站和/或其它无线装置执行通信的装置、机器人、车辆、AR/VR/XR装置、便携式装置、家用电器、物联网(IoT)装置和AI装置/服务器。

根据实施方式的发送装置10000包括点云视频获取单元10001、点云视频编码器10002和/或发送器(或通信模块)10003。

根据实施方式的点云视频获取单元10001通过诸如捕获、合成或生成这样的处理过程获取点云视频。点云视频是由作为处于3D空间中的点的集合的点云表示的点云内容，并可以被称为点云视频数据。根据实施方式的点云视频可以包括一个或更多个帧。一帧表示静止图像/图片。因此，点云视频可以包括点云图像/帧/图片，并可以被称为点云图像、帧或图片。

根据实施方式的点云视频编码器10002对所获取的点云视频数据进行编码。点云视频编码器10002可以基于点云压缩编码对点云视频数据进行编码。根据实施方式的点云压缩编码可以包括基于几何的点云压缩(G-PCC)编码和/或基于视频的点云压缩(V-PCC)编码或下一代编码。根据实施方式的点云压缩编码不限于上述实施方式。点云视频编码器10002可以输出包含编码后的点云视频数据的位流。位流可以不仅包含编码后的点云视频数据，而且包含与点云视频数据的编码相关的信令信息。

根据实施方式的发送器10003发送包含编码后的点云视频数据的位流。根据实施方式的位流被封装在文件或段(例如，流传输段)中，并通过诸如广播网络和/或宽带网络这样的各种网络传输。尽管未在图中示出，但发送装置10000可以包括被配置为执行封装操作的封装器(或封装模块)。根据实施方式，封装器可以被包括在发送器10003中。根据实施方式，文件或段可以通过网络发送到接收装置10004，或被存储在数字存储介质(例如，USB、SD、CD、DVD、蓝光、HDD、SSD等)中。根据实施方式的发送器10003能够通过4G、5G、6G等网络与接收装置10004(或接收器10005)进行有线/无线通信。另外，发送器可以根据网络系统(例如，4G、5G或6G通信网络系统)执行必要的数据处理操作。发送装置10000可以以按需方式发送封装后的数据。

根据实施方式的接收装置10004包括接收器10005、点云视频解码器10006和/或渲染器10007。根据实施方式，接收装置10004可以包括被配置为使用无线电接入技术(例如，5G新RAT(NR)、长期演进(LTE))与基站和/或其它无线装置执行通信的装置、机器人、车辆、AR/VR/XR装置、便携式装置、家用电器、物联网(IoT)装置和AI装置/服务器。

根据实施方式的接收器10005从网络或存储介质接收包含点云视频数据的位流或其中封装有位流的文件/段。接收器10005可以根据网络系统(例如，4G、5G、6G等通信网络系统)执行必要的数据处理。根据实施方式的接收器10005可以对接收到的文件/段进行解封装并输出位流。根据实施方式，接收器10005可以包括被配置为执行解封装操作的解封装器(或解封装模块)。解封装器可以被实现为与接收器10005分开的元件(或部件或模块)。

点云视频解码器10006对包含点云视频数据的位流进行解码。点云视频解码器10006可以根据对点云视频数据进行编码的方法(例如，在点云视频编码器10002的操作的逆过程中)对点云视频数据进行解码。因此，点云视频解码器10006可以通过执行点云解压缩编码来解码点云视频数据，点云解压缩编码是点云压缩的逆过程。点云解压缩编码包括G-PCC编码。

渲染器10007对解码后的点云视频数据进行渲染。渲染器10007可以通过不仅渲染点云视频数据而且渲染音频数据来输出点云内容。根据实施方式，渲染器10007可以包括被配置为显示点云内容的显示器。根据实施方式，显示器可以被实现为单独的装置或部件，而不是被包括在渲染器10007中。

图中虚线所指示的箭头表示由接收装置10004获取的反馈信息的传输路径。反馈信息是用于反映与消费点云内容的用户的交互性的信息，并包括关于用户的信息(例如，头部方位信息、视口信息等)。特别地，当点云内容是需要与用户交互的服务(例如，自动驾驶服务等)的内容时，反馈信息可以被提供到内容发送方(例如，发送装置10000)和/或服务提供商。根据实施方式，反馈信息可以在接收装置10004和发送装置10000中使用，或可以不提供。

根据实施方式的头部方位信息是关于用户的头部位置、方位、角度、运动等的信息。根据实施方式的接收装置10004可以基于头部方位信息来计算视口信息。视口信息可以是与用户正在观看的点云视频的区域有关的信息。视点是用户正通过其观看点云视频的点，并且可以是指视口区域的中心点。也就是说，视口是以视点为中心的区域，并且该区域的大小和形状可以由视场(FOV)确定。因此，除了头部方位信息之外，接收装置10004还可以基于装置所支持的竖直或水平FOV来提取视口信息。此外，接收装置10004执行凝视分析等，以检查用户消费点云的方式、用户在点云视频中凝视的区域、凝视时间等。根据实施方式，接收装置10004可以将包括凝视分析结果的反馈信息发送到发送装置10000。可以在渲染和/或显示处理中获取根据实施方式的反馈信息。根据实施方式的反馈信息可以由接收装置10004中包括的一个或更多个传感器来保护。根据实施方式，反馈信息可以由渲染器10007或单独的外部元件(或装置、部件等)来保护。图1中的虚线表示发送由渲染器10007保护的反馈信息的处理。点云内容提供系统可以基于反馈信息来处理(编码/解码)点云数据。因此，点云视频解码器10006可以基于反馈信息来执行解码操作。接收装置10004可以将反馈信息发送到发送装置10000。发送装置10000(或点云视频编码器10002)可以基于反馈信息来执行编码操作。因此，点云内容提供系统可以基于反馈信息来高效地处理必要数据(例如，对应于用户头部位置的点云数据)而不是处理(编码/解码)整个点云数据，并向用户提供点云内容。

根据实施方式，发送装置10000可以被称为编码器、发送装置、发送器、发送系统等，并且接收装置10004可以被称为解码器、接收装置、接收器、接收系统等。

(通过获取/编码/发送/解码/渲染的一系列处理)在根据实施方式的图1的点云内容提供系统中处理的点云数据可以被称为点云内容数据或点云视频数据。根据实施方式，点云内容数据可以被用作涵盖与点云数据相关的元数据或信令信息的概念。

图1中例示的点云内容提供系统的元件可以由硬件、软件、处理器和/或其组合来实现。

图2是例示了根据实施方式的点云内容提供操作的框图。

图2的框图示出了图1中描述的点云内容提供系统的操作。如上所述，点云内容提供系统可以基于点云压缩编码(例如，G-PCC)来处理点云数据。

根据实施方式的点云内容提供系统(例如，点云发送装置10000或点云视频获取单元10001)可以获取点云视频(20000)。点云视频由属于用于表示3D空间的坐标系的点云表示。根据实施方式的点云视频可以包括Ply(多边形文件格式或斯坦福三角格式)文件。当点云视频具有一个或更多个帧时，所获取的点云视频可以包括一个或更多个Ply文件。Ply文件包含诸如点几何结构和/或属性这样的点云数据。几何结构包括点的位置。每个点的位置可以由表示三维坐标系(例如，由X、Y和Z轴构成的坐标系)的参数(例如，X、Y和Z轴的值)来表示。属性包括点的属性(例如，关于每个点的纹理、颜色(YCbCr或RGB)、反射率r、透明度等的信息)。点有一个或更多个属性。例如，点可以有作为颜色的属性或作为颜色和反射率的两个属性。根据实施方式，几何结构可以被称为位置、几何信息、几何数据等，并且属性可以被称为属性、属性信息、属性数据等。点云内容提供系统(例如，点云发送装置10000或点云视频获取单元10001)可以从与点云视频的获取处理相关的信息(例如，深度信息、颜色信息等)中保护点云数据。

根据实施方式的点云内容提供系统(例如，发送装置10000或点云视频编码器10002)可以对点云数据进行编码(20001)。点云内容提供系统可以基于点云压缩编码对点云数据进行编码。如上所述，点云数据可以包括点的几何结构和属性。因此，点云内容提供系统可以执行对几何结构进行编码的几何编码，并输出几何位流。点云内容提供系统可以执行对属性进行编码的属性编码，并输出属性位流。根据实施方式，点云内容提供系统可以基于几何编码来执行属性编码。根据实施方式的几何位流和属性位流可以被复用并作为一个位流输出。根据实施方式的位流还可以包含与几何编码和属性编码相关的信令信息。

根据实施方式的点云内容提供系统(例如，发送装置10000或发送器10003)可以发送编码后的点云数据(20002)。如图1中例示的，编码后的点云数据可以由几何位流和属性位流表示。另外，编码后的点云数据可以以位流的形式连同与点云数据的编码相关的信令信息(例如，与几何编码和属性编码相关的信令信息)一起发送。点云内容提供系统可以封装携带编码后的点云数据的位流，并以文件或段的形式发送该位流。

根据实施方式的点云内容提供系统(例如，接收装置10004或接收器10005)可以接收包含编码后的点云数据的位流。另外，点云内容提供系统(例如，接收装置10004或接收器10005)可以对位流进行解复用。

点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可以对在位流中发送的编码后的点云数据(例如，几何位流、属性位流)进行解码。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可以基于与位流中包含的点云视频数据的编码相关的信令信息对点云视频数据进行解码。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可以对几何位流进行解码，以重构点的位置(几何结构)。点云内容提供系统可以通过基于重构的几何结构对属性位流进行解码来重构点的属性。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可以基于根据重构的几何结构的位置和解码后的属性来重构点云视频。

根据实施方式的点云内容提供系统(例如，接收装置10004或渲染器10007)可以渲染解码后的点云数据(20004)。点云内容提供系统(例如，接收装置10004或渲染器10007)可以使用各种渲染方法来渲染通过解码处理解码的几何结构和属性。点云内容中的点可以被渲染为具有一定厚度的顶点、以对应顶点位置为中心的具有特定最小尺寸的立方体或以对应顶点位置为中心的圆。通过显示器(例如，VR/AR显示器、常见显示器等)向用户提供渲染后的点云内容的全部或部分。

根据实施方式的点云内容提供系统(例如，接收装置10004)可以保护反馈信息(20005)。点云内容提供系统可以基于反馈信息来编码和/或解码点云数据。根据实施方式的点云内容提供系统的反馈信息和操作与参考图1描述的反馈信息和操作相同，因此省略对其的详细描述。

图3例示了根据实施方式的捕获点云视频的示例性处理。

图3例示了参考图1至图2描述的点云内容提供系统的示例性点云视频捕获处理。

点云内容包括表示位于各种3D空间(例如，表示真实环境的3D空间、表示虚拟环境的3D空间等)中的对象和/或环境的点云视频(图像和/或视频)。因此，根据实施方式的点云内容提供系统可以使用一个或更多个相机(例如，能够对深度信息进行保护的红外相机、能够提取与深度信息对应的颜色信息的RGB相机等)、投影仪(例如，用于对深度信息进行保护的红外图案投影仪)、LiDRA等来捕获点云视频。根据实施方式的点云内容提供系统可以从深度信息中提取由3D空间中的点构成的几何结构的形状，并从颜色信息中提取每个点的属性以对点云数据进行保护。可以基于面向内技术和面向外技术中的至少一种来捕获根据实施方式的图像和/或视频。

图3的左部例示了面向内技术。面向内技术是指用设置在中心对象周围的一个或更多个相机(或相机传感器)捕获中心对象的图像的技术。可以使用面向内技术生成向用户提供关键对象的360度图像的点云内容(例如，向用户提供对象(例如，诸如角色、玩家、对象或演员这样的关键对象)的360度图像的VR/AR内容)。

图3的右部例示了面向外技术。面向外技术是指用设置在中心对象周围的一个或更多个相机(或相机传感器)捕获中心对象的环境而非中心对象的图像的技术。可以使用面向外技术生成用于提供从用户的角度出现的周围环境的点云内容(例如，表示可以提供给自动驾驶车辆的用户的外部环境的内容)。

如图3中所示，可以基于一个或更多个相机的捕获操作来生成点云内容。在这种情况下，坐标系在每个相机当中是不同的，因此，点云内容提供系统可以在捕获操作之前校准一个或更多个相机以设置全局坐标系。另外，点云内容提供系统可以通过将任意图像和/或视频与通过上述捕获技术捕获的图像和/或视频进行合成来生成点云内容。点云内容提供系统在其生成表示虚拟空间的点云内容时不可以执行图3中描述的捕获操作。根据实施方式的点云内容提供系统可以对所捕获的图像和/或视频执行后处理。换句话说，点云内容提供系统可以去除不需要的区域(例如，背景)，识别所捕获的图像和/或视频连接到的空间，并且当存在空间孔时执行填充空间孔的操作。

点云内容提供系统可以通过对从每个相机保护的点云视频的点执行坐标变换来生成一条点云内容。点云内容提供系统可以基于每个相机位置的坐标对点执行坐标变换。因此，点云内容提供系统可以生成表示一个宽范围的内容，或可以生成具有高密度点的点云内容。

图4例示了根据实施方式的示例性点云视频编码器。

图4示出了图1的点云视频编码器10002的示例。点云视频编码器重构并编码点云数据(例如，点的位置和/或属性)，以根据网络条件或应用来调整点云内容的质量(例如，无损、有损或接近无损)。当点云内容的总大小大时(例如，对于30fps，给出60Gbps的点云内容)，点云内容提供系统可能无法实时地流传输该内容。因此，点云内容提供系统可以基于最大目标比特率重构点云内容，以根据网络环境等提供该点云内容。

如参考图1至图2描述的，点云视频编码器可以执行几何编码和属性编码。几何编码在属性编码之前执行。

根据实施方式的点云视频编码器包括坐标变换单元40000、量化单元40001、八叉树分析单元40002、表面近似分析单元40003、算术编码器40004、几何重构单元40005、颜色变换单元40006、属性变换单元40007、RAHT单元40008、LOD生成单元40009、提升变换单元40010、系数量化单元40011和/或算术编码器40012。

坐标变换单元40000、量化单元40001、八叉树分析单元40002、表面近似分析单元40003、算术编码器40004和几何重构单元40005可以执行几何编码。根据实施方式的几何编码可以包括八叉树几何编码、直接编码、三角汤(trisoup)几何编码和熵编码。直接编码和三角汤几何编码被选择性地或组合地应用。几何编码不限于上述示例。

如图中所示，根据实施方式的坐标变换单元40000接收位置并将其变换为坐标。例如，位置可以被变换为三维空间(例如，由XYZ坐标系表示的三维空间)中的位置信息。根据实施方式的三维空间中的位置信息可以被称为几何信息。

根据实施方式的量化单元40001对几何信息进行量化。例如，量化单元40001可以基于所有点的最小位置值(例如，X、Y和Z轴中的每一个上的最小值)来量化点。量化单元40001执行以下量化操作：将每个点的位置值与最小位置值之间的差乘以预设的量化缩放值，然后通过对通过乘法获得的值进行四舍五入来找到最接近的整数值。因此，一个或更多个点可以具有相同的量化位置(或位置值)。根据实施方式的量化单元40001基于量化位置来执行体素化，以重构量化点。体素化意味着在3D空间中表示位置信息的最小单位。根据实施方式的点云内容(或3D点云视频)的点可以被包括在一个或更多个体素中。作为体积与像素的复合词的术语体素是指当基于表示3D空间的轴(例如，X轴、Y轴和Z轴)将3D空间划分为单元(单元＝1.0)时生成的3D立方空间。量化单元40001可以将3D空间中的点的组与体素匹配。根据实施方式，一个体素可以仅包括一个点。根据实施方式，一个体素可以包括一个或更多个点。为了将一个体素表示为一个点，可以基于体素中包括的一个或更多个点的位置来设置体素的中心点的位置。在这种情况下，可以组合一个体素中包括的所有位置的属性并将这些属性分配给该体素。

根据实施方式的八叉树分析单元40002执行八叉树几何编码(或八叉树编码)从而以八叉树结构呈现体素。八叉树结构表示基于八叉树结构与体素匹配的点。

根据实施方式的表面近似分析单元40003可以对八叉树进行分析和近似。根据实施方式的八叉树分析和近似是分析包含多个点的区域以高效提供八叉树和体素化的处理。

根据实施方式的算术编码器40004对八叉树和/或近似的八叉树执行熵编码。例如，编码方案包括算术编码。作为编码的结果，生成几何位流。

颜色变换单元40006、属性变换单元40007、RAHT单元40008、LOD生成单元40009、提升变换单元40010、系数量化单元40011和/或算术编码器40012执行属性编码。如上所述，一个点可以具有一个或更多个属性。根据实施方式的属性编码同样应用于一个点所具有的属性。然而，当属性(例如，颜色)包括一个或更多个元素时，属性编码独立地应用于每个元素。根据实施方式的属性编码包括颜色变换编码、属性变换编码、区域自适应分层变换(RAHT)编码、基于内插的分层最近邻预测(预测变换)编码和具有更新/提升步骤(提升变换)的基于内插的分层最近邻预测编码。根据点云内容，可以选择性使用上述的RAHT编码、预测变换编码和提升变换编码，或者可以使用一个或更多个编码方案的组合。根据实施方式的属性编码不限于上述示例。

根据实施方式的颜色变换单元40006执行变换属性中包括的颜色值(或纹理)的颜色变换编码。例如，颜色变换单元40006可以变换颜色信息的格式(例如，从RGB到YCbCr)。可以根据属性中包括的颜色值可选地应用根据实施方式的颜色变换单元40006的操作。

根据实施方式的几何重构单元40005重构(解压缩)八叉树和/或近似的八叉树。几何重构单元40005基于分析点的分布的结果来重构八叉树/体素。重构的八叉树/体素可以被称为重构的几何结构(恢复的几何结构)。

根据实施方式的属性变换单元40007执行属性变换，以基于未被执行几何编码的位置和/或重构的几何结构来变换属性。如上所述，由于属性取决于几何结构，因此属性变换单元40007可以基于重构的几何信息来变换属性。例如，基于体素中包括的点的位置值，属性变换单元40007可以变换该位置处的点的属性。如上所述，当基于体素中包括的一个或更多个点的位置来设置体素中心的位置时，属性变换单元40007变换所述一个或更多个点的属性。当执行三角汤几何编码时，属性变换单元40007可以基于三角汤几何编码来变换属性。

属性变换单元40007可以通过计算从每个体素的中心的位置(或位置值)起特定位置/半径内的邻居点的属性或属性值(例如，每个点的颜色或反射率)的平均值来执行属性变换。属性变换单元40007可以在计算平均值时根据该中心到每个点的距离来应用权重。因此，每个体素都有位置和计算出的属性(或属性值)。

属性变换单元40007可以基于K-D树或莫顿码(Morton code)搜索存在于距每个体素的中心的位置特定位置/半径内的邻居点。K-D树是二叉搜索树，并支持能够基于位置来管理点数据结构以便可以快速执行最近邻搜索(NNS)的。通过将表示所有点的3D位置的坐标(例如，(x，y，z))呈现为位值并混合所述位来生成莫顿码。例如，当表示点的位置的坐标为(5，9，1)时，坐标的位值为(0101，1001，0001)。以z、y和x的顺序根据位索引混合位值产生010001000111。该值被表示为十进制数1095。也就是说，具有坐标(5，9，1)的点的莫顿码值为1095。属性变换单元40007可以基于莫顿码值对点进行排序，并通过深度优先遍历处理执行NNS。在属性变换操作之后，当在用于属性编码的另一变换处理中需要NNS时，使用K-D树或莫顿码。

如图中所示，变换后的属性被输入到RAHT单元40008和/或LOD生成单元40009。

根据实施方式的RAHT单元40008基于重构的几何信息执行用于预测属性信息的RAHT编码。例如，RAHT单元40008可以基于与八叉树中较低级别的节点关联的属性信息来预测八叉树中较高级别的节点的属性信息。

根据实施方式的LOD生成单元40009生成细节级别(LOD)。根据实施方式的LOD是点云内容的细节度。随着LOD值的减小，表明点云内容的细节度下降。随着LOD值的增大，表明点云内容的细节增强。可以按LOD对点进行分类。

根据实施方式的提升变换单元40010执行基于权重来变换点云的属性的提升变换编码。如上所述，可以可选地应用提升变换编码。

根据实施方式的系数量化单元40011基于系数对属性编码后的属性进行量化。

根据实施方式的算术编码器40012基于算术编码对量化后的属性进行编码。

尽管在该图中未示出，但图4的点云视频编码器的元件可以由包括一个或更多个处理器或集成电路的硬件、软件、固件或其组合来实现，该处理器或集成电路被配置为与点云内容提供设备中包括的一个或更多个存储器通信。所述一个或更多个处理器可以执行上述图4的点云视频编码器的元件的操作和/或功能中的至少一者。另外，一个或更多个处理器可以操作或执行软件程序和/或指令的集合，以执行图4的点云视频编码器的元件的操作和/或功能。根据实施方式的一个或更多个存储器可以包括高速随机存取存储器，或包括非易失性存储器(例如，一个或更多个磁盘存储装置、闪存装置或其它非易失性固态存储装置)。

图5示出了根据实施方式的体素的示例。

图5示出了位于由三个轴即X轴、Y轴和Z轴构成的坐标系表示的3D空间中的体素。如参考图4描述的，点云视频编码器(例如，量化单元40001)可以执行体素化。体素是指当基于表示3D空间的轴(例如，X轴、Y轴和Z轴)将3D空间划分为单元(单元＝1.0)时生成的3D立方空间。图5示出了通过八叉树结构生成的体素的示例，在该八叉树结构中，由两个极点(0，0，0)和(2^d,2^d,2^d)定义的立方轴对齐的边界框被递归地细分。一个体素包括至少一个点。可以根据与体素组的位置关系来估计体素的空间坐标。如上所述，体素具有像2D图像/视频的像素一样的属性(诸如，颜色或反射率)。体素的细节与参考图4描述的细节相同，因此省略对其的描述。

图6示出了根据实施方式的八叉树和占用码的示例。

如参考图1至图4描述的，点云内容提供系统(点云视频编码器10002)或点云视频编码器的八叉树分析单元40002基于八叉树结构来执行八叉树几何编码(或八叉树编码)，以高效地管理体素的区域和/或位置。

图6的上部示出了八叉树结构。根据实施方式的点云内容的3D空间由坐标系的轴(例如，X轴、Y轴和Z轴)表示。八叉树结构是通过递归细分由两个极点(0，0，0)和(2^d,2^d,2^d)定义的立方轴对齐的边界框来创建的。这里，2^d可以被设置为构成围绕点云内容(或点云视频)的所有点的最小边界框的值。这里，d表示八叉树的深度。在式1中确定d的值。在式1中，表示量化点的位置(或位置值)。

式1

如图6的上部的中间所示，整个3D空间可以根据分区被划分为八个空间。每个划分空间由具有六个面的立方体表示。如图6的右上侧所示，基于坐标系的轴(例如，X轴、Y轴和Z轴)再次划分八个空间中的每一个。因此，每个空间被划分成八个更小的空间。所划分的更小空间也由具有六个面的立方体表示。应用该划分方案，直到八叉树的叶节点成为体素为止。

图6的下部示出了八叉树占用码。生成八叉树的占用码，以指示通过划分一个空间而产生的八个划分空间中的每一个是否包含至少一个点。因此，单个占用码由八个子节点表示。每个子节点表示所划分空间的占用，并且子节点具有1位的值。因此，占用码被表示为8位代码。也就是说，当在与子节点对应的空间中包含至少一个点时，该节点被赋予值1。当在对应于子节点的空间中不包含点(空间为空)时，该节点被赋予值0。由于图6中示出的占用码为00100001，因此它指示与八个子节点当中的第三个子节点和第八个子节点对应的空间各自包含至少一个点。如图中所示，第三个子节点和第八个子节点中的每一个具有8个子节点，并且子节点用8位占用码表示。该图示出第三个子节点的占用码为10000111，并且第八个子节点的占用码为01001111。根据实施方式的点云视频编码器(例如，算术编码器40004)可以对占用码执行熵编码。为了提高压缩效率，点云视频编码器可以对占用码执行帧内/帧间编码。根据实施方式的接收装置(例如，接收装置10004或点云视频解码器10006)基于占用码来重构八叉树。

根据实施方式的点云视频编码器(例如，八叉树分析单元40002)可以执行体素化和八叉树编码，以存储点的位置。然而，点并不总是均匀地分布在3D空间中，因此会有其中存在较少点的特定区域。因此，对整个3D空间执行体素化是低效的。例如，当特定区域包含的点较少时，不需要在特定区域中执行体素化。

因此，对于上述特定区域(或八叉树的叶节点以外的节点)，根据实施方式的点云视频编码器可以跳过体素化并执行直接编码，以对特定区域中包括的点的位置直接进行编码。根据实施方式的直接编码点的坐标被称为直接编码模式(DCM)。根据实施方式的点云视频编码器还可以基于表面模型来执行三角汤几何编码，以基于体素来重构特定区域(或节点)中的点的位置。三角汤几何编码是将对象表示为一系列三角形网格的几何编码。因此，点云视频解码器可以从网格表面生成点云。可以选择性执行根据实施方式的三角汤几何编码和直接编码。另外，可以结合八叉树几何编码(或八叉树编码)来执行根据实施方式的三角汤几何编码和直接编码。

为了执行直接编码，应该启用使用直接模式以应用直接编码的选项。将被应用直接编码的节点不是叶节点，并且在特定节点内应该存在少于阈值的点。另外，将应用直接编码的点的总数不应超过预设阈值。当满足以上条件时，根据实施方式的点云视频编码器(或算术编码器40004)可以对点的位置(或位置值)执行熵编码。

根据实施方式的点云视频编码器(例如，表面近似分析单元40003)可以确定八叉树的特定级别(小于八叉树的深度d的级别)，并且可以从该级别开始使用表面模型来执行三角汤几何编码，以基于体素来重构节点的区域中的点的位置(三角汤模式)。根据实施方式的点云视频编码器可以指定将应用三角汤几何编码的级别。例如，当特定级别等于八叉树的深度时，点云视频编码器不在三角汤模式下操作。换句话说，根据实施方式的点云视频编码器可以仅在所指定的级别小于八叉树的深度值时才在三角汤模式下操作。根据实施方式的所指定级别处的节点的3D立方区域被称为块。一个块可以包括一个或更多个体素。块或体素可以对应于砖。几何结构被表示为每个块内的表面。根据实施方式的表面可以与块的每个边缘最多相交一次。

一个块有12个边缘，因此在一个块中至少存在12个交点。每个交点被称为顶点(或顶端点)。当在共享边缘的所有块当中至少存在一个与该边缘相邻的被占用体素时，检测到沿该边缘存在的顶点。根据实施方式的被占用体素是指包含点的体素。沿着边缘检测到的顶点的位置是沿着共享该边缘的所有块当中的与该边缘相邻的所有体素的边缘的平均位置。

一旦检测到顶点，根据实施方式的点云视频编码器就可以对边缘的起始点(x，y，z)、边缘的方向矢量(Δx，Δy，Δz)和顶点位置值(边缘内的相对位置值)执行熵编码。当应用三角汤几何编码时，根据实施方式的点云视频编码器(例如，几何重构单元40005)可以通过执行三角形重构、上采样和体素化处理来生成恢复后的几何结构(重构的几何结构)。

处于块的边缘处的顶点确定穿过块的表面。根据实施方式的表面是非平面多边形。在三角形重构处理中，基于边缘的起始点、边缘的方向矢量和顶点的位置值来重构由三角形表示的表面。根据式2，通过以下操作执行三角形重构处理：i)计算每个顶点的质心值，ii)从每个顶点值减去中心值，以及iii)估计通过减法而获得的值的平方和。

式2

然后，估计和的最小值，并根据具有最小值的轴来执行投影处理。例如，当元素x为最小时，每个顶点相对于块的中心投影到x轴上，并投影到(y,z)平面上。当通过投影到(y,z)平面上而获得的值为(ai,bi)时，通过atan2(bi,ai)估计θ的值，并根据θ的值对顶点进行排序。下面的表1示出了根据顶点的数目来创建三角形的顶点组合。顶点被从1到n地排序。下面的表1示出对于四个顶点，可以根据顶点的组合来构造两个三角形。第一个三角形可以由排序的顶点当中的顶点1、2和3组成，并且第二个三角形可以由排序顶点当中的顶点3、4和1组成。

[表1]从排序为1,…,n的顶点形成的三角形

[表1]

执行上采样处理，以沿着三角形的边在中间添加点并执行体素化。所添加的点是基于上采样因子和块的宽度产生的。所添加的点被称为细化顶点。根据实施方式的点云视频编码器可以对细化顶点进行体素化。另外，点云视频编码器可以基于体素化位置(或位置值)来执行属性编码。

图7例示了根据实施方式的邻居节点模式的示例。

为了提高点云视频的压缩效率，根据实施方式的点云视频编码器可以基于上下文自适应算术编码来执行熵编码。

如参考图1至图6描述的，图1的点云内容提供系统或点云视频编码器10002或图4的点云视频编码器或算术编码器40004可以立即对占用码执行熵编码。另外，点云内容提供系统或点云视频编码器可以基于当前节点的占用码和邻居节点的占用来执行熵编码(帧内编码)，或基于前一帧的占用码来执行熵编码(帧间编码)。根据实施方式的帧表示同时产生的点云视频的集合。根据实施方式的帧内编码/帧间编码的压缩效率可以取决于被引用的邻居节点的数目。当位增加时，操作变复杂，但编码可以偏向一侧，从而可以增加压缩效率。例如，当给定3位上下文时，需要使用2³＝8种方法执行编码。为进行编码而划分的部分影响了实现方式的复杂度。因此，必须满足适当水平的压缩效率和复杂度。

图7例示了基于邻居节点的占用来获得占用模式的处理。根据实施方式的点云视频编码器确定八叉树的每个节点的邻居节点的占用，并获得邻居模式的值。使用该邻居节点模式来推断节点的占用模式。图7的上部示出了与节点对应的立方体(处于中间的立方体)以及与立方体共享至少一个面的六个立方体(邻居节点)。图中示出的节点是相同深度的节点。图中示出的数字分别表示与六个节点关联的权重(1、2、4、8、16和32)。根据邻居节点的位置依次指派权重。

图7的下部示出了邻居节点模式值。邻居节点模式值是乘以被占用邻居节点(具有点的邻居节点)的权重的值之和。因此，邻居节点模式值为0至63。当邻居节点模式值为0时，指示该节点的邻居节点当中不存在具有点的节点(未占用节点)。当邻居节点模式值为63时，指示所有邻居节点都是被占用节点。如图中所示，由于被指派权重1、2、4和8的邻居节点是被占用节点，因此邻居节点模式值为15即1、2、4和8之和。点云视频编码器可以根据邻居节点模式值执行编码(例如，当邻居节点模式值为63时，可以执行64种编码)。根据实施方式，点云视频编码器可以通过改变邻居节点模式值(例如，基于通过其将64改变为10或6的表)来降低编码复杂度。

图8例示了根据实施方式的每个LOD中的点配置的示例。

如参考图1至图7描述的，在执行属性编码之前，重构(解压缩)编码后的几何结构。当应用直接编码时，几何重构操作可以包括改变直接编码后的点的放置(例如，将直接编码后的点放置在点云数据的前面)。当应用三角汤几何编码时，通过三角形重构、上采样和体素化来执行几何重构处理。由于属性取决于几何结构，因此基于重构的几何结构执行属性编码。

点云视频编码器(例如，LOD生成单元40009)可以通过LOD对点进行分类(重新组织或成组)。图8示出了与LOD对应的点云内容。图8中的最左侧图片表示原始点云内容。图8左侧起的第二个图片表示最低LOD中的点的分布，并且图8中的最右侧图片表示最高LOD中的点的分布。也就是说，最低LOD中的点稀疏地分布，并且最高LOD中的点密集地分布。也就是说，随着LOD在由图8底部处指示的箭头所指的方向上上升，点之间的空间(或距离)变窄。

图9例示了根据实施方式的每个LOD的点配置的示例。

如参考图1至图8描述的，点云内容提供系统或点云视频编码器(例如，图1的点云视频编码器10002、图4的点云视频编码器或LOD生成单元40009)可以生成LOD。通过根据设置的LOD距离值(或一组欧几里得距离)将点重新组织为一组细化级别来生成LOD。LOD生成处理不仅由点云视频编码器执行，而且由点云视频解码器执行。

图9的上部示出了分布在3D空间中的点云内容的点的示例(P0至P9)。在图9中，原始顺序表示LOD生成之前点P0至P9的顺序。在图9中，基于LOD的顺序表示根据LOD生成的点的顺序。通过LOD重新组织点。另外，高LOD包含属于较低LOD的点。如图9中所示，LOD0包含P0、P5、P4和P2。LOD1包含LOD0的点、P1、P6和P3。LOD2包含LOD0的点、LOD1的点、P9、P8和P7。

如参考图4描述的，根据实施方式的点云视频编码器可以选择性或组合地执行基于LOD的预测变换编码、基于LOD的提升变换编码和RAHT变换编码。

根据实施方式的点云视频编码器可以为点生成预测器，以执行基于LOD的预测变换编码来设置每个点的预测属性(或预测属性值)。也就是说，可以针对N个点生成N个预测器。根据实施方式的预测器可以基于每个点的LOD值、与存在于针对每个LOD的设定距离内的邻居点有关的加索引信息以及到邻居点的距离来计算权重(＝1/距离)。

根据实施方式的预测属性(或属性值)被设置为通过将每个点的预测器中设置的邻居点的属性(或属性值)(例如，颜色、反射率等)乘以基于到每个邻居点的距离计算出的权重(或权重值)而获得的值的平均值。根据实施方式的点云视频编码器(例如，系数量化单元40011)可以对通过从每个点的属性(即，原始属性值)中减去每个点的预测属性(或属性值)而获得的每个点的残差(可以被称为残差属性、残差属性值、属性预测残差值或预测错误属性值等)进行量化和反量化。如表2中所示来配置针对发送装置中的残差属性值执行的量化处理。如表3中所示来配置针对接收装置中的残差属性值执行的反量化处理。

[表2]

[表3]

int PCCInverseQuantization(int value,int quantStep){
	if(quantStep＝＝0){
return value；
	}else{
return value*quantStep；
	}
}

当每个点的预测器具有邻居点时，根据实施方式的点云视频编码器(例如，算术编码器40012)可以如上所述对量化和反量化后的残差属性值执行熵编码。当每个点的预测器没有邻居点时，根据实施方式的点云视频编码器(例如，算术编码器40012)可以在不执行上述操作的情况下，对对应点的属性执行熵编码。

根据实施方式的点云视频编码器(例如，提升变换单元40010)可以生成每个点的预测器，设置计算出的LOD并将邻居点登记到预测器中，并根据到邻居点的距离设置权重以执行提升变换编码。根据实施方式的提升变换编码类似于上述预测变换编码，但不同之处在于权重被累加地应用于属性值。如下地配置根据实施方式的向属性值累加地应用权重的处理。

1)创建用于存储每个点的权重值的数组Quantization Weight(QW)(量化权重)。QW的所有元素的初始值为1.0。将在预测器中登记的邻居节点的预测器索引的QW值乘以当前点的预测器的权重，并将通过乘法而获得的值相加。

2)提升预测处理：从现有属性值中减去通过将点的属性值乘以权重而获得的值，以计算预测属性值。

3)创建被称为更新权重(updateweight)的临时数组，并将该临时数组更新并初始化为零。

4)将通过将针对所有预测器计算出的权重乘以存储在QW中的与预测器索引对应的权重而计算出的权重累加地添加到更新权重数组以作为邻居节点的索引。将通过将邻居节点的索引的属性值乘以计算出的权重而获得的值累加地添加到更新数组。

5)提升更新处理：将针对所有预测器的更新数组的属性值除以预测器索引的更新权重数组的权重值，并将现有的属性值与通过除法而获得的值相加。

6)通过针对所有预测器将通过提升更新处理而更新的属性值乘以(存储在QW中的)通过提升预测处理而更新的权重来计算预测属性。根据实施方式的点云视频编码器(例如，系数量化单元40011)对预测的属性值进行量化。另外，点云视频编码器(例如，算术编码器40012)对量化后的属性值执行熵编码。

根据实施方式的点云视频编码器(例如，RAHT单元40008)可以执行RAHT变换编码，其中使用与八叉树中较低级别的节点关联的属性来预测较高级别的节点的属性。RAHT变换编码是通过八叉树后向扫描进行的属性帧内编码的示例。根据实施方式的点云视频编码器从体素扫描整个区域，并在每个步骤中重复将体素合并成较大块的合并处理，直至到达根节点。根据实施方式的合并处理仅在被占用节点上执行。合并处理不在空节点上执行。合并处理在空节点正上方的较高模式下执行。

下面的式3表示RAHT变换矩阵。在式3中，表示级别l处的体素的平均属性值。可以基于和来计算 和的权重是和

式3

这里，是低通值并被用在下一更高级别处的合并处理中。表示高通系数。每个步骤中的高通系数被量化并经历熵编码(例如，通过算术编码器40012编码)。权重被计算为如式4地通过和计算根节点。

式4

gDC的值也像高通系数一样被量化并经历熵编码。

图10例示了根据实施方式的点云视频解码器。

图10中例示的点云视频解码器是图1中描述的点云视频解码器10006的示例，并可以执行与图1中例示的点云视频解码器10006的操作相同或类似的操作。如图中所示，点云视频解码器可以接收一个或更多个位流中包含的几何位流和属性位流。点云视频解码器包括几何解码器和属性解码器。几何解码器对几何位流执行几何解码，并输出解码后的几何结构。属性解码器基于解码后的几何对属性位流执行属性解码，并输出解码后的属性。使用解码后的几何结构和解码后的属性来重构点云内容(解码后的点云)。

图11例示了根据实施方式的点云视频解码器。

图11中例示的点云视频解码器是图10中例示的点云视频解码器的示例，并可以执行作为图1至图9中例示的点云视频编码器的编码操作的逆处理的解码操作。

如参考图1和图10描述的，点云视频解码器可以执行几何解码和属性解码。几何解码是在属性解码之前执行的。

根据实施方式的点云视频解码器包括算术解码器(算术解码)11000、八叉树合成器(合成八叉树)11001、表面近似合成器(合成表面近似)11002和几何重构单元(重构几何结构)11003、坐标逆变换器(逆变换坐标)11004、算术解码器(算术解码)11005、反量化单元(反量化)11006、RAHT变换器11007、LOD生成器(生成LOD)11008、逆提升器(逆提升)11009和/或逆颜色变换单元(逆变换颜色)11010。

算术解码器11000、八叉树合成器11001、表面近似合成器11002和几何重构单元11003以及坐标逆变换器11004可以执行几何解码。根据实施方式的几何解码可以包括直接解码和三角汤几何解码。直接解码和三角汤几何解码被选择性应用。几何解码不限于上述示例，并作为参考图1至图9描述的几何编码的逆处理来执行。

根据实施方式的算术解码器11000基于算术编码对接收到的几何位流进行解码。算术解码器11000的操作对应于算术编码器40004的逆处理。

根据实施方式的八叉树合成器11001可以通过从解码后的几何位流(或作为解码结果而被保护的关于几何结构的信息)获取占用码来生成八叉树。如参考图1至图9详细描述地配置占用码。

当应用三角汤几何编码时，根据实施方式的表面近似合成器11002可以基于解码后的几何结构和/或所生成的八叉树来合成表面。

根据实施方式的几何重构单元11003可以基于表面和/或解码后的几何结构来重新生成几何结构。如参考图1至图9描述的，直接编码和三角汤几何编码被选择性应用。因此，几何重构单元11003直接导入并添加关于应用了直接编码的点的位置信息。当应用三角汤几何编码时，几何重构单元11003可以通过执行几何重构单元40005的重构操作(例如，三角形重构、上采样和体素化)来重构几何结构。细节与参考图6描述的细节相同，因此省略对其的描述。重构的几何结构可以包括不包含属性的点云图片或帧。

根据实施方式的坐标逆变换器11004可以通过基于重构的几何结构变换坐标来获取点的位置。

算术解码器11005、反量化单元11006、RAHT变换器11007、LOD生成单元11008、逆提升器11009和/或逆颜色变换单元11010可以执行参考图10描述的属性解码。根据实施方式的属性解码包括区域自适应分层变换(RAHT)解码、基于内插的分层最近邻预测(预测变换)解码和具有更新/提升步骤(提升变换)的基于内插的分层最近邻预测解码。可以选择性使用上述三种解码方案，或可以使用一种或更多种解码方案的组合。根据实施方式的属性解码不限于上述示例。

根据实施方式的算术解码器11005通过算术编码对属性位流进行解码。

根据实施方式的反量化单元11006对作为解码结果而被保护的关于解码后的属性位流或属性的信息进行反量化，并输出反量化后的属性(或属性值)。可以基于点云视频编码器的属性编码来选择性应用反量化。

根据实施方式，RAHT变换器11007、LOD生成单元11008和/或逆提升器11009可以处理重构的几何结构和反量化后的属性。如上所述，RAHT变换器11007、LOD生成单元11008和/或逆提升器11009可以选择性执行与点云视频编码器的编码对应的解码操作。

根据实施方式的逆颜色变换单元11010执行逆变换编码，以对解码后的属性中包括的颜色值(或纹理)进行逆变换。可以基于点云视频编码器的颜色变换单元40006的操作选择性执行逆颜色变换单元11010的操作。

尽管在该图中未示出，但图11的点云视频解码器的元件可以由包括一个或更多个处理器或集成电路的硬件、软件、固件或其组合来实现，该处理器或集成电路被配置为与点云内容提供设备中包括的一个或更多个存储器通信。所述一个或更多个处理器可以执行上述图11的点云视频解码器的元件的操作和/或功能中的至少一个或更多个。另外，一个或更多个处理器可以操作或执行软件程序和/或指令的集合，以执行图11的点云视频解码器的元件的操作和/或功能。

图12例示了根据实施方式的发送装置。

图12中示出的发送装置是图1的发送装置10000(或图4的点云视频编码器)的示例。图12中例示的发送装置可以执行与参考图1至图9描述的点云视频编码器的操作和方法相同或类似的操作和方法中的一个或更多个。根据实施方式的发送装置可以包括数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用码生成器12003、表面模型处理器12004、帧内/帧间编码处理器12005、算术编码器12006、元数据处理器12007、颜色变换处理器12008、属性变换处理器12009、LOD/提升/RAHT变换处理器12010、算术编码器12011和/或发送处理器12012。

根据实施方式的数据输入单元12000接收或获取点云数据。数据输入单元12000可以执行与点云视频获取单元10001的操作和/或获取方法(或参考图2描述的获取处理20000)相同或类似的操作和/或获取方法。

数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用码生成器12003、表面模型处理器12004、帧内/帧间编码处理器12005和算术编码器12006执行几何编码。根据实施方式的几何编码与参考图1至图9描述的几何编码相同或类似，因此省略对其的详细描述。

根据实施方式的量化处理器12001对几何结构(例如，点的位置值)进行量化。量化处理器12001的操作和/或量化与参考图4描述的量化单元40001的操作和/或量化相同或类似。细节与参考图1至图9描述的细节相同。

根据实施方式的体素化处理器12002对点的量化后位置值进行体素化。体素化处理器12002可以执行与参考图4描述的量化单元40001的操作和/或体素化处理相同或类似的操作和/或处理。细节与参考图1至图9描述的细节相同。

根据实施方式的八叉树占用码生成器12003基于八叉树结构对点的体素化位置执行八叉树编码。八叉树占用码生成器12003可以生成占用码。八叉树占用码生成器12003可以执行与参考图4和图6描述的点云视频编码器(或八叉树分析单元40002)的操作和/或方法相同或类似的操作和/或方法。细节与参考图1至图9描述的细节相同。

根据实施方式的表面模型处理器12004可以基于表面模型来执行三角汤几何编码，以基于体素来重构特定区域(或节点)中的点的位置。表面模型处理器12004可以执行与参考图4描述的点云视频编码器(例如，表面近似分析单元40003)的操作和/或方法相同或类似的操作和/或方法。细节与参考图1至图9描述的细节相同。

根据实施方式的帧内/帧间编码处理器12005可以对点云数据执行帧内/帧间编码。帧内/帧间编码处理器12005可以执行与参考图7描述的帧内/帧间编码相同或类似的编码。细节与参考图7描述的细节相同。根据实施方式，帧内/帧间编码处理器12005可以被包括在算术编码器12006中。

根据实施方式的算术编码器12006对点云数据的八叉树和/或近似的八叉树执行熵编码。例如，编码方案包括算术编码。算术编码器12006执行与算术编码器40004的操作和/或方法相同或类似的操作和/或方法。

根据实施方式的元数据处理器12007处理关于点云数据的元数据(例如，设定值)，并将其提供到诸如几何编码和/或属性编码这样的必要处理过程。另外，根据实施方式的元数据处理器12007可以生成和/或处理与几何编码和/或属性编码相关的信令信息。可以与几何编码和/或属性编码分开地对根据实施方式的信令信息进行编码。可以对根据实施方式的信令信息进行交织。

颜色变换处理器12008、属性变换处理器12009、LOD/提升/RAHT变换处理器12010和算术编码器12011执行属性编码。根据实施方式的属性编码与参考图1至图9描述的属性编码相同或类似，因此省略对其的详细描述。

根据实施方式的颜色变换处理器12008执行颜色变换编码，以变换属性中包括的颜色值。颜色变换处理器12008可以基于重构的几何结构来执行颜色变换编码。重构的几何结构与参考图1至图9描述的相同。另外，它执行与参考图4描述的颜色变换单元40006的操作和/或方法相同或类似的操作和/或方法。省略对其的详细描述。

根据实施方式的属性变换处理器12009执行属性变换，以基于重构的几何结构和/或未被执行几何编码的位置来变换属性。属性变换处理器12009执行与参考图4描述的属性变换单元40007的操作和/或方法相同或类似的操作和/或方法。省略对其的详细描述。根据实施方式的LOD/提升/RAHT变换处理器12010可以通过RAHT编码、预测变换编码和提升变换编码中的任一种或其组合对变换后的属性进行编码。LOD/提升/RAHT变换处理器12010执行与参考图4描述的RAHT单元40008、LOD生成单元40009和提升变换单元40010的操作相同或类似的操作中的至少一者。另外，预测变换编码、提升变换编码和RAHT变换编码与参考图1至图9描述的那些相同，因此省略对其的详细描述。

根据实施方式的算术编码器12011可以基于算术编码对编码后的属性进行编码。算术编码器12011执行与算术编码器40012的操作和/或方法相同或类似的操作和/或方法。

根据实施方式的发送处理器12012可以发送包含编码后的几何结构和/或编码后的属性和/或元数据(或元数据信息)的每个位流，或发送配置有编码后的几何结构和/或编码后的属性和/或元数据的一个位流。当根据实施方式的编码后的几何结构和/或编码后的属性和/或元数据被配置成一个位流时，该位流可以包括一个或更多个子位流。根据实施方式的位流可以包含信令信息，该信令信息包括用于序列级信令的序列参数集(SPS)、用于几何信息编码的信令的几何参数集(GPS)、用于属性信息编码的信令的属性参数集(APS)以及用于图块级信令的图块参数集(TPS或图块清单)和切片数据。切片数据可以包括关于一个或更多个切片的信息。根据实施方式的一个切片可以包括一个几何位流Geom0⁰以及一个或更多个属性位流Attr0⁰和Attr1⁰。根据实施方式的TPS可以包括关于一个或更多个图块的每个图块的信息(例如，关于边界框的高度/大小信息和坐标信息)。几何位流可以包含头部和有效载荷。根据实施方式的几何位流的头部可以包含GPS中包括的参数集标识符(geom_parameter_set_id)、图块标识符(geom_tile_id)和切片标识符(geom_slice_id)以及关于有效载荷中包含的数据的信息。如上所述，根据实施方式的元数据处理器12007可以生成和/或处理信令信息，并将其发送到发送处理器12012。根据实施方式，用于执行几何编码的元件和用于执行属性编码的元件可以彼此共享数据/信息，如虚线所指示的。根据实施方式的发送处理器12012可以执行与发送器10003的操作和/或发送方法相同或类似的操作和/或发送方法。细节与参考图1和图2描述的细节相同，因此省略对其的描述。

图13例示了根据实施方式的接收装置。

图13中例示的接收装置是图1的接收装置10004(或图10和图11的点云视频解码器)的示例。图13中例示的接收装置可以执行与参考图1至图11描述的点云视频解码器的操作和方法相同或类似的操作和方法中的一个或更多个。

根据实施方式的接收装置包括接收器13000、接收处理器13001、算术解码器13002、基于占用码的八叉树重构处理器13003、表面模型处理器(三角形重构、上采样、体素化)13004、反量化处理器13005、元数据解析器13006、算术解码器13007、反量化处理器13008、LOD/提升/RAHT逆变换处理器13009、颜色逆变换处理器13010和/或渲染器13011。根据实施方式的用于解码的每个元件可以执行根据实施方式的用于编码的对应元件的操作的逆处理。

根据实施方式的接收器13000接收点云数据。接收器13000可以执行与图1的接收器10005的操作和/或接收方法相同或类似的操作和/或接收方法。省略对其的详细描述。

根据实施方式的接收处理器13001可以从接收到的数据获取几何位流和/或属性位流。接收处理器13001可以被包括在接收器13000中。

算术解码器13002、基于占用码的八叉树重构处理器13003、表面模型处理器13004和反量化处理器13005可以执行几何解码。根据实施方式的几何解码与参考图1至图10描述的几何解码相同或类似，因此省略对其的详细描述。

根据实施方式的算术解码器13002可以基于算术编码对几何位流进行解码。算术解码器13002执行与算术解码器11000的操作和/或编码相同或类似的操作和/或编码。

根据实施方式的基于占用码的八叉树重构处理器13003可以通过从解码后的几何位流(或作为解码结果而被保护的关于几何结构的信息)获取占用码来重构八叉树。基于占用码的八叉树重构处理器13003执行与八叉树合成器11001的操作和/或八叉树生成方法相同或相似的操作和/或方法。当应用三角汤几何编码时，根据实施方式的表面模型处理器13004可以基于表面模型方法来执行三角汤几何解码和相关的几何重构(例如，三角形重构、上采样、体素化)。表面模型处理器13004执行与表面近似合成器11002和/或几何重构单元11003的操作相同或类似的操作。

根据实施方式的反量化处理器13005可以对解码后的几何结构进行反量化。

根据实施方式的元数据解析器13006可以解析接收到的点云数据中包含的元数据，例如，设定值。元数据解析器13006可以传递元数据以进行几何解码和/或属性解码。元数据与参考图12描述的元数据相同，因此省略对其的详细描述。

算术解码器13007、反量化处理器13008、LOD/RAHT逆变换处理器13009和颜色逆变换处理器13010执行属性解码。属性解码与参考图1至图10描述的属性解码相同或类似，因此省略对其的详细描述。

根据实施方式的算术解码器13007可以通过算术编码对属性位流进行解码。算术解码器13007可以基于重构的几何结构对属性位流进行解码。算术解码器13007执行与算术解码器11005的操作和/或代码化相同或类似的操作和/或代码化。

根据实施方式的反量化处理器13008可以对解码后的属性位流进行反量化。反量化处理器13008执行与反量化单元11006的操作和/或反量化方法相同或相似的操作和/或方法。

根据实施方式的LOD/提升/RAHT逆变换器13009可以处理重构的几何结构和反量化后的属性。预测/提升/RAHT逆变换处理器1301执行与RAHT变换器11007、LOD生成单元11008和/或逆提升器11009的操作和/或解码相同或类似的操作和/或解码中的一个或更多个。根据实施方式的颜色逆变换处理器13010执行逆变换编码，以对解码后的属性中包括的颜色值(或纹理)进行逆变换。颜色逆变换处理器13010执行与逆颜色变换单元11010的操作和/或逆变换编码相同或类似的操作和/或逆变换编码。根据实施方式的渲染器13011可以渲染点云数据。

图14例示了根据实施方式的基于G-PCC的点云内容流传输的体系结构。

图14的上部示出由图1至图13中描述的发送装置(例如，发送装置10000、图12的发送装置等)处理和发送点云内容的处理。

如参考图1至图13描述的，发送装置可以获取点云内容的音频Ba(音频获取)，对所获取的音频进行编码(音频编码)，并输出音频位流Ea。另外，发送装置可以获取点云内容的点云(或点云视频)Bv(点获取)，并对所获取的点云执行点云视频编码，以输出点云视频位流EV。发送装置的点云视频编码与参考图1至图13描述的点云视频编码(例如，图4的点云视频编码器的编码)相同或类似，因此将省略对其的详细描述。

发送装置可以将所生成的音频位流和视频位流封装到文件和/或段中(文件/段封装)。封装的文件和/或段Fs、File可以包括诸如ISOBMFF或通过HTTP的动态自适应流传输(DASH)段这样的文件格式的文件。根据实施方式的点云相关元数据可以被包含在封装的文件格式和/或段中。元数据可以以ISO国际标准化组织基本媒体文件格式(ISOBMFF)文件格式被包含在不同级别的框中，或可以被包含在文件内的单独轨道中。根据实施方式，发送装置可以将元数据封装到单独的文件中。根据实施方式的发送装置可以通过网络递送封装的文件格式和/或段。发送装置进行封装和发送的处理方法与参考图1至图13(例如，发送器10003、图2的发送步骤20002等)描述的处理方法相同，因此将省略对其的详细描述。

图14的下部示出了由参考图1至图13描述的接收装置(例如，接收装置10004、图13的接收装置等)处理和输出点云内容的处理。

根据实施方式，接收装置可以包括被配置为输出最终音频数据和最终视频数据的装置(例如，扬声器、耳机、显示器)以及被配置为处理点云内容的点云播放器(点云播放器)。最终数据输出装置和点云播放器可以被配置为单独的物理装置。根据实施方式的点云播放器可以执行基于几何的点云压缩(G-PCC)编码、基于视频的点云压缩(V-PCC)编码和/或下一代编码。

根据实施方式的接收装置可以对接收数据(例如，广播信号、通过网络发送的信号等)中包含的文件和/或段F'、FS’进行保护，并对其进行解封装(文件/段解封装)。接收装置的接收和解封装方法与参考图1至图13(例如，接收器10005、接收单元13000、接收处理单元13001等)描述的那些相同，因此将省略对其的描述。

根据实施方式的接收装置对文件和/或段中包含的音频位流E'a和视频位流E'v进行保护。如图中所示，接收装置通过对音频位流执行音频解码来输出解码后的音频数据B'a，并渲染解码后的音频数据(音频渲染)以通过扬声器或耳机输出最终音频数据A'a。

另外，接收装置对视频位流E’v执行点云视频解码，并输出解码后的视频数据B’v。根据实施方式的点云视频解码与参考图1至图13描述的点云视频解码(例如，图11的点云视频解码器的解码)相同或类似，因此将省略对其的详细描述。接收装置可以渲染解码后的视频数据并通过显示器输出最终视频数据。

根据实施方式的接收装置可以基于所发送的元数据来执行解封装、音频解码、音频渲染、点云视频解码和点云视频渲染中的至少一者。元数据的细节与参考图12至图13描述的细节相同，因此将省略对其的描述。

如图中示出的虚线所指示的，根据实施方式的接收装置(例如，点云播放器或点云播放器中的感测/跟踪单元)可以生成反馈信息(方位、视口)。根据实施方式，反馈信息可以在接收装置的解封装处理、点云视频解码处理和/或渲染处理中使用，或可以递送到发送装置。反馈信息的细节与参考图1至图13描述的细节相同，因此将省略对其的描述。

图15示出了根据实施方式的示例性发送装置。

图15的发送装置是被配置为发送点云内容的装置，并对应于参考图1至图14描述的发送装置的示例(例如，图1的发送装置10000、图4的点云视频编码器、图12的发送装置、图14的发送装置)。因此，图15的发送装置执行与参考图1至图14描述的发送装置的操作相同或类似的操作。

根据实施方式的发送装置可以执行点云获取、点云视频编码、文件/段封装和递送中的一个或更多个。

由于图中例示的点云获取和递送的操作与参考图1至图14描述的操作相同，因此将省略对其的详细描述。

如参考图1至图14描述的，根据实施方式的发送装置可以执行几何编码和属性编码。几何编码可以被称为几何压缩，并且属性编码可以被称为属性压缩。如上所述，一个点可以具有一个几何结构以及一个或更多个属性。因此，发送装置对每个属性执行属性编码。该图例示了发送装置执行一个或更多个属性压缩(属性#1压缩、…、属性#N压缩)。另外，根据实施方式的发送装置可以执行辅助压缩。对元数据执行辅助压缩。元数据的细节与参考图1至图14描述的细节相同，因此将省略对其的详细描述。发送装置还可以执行网格数据压缩。根据实施方式的网格数据压缩可以包括参考图1至图14描述的三角汤几何编码。

根据实施方式的发送装置可以将根据点云视频编码输出的位流(例如，点云流)封装到文件和/或段中。根据实施方式，发送装置可以执行用于携带元数据之外的数据(例如，媒体数据)的媒体轨道封装，并执行用于携带元数据的元数据轨道封装。根据实施方式，可以将元数据封装到媒体轨道中。

如参考图1至图14描述的，发送装置可以从接收装置接收反馈信息(方位/视口元数据)，并基于接收到的反馈信息来执行点云视频编码、文件/段封装和递送操作中的至少一者。细节与参考图1至图14描述的细节相同，因此将省略对其的描述。

图16示出了根据实施方式的示例性接收装置。

图16的接收装置是用于接收点云内容的装置，并对应于参考图1至图14描述的接收装置的示例(例如，图1的接收装置10004、图11的点云视频解码器以及图13的接收装置、图14的接收装置)。因此，图16的接收装置执行与参考图1至图14描述的接收装置的操作相同或类似的操作。图16的接收装置可以接收从图15的发送装置发送的信号，并执行图15的发送装置的操作的逆处理。

根据实施方式的接收装置可以执行递送、文件/段解封装、点云视频解码和点云渲染中的至少一者。

由于图中例示的点云接收和点云渲染操作与参考图1至图14描述的那些相同，因此将省略对其的详细描述。

如参考图1至图14描述的，根据实施方式的接收装置解封装从网络或存储装置获取的文件和/或段。根据实施方式，接收装置可以执行用于携带元数据之外的数据(例如，媒体数据)的媒体轨道解封装，并执行用于携带元数据的元数据轨道解封装。根据实施方式，在元数据被封装到媒体轨道中的情况下，省略元数据轨道解封装。

如参考图1至图14描述的，接收装置可以对通过解封装而保护的位流(例如，点云流)执行几何解码和属性解码。几何解码可以被称为几何解压缩，并且属性解码可以被称为属性解压缩。如上所述，一个点可以具有各自由发送装置编码的一个几何结构以及一个或更多个属性。因此，接收装置对每个属性执行属性解码。该图例示了接收装置执行一个或更多个属性解压缩(属性#1解压缩、...、属性#N解压缩)。根据实施方式的接收装置还可以执行辅助解压缩。对元数据执行辅助解压缩。元数据的细节与参考图1至图14描述的细节相同，因此将省略对其的描述。接收装置还可以执行网格数据解压缩。根据实施方式的网格数据解压缩可以包括参考图1至图14描述的三角汤几何解码。根据实施方式的接收装置可以渲染根据点云视频解码输出的点云数据。

如参考图1至图14描述的，接收装置可以使用单独的感测/跟踪元件对方位/视口元数据进行保护，并将包括其的反馈信息发送到发送装置(例如，图15的发送装置)。另外，接收装置可以基于反馈信息来执行接收操作、文件/段解封装和点云视频解码中的至少一者。细节与参考图1至图14描述的细节相同，因此将省略对其的描述。

图17示出了根据实施方式的与用于发送和接收点云数据的方法/装置可操作地可连接的示例性结构。

图17的结构表示其中服务器1760、机器人1710、自动驾驶车辆1720、XR装置1730、智能手机1740、家用电器1750和/或头戴式显示器(HMD)1770中的至少一者连接到云网络1710的配置。机器人1710、自动驾驶车辆1720、XR装置1730、智能手机1740或家用电器1750被称为装置。另外，XR装置1730可以对应于根据实施方式的点云压缩数据(PCC)装置，或可以可操作地连接到PCC装置。

云网络1700可以表示构成云计算基础设施的部分或存在于云计算基础设施中的网络。这里，可以使用3G网络、4G或长期演进(LTE)网络或5G网络来配置云网络1700。

服务器1760可以通过云网络1700连接到机器人1710、自动驾驶车辆1720、XR装置1730、智能手机1740、家用电器1750和/或HMD 1770中的至少一者，并可以辅助所连接的装置1710至1770的至少一部分。

HMD 1770表示根据实施方式的XR装置和/或PCC装置的实现类型中的一种。根据实施方式的HMD型装置包括通信单元、控制单元、存储器、I/O单元、传感器单元和电源单元。

下文中，将描述应用了上述技术的装置1710至1750的各种实施方式。根据上述实施方式，图17中例示的装置1710至1750可以可操作地连接/联接到点云数据发送装置和接收装置。

<PCC+XR>

XR/PCC装置1730可以采用PCC技术和/或XR(AR+VR)技术，并可以被实现为HMD、设置在车辆中的平视显示器(HUD)、电视、移动电话、智能电话、计算机、可穿戴装置、家用电器、数字标牌、车辆、固定式机器人或移动机器人。

XR/PCC装置1730可以分析通过各种传感器或从外部装置获取的3D点云数据或图像数据，并生成关于3D点的位置数据和属性数据。由此，XR/PCC装置1730可以获取关于周围空间或真实对象的信息，并渲染和输出XR对象。例如，XR/PCC装置1730可以将包括关于识别出的对象的辅助信息的XR对象与识别出的对象匹配，并输出相匹配的XR对象。

<PCC+自动驾驶+XR>

自动驾驶车辆1720可以通过应用PCC技术和XR技术被实现为移动机器人、车辆、无人驾驶飞行器等。

应用XR/PCC技术的自动驾驶车辆1720可以表示设置有用于提供XR图像的装置的自动驾驶车辆或作为XR图像中控制/交互目标的自动驾驶车辆。具体地，作为XR图像中的控制/交互目标的自动驾驶车辆1720可以与XR装置1730区分开，并可以在操作上连接到XR装置1730。

具有用于提供XR/PCC图像的装置的自动驾驶车辆1720可以从包括相机的传感器获取传感器信息，并输出基于所获取的传感器信息而生成的XR/PCC图像。例如，自动驾驶车辆1720可以具有HUD并向其输出XR/PCC图像，由此向乘员提供与真实对象或屏幕上存在的对象相对应的XR/PCC对象。

当XR/PCC对象被输出到HUD时，可以输出XR/PCC对象的至少一部分以与乘员的眼睛注视的真实对象交叠。另一方面，当XR/PCC对象被输出到设置在自动驾驶车辆内部的显示器上时，可以输出XR/PCC对象的至少一部分以与屏幕上的对象交叠。例如，自动驾驶车辆1720可以输出与诸如道路、另一车辆、交通灯、交通标牌、两轮车、行人和建筑物这样的对象对应的XR/PCC对象。

根据实施方式的虚拟现实(VR)技术、增强现实(AR)技术、混合现实(MR)技术和/或点云压缩(PCC)技术适用于各种装置。

换句话说，VR技术是只提供真实世界对象、背景等的CG图像的显示技术。另一方面，AR技术是指在真实对象的图像上示出虚拟创建的CG图像的技术。MR技术与上述AR技术的类似之处在于，待示出的虚拟对象与真实世界混合和组合。然而，MR技术与AR技术的不同之处在于，AR技术明确区分了真实对象与作为CG图像创建的虚拟对象并使用虚拟对象作为真实对象的补充对象，而MR技术将虚拟对象视为与真实对象具有等同特性的对象。更具体地，MR技术应用的示例是全息图服务。

最近，VR、AR和MR技术有时被称为扩展现实(XR)技术，而没有被明确彼此区分开。因此，本公开的实施方式适用于VR、AR、MR和XR技术中的任一种。基于PCC、V-PCC、G-PCC技术的编/解码适用于这种技术。

根据实施方式的PCC方法/装置可以应用于提供自动驾驶服务的车辆。

提供自动驾驶服务的车辆连接到PCC装置，以用于有线/无线通信。

当根据实施方式的点云压缩数据(PCC)发送/接收装置连接到车辆以用于有线/无线通信时，该装置可以接收/处理与可以与自动驾驶服务一起提供的AR/VR/PCC服务相关的内容数据，并将其发送到车辆。在PCC发送/接收装置被安装在车辆上的情况下，PCC发送/接收装置可以根据通过用户接口装置输入的用户输入信号接收/处理与AR/VR/PCC服务相关的内容数据，并将其提供给用户。根据实施方式的车辆或用户接口装置可以接收用户输入信号。根据实施方式的用户输入信号可以包括指示自动驾驶服务的信号。

上面已经描述了，为了使发送装置压缩点云的属性，可以使用RAHT变换、基于LOD的预测变换或提升变换，或者可以使用根据RAHT/LOD/提升的组合的方法。

下式5是RAHT的基本公式，并且表示使用变换函数T将l级别的x轴相邻系数变换为(1-1)级别的系数的处理。

[式5]

其中，w₁＝w_{l，2x，y，z}并且w₂＝w_{l，2x+1，y，z}并且

在式5中，变换函数T的系数表示用于生成g_1的叶节点的数目。叶节点级别指示每个节点的占用。由于权重函数是基于几何占用信息配置的，因此在几何结构被编码之后在发送侧对属性进行编码，并在几何结构被解码之后在接收侧对属性进行解码。这会造成需要高速处理的系统中的延迟。另外，由于计算处理中的浮点运算(诸如，除以平方根)，计算的复杂度可能增加。

在基于LOD的预测变换和提升变换的情况下，根据点的距离来生成LOD，并对属性依次进行编码。在这种情况下，必须首先执行查找邻居点的处理。在基于LOD的预测变换和提升变换的情况下，邻居被定义为根据被占用叶节点的属性信息以不同参考距离采样的节点的集合。参照作为示例的图9，LOD0是具有比LOD1更长的节点间距离的节点的集合。也就是说，LOD0是由点间距离最大的点构成的集合。在预测属于LOD1的特定节点(例如，P3)时，LOD0的节点当中的邻居节点(例如，P2、P4)被用于节点P3的预测。因此，为了预测每个属性，首先必须执行估计LOD的处理以及查找邻居节点的处理。然而，这些处理具有高复杂度，花费长的运行时间。这会是需要高速处理的系统中的延迟的原因。

因此，本公开提出了通过使用几何结构上相邻的属性之间的相似度进行属性预测来提高属性预测性能的装置和方法。

本公开提出了通过基于八叉树结构搜索邻居节点并将其用于属性预测来提高属性预测性能的装置和方法。也就是说，可以有效地去除用于预测的属性的几何结构中具有高相关性的属性之间的相似度。具体地，与使用RAHT变换、基于LOD的预测变换和提升变换来压缩属性的情况相比，计算复杂度和对几何解码的依赖性可以降低，由此提高解码速度。

图18例示了根据本公开的点云视频编码器的另一实施方式。也就是说，图18示出了图4的点云视频编码器的另一实施方式。该实施方式还包括基于八叉树的属性压缩器40013。术语基于八叉树的属性压缩器40013仅仅是用于提供对本公开的理解的实施方式，并且本领域技术人员可以容易地改变该术语。因此，压缩器可以用也在本公开的范围内的等同含义范围内的另一术语来指代。

图18的点云视频编码器的每个部件可以由硬件、软件、处理器和/或其组合来实现。

对于构成图18的每个块的描述中没有描述的部分，将参考图4中具有相同参考标号的块的描述。

在实施方式中，图18的点云视频编码器还接收并编码由图1的点云视频获取单元10001获取的点云数据(或称为点云视频数据)。点云数据由点构成，并且每个点包括几何(即，位置)信息和属性信息。

根据实施方式，几何信息可以是二维笛卡尔坐标系的(x，y)、柱坐标系的(γ,θ)、或三维笛卡尔坐标系(x，y，z)、柱坐标系的(γ,θ,z)或球面坐标系的(γ,θ,φ)的坐标矢量。根据实施方式，属性信息可以是指示点的颜色的矢量(R、G、B)和/或亮度值和/或激光雷达的反射系数和/或诸如从热成像相机获得的温度值这样的从一个或更多个传感器获得的值的矢量。

图18的点云视频编码器还可以包括空间分割器(未示出)，该空间分割器被配置为将输入的点云数据在空间上分割成至少一个3D块。这里，3D块可以表示图块组、图块、切片、编码单元(CU)、预测单元(PU)或变换单元(TU)。根据实施方式，用于空间分割的信息可以被熵编码并发送到接收侧。熵编码是将数据变换为基于位的数据以用于发送的编码方案。

由根据实施方式的空间分割器空间分割的至少一个3D块的位置被输出到坐标变换单元40000，并且属性信息(或称为属性)被输出到颜色变换单元40006。

根据实施方式的坐标变换单元40000可以接收位置并变换坐标。也就是说，坐标变换单元40000可以将现有坐标变换为另一坐标系。例如，可以将位置变换为三维(XYZ)位置信息。另选地，坐标变换单元40000可以不执行坐标变换。坐标变换单元40000的输出将被称为几何信息。

坐标变换单元40000是否执行坐标变换以及坐标信息可以基于每个序列/帧/图块/切片/块发信号通知，并且可以在几何位流或单独位流中发送。另外，在实施方式中，它们可以由接收装置基于邻居块的坐标是否被变换、块的大小、点的数目、量化值、块分割深度、单元的位置、单元与原点之间的距离等来推导。

由量化单元40001对根据实施方式的从坐标变换单元40000输出的几何信息进行量化。量化单元40001通过基于量化后的几何信息执行体素化来重构点云数据的每个点。体素化是指用于在3D空间中呈现位置信息的最小化单元。

在本公开中，通过基于每个轴(x、y、z轴)将三维立方空间划分为单元(单元＝1.0)以存储关于3D空间中存在的点的信息而创建的三维立方空间被称为体素。另外，将3D空间中存在的点与特定体素匹配的处理被称为体素化。体素可以估计与在与体素组的位置关系中包括在体素中的至少一个点有关的位置信息(即，空间坐标)，并可以具有关于所述至少一个点的属性信息(例如，颜色或反射率信息)。

也就是说，一个体素可以包括不止一个点。例如，当假定多个点被包括在一个体素中时，多条点相关信息可以存在于一个体素中，或可以集成到一条点信息中。这些调整可以被选择性执行。在实施方式中，在一个体素中存在一条点信息的情况下(即，以上示例中的后一种情况)，基于体素中存在的点的位置值来设置体素的中心点的位置值。

根据实施方式的八叉树分析单元40002基于从量化单元40001输出的体素构建(或生成)八叉树。

在一个实施方式中，当基于x轴、y轴和z轴分割3D图像的空间时，创建8个空间。当基于x轴、y轴和z轴再次对8个空间中的每一个进行分割时，从每个更小空间中创建8个空间。如上所述，八叉树具有层树结构，其中，对应于较高层的父节点连接到对应于较低层的八个子节点。也就是说，通过将由父节点管理的三维空间分别在空间上分割为x、y和z方向而获得的八个相同大小的空间由子节点管理。

在这种情况下，属于同一层的节点具有相同的级别值，并且子节点的级别值比父节点的级别值递增1。每当子节点级别递增时，针对每个父节点创建8个子节点。

属于八叉树最高层的节点被称为根节点(或头节点)，而属于最低层的节点被称为叶节点。

在图6的示例中，最高层(即，根节点)的级别值为1(即，深度0)，并且下一层(即，第二列)的8个节点的级别值为2(即，深度1)，并且下一层(即，第三列)的16个节点的级别值为3(即，深度2)。

另外，八叉树的分割被执行与目的地级别值一样多或直到叶节点成为体素为止。也就是说，由于使用八叉树管理反映点位置的体素，因此八叉树的总体积应该被设置为(0，0，0)至(2^d,2^d,2^d)。2^d被设置为构成围绕点云视频所有点的最小边界框的值，其中，d是八叉树的深度。

在这种情况下，八叉树的每个节点可以被表示为占用码。例如，当点被包括在特定节点中时，它被指示为1。在不包括点的情况下，指示0。每个节点具有指示8个子节点的占用的8位位图。

在一个实施方式中，占用码值为0的节点不再被分割为8个节点。在图6中，例如，在级别2(即，深度1)的八个节点当中，只有两个占用码值等于1的节点被各自再次分割，以针对每个节点生成八个子节点。因此，可以去除不必要的数据。

根据实施方式的由八叉树分析单元40002生成的八叉树被输出到表面近似分析单元40003、算术编码器40004、几何重构单元40005和/或基于八叉树的属性压缩器40013。

表面近似分析单元40003对输入的八叉树进行分析和近似，然后，将结果输出到算术编码器40004和几何重构单元40005。

也就是说，通过量化单元40001、八叉树分析单元40002和/或表面近似分析单元40003来压缩几何信息。

算术编码器40004对从八叉树分析单元40002输出的八叉树或由表面近似分析单元40003近似的八叉树进行熵编码，并针对其输出几何位流。更具体地，算术编码器40004对由八叉树分析单元40002生成的八叉树的叶节点的每个节点的占用码或由表面近似分析单元40003近似的八叉树的叶节点的每个节点的占用码进行熵编码。在该操作中，算术编码器40004可以直接对占用码进行编码，或可以执行帧内/帧间编码，然后对代码进行熵编码以提高压缩效率。接收器可以通过占用码重构八叉树。

对于根据实施方式的熵编码，可以使用诸如(例如)指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)这样的各种编码方法。

几何重构单元40005接收由八叉树分析单元40002生成的八叉树和/或由表面近似分析单元40003近似的八叉树，并重构几何信息。也就是说，几何重构单元40005基于分析点分布的结果来重构八叉树/体素。

由几何重构单元40005重构的几何信息被输出到属性编码器的属性变换单元40007和/或RAHT单元4008和LOD生成单元40009。

根据本公开的实施方式，由八叉树分析单元40002生成的八叉树和/或由几何重构单元40005重构的八叉树被输出到基于八叉树的属性压缩器40013。随后，将描述基于八叉树的属性压缩器40013的细节。

颜色变换单元40006可以变换输入的属性信息中的颜色。例如，当输入的属性信息包括RGB格式的颜色信息时，单元可以将颜色信息变换为YCbCr格式。颜色信息可以由或可以不由颜色变换单元40006变换。根据实施方式的颜色变换单元40006进行的颜色变换是点云属性编码方案中的一种。

属性变换单元40007可以通过将由几何重构单元40005重构的几何信息和/或位置映射到从颜色变换单元40006输出的属性信息来重构属性信息。例如，基于体素中包括的点的位置值，属性变换单元40007可以变换该位置处的点的属性的值。根据实施方式的属性变换单元40007进行的属性变换是点云属性编码方案中的一种。

也就是说，根据实施方式，在由量化单元40001生成的特定体素中包括多个点，但点信息可以被集成并由一条点信息表示。另外，可以基于体素中包括的点的位置值来设置体素的中心点的位置值。在这种情况下，根据实施方式的属性变换单元40007执行与其相关的属性变换。在一个实施方式中，属性变换单元40007可以将体素的属性值调整为体素中包括的点的颜色或反射率的平均值或从体素的中心点的位置值起特定半径内的邻居点的颜色或反射率的平均值。

根据实施方式的由属性变换单元40007重构的属性信息通过切换单元40014的切换而被提供到基于八叉树的属性压缩器40013、RAHT变换单元40008和LOD生成单元40009中的一个。在本公开中，基于八叉树的属性压缩器40013、RAHT变换单元40008和LOD生成单元40009/提升变换单元40010中的至少一者将被称为属性压缩器。作为示例，根据实施方式的属性压缩器可以仅由基于八叉树的属性压缩器40013构成，或可以由基于八叉树的属性压缩器40013和RAHT单元40008组成，或由基于八叉树的属性压缩器40013和LOD生成单元40009/提升变换单元40010组成。另选地，根据实施方式的属性压缩器可以被配置为包括基于八叉树的属性压缩器40013、RAHT变换单元40008和LOD生成单元40009/提升变换单元40010。

根据实施方式的点云属性编码方案可以使用基于八叉树的属性压缩，使用RAHT变换，使用LOD生成和提升变换，或使用基于八叉树的属性压缩/RAHT/LOD/提升的组合。

对于根据实施方式的RAHT转换单元40008、LOD生成单元40009和提升变换单元40010的细节，将参考以上参考图4给出的描述并且将跳过对细节的描述。

根据实施方式的系数量化单元40011基于量化系数，对由基于八叉树的属性压缩器40013、RAHT变换单元40008或LOD生成单元40009/提升变换单元40010编码的属性信息(或属性数据)进行量化。根据实施方式的算术编码器40012对量化后的属性信息进行熵编码，并针对其输出属性位流。对于根据实施方式的熵编码，可以使用诸如(例如)指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)这样的各种编码方法。

如上所述，压缩点云数据的属性信息的方法中的一种是减少各条属性信息之间的冗余信息的方法。

根据实施方式的基于八叉树的属性压缩器40013基于由几何编码器生成的八叉树结构来检测待编码节点的邻居节点，并基于与检测到的邻居节点有关的属性信息来预测属性信息。此后，基于预测的属性信息和关于检测到的邻居节点的属性信息来生成残差属性信息。所生成的残差属性信息被量化，然后与预测的属性信息一起被熵编码并发送到接收侧。由此，各条属性信息之间的冗余信息可以减少。残差属性信息可以具有与预测误差属性信息相同的含义。

图19是例示了根据实施方式的基于八叉树的属性压缩器40013的详细配置的框图。压缩器可以包括发起单元14001、邻居节点检测单元14002、属性预测单元14003、确定器14004和残差属性估计单元14005。

图20是根据实施方式的基于八叉树的属性压缩器40013的详细流程图。流程图可以包括初始化14051、邻居节点检测14052、属性预测14053、确定14054、14055和残差属性估计14056。

图19示出了基于八叉树的属性压缩器40013由硬件实现的示例，图20示出了基于八叉树的属性压缩器40013由软件实现的示例。然而，这些示例仅仅是例示性的。在本公开中，基于八叉树的属性压缩器40013可以由硬件、软件、处理器和/或其组合实现。因此，图19和图20将被一起描述。

在实施方式中，图19和图20的基于八叉树的属性压缩器40013可以将几何树结构中的从根节点到叶节点的递归地分割节点的特征应用于属性编码以递归地应用基于空间相似度的属性预测方法。

根据本公开的实施方式，在发送侧执行的递归属性预测从叶节点进行到根节点。

根据本公开的实施方式，在接收侧执行的递归属性估计从根节点进行到叶节点。

这仅仅是实施方式。根据实现方法或目的，在发送侧执行的递归属性预测可以从根节点进行到叶节点，并且在接收侧执行的递归属性估计可以从叶节点进行到根节点。

在图19和图20中，根据实施方式，大写字母N表示预测级别的数目(num_pred_level)，小写字母n表示预测级别。当n的值为0时，对应级别为最高级别即根节点级别，n的值朝向叶节点增加。

根据本公开的实施方式，叶节点级别被设置为递归属性预测的起始点(pred_level_start)，并且根节点级别被设置为递归属性预测的结束点(pred_level_end)。这仅仅是实施方式，并且可以根据实现方法或目的改变起始点(pred_level_start)或结束点(pred_level_end)。例如，递归属性预测的起始点可以不是叶节点级别，并且结束点可以不是根节点级别。

在图19和图20中，初始化单元14001接收由几何编码器的八叉树分析单元40002生成的八叉树结构和/或由几何重构单元40005重构的八叉树结构，并且属性变换单元40007接收属性信息并初始化预测级别的数目N(步骤14051)。例如，假定递归属性预测的起始点是叶节点(或叶节点级别)并且输入的八叉树结构由图21的(a)至图21的(e)中所示的三个级别组成，N被初始化为3。然后，n被设置为N-1(n＝N-1)的值。n的设定值和属性信息被输出到邻居节点检测单元14002。

邻居节点检测单元14002接收由几何编码器的八叉树分析单元40002生成的八叉树结构和/或由几何重构单元40005重构的八叉树结构作为输入，并基于输入的八叉树结构来检测用于预测叶节点的每个节点的邻居节点(步骤14052)。

根据实施方式，邻居节点检测单元14002可以基于从同一节点分割出的节点之间的位置预测来检测邻居节点。

也就是说，八叉树结构中的属于同一父节点的子节点(或属于较高级别的同一分支的节点)可以被视为几何上相邻的节点。本公开使用从这种八叉树结构推导出的几何邻接来进行属性预测。也就是说，在八叉树结构中，属于同一层的节点具有相同的级别值，并且子节点的级别值与父节点的级别值相比递增1。每当子节点级别递增时，针对父节点创建8个子节点。因此，可以假定连接到一个父节点的8个子节点之间的属性相似度最高。

例如，当使用如图21的(a)中所示的八叉树结构时，可以假定从父节点14011分割出的子节点14021彼此相邻，并且从父节点14012分割出的子节点14022彼此相邻。从同一父节点分割出的较低级别的子节点表示在xyz空间中沿着每个轴彼此相邻的8个节点，如图21的(b)中所示。图21的(c)示出了属性信息(c0、c5、c6、c7、c'1、c'4、c'5、c'6、c'7)被映射到八叉树的叶节点中的被占用节点的示例。也就是说，在该示例中，从属性变换单元40007输出的对应属性信息被映射到关于八叉树的叶节点中的被占用节点的位置信息。

这里，叶节点的被占用节点的位置信息与属性信息之间的映射可以由初始化单元14001、邻居节点检测单元14002和属性预测单元14003中的任一个执行。

另外，图21的(b)示出了其中与上述实施方式一样邻居节点的每个边的大小为2的2×2×2块。在实施方式中，当邻居节点的每个边的大小改变时，关于邻居节点的大小信息可以通过pred_node_size_log2_minus1字段被发信号通知并发送到接收侧，使得接收侧可以识别该改变。

根据实施方式，邻居节点检测单元14002可以将具有相同父节点的8个节点当中包括叶节点的每个节点的8个节点确定为邻居节点。根据另一实施方式，邻居节点检测单元14002可以将具有相同父节点的8个节点当中不包括叶节点的每个节点的其余7个节点确定为邻居节点。

邻居节点的定义可以根据应用和图像特性而应用于一束相邻父节点(例如，以祖父节点为单位)，并且下一步骤的预测和压缩性能可以根据邻居节点的定义而变化。

属性预测单元14003基于与针对叶节点的每个节点检测到的邻居节点有关的属性信息来预测关于每个节点的属性信息(步骤14053)。也就是说，可以基于关于在八叉树结构中检测到的邻居节点的属性信息来预测点云数据的属性。

在这种情况下，可以针对每个节点估计预测的属性信息(或称为预测属性值或预测属性数据)，或可以对属于邻居的节点使用相同的预测属性信息，以便减少信息量。

在本公开的实施方式中，由于从同一父节点分割出的8个子节点是属于邻居的节点，因此关于从同一父节点分割出的8个子节点中的每一个的预测属性信息可以具有相同的值。在这种情况下，获得两个预测属性p2和p7，如图21的(d)中所示。换句话说，关于叶节点级别的八个节点14021中的每一个的预测属性信息与p2相同，并且关于八个节点14022中的每一个的预测属性信息与p7相同。当邻居节点如本实施方式中那样被定义为具有相同的预测属性值时，可以减少编码所需的系数的数目并可以提高编码效率。

可以使用各种类型的属性预测方法来确定由属性预测单元14003预测的属性信息。例如，邻居节点的属性的代表值可以被确定为关于与邻居节点对应的节点的预测属性信息，或者表示局部特性的属性值可以被确定为关于与邻居节点对应的节点的预测属性信息。另选地，可以计算/选择使预测误差最小化的值并将其确定为关于与邻居节点对应的节点的预测属性信息。

下式6是使用邻居节点的属性的平均值作为关于与邻居节点对应的节点的预测属性信息的实施方式。在式6中，N表示属于邻居的被占用叶节点的数目，并且表示a除以b时得到的商。

[式6]

作为另一示例，邻居节点的属性的中间值可以被用作关于与邻居节点对应的节点的预测属性信息，或者邻居节点当中的特定位置处的节点的属性值可以被用作关于与邻居节点对应的节点的预测属性信息。作为另一示例，与几何距离和/或属性相似度成反比的加权平均值等可以被用作预测属性信息。因此，在本公开的实施方式中，属性预测单元14003使用的属性预测类型可以通过pred_type字段被发信号通知并发送到接收侧，使得接收侧可以识别属性预测方法。

通过确定单元14004将由属性预测单元14003预测的属性信息p2和p7输出到残差属性估计单元14005。

被配置为确定是否终止递归属性预测的确定单元14004将通过从n的当前值减去1而获得的值设置到n(n＝n-1)(步骤14054)，并检查以这种方式获得的n的值是否为0(步骤14055)。根据实施方式，根节点级别被设置为递归属性预测的结束点。因此，当n为0时，递归属性预测终止，并且属性预测单元14003预测的属性信息被输出到系数量化单元40011。当n大于0时，属性预测单元14003预测的属性信息不被输出到系数量化单元40011。例如，参照图21，n的当前值为2，因此从2减去1得到1作为n的值。因此，属性预测单元14003预测的属性信息不被输出到系数量化单元40011。

残差属性估计单元14005基于从属性预测单元14003输出的预测属性信息来估计残差属性信息，并将残差属性信息输出到系数量化单元40011(步骤14056)。残差属性估计单元14005针对执行递归属性预测的每个级别将关于每个节点的残差属性信息输出到系数量化单元40011。

由于以上作为实施方式描述了当前叶节点，因此残差属性估计单元14005基于从属性预测单元14003输出的预测属性信息来估计关于叶节点(r0、r5、r6、r7、r′1、r′4、r′5、r′6、r′7)的残差属性信息，如图21的(d)中所示。在实施方式中，残差属性估计单元14005可以将关于叶节点中的对应节点的属性信息(也就是说，原始属性信息)与关于该节点的预测属性信息之间的差异确定为关于节点的残差属性信息(或预测误差属性信息)。例如，关于从父节点14011分割出的子节点14021当中的第一子节点的残差属性信息(r0)被确定为关于第一节点的原始属性信息(c0)和预测属性信息(p2)之间的差异。对于叶节点中的每个被占用节点执行该处理。

下式7表示估计残差属性信息的实施方式。在式7中，r1(x，y，z)是关于叶节点中的被占用节点1的残差属性信息，c₁(x，y，z)是关于节点1的原始属性信息，并且是p₁(x，y，z)是关于节点1的预测属性信息。

[式7]

r_l(x，y，z)＝g{c_l(x，y，z)，p_l(x，y，z)}＝c_l(x，y，z)-p_l(x，y，z)

残差属性估计单元14005可以通过应用各种类型的方法来估计原始属性信息与预测属性信息之间的差异。例如，可以根据数据特性、局部分布特性、属性分布特性、实现方法或目的来使用各种类型的方法(例如，加权差、加权平均差等)。因此，在本公开的实施方式中，残差属性估计单元14005使用的残差属性估计的类型可以通过recon_type字段被发信号通知并发送到接收侧，使得接收侧可以识别残差属性估计方法。

图21的(c)示出了属性信息(c0、c5、c6、c7、c′1、c′4、c′5、c′6、c′7)与基于每个父节点定义的邻居节点中的叶节点的每个被占用节点匹配的八叉树结构的实施方式，并且图21的(d)示出了通过将邻居节点检测、属性预测和残差属性估计应用于图21的(c)而获得的关于叶节点的每个被占用节点的预测属性信息(p2、p7)和残差属性信息(r0、r5、r6、r7、r'1、r'4、r'5、r'6、r'7)的八叉树结构的实施方式。

由残差属性估计单元14005估计的残差属性信息(r0、r5、r6、r7、r'1、r'4、r'5、r'6、r'7)被输出到系数量化单元40011。

由于确定单元14004确定n为1，因此残差属性预测单元14005将预测属性信息(p2、p7)定义为较高预测级别的节点的属性值c”2和c”7。基于所定义的属性值C”2和C'’7，邻居节点检测单元14002检测邻居节点，属性预测单元14003预测属性，并且残差属性预测单元14005估计残差属性。

也就是说，邻居节点检测单元14002接收由几何编码器的八叉树分析单元40002生成的八叉树结构和/或由几何重构单元40005重构的八叉树结构作为输入，并基于输入的八叉树结构来检测将用于将被属性编码的较高预测级别(即，级别1)的每个节点的预测的邻居节点(步骤14052)。

属性预测单元14003基于与针对较高预测级别的每个节点检测到的邻居节点有关的属性信息来预测关于每个节点的属性信息(步骤14053)。类似地，可以分别估计针对每个节点的预测属性信息，或者可以针对属于邻居的节点使用相同的预测属性信息以便减少信息量。在图21中，根据实施方式，从同一父节点分割出的8个子节点是属于邻居的节点，因此关于从同一父节点分割出的8个子节点中的每一个的预测属性信息具有相同的值。在这种情况下，如图21的(e)中所示，估计较高预测级别的预测属性信息p。

经由确定单元14004将由属性预测单元14003预测的属性信息p输出到残差属性估计单元14005。

确定单元14004将通过从n的当前值减去1而获得的值设置到n(n＝n-1)(步骤14054)，并检查以这种方式获得的n的值是否为0(步骤14055)。由于n的当前值为1，因此从1减去1得到0作为n的值。由于n等于0意指根节点级别，因此递归属性预测终止。因此，属性预测单元14003预测的属性信息被输出到系数量化单元40011。

然后，残差属性估计单元14005基于从属性预测单元14003输出的预测属性信息p来估计残差属性信息r”2和r”7，并将其输出到系数量化单元40011(步骤14056)。

该处理被迭代地执行，直到达到最高级别(或目标级别)，即，n从n＝N-2达到n＝1。

以这种方式，可以在接收侧执行可伸缩解码。也就是说，可以根据接收侧的解码性能、显示性能等对所有预测级别执行解码，或者可以执行仅到特定预测级别的部分解码。

系数量化单元40011基于量化系数对属性估计器14003最终预测的属性信息和由残差属性估计单元14005输出的针对每个级别估计的残差属性信息进行量化，然后将其输出到算术编码器40012。

根据实施方式，系数量化单元40011执行如下式8中所示的变换，以便提高预测属性信息和残差属性信息(即，预测误差属性信息)的发送效率，然后执行量化处理。

[式8]

d(x，y，z)＝T{r(x，y，z)}

在实施方式中，可以基于诸如离散余弦变换(DCT)、离散正弦变换(DST)或小波这样的变换类型来变换预测属性信息和/或残差属性信息。根据本公开的实施方式，系数量化单元40011使用的变换类型可以通过transform_type字段被发信号通知并发送到接收侧，使得接收侧可以识别变换类型。在这种情况下，预测属性信息和/或残差属性信息的变换是可选的。

也就是说，系数量化单元40011如下式9中一样基于量化系数q来量化执行变换或未执行变换的预测属性信息和所估计的残差属性信息，然后将其输出到算术编码器40012。

[式9]

d′(x，y，z)＝Q{d(x，y，z)}＝round[d(x，y，x)/q]

系数量化单元40011进行量化的程度由量化系数q确定，其中，可以根据数据类型使用不同的量化系数。在实施方式中，可以根据亮度/色度和预测属性信息/残差属性信息来使用不同的量化系数。根据本公开的实施方式，系数量化单元40011使用的量化信息(例如，quant_step_size_pred、quant_step_size_res、quant_step_chroma_pred、quant_step_chroma_res)可以被发信号通知并发送到接收侧，使得接收侧可以识别量化方法。

在实施方式中，考虑到接收侧的解码器处理，由系数量化单元40011量化的预测属性信息和残差属性信息被逐步输出到算术编码器40012。也就是说，首先，量化后的预测属性信息被递送到算术编码器40012，然后，量化后的残差属性信息被递送到算术编码器40012。由此，可以防止解码器在接收侧的延迟。另外，在每个步骤内，可以沿着xyz轴以升序(例如，莫顿码顺序)递送信息，并且在必要时，可以添加重新排序处理。

算术编码器40012对量化后的预测属性信息进行熵编码，对量化后的残差属性信息进行熵量化，并将其在属性位流中输出。对于熵编码，可以使用诸如指数哥伦布、CAVLC和CABAC这样的各种编码方法。

根据本公开的另一实施方式，当从同一父节点分割出的8个子节点当中存在一个被占用节点时，也就是说，当不存在邻居节点时，关于被占用节点的属性信息(即，颜色/反射率值)被输出到算术编码器40012，以便被熵编码。

图22示出了根据本公开的点云视频解码器的另一实施方式。也就是说，图22示出了图11的点云视频解码器的另一实施方式，其还包括基于八叉树的属性解压缩器11011。术语基于八叉树的属性解压缩器11011仅仅是用于提供对本公开的理解的实施方式，并且本领域的技术人员可以容易地改变该术语。因此，在等同含义的范围内，可以使用另一术语。

图22的点云视频解码器的每个部件可以由硬件、软件、处理器和/或其组合来实现。图22的点云视频解码器与本公开中的点云视频解码器具有相同的含义。

对于构成图22的每个块的描述中没有描述的部分，将参考图11中具有相同参考标号的块的描述。

图22的点云视频解码器可以执行图18的点云视频编码器的操作的逆处理。

点云视频解码器10006的算术解码器11000、八叉树合成器11001、表面近似合成器11002、几何重构单元11003和坐标逆变换器11004可以被统称为几何解码器。算术解码器11005、反量化单元11006、基于八叉树的属性解压缩器11011、RAHT逆变换单元11007、LOD生成单元11008、逆提升器11009和/或逆颜色变换单元11010可以被统称为属性解码器。

算术解码器11000基于算术方法对输入位流中包括的几何位流进行熵解码，以获得关于几何结构的信息。关于几何结构的信息包括发送侧的八叉树的每个节点的占用码。

根据实施方式，八叉树合成器11001基于从关于几何结构的信息获取的每个节点的占用码来重构八叉树。由八叉树合成器11001重构的八叉树被输出到表面近似合成器11002。另外，重构的八叉树可以被输出到基于八叉树的属性解压缩器11011。

在实施方式中，表面近似合成器11002基于由算术解码器11000解码的几何结构和/或由八叉树合成器11001重构的八叉树来合成表面。

在实施方式中，几何重构单元11003基于由表面近似合成器11002合成的表面和/或由算术解码器11000解码的几何结构来重构几何结构。在这种情况下，当应用直接模式时，几何重构单元11003直接调用并添加点的位置信息值。当采用三角汤模式时，几何重构单元通过三角形重构、上采样、体素化处理来重构几何结构。重构的几何结构可以包括没有(任何)属性的重构的(解码的)点云图片/帧。

由几何重构单元11003重构的几何结构被输出到属性解码器的坐标逆变换器11004和基于八叉树的属性解压缩器11011。另外，重构的几何结构可以被输出到RATH逆变换单元11007和/或LOD生成单元11008。

在实施方式中，坐标逆变换器11004基于重构的几何结构对坐标进行逆变换，以获取位置。

点云视频解码器10006的算术解码器11005基于算术方法对输入位流中包括的属性位流进行熵解码，以获取关于属性的信息。

根据实施方式，反量化单元11006对算术解码器11005获取的属性信息进行反量化。根据实施方式，属性信息包括预测属性信息和残差属性信息。也就是说，当必要时，反量化单元11006在属性解码处理中执行反量化处理。

反量化单元11006可以使用反量化函数，如下式10中所示。

[式10]

在实施方式中，当发送侧的系数量化单元40011根据各种量化方法或数据特性使用不同的量化系数时，反量化系数q可以被包括在接收到的信令信息中。系数量化单元40011进行量化的程度由量化系数q确定。此外，诸如亮度/色度和预测属性信息/残差属性信息这样的具有不同特性的数据可以使用不同的量化系数。在这种情况下，根据实施方式，接收到的信令信息可以包括系数量化单元40011使用的量化系数(例如，quant_step_size_pred、quant_step_size_res、quant_step_chroma_pred、quant_step_chroma_res)。

也就是说，反量化单元11006对基于信令信息中包括的量化信息而预测的属性信息和/或残差属性信息进行反量化。

另外，在发送侧已经对预测属性信息和/或残差属性信息执行变换的情况下，基于信令信息中包括的transform_type字段的值如下式11中一样地执行逆变换。也就是说，根据transform_type字段的值，基于诸如DCT、DST或小波这样的变换类型来对预测属性信息和/或残差属性信息进行逆变换。

[式11]

通过切换单元11012的切换，从反量化单元11006输出的属性信息被提供到基于八叉树的属性解压缩器11011、RAHT逆变换单元11007和LOD生成单元11008中的一个。在本公开中，基于八叉树的属性解压器110011、RAHT逆变换单元11007和LOD生成单元11008/逆提升单元11009中的至少一者将统称为属性解压缩器。例如，属性解压器可以仅由基于八叉树的属性解压缩器11011构成，或者由基于八叉树的属性解压缩器11011和RAHT逆变换单元11007或基于八叉树的属性解压器单元11011和LOD生成单元11008/逆提升单元11009组成。另选地，属性解压缩器可以包括基于八叉树的属性解压缩器11011、RAHT逆变换单元11007和LOD生成单元11008/逆提升单元11009。

根据实施方式的点云属性解码方法可以使用基于八叉树的属性解压缩，使用RAHT逆变换，使用LOD生成和逆提升变换，或使用根据基于八叉树的属性解压缩/RAHT/LOD/提升的组合的方法。也就是说，根据应用于编码的方法，选择性执行用于基于八叉树的属性压缩/RAHT/LOD/提升的逆变换处理。

在实施方式中，RAHT逆变换单元11007、LOD生成单元(生成LOD)11008和/或逆提升单元(逆提升)11009可以执行与RAHT单元40008、LOD生成单元40009和/或提升变换单元40010对应的操作的逆处理。

随后，将详细描述基于八叉树的属性解压缩器11011的操作。

由属性解压缩器重构的属性信息被输出到逆颜色变换单元11010。在实施方式中，当必要时，逆颜色变换单元11010对输入的属性信息执行颜色变换。

如上所述，点云视频解码器包括图22的几何解码器和属性解码器，并且由几何解码器解码并输出的位置以及包括由属性解码器解码并输出的属性信息的点云内容被输出到渲染器10007。

渲染器10007的渲染处理是指在3D空间中渲染和显示点云内容的数据的处理。根据实施方式，渲染器10007基于通过点云视频解码器10006的解码处理解码的关于点的位置和属性信息，根据所期望的渲染方法来渲染数据。点云内容的点可以被渲染为具有一定厚度的顶点、以顶点位置为中心具有特定最小大小的立方体或以顶点位置为中心的圆。用户可以通过VR/AR显示器或常见显示器查看所渲染结果的全部或部分。

另外，反馈处理可以包括将可以在显示处理中获取的各种反馈信息发送到发送侧或接收侧解码的处理。由于以上已经详细描述了反馈处理，因此将参考上文，并且在本文中将省略对其的详细描述，以避免冗余描述。

基于八叉树的属性解压缩器11011执行图19和图20的基于八叉树的属性压缩器40013的操作的逆操作，并基于以信令信息为基础预测的属性信息和残差属性信息来重构原始属性信息。

图23是例示了根据实施方式的基于八叉树的属性解压缩器11011的详细框图。根据实施方式，基于八叉树的属性解压缩器11011可以包括：邻居节点检测单元15001，该邻居节点检测单元15001被配置为基于八叉树来检测邻居节点；属性预测单元15002，该属性预测单元15002被配置为基于与检测到的邻居节点有关的信息来映射针对节点预测的属性信息；属性重构单元15003，该属性重构单元15003被配置为基于关于节点的预测属性信息和接收到的残差属性信息来重构属性信息。

图24是根据实施方式的基于八叉树的属性解压缩器11011的详细流程图，该流程图可以包括初始化15051、邻居节点检测15052、属性预测15053、属性重构15054以及确定15055和15056。

虽然图23示出了基于八叉树的属性解压缩器11011由硬件实现的示例并且图24示出了基于八叉树的属性解压缩器11011由软件实现的示例，但这些仅仅是示例。在本公开中，基于八叉树的属性解压缩器11011可以由硬件、软件、处理器和/或其组合实现。图23和图24将被一起描述。

根据实施方式的基于八叉树的属性解压缩器11011的邻居节点检测单元15001接收八叉树结构、预测属性信息和残差属性信息。根据实施方式，由八叉树合成单元11001和/或几何重构单元11003提供八叉树结构。根据实施方式，由反量化单元11006提供预测属性信息和残差属性信息。

根据本公开的实施方式，通过将基于几何的八叉树结构的节点与属性的特性匹配，从关于较高节点的属性信息递归地估计关于较低节点的属性信息。

具体地，根据本公开的实施方式，由于在发送侧执行递归属性预测，因此反量化单元11006输出关于被设置为递归属性预测结束点的级别(例如，根节点级别)的预测属性信息以及用于执行递归属性预测的每个预测级别的残差属性信息。例如，假定如图21的(e)中所示在发送侧执行递归属性预测，如图25的(a)中所示，输出关于根节点级别(n＝0)的预测属性信息(p)和关于后续两个预测级别(n＝1、n＝2)的残差属性信息(r0、r5、r6、r7、r’1、r’4、r’5、r’6、r’7、r”2,、r”7)。在这种情况下，根据实施方式，接收到的信令信息可以包括用于识别递归属性预测的起始点、结束点以及预测级别的数目的信息(例如，pred_level_start、pred_level_end、num_pred_level)。

然后，在实施方式中，基于信令信息，可以迭代地执行邻居节点检测单元15001的邻居节点检测处理(步骤15052)、属性预测器15002的属性预测处理(步骤15054)和属性重构器15003的属性信息重构处理(步骤15055)。

例如，参照图25的(a)，如图25的(b)中所示，基于预测属性信息(p)、关于级别(n＝1)的残差属性信息(r”2,、r”7)和八叉树结构来执行邻居节点检测、属性预测和属性重构，以估计关于级别(n＝1)的属性信息(c”2,、c”7)。关于级别(n＝1)的估计属性信息(c”2、c”7)被定义为预测属性信息(p2、p7)。然后，如图25的(c)中所示，基于定义的关于级别(n＝1)的预测属性信息(p2、p7)、关于级别(n＝2)的残差属性信息(r0、r5、r6、r7、r’1、r’4、r’5、r’6、r’7))以及八叉树结构来再次执行邻居节点检测、属性预测和属性重构，以估计(或重构)关于级别(n＝2)的属性信息(c0、c5、c6、c7、c’1、c’4、c’5、c’6、c’7)。

根据起始点信息、结束点信息和预测级别信息(例如，pred_level_start、pred_level_end、num_pred_level)，可以从根节点级别到叶节点级别、从根节点级别到叶节点级别之外的中间节点级别或从根节点之外的中间节点级别到叶节点级别迭代地执行处理。另选地，可以从根节点级别之外的第一中间级别到叶节点级别之外的第二中间级别迭代地执行处理。

为此目的，基于从八叉树合成单元11001和/或几何重构单元11003输入的八叉树结构以及从反量化单元11006输入的针对每个预测级别的预测属性信息和残差属性信息来初始化预测级别的数目N(步骤15051)。可以基于信令信息中包括的num_pred_level字段来设置预测级别的数目N。尽管图中未示出，但根据实施方式，基于八叉树的属性解压缩器11011也可以接收被接收并处理的信令信息。初始化15051可以由邻居节点检测单元15001或单独的元件(或部件)执行。例如，参照图25的(a)，N被初始化为3，并且n被设置为1(n＝1)。根据实施方式，n可以根据用于递归属性预测的结束点信息(pred_level_end)而变化。针对每个预测级别的n的设定值、预测属性信息和残差属性信息被输出到邻居节点检测单元15001。

邻居节点检测单元15001执行与发送侧的邻居节点检测单元14001相同的处理，以重构位置信息。也就是说，邻居节点检测单元15001基于由八叉树合成单元11001和/或几何重构单元11003提供的八叉树结构来检测级别(n＝1)的每个节点的邻居节点。

在本公开中，将描述邻居节点的范围是基于父节点的情况作为实施方式。具有相同父节点的8个子节点被定义为邻居节点。也就是说，具有相同父节点的兄弟节点被定义为邻居节点。如果对于邻居节点的范围(或单元)使用不同的定义(例如，不同的大小)，则可以基于接收到的信令信息中包括的pred_node_size_log2_minus字段的值来估计用于检测邻居节点的大小。

属性预测单元15002针对每个邻居节点，向属性重构单元15003发送对应子节点的预测属性信息。在该操作中，可以独立地递送针对每个子节点的预测属性信息。如在本公开的实施方式中，可以通过使用邻居节点中的预测属性信息的代表值(＝p)来降低在递送预测属性信息时使用的比特率。另外，可以从接收到的信令信息中包括的pred_type字段的值得知将用于属性重构的属性预测类型。

属性重构单元15003基于从属性预测单元15003输出的预测属性信息(p)以及接收到的关于级别(n＝1)的残差属性信息(或称为预测误差属性信息)(r”2、r”7)来重构属性信息(c”2、c”7)，如图25的(b)中所示。根据实施方式，为了重构属性，属性重构单元15003执行在发送侧使用的生成残差属性信息(或称为预测误差属性信息)的方法的逆处理。

假定本公开的发送侧已经基于原始属性信息与预测属性信息之间的差异生成了残差属性信息，属性重构单元15003通过将预测属性信息和残差属性信息相加来重构属性信息，如下式12中所示。

[式12]

另外，由于可以从接收到的信令信息中包括的recon_type字段的值得知在发送侧使用的残差属性估计的类型，因此可以得知将用于属性重构的属性预测类型。

当属性重构单元15003重构了关于级别(n＝1)的每个节点的属性信息时，n的值递增1(n＝n+1)(步骤15055)，并且检查n的递增值是否大于(N-1)或目标级别(步骤15056)。确定步骤15055和15056可以由属性重构单元15003或由单独的元件(或部件)执行。

在步骤15056中，由于n和N-1等于2(其中，N＝3)，因此处理返回到步骤15052以再次执行邻居节点检测、属性预测和属性重构。由属性重构单元15003重构的属性信息(c”2、c”7)被定义为预测属性信息(p2、p7)。

也就是说，邻居节点检测单元15001基于由八叉树合成单元11001和/或几何重构单元11003提供的八叉树结构来检测级别(n＝2)的每个节点的邻居节点。

由于本公开描述了邻居节点的范围是基于父节点的情况作为实施方式，因此邻居节点检测单元15001针对八叉树结构中的级别(n＝2)的每个节点将具有相同父节点的兄弟节点确定为邻居节点。对于从同一父节点分割出的其余子节点，也执行该处理。

属性预测器15002将针对每个邻居节点的对应子节点的预测属性信息递送到属性重构器15003。这里，可以独立地递送针对每个子节点的预测属性信息。通过如本公开的实施方式中那样在邻居节点中使用预测属性信息的代表值，可以降低用于递送预测属性信息的比特率。也就是说，由属性重构器15003定义的预测属性信息(p2、p7)被映射到八叉树的级别(n＝1)的被占用节点，并被输出到属性重构器15003。另外，可以从接收到的信令信息中包括的pred_type字段的值得知将用于属性重构的属性预测类型。

属性重构单元15003基于从属性预测单元15003输出的预测属性信息(p2、P7)以及关于级别(n＝2)的接收到的残差属性信息(或称为预测误差属性信息)(r0、r5、r6、r7、r’1、r’4、r’5、r’6、r’7)来重构属性信息(c0、c5、c6、c7、c’1、c’4、c’5、c’6、c’7)，如图25的(c)中所示。根据实施方式，为了重构属性，属性重构单元15003执行在发送侧使用的生成残差属性信息(或称为预测误差属性信息)的方法的逆处理。

当属性重构单元15003重构了关于级别(n＝2)的每个节点的属性信息时，n的值递增1(n＝n+1)(步骤15055)，并且检查n的递增值是否大于(N-1)或目标级别(步骤15056)。确定步骤15055和15056可以由属性重构单元15003或由单独的元件(或部件)执行。

在步骤15056中，n为3并且N-1(N＝3)为2，这意味着重构了关于叶节点的属性信息。因此，由属性重构单元15003重构的属性信息(c0、c5、c6、c7、c’1、c’4、c’5、c’6、c’7)被输出到逆颜色变换单元11010。

如上所述，可以执行递归属性估计。因此，可以以少量的计算几乎与几何解码同时重构属性信息。因此，预计该属性信息可用于需要低延迟的发送/接收系统。也就是说，由于基于八叉树的属性解压缩器11011可以在几何被解码直到叶节点之前得知关于先前级别的预测属性信息和残差属性信息，因此属性信息可以在特定级别被解码时开始重构，而不用等到几何解码完成直到叶节点。

另外，根据解码器的容量、资源的缺乏或显示性能，几何信息和属性信息可以被部分解码并仅渲染直到八叉树的特定级别，或可以被完全解码并渲染直到叶节点级别。由此，可以提供空间可伸缩功能。空间可伸缩性是当点云数据密集并且发送整个八叉树位流同时解码器容量或资源不足或在场景中优选地需要缩略图时，将接收到的基于八叉树的位流仅解码直到特定深度级别并提供低分辨率点云而不是解码整个位流的功能。

具体地，根据本公开，通过递送与pred_level_end字段的值对应的预测级别的预测属性信息并递送与后续预测级别对应的节点的残差属性信息，可以递归地估计关于每个预测级别的属性信息。在这种情况下，可以通过减少所递送的信息量来提高比特效率。

图26是例示了根据本公开的实施方式的基于八叉树的属性编码的流程图。

具体地，使用点云数据当中的几何信息(例如，诸如XYZ坐标或phi-theta坐标这样的位置信息)来生成八叉树结构(步骤16001)。基于在步骤16001中生成的八叉树结构预测几何信息(步骤16002)，并对其进行熵编码以发送几何位流(步骤16003)。

另外，在步骤16001中生成的八叉树结构和点云数据当中的属性信息(例如，颜色、反射率、强度、灰度级、不透明度、介质、材料、光泽度等)被提供到步骤16004。步骤16004递归地执行基于八叉树结构来检测待编码节点的邻居节点、基于关于检测到的邻居节点的属性信息来预测关于对应节点的属性信息、然后基于预测属性信息来估计残差属性信息的处理，如图18至图21中所示。执行属性信息的预测和残差属性信息的估计，以便估计和去除属性之间的相似度。为此目的，在步骤16004中，基于相邻数据的空间分布特性来执行属性信息的预测和残差属性信息的估计。对于根据实施方式的步骤16004的递归属性预测处理的细节，将参考图18至图21的描述，并且为了避免冗余描述，本文中将省略对其的详细描述。

将预测属性信息和残差属性信息变换为适于发送的格式或变换为具有高压缩效率的域(步骤16005)，然后基于量化系数进行量化(步骤16006)。在步骤16005中，可以根据数据类型使用各种变换技术(例如，DCT级数变换、提升变换等)。另选地，预测属性信息和残差属性信息可以不经变换而被直接量化。对在步骤16006中量化的预测属性信息和残差属性信息进行熵编码，以输出属性位流(步骤16007)。

图27是例示了根据本公开的实施方式的基于八叉树的属性解码的流程图。

在通过对接收到的位流当中的几何位流进行熵解码来重新生成八叉树结构(步骤17001)之后，基于重新生成的八叉树结构来重构几何信息(步骤17002)。

接收到的位流当中的属性位流被熵解码(步骤17003)，基于量化系数被反量化(步骤17003)，然后经历逆变换(步骤17004)。在这种情况下，根据在发送侧使用的量化和变换处理，可以使用各种方法进行反量化和逆变换处理。如果发送侧已经在不经变换处理的情况下编码了数据，则跳过步骤17004。在步骤17003中反量化或在步骤17004中逆变换的预测属性信息和残差属性信息以及在步骤17002中重新生成的八叉树结构被提供到步骤17006。步骤17006递归地执行基于重新生成的八叉树结构来检测待解码节点的邻居节点、基于检测到的邻居节点来估计预测属性信息并添加接收到的残差属性信息以重构属性信息的处理，如图22至图25中所示。对于根据实施方式的步骤17006的递归属性估计处理的细节，将参考图22至图25的描述，并且为了避免冗余描述，本文中将省略对其的详细描述。

当使用本公开中提出的基于八叉树的递归属性预测方法时，可以发送以下信令信息以用于解码。

下面定义的信令信息(或信令)可以以参数集(几何参数集(GPS)、属性参数集(APS)、视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图块参数集(TPS)等)为单位被发信号通知和发送，该参数集是关于视频编解码器级别的信息。另外，可以基于诸如切片或图块这样的每个图像的编码单元来将信息发信号通知并发送。根据应用，还可以以诸如文件格式、通过HTTP的动态自适应流传输(DASH)和MPEG媒体传送(MMT)这样的系统级别或诸如高清晰度多媒体接口(HDMI)、显示端口、VESA(视频电子标准协会)和CTA这样的有线接口级别定义该信息。

根据本公开的点云数据可以包括根据实施方式的包括信令信息的SPS、GPS、APS和TPS。点云数据可以包括一个或更多个几何结构和/或属性。点云数据的几何结构和/或属性可以以一个或更多个切片为单位被包括。该几何结构可以具有几何切片头和几何切片数据的结构。

根据实施方式的方法/装置可以发信号通知相关信息，以添加/执行实施方式的操作。可以在发送侧或接收侧使用根据实施方式的信令信息。

图28至32例示了根据本公开的用于发送信令信息和点云数据的语法结构的实施方式。

每个缩写具有以下含义。每个缩写可以用同等含义范围内的另一术语来指代。

SPS：序列参数集；

GPS：几何参数集；

APS：属性参数集；

TPS：图块参数集；

Geom：几何位流＝几何切片头+几何切片数据；

Attr:属性位流＝属性砖头+属性砖数据。

根据实施方式的方法/装置可以将用于基于八叉树的属性预测的信令信息添加到APS并将其发信号通知。

根据实施方式的方法/装置提供了图块或切片，使得点云可以被划分为区域并被处理。

因此，当点云被划分为切片时，根据实施方式的方法/装置可以针对每个切片发信号通知用于基于八叉树的属性预测的信令信息。

图28示出了根据实施方式的属性参数集(attribute_paramter_set())的示例性语法结构。

aps_attr_parameter_set_id字段指示用于识别属性参数集信息的标识符(ID)。

aps_seq_parameter_set_id字段指示用于识别序列参数集信息的标识符(ID)。

attr_coding_type字段指示用于属性编码的属性编码类型。可以根据属性编码类型发信号通知属性预测相关参数。例如，在attr_coding_type字段的值当中，0可以指示预测变换，1可以指示提升变换，2可以指示RAHT，并且3可以指示基于八叉树的属性压缩。

在图28中，pred_level_start字段、pred_level_end字段、num_level_levels字段、pred_node_size_log2_minus1字段、pred_type字段、recon_type字段、quant_step_size_pred字段、quant_step_size_res字段、quant_step_chroma_pred字段、quant_step_chroma_res字段和transform_type字段携带当attr_coding_type字段的值为3时发信号通知的信息。

pred_level_start字段可以指示预测级别的起始点。当如在本公开的实施方式中与八叉树结构关联地执行属性编码时，可以指示八叉树结构中的深度(从根节点到叶节点的深度级别)当中属性预测开始的点(通常是叶节点)。

pred_level_end字段可以指示预测级别的结束点。当如在本公开的实施方式中与八叉树结构关联地执行属性编码时，可以指示八叉树结构中的深度(从根节点到叶节点的深度级别)当中属性预测结束的点(通常是根节点)。作为另一示例，可以指示发送残差属性信息(残差值)的八叉树深度当中的最后深度。作为另一示例，可以指示发送预测属性信息(预测值)的八叉树深度。

num_pred_levels字段指示预测级别的数目。

根据应用领域，不仅可以指示预测级别的起始点和结束点，而且还可以指示提供残差属性信息的预测级别。

pred_node_size_log2_minus1字段指示配置邻居的单元大小。例如，当基于每个父节点定义邻居时，pred_node_size_log2_minus1字段可以被定义为具有值零(0)。当其中配置邻居的单元改变时，定义用于属性预测的预测范围的邻居节点的大小被如下式13中地定义。

[式13]

s＝2^{pred node size log2 minus1+1}

根据应用字段，pred_node_size_log2_minus1字段的值可以根据级别而被不同地应用。

pred_type字段指示用于基于映射到检测到的邻居节点的属性信息进行对应节点的属性预测的方法的预测类型。例如，可以发信号通知先前约定使用的预测方法，如平均值、中值滤波器、加权平均值、属性、基于率失真优化(RDO)的估计或节点采样。例如，当pred_type字段的值指示平均值时，可以如下式14中地执行属性预测。在式14中，(x，y，z)表示几何位置，p表示预测属性值，c表示原始属性值，N表示操作中使用的节点的数目，并且表示a除以b得到的商。

[式14]

recon_type字段指示用于基于预测属性信息来估计残差属性信息的方法。作为示例，可以使用诸如减法或加权减法这样的方法。可以发信号通知实际用于操作的方法。

quant_step_size_pred字段、quant_step_size_residual字段、quant_step_chroma_pred字段和quant_step_chroma_residual字段指示用于根据诸如预测属性信息、残差属性信息和亮度/色度这样的数据类型和/或数据特性进行量化的量化系数(q)。

transform_type字段指示用于发送预测属性信息和残差属性信息(即，预测误差属性信息)的变换方法。作为示例，可以使用诸如DCT、DST或小波这样的变换方法。

因此，接收侧的反量化单元11006对基于quant_step_size_pred字段、quant_step_size_residual字段、quant_step_chroma_pred字段和quant_step_chroma_residual字段来预测的属性信息和/或残差属性信息执行反量化，基于在transform_type字段中发信号通知的变换方法对反量化后的预测属性信息和/或残差属性信息执行变换。

另外，接收侧的基于八叉树的属性解压缩器11011基于八叉树结构和pred_level_start字段、pred_level_end字段、num_level_levels字段、pred_node_size_log2_minus1字段、pred_type字段和recon_type字段的值来执行递归属性估计。也就是说，它通过迭代地执行以下处理来估计关于叶节点级别或目标级别处的被占用节点的属性信息：在从n＝1至n＝[N-1或目标级别]的级别当中检测全部或一些级别的邻居节点，基于检测到的邻居节点来预测属性信息，然后基于预测属性信息和接收到的残差属性信息来重构属性信息。

图28的属性参数集(attribute_parameter_set())还包括aps_extension_present_flag字段。当aps_extension_present_flag字段的值为1时，指示在APS RBSP语法结构中存在aps_extension_data语法结构。当aps_extension_present_flag字段的值为0时，指示不存在以上提到的语法结构。

图29示出了根据实施方式的通用属性位流(general_attribute_bitstream())的示例性语法结构。

图29示出了根据本公开的用于由点云视频编码器(参见图4或图18)逐切片地发送基于八叉树来编码的属性信息的通用属性位流的语法结构的实施方式。

通用属性位流(general_attribute_bitstream())包括attribute_slice_header()和attribute_slice_data()。

图30示出了图29的attribute_slice_header()的语法结构的实施方式。

图30的attribute_slice_header()包括abh_attr_parameter_set_id字段、abh_attr_sps_attr_idx字段和byte_alignment()。

abh_attr_parameter_set_id字段指定包括与属性位流相关的信息的APS的指示符。

abh_attr_sps_attr_idx字段指定用于指示属性维度的索引。例如，当abh_attr_sps_attr_idx字段的值为0时，可以指示反射率，并且属性维度可以指示1。作为另一示例，当abh_attr_sps_attr_idx字段的值为1时，可以指示颜色并且属性维度可以指示3。

图31示出了图29的attribute_slice_data()的语法结构的实施方式。

维度字段基于属性切片头中的abh_attr_sps_attr_idx字段的值指示属性的维度。

另外，attribute_slice_data()包括用于发送根据指示属性编码类型的attr_coding_type字段的值压缩的属性信息的位流描述符。

例如，当attr_coding_type字段的值为0(指示预测变换)时，包括PredictingWeight_Lifting_bitstream(维度)描述符。当该字段的值为1(指示提升变换)时，包括RAHT_bitstream(维度)描述符。当该字段的值为2(指示RAHT)时，包括FixedWeight_Lifting_bitstream(维度)描述符。当attr_coding_type字段的值为3(指示基于八叉树的属性压缩)时，包括用于发送基于八叉树的预测属性信息和残差属性信息的GeometricAttributeCoding_bitstream(维度)描述符。

图32示出了图31的GeometricAttributeCoding_bitstream(维度)描述符的语法结构的实施方式。

GeometricAttributeCoding_bitstream(维度)描述符包括被迭代与在属性参数集中发信号通知的(num_pred_levels字段中的)预测级别的数目一样多的次数的第一循环。第一循环包括num_nodes字段和第二循环，第二循环被迭代与num_nodes字段的值一样多的次数。根据实施方式，第二循环包括被迭代与维度字段的值一样多的次数的第三循环。第三循环包括value[k][i]字段。

num_nodes字段指示根据预测级别的节点的数目。

value字段指示针对每个节点递送的预测属性信息或残差属性信息(也称为预测误差属性信息或预测误差属性值)。在实施方式中，在由基于八叉树的属性压缩器40013预测的属性信息和/或估计的残差属性信息可以由系数量化单元40008变换和量化并由算术编码器40012进行熵编码之后，它们可以通过value字段发送。

当必要时，可以独立发送预测属性信息和残差属性信息。如在本公开的实施方式中，可以针对与pred_level_end字段的值对应的预测级别发送预测属性信息，并且可以针对与先前预测级别对应的节点发送残差属性信息，使得关于每个预测级别的属性信息可以被递归地估计。在这种情况下，可以通过减少所发送信息的条数来增加位效率。

如上所述，当基于本公开压缩点云数据时，发送系统可以基于少量的计算来压缩属性信息。具体地，本公开极有可能用在要求低延迟的发送系统中。另外，压缩用于各种容量的解码器的信息可以通过一个位流支持各种容量的接收器，而不是生成或存储适于每个解码器容量的独立压缩信息，因此可以在发送系统的存储空间和位效率方面有优势。

基于本公开的接收压缩后的点云数据的接收系统可以以少量的计算几乎与几何解码同时重构属性信息。因此，可以在要求低延迟的发送/接收系统中使用该信息。另外，当选定了属性信息的输出级别时，即使具有低计算能力的接收系统也可以被允许不延迟地输出适于接收系统容量的属性信息。

例如，根据用于属性解码和重构的接收系统的容量或系统要求，可以输出不同的结果，如图33中所示。在这种情况下，每个级别的解码或重构的属性可以用作与该级别的八叉树节点匹配的属性值。

也就是说，图33例示了当根据接收系统的容量输出不同级别的几何结构时的实施方式。当如图33中所示从八叉树的较高级别表示几何结构时，可以逐渐添加点之间的信息，或者点逐渐变得稀疏，最后可以表示叶节点，如图33中所示。接收系统可以通过根据本公开提供的信令信息，根据接收系统的容量来选择并输出图33的步骤之一。

图34例示了当根据接收系统的容量输出不同级别的属性时的实施方式。

当如图33中所示选择性输出几何结构的分辨率时，也可以选择性输出属性的分辨率。当选择性输出属性信息时，属性的细节可以从右到左地逐渐增加，如图34中所示。接收系统可以选择并输出级别与从图33的几何结构或对应细节中选择的级别相同的属性。在这种情况下，属性可以与几何结构中所指示的八叉树节点匹配，或者可以匹配实际被占用叶节点的位置处的属性。

上述每个部分、模块或单元可以是执行存储在存储器(或存储单元)中的连续过程的软件、处理器或硬件部分。在以上实施方式中描述的步骤中的每一个可以由处理器、软件或硬件部分执行。在以上实施方式中描述的每个模块/块/单元可以作为处理器、软件或硬件操作。另外，实施方式提出的方法可以被作为代码执行。该代码可以被写在处理器可读存储介质上，并因此被由装置提供的处理器读取。

在说明书中，当部分“包括”或“包含”元件时，这意味着，该部分还包含或包括另一个元件，除非另外提到。另外，说明书中公开的术语“...模块(或单元)”意指用于处理至少一个功能或操作的单元，并且可以由硬件、软件或硬件与软件的组合来实现。

尽管为了简便起见参考附图中的每一个说明了实施方式，但可以通过合并在附图中例示的实施方式来设计新的实施方式。如果本领域的技术人员设计出其中记录有用于执行以上描述中提到的实施方式的程序的计算机可读的记录介质，则其可以落入所附权利要求书及其等同物的范围内。

设备和方法不受上述实施方式的配置和方法的限制。上述实施方式可以通过完全或部分地选择性地相互组合来配置，以使得能够进行各种修改。

尽管已经参考附图描述了优选实施方式，但本领域技术人员将领会，在不脱离在所附权利要求书中描述的本公开的精神或范围的情况下，可以在实施方式中进行各种修改和变型。这种修改将不被独立于实施方式的技术思路或观点进行理解。

实施方式的设备的各种元件可以由硬件、软件、固件或其组合来实现。实施方式中的各种元件可以由单个芯片(例如，单个硬件电路)来实现。根据实施方式，根据实施方式的部件可以被分别实现为单独的芯片。根据实施方式，根据实施方式的设备的部件中的至少一个或更多个可以包括能够执行一个或更多个程序的一个或更多个处理器。所述一个或更多个程序可以执行根据实施方式的操作/方法中的任一个或更多个，或包括用于执行其的指令。用于执行根据实施方式的设备的方法/操作的可执行指令可以被存储在被配置为由一个或更多个处理器执行的非暂态CRM或其它计算机程序产品中，或可以被存储在被配置为将由一个或更多个处理器执行的暂态CRM或其它计算机程序产品中。另外，根据实施方式的存储器可以被用作不仅涵盖易失性存储器(例如，RAM)而且涵盖非易失性存储器、闪存存储器和PROM的概念。另外，它还可以按诸如通过互联网发送这样的载波的形式实现。另外，处理器可读记录介质可以分布于通过网络连接的计算机系统，使得处理器可读代码可以以分布方式来存储和执行。

在本文中，术语“/”和“，”应该被解释为指示“和/或”。例如，表述“A/B”可以意指“A和/或B”。另外，“A、B”可以意指“A和/或B”。另外，“A/B/C”可以意指“A、B和/或C中的至少一者”。“A、B、C”也可以意指“A、B和/或C中的至少一者”。

另外，在本文中，术语“或”应该被解释为“和/或”。例如，表述“A或B”可以意指1)仅A、2)仅B和/或3)A和B二者。换句话说，本文中的术语“或”应该被解释为“另外地或另选地”。

实施方式的设备的各种元件可以由硬件、软件、固件或其组合来实现。实施方式中的各种元件可以由诸如单个硬件电路这样的单个芯片来实施。根据实施方式，元件可以分别由单独的芯片选择性实施。根据实施方式，可以在包括用于执行根据实施方式的操作的指令的一个或更多个处理器中实施在实施方式的元件中的至少一者。

可以使用诸如第一和第二这样的术语来描述实施方式的各种元件。然而，根据实施方式的各种部件不应该受以上术语限制。这些术语只是用于将一个元件与另一个区分开。例如，第一用户输入信号可以被称为第二用户输入信号。类似地，第二用户输入信号可以被称为第一用户输入信号。这些术语的使用应该被解释为不脱离各种实施方式的范围。第一用户输入信号和第二用户输入信号二者都是用户输入信号，但不意指相同的用户输入信号，除非上下文另有明确指示。

用于描述实施方式的术语仅是出于描述特定实施方式的目的使用的，并不旨在是限制实施方式。如对实施方式的描述和权利要求书中所使用的，单数形式“一”、“一个”和“所述”包括复数指示物，除非上下文另有明确规定。表述“和/或”用于包括所有可能的术语组合。诸如“包括”或“具有”这样的术语旨在指示图、数字、步骤、元件和/或部件的存在，并应当被理解为不排除存在另外的图形、数字、步骤、元件和/或部件的可能性。

如本文中使用的，诸如“如果”和“当”这样的条件表述不限于可选情况，而旨在当满足特定条件时被解释为根据特定条件执行相关操作或解释相关定义。

本发明的模式

如上所述，已经以执行实施方式的最佳模式描述了相关内容。

工业实用性

如上所述，实施方式可以完全或部分应用于点云数据发送/接收装置和系统。本领域的技术人员将清楚，可以在实施方式的范围内对实施方式进行各种改变或修改。因此，实施方式旨在涵盖本公开的修改形式和变形形式，前提是它们落入所附权利要求书及其等同物的范围内。

Claims (18)

1.一种发送点云数据的方法，该方法包括以下步骤：

获取由点构成的点云数据；

对所述点云数据中包括的几何信息进行编码，其中，对所述几何信息进行编码包括：基于所述几何信息生成八叉树结构，以及对所述几何信息进行熵编码；

对所述点云数据中包括的属性信息进行编码；以及

发送编码后的几何信息和编码后的属性信息，

其中，对所述属性信息进行编码包括：

基于所述八叉树结构来选择针对待编码点的属性信息的邻居点；

将所述邻居点中的至少一个的属性信息设置为所述待编码点的预测属性信息；以及

基于所述待编码点的所述属性信息和所述预测属性信息来获得残差属性信息。

2.根据权利要求1所述的方法，其中，对所述几何信息进行编码包括：

对所述几何信息进行量化；

基于量化后的几何信息来生成所述八叉树结构；

近似所述八叉树结构；

基于生成的八叉树结构和近似的八叉树结构来重构几何信息；以及

对所述生成的八叉树结构或所述近似的八叉树结构的占用码进行熵编码，由此输出几何位流。

3.根据权利要求2所述的方法，其中，对所述属性信息进行编码包括：

基于所述八叉树结构和所述属性信息，从所述八叉树结构的起始预测级别到结束预测级别递归地检测所述待编码点的邻居点；

基于检测到的所述邻居点来预测属性信息并估计残差属性信息；

输出所述结束预测级别的预测属性信息和所述结束预测级别的先前预测级别的残差属性信息；

基于量化系数来量化输出的所述预测属性信息和输出的所述残差属性信息；以及

通过对所述量化后的预测属性信息和量化后的估计的残差属性信息进行熵编码来发送属性位流。

4.根据权利要求3所述的方法，其中，所述属性位流还包括信令信息，

其中，所述信令信息包括用于识别所述八叉树结构的所述起始预测级别的信息、用于识别所述八叉树结构的所述结束预测级别的信息或用于识别预测级别的数目的信息中的至少一者。

5.根据权利要求3所述的方法，其中：

所述八叉树结构的所述起始预测级别是与所述八叉树结构的最低层相对应的叶节点级别；并且

所述八叉树结构的所述结束预测级别是与所述八叉树结构的最高层相对应的根节点。

6.一种用于发送点云数据的设备，该设备包括：

获取器，该获取器被配置为获取由点构成的点云数据；

几何编码器，该几何编码器被配置为对所述点云数据中包括的几何信息进行编码，其中，所述几何编码器基于所述几何信息生成八叉树结构并对所述几何信息进行熵编码；

属性编码器，该属性编码器被配置为对所述点云数据中包括的属性信息进行编码；以及

发送器，该发送器被配置为发送编码后的几何信息和编码后的属性信息，

其中，对所述属性编码器基于所述八叉树结构来选择针对待编码点的属性信息的邻居点，将所述邻居点中的至少一个的属性信息设置为所述待编码点的预测属性信息，并且基于所述待编码点的所述属性信息和所述预测属性信息来获得残差属性信息。

7.根据权利要求6所述的设备，其中，所述几何编码器包括：

量化器，该量化器被配置为量化所述几何信息；

八叉树分析器，该八叉树分析器被配置为基于量化后的几何信息来生成所述八叉树结构；

近似分析器，该近似分析器被配置为近似所述八叉树结构；

几何重构器，该几何重构器被配置为基于生成的八叉树结构和所近似的八叉树结构来重构几何信息；以及

算术编码器，该算术编码器被配置为对所述生成的八叉树结构或所述近似的八叉树结构的占用码进行熵编码，由此输出几何位流。

8.根据权利要求7所述的设备，其中，所述属性编码器包括：

属性压缩器，该属性压缩器被配置为：

基于所述八叉树结构和所述属性信息，从所述八叉树结构的起始预测级别到结束预测级别递归地检测所述待编码点的邻居点；

基于检测到的所述邻居点来预测属性信息；

估计残差属性信息；以及

输出所述结束预测级别的预测属性信息和所述结束预测级别的先前预测级别的残差属性信息；

量化器，该量化器被配置为基于量化系数来量化输出的所述预测属性信息和输出的所述残差属性信息；以及

算术编码器，该算术编码器被配置为通过对所述量化后的预测属性信息和量化后的估计的残差属性信息进行熵编码来发送属性位流。

9.根据权利要求8所述的设备，其中，所述属性位流还包括信令信息，

其中，所述信令信息包括用于识别所述八叉树结构的起始预测级别的信息、用于识别所述八叉树结构的结束预测级别的信息或用于识别预测级别的数目的信息中的至少一者。

10.根据权利要求9所述的设备，其中：

所述八叉树结构的起始预测级别是与所述八叉树结构的最低层相对应的叶节点级别；并且

所述八叉树结构的结束预测级别是与所述八叉树结构的最高层相对应的根节点。

11.一种接收点云数据的方法，该方法包括以下步骤：

接收编码后的几何信息、编码后的属性信息和信令信息；

对所述几何信息进行解码，其中，对所述几何信息进行解码包括：对所述几何信息进行熵解码，基于熵解码后的几何信息来生成八叉树结构，以及恢复所述几何信息；

基于所述八叉树结构和所述信令信息来对所述属性信息进行解码；以及

通过处理所述解码后的几何信息和所述解码后的属性信息来渲染由点构成的点云数据，

其中，对所述属性信息进行解码包括：

基于所述八叉树结构和所述信令信息来获取待解码点的预测属性信息；以及

基于所述编码后的属性信息中的残差属性信息和所述预测属性信息来恢复所述待解码点的属性信息。

12.根据权利要求11所述的方法，其中，对所述几何信息进行解码包括：

基于所述几何信息中包括的占用码来生成所述八叉树结构。

13.根据权利要求12所述的方法，其中，对所述属性信息进行解码包括：

基于所述八叉树结构的结束预测级别的预测属性信息以及所述八叉树结构的所述结束预测级别的先前预测级别的残差属性信息来从所述八叉树结构的所述结束预测级别到起始预测级别递归地检测所述待解码点的邻居点，并基于以检测到的所述邻居点为基础预测的所述属性信息和对应预测级别的所述残差属性信息来重构对应级别的属性信息。

14.根据权利要求13所述的方法，其中，所述信令信息包括用于识别所述八叉树结构的所述起始预测级别的信息、用于识别所述八叉树结构的所述结束预测级别的信息或用于识别预测级别的数目的信息中的至少一者。

15.根据权利要求13所述的方法，其中：

所述八叉树结构的所述起始预测级别是与所述八叉树结构的最低层相对应的叶节点级别；并且

所述八叉树结构的所述结束预测级别是与所述八叉树结构的最高层相对应的根节点。

16.一种用于接收点云数据的设备，该设备包括：

接收器，该接收器被配置为接收编码后的几何信息、编码后的属性信息和信令信息；

几何解码器，该几何解码器被配置为对所述几何信息进行解码，其中，所述几何解码器对所述几何信息进行熵解码，基于熵解码后的几何信息来生成八叉树结构，并且恢复所述几何信息；

属性解码器，该属性解码器被配置为基于所述八叉树结构和所述信令信息来对所述属性信息进行解码；以及

渲染器，该渲染器被配置为通过处理解码后的几何信息和解码后的属性信息来渲染由点构成的点云数据，

其中，所述属性解码器基于所述八叉树结构和所述信令信息来获取待解码点的预测属性信息，并且基于所述编码后的属性信息中的残差属性信息和所述预测属性信息来恢复所述待解码点的属性信息。

17.根据权利要求16所述的设备，其中：

所述几何解码器基于所述几何信息中包括的占用码来生成所述八叉树结构；并且

所述属性解码器被配置为：

基于所述八叉树结构的结束预测级别的预测属性信息以及所述八叉树结构的所述结束预测级别的先前预测级别的残差属性信息，从所述八叉树结构的所述结束预测级别到起始预测级别递归地检测所述待解码点的邻居点，并且

基于以检测到的所述邻居点为基础预测的所述属性信息和对应预测级别的所述残差属性信息来重构对应级别的属性信息。

18.根据权利要求17所述的设备，其中，所述信令信息包括用于识别所述八叉树结构的所述起始预测级别的信息、用于识别所述八叉树结构的所述结束预测级别的信息或用于识别预测级别的数目的信息中的至少一者。