CN114051730A

CN114051730A - 处理点云数据的设备和方法

Info

Publication number: CN114051730A
Application number: CN202080048759.0A
Authority: CN
Inventors: 吴炫默; 吴世珍
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2019-07-01
Filing date: 2020-07-01
Publication date: 2022-02-15
Also published as: WO2021002665A1; JP2022538857A; EP3971832A4; US20220360823A1; JP7440546B2; EP3971832A1

Abstract

根据实施例的一种用于处理点云数据的设备可以包括以下步骤：对包括几何信息和属性信息的点云数据进行编码；以及发送包括编码的点云数据的比特流。

Description

处理点云数据的设备和方法

技术领域

本公开提供一种用于提供点云内容以向用户提供诸如虚拟现实(VR)、增强现实(AR)、混合现实(MR)和自驾驶服务的各种服务的方法。

背景技术

点云内容是由点云表示的内容，其是属于表示三维空间的坐标系的点的集合。点云内容可表达以三个维度配置的媒体，并且用于提供诸如虚拟现实(VR)、增强现实(AR)、混合现实(MR)和自驾驶服务的各种服务。然而，需要数万至数十万的点数据来表示点云内容。因此，需要一种用于有效地处理大量点数据的方法。

发明内容

技术问题

实施例提供一种用于有效地处理点云数据的设备和方法。实施例提供一种用于解决时延和编码/解码复杂度的点云数据处理方法和设备。

实施例的技术范围不限于前述技术目的，并且可以扩展至本领域的技术人员基于本文所公开的整个内容可推断出的其它技术目的。

技术方案

为了实现这些目的和其它优点并且根据本公开的目的，在一些实施例中，一种用于处理点云数据的方法可以包括：对包括几何信息和属性信息的点云数据进行编码，以及发送包括编码的点云数据的比特流。

在一些实施例中，几何信息可以表示点云数据的点的位置，并且属性信息可以表示点云数据的点的属性。

在一些实施例中，对点云数据进行编码包括：对几何信息进行编码；以及对属性信息进行编码。对属性信息进行编码包括：接收几何信息的八叉树结构；以及通过将八叉树结构的每个级别与一个或多个属性匹配来生成着色的八叉树。

在一些实施例中，八叉树结构可以由一个或多个级别来表示，并且着色的八叉树被用于对属性信息进行编码以用于部分或整个属性信息的可缩放表示。

在一些实施例中，着色的八叉树可以通过下述来生成：将一个或多个属性与八叉树结构的叶节点匹配，以及将与叶节点匹配的一个或多个属性与除了叶节点以外的节点匹配。在一些实施例中，着色的八叉树可以通过下述生成：通过从八叉树结构的根节点步进(step)到叶节点，将一个或多个属性与除了叶节点之外的节点匹配。

在一些实施例中，信令信息可以包括表示是否比特流包括与八叉树结构的完整级别或者八叉树结构的部分级别对应的数据的信息。

在一些实施例中，对属性信息进行编码包括移除与着色的八叉树匹配的数据的重复数据。

为了有效地处理点云数据，并且根据本公开的目的，在一些实施例中，一种用于处理点云数据的方法可以包括：接收包括点云数据的比特流；以及对点云数据进行解码。

在一些实施例中，对点云数据进行解码包括：对几何信息进行解码；以及对属性信息进行解码。

在一些实施例中，信令信息可以包括表示是否比特流包括与八叉树结构的完整级别或者八叉树结构的部分级别对应的数据的信息。在一些实施例中，对属性信息进行解码包括：基于该信息，生成着色的八叉树以对属性信息进行编码，以用于点云数据的可缩放表示。

有益效果

根据实施例的设备和方法可以高效地处理点云数据。

根据实施例的设备和方法可以提供高质量点云服务。

根据实施例的设备和方法可以提供点云内容以提供诸如VR服务和自驾驶服务的通用服务。

根据实施例的点云数据发送设备可以根据重要性应用不同的编码操作，并为重要区域使用高质量的编码方法。此外，其可以根据点云的特性支持高效的编码/解码和传输，并且根据用户需求提供属性值。

根据实施例的点云数据发送设备和接收设备可以以逐图块和/或逐切片为单位独立或非独立地执行编码和解码，从而防止错误在编码和解码过程中累积。

根据实施例的点云数据发送设备可以生成着色的八叉树来编码和发送属性信息，并且因此即使当八叉树结构没有被完全编码时也可以执行属性编码。因此，可以解决需要高速处理的系统中不必要的延迟问题。

根据实施例的点云数据接收设备可以接收和解码着色的八叉树，并且因此即使在属性信息没有被完全解码时也可以执行属性解码。从而，可以实现可缩放解码。

附图说明

附图被包括以提供本公开的进一步理解，并且被并入本申请中且构成本申请的一部分，附图图示本公开的实施例并与描述一起用于说明本公开的原理。

为了更好地理解下面描述的各种实施例，应该结合附图参考以下实施例的描述。在附图中：

图1示出根据实施例的示例性点云内容提供系统。

图2是图示根据实施例的点云内容提供操作的框图。

图3图示根据实施例的捕获点云视频的示例性处理。

图4图示根据实施例的示例性点云编码器。

图5示出根据实施例的体素的示例。

图6示出根据实施例的八叉树和占用码的示例。

图7示出根据实施例的邻居节点图案的示例。

图8图示根据实施例的每个LOD中的点配置的示例。

图9图示根据实施例的每个LOD中的点配置的示例。

图10图示根据实施例的示例性点云解码器。

图11图示根据实施例的示例性点云解码器。

图12图示根据实施例的示例性发送设备。

图13图示根据实施例的示例性接收设备。

图14图示根据实施例的用于流传输基于G-PCC的点云数据的架构。

图15图示根据实施例的示例性点云发送设备。

图16图示根据实施例的示例性点云接收设备。

图17示出根据实施例的与用于发送和接收点云数据的方法/设备可操作地连接的示例性结构。

图18图示根据实施例的点云编码器。

图19图示根据实施例的八叉树和着色的八叉树。

图20图示根据实施例的点云数据编码器。

图21图示根据实施例的生成着色的八叉树的过程。

图22图示对八叉树结构的叶节点进行着色的操作。

图23图示根据实施例的其中根据实施例的编码器检测邻居的过程。

图24示出根据实施例的被用于根据实施例的编码器基于邻居将属性信息匹配到父节点的等式。

图25图示根据实施例的由编码器移除属性信息被匹配到的八叉树中的重复属性的操作。

图26图示根据实施例的编码器的操作。

图27示出根据实施例的点云数据的示例性比特流结构。

图28示出根据实施例的属性参数集(APS)。

图29图示根据实施例的属性比特流。

图30图示用于可缩放表示的根据实施例的点云数据发送设备和接收设备的操作。

图31图示根据实施例的点云数据解码器。

图32图示根据实施例的点云数据解码器。

图33图示其中根据实施例的点云数据接收设备生成着色的八叉树的过程。

图34图示根据实施例的由点云数据解码器执行的属性到节点匹配的操作。

图35图示根据实施例的其中根据实施例的接收设备执行位置估计的过程。

图36图示其中根据实施例的点云数据解码器生成着色的八叉树的过程的另一实施例。

图37图示根据实施例的由点云数据解码器为可缩放表示进行解码的过程。

图38图示根据实施例的由点云数据解码器为可缩放表示进行解码的过程。

图39图示根据实施例的点云数据传输操作。

图40图示根据实施例的点云数据接收操作。

具体实施方式

现在将详细参考本公开的优选实施例，其示例在附图中被图示。下面将参考附图给出的详细描述旨在解释本公开的示例性实施例，而非示出可以根据本公开实现的仅有实施例。以下详细描述包括具体细节以便于提供本公开的彻底理解。然而，对于本领域的技术人员而言将显而易见的是，本公开可以在没有这些具体细节的情况下实践。

尽管本公开中使用的大多数术语已经选自本领域中广泛使用的通用术语，但是一些术语已经由申请人任意选择并且在以下描述中根据需要详细说明其含义。因此，本公开应该基于术语的预期含义而非其简单名称或含义来理解。

图1示出根据实施例的示例性点云内容提供系统。

图1中所图示的点云内容提供系统可以包括发送设备10000和接收设备10004。发送设备10000和接收设备10004能够有线或无线通信以发送和接收点云数据。

根据实施例的点云数据发送设备10000可以取得(secure)和处理点云视频(或点云内容)并将其发送。根据实施例，发送设备10000可以包括固定站、基站收发器系统(BTS)、网络、人工智能(AI)设备和/或系统、机器人、AR/VR/XR设备和/或服务器。根据实施例，发送设备10000可以包括被配置成使用无线电接入技术(例如，5G新RAT(NR)、长期演进(LTE))与基站和/或其它无线设备执行通信的设备、机器人、车辆、AR/VR/XR设备、便携式设备、家用电器、物联网(IoT)设备和AI设备/服务器。

根据实施例的发送设备10000包括点云视频获取器10001、点云视频编码器10002和/或发射器(或通信模块)10003。

根据实施例的点云视频获取器10001通过诸如捕获、合成或生成的处理过程来获取点云视频。点云视频是由点云表示的点云内容，其是被定位在3D空间中的点的集合，并且可以被称为点云视频数据。根据实施例的点云视频可以包括一个或更多个帧。一个帧表示静止图像/图片。因此，点云视频可以包括点云图像/帧/图片，并且可以被称为点云图像、帧或图片。

根据实施例的点云视频编码器10002对所获取的点云视频数据进行编码。点云视频编码器10002可以基于点云压缩编译对点云视频数据进行编码。根据实施例的点云压缩编译可以包括基于几何的点云压缩(G-PCC)编译和/或基于视频的点云压缩(V-PCC)编译或下一代编译。根据实施例的点云压缩编译不限于上述实施例。点云视频编码器10002可以输出包含编码的点云视频数据的比特流。比特流可以不仅包含编码的点云视频数据，而且包含与点云视频数据的编码有关的信令信息。

根据实施例的发射器10003发送包含编码的点云视频数据的比特流。根据实施例的比特流被封装在文件或片段(例如，流片段(streaming segment))中，并且通过诸如广播网络和/或宽带网络的各种网络发送。尽管图中未示出，发送设备10000可以包括被配置成执行封装操作的封装器(或封装模块)。根据实施例，封装器可以包括在发射器10003中。根据实施例，文件或片段可以通过网络发送到接收设备10004，或者存储在数字存储介质(例如，USB、SD、CD、DVD、蓝光、HDD、SSD等)中。根据实施例的发射器10003能够通过4G、5G、6G等网络与接收设备10004(或接收器10005)有线/无线通信。另外，发射器可以根据网络系统(例如，4G、5G或6G通信网络系统)执行必要的数据处理操作。发送设备10000可以按照按需方式发送封装的数据。

根据实施例的接收设备10004包括接收器10005、点云视频解码器10006和/或渲染器10007。根据实施例，接收设备10004可以包括被配置成使用无线电接入技术(例如，5G新RAT(NR)、长期演进(LTE))与基站和/或其它无线设备执行通信的设备、机器人、车辆、AR/VR/XR设备、便携式设备、家用电器、物联网(IoT)设备和AI设备/服务器。

根据实施例的接收器10005从网络或存储介质接收包含点云视频数据的比特流或者其中封装比特流的文件/片段。接收器10005可以根据网络系统(例如，4G、5G、6G等的通信网络系统)执行必要的数据处理。根据实施例的接收器10005可以将所接收的文件/片段解封装并输出比特流。根据实施例，接收器10005可以包括被配置成执行解封装操作的解封装器(或解封装模块)。解封装器可以被实现为与接收器10005分离的元件(或组件)。

点云视频解码器10006将包含点云视频数据的比特流解码。点云视频解码器10006可以根据点云视频数据被编码的方法(例如，以点云视频编码器10002的操作的逆过程)来将点云视频数据解码。因此，点云视频解码器10006可以通过执行点云解压缩编译来将点云视频数据解码，该点云解压缩编译是点云压缩的逆过程。点云解压缩编译包括G-PCC编译。

渲染器10007渲染解码的点云视频数据。渲染器10007可以通过不仅渲染点云视频数据，而且渲染音频数据来输出点云内容。根据实施例，渲染器10007可以包括被配置成显示点云内容的显示器。根据实施例，显示器可以被实现为单独的设备或组件而非包括在渲染器10007中。

图中由虚线指示的箭头表示接收设备10004所获取的反馈信息的传输路径。反馈信息是反映与消费点云内容的用户的交互性的信息，并且包括关于用户的信息(例如，头定向信息、视口信息等)。具体地，当点云内容是用于需要与用户交互的服务(例如，自驾驶服务等)的内容时，反馈信息可以被提供给内容发送方(例如，发送设备10000)和/或服务提供商。根据实施例，反馈信息可以在接收设备10004以及发送设备10000中使用，或者可以不提供。

根据实施例的头定向信息是关于用户的头位置、定向、角度、运动等的信息。根据实施例的接收设备10004可以基于头定向信息来计算视口信息。视口信息可以是关于用户正在观看的点云视频的区域的信息。视点是用户通过其观看点云视频的点，并且可以指代视口区域的中心点。即，视口是以视点为中心的区域，并且区域的尺寸和形状可以由视场(FOV)确定。因此，除了头定向信息之外，接收设备10004还可以以基于设备所支持的垂直或水平FOV来提取视口信息。另外，接收设备10004执行凝视分析等以检查用户消费点云的方式、点云视频中用户凝视的区域、凝视时间等。根据实施例，接收设备10004可以将包括凝视分析结果的反馈信息发送到发送设备10000。根据实施例的反馈信息可以在渲染和/或显示过程中获取。根据实施例的反馈信息可以由包括在接收设备10004中的一个或更多个传感器取得。根据实施例，反馈信息可以由渲染器10007或单独的外部元件(或设备、组件等)取得。图1中的虚线表示发送渲染器10007所取得的反馈信息的过程。点云内容提供系统可以基于反馈信息来处理(编码/解码)点云数据。因此，点云视频数据解码器10006可以基于反馈信息来执行解码操作。接收设备10004可以将反馈信息发送到发送设备10000。发送设备10000(或点云视频数据编码器10002)可以基于反馈信息来执行编码操作。因此，点云内容提供系统可以基于反馈信息有效地处理必要数据(例如，与用户的头位置对应的点云数据)而非处理(编码/解码)整个点云数据，并将点云内容提供给用户。

根据实施例，发送设备10000可以被称为编码器、发送设备、发射器等，并且接收设备10004可以被称为解码器、接收设备、接收器等。

根据实施例的图1的点云内容提供系统中(通过获取/编码/传输/解码/渲染的一系列过程)处理的点云数据可以被称为点云内容数据或点云视频数据。根据实施例，点云内容数据可以用作涵盖与点云数据有关的元数据或信令信息的概念。

图1所图示的点云内容提供系统的元件可以由硬件、软件、处理器和/或其组合实现。

图2是图示根据实施例的点云内容提供操作的框图。

图2的框图示出图1中描述的点云内容提供系统的操作。如上所述，点云内容提供系统可以基于点云压缩编译(例如，G-PCC)来处理点云数据。

根据实施例的点云内容提供系统(例如，点云发送设备10000或点云视频获取器10001)可以获取点云视频(20000)。点云视频由属于用于表达3D空间的坐标系的点云表示。根据实施例的点云视频可以包括Ply(Polygon文件格式或斯坦福三角形(StanfordTriangle)格式)文件。当点云视频具有一个或更多个帧时，所获取的点云视频可以包括一个或更多个Ply文件。Ply文件包含诸如点几何和/或属性的点云数据。几何包括点的位置。每个点的位置可以由表示三维坐标系(例如，由X、Y和Z轴组成的坐标系)的参数(例如，X、Y和Z轴的值)表示。属性包括点的属性(例如，关于每个点的纹理、颜色(YCbCr或RGB)、反射率r、透明度等的信息)。点具有一个或更多个属性。例如，点可以具有作为颜色的属性或者颜色和反射率两个属性。根据实施例，几何可以被称为位置、几何信息、几何数据等，并且属性可以被称为属性、属性信息、属性数据等。点云内容提供系统(例如，点云发送设备10000或点云视频获取器10001)可以从与点云视频获取过程有关的信息(例如，深度信息、颜色信息等)取得点云数据。

根据实施例的点云内容提供系统(例如，发送设备10000或点云视频编码器10002)可以对点云数据进行编码(20001)。点云内容提供系统可以基于点云压缩编译对点云数据进行编码。如上所述，点云数据可以包括点的几何和属性。因此，点云内容提供系统可以执行对几何进行编码的几何编码并输出几何比特流。点云内容提供系统可以执行对属性进行编码的属性编码并输出属性比特流。根据实施例，点云内容提供系统可以基于几何编码来执行属性编码。根据实施例的几何比特流和属性比特流可以被复用并作为一个比特流输出。根据实施例的比特流还可以包含与几何编码和属性编码有关的信令信息。

根据实施例的点云内容提供系统(例如，发送设备10000或发射器10003)可以发送编码的点云数据(20002)。如图1中所图示，编码的点云数据可以由几何比特流和属性比特流表示。另外，编码的点云数据可以与点云数据的编码相关的信令信息(例如，与几何编码和属性编码有关的信令信息)一起以比特流的形式发送。点云内容提供系统可以将承载编码的点云数据的比特流封装并以文件或片段的形式将其发送。

根据实施例的点云内容提供系统(例如，接收设备10004或接收器10005)可以接收包含编码的点云数据的比特流。另外，点云内容提供系统(例如，接收设备10004或接收器10005)可以将比特流解复用。

点云内容提供系统(例如，接收设备10004或点云视频解码器10005)可以将比特流中发送的编码的点云数据(例如，几何比特流、属性比特流)解码。点云内容提供系统(例如，接收设备10004或点云视频解码器10005)可以基于比特流中包含的与点云视频数据的编码有关的信令信息将点云视频数据解码。点云内容提供系统(例如，接收设备10004或点云视频解码器10005)可以将几何比特流解码以重构点的位置(几何)。点云内容提供系统可以通过基于重构的几何对属性比特流进行解码来重构点的属性。点云内容提供系统(例如，接收设备10004或点云视频解码器10005)可以根据重构的几何和解码的属性基于位置来重构点云视频。

根据实施例的点云内容提供系统(例如，接收设备10004或渲染器10007)可以渲染解码的点云数据(20004)。点云内容提供系统(例如，接收设备10004或渲染器10007)可以使用各种渲染方法来渲染通过解码过程解码的几何和属性。点云内容中的点可以被渲染为具有某个厚度的顶点、以对应顶点位置为中心的具有特定最小尺寸的立方体，或者以对应顶点位置为中心的圆。渲染的点云内容的全部或部分通过显示器(例如，VR/AR显示器、一般显示器等)提供给用户。

根据实施例的点云内容提供系统(例如，接收设备10004)可以取得反馈信息(20005)。点云内容提供系统可以基于反馈信息对点云数据进行编码和/或解码。根据实施例的点云内容提供系统的反馈信息和操作与参考图1描述的反馈信息和操作相同，并且因此省略其详细描述。

图3图示根据实施例的捕获点云视频的示例性过程。

图3图示参考图1至图2描述的点云内容提供系统的示例性点云视频捕获过程。

点云内容包括表示位于各种3D空间(例如，表示真实环境的3D空间、表示虚拟环境的3D空间等)中的对象和/或环境的点云视频(图像和/或视频)。因此，根据实施例的点云内容提供系统可以使用一个或更多个相机(例如，能够取得深度信息的红外相机、能够提取与深度信息对应的颜色信息的RGB相机等)、投影仪(例如，取得深度信息的红外图案投影仪)、LiDAR等来捕获点云视频。根据实施例的点云内容提供系统可以从深度信息提取由3D空间中的点组成的几何形状并且从颜色信息提取每个点的属性以取得点云数据。根据实施例的图像和/或视频可以基于面向内(inward-facing)技术和面向外(outward-facing)技术中的至少一个来捕获。

图3的左侧部分图示面向内技术。面向内技术指代通过定位在中心对象周围的一个或更多个相机(或相机传感器)来捕获中心对象的图像的技术。面向内技术可以被用于生成向用户提供关键对象的360度图像的点云内容(例如，向用户提供对象(例如，诸如角色、玩家、对象或演员的关键对象)的360度图像的VR/AR内容)。

图3的右侧部分图示面向外技术。面向外技术指代通过被定位在中心对象周围的一个或更多个相机(或相机传感器)来捕获中心对象的环境而非中心对象的图像的技术。面向外技术可以被用于生成提供从用户的视角出现的周围环境的点云内容(例如，可以提供给自驾驶车辆的用户的表示外部环境的内容)。

如图所示，可以基于一个或更多个相机的捕获操作来生成点云内容。在这种情况下，相机之间的坐标系可以不同，并且因此点云内容提供系统可以在捕获操作之前校准一个或更多个相机以设置全局坐标系。另外，点云内容提供系统可以通过将任意图像和/或视频与通过上述捕获技术捕获的图像和/或视频合成来生成点云内容。点云内容提供系统在生成表示虚拟空间的点云内容时可以不执行图3中描述的捕获操作。根据实施例的点云内容提供系统可以对捕获的图像和/或视频执行后处理。换言之，点云内容提供系统可以移除不想要的区域(例如，背景)，识别捕获的图像和/或视频连接至的空间，并且当存在空间空洞时，执行填充空间空洞的操作。

点云内容提供系统可以通过对从每个相机取得的点云视频的点执行坐标变换来生成一条点云内容。点云内容提供系统可以基于每个相机的位置坐标对点执行坐标变换。因此，点云内容提供系统可以生成表示一个宽范围的内容，或者可以生成具有高密度点的点云内容。

图4图示根据实施例的示例性点云编码器。

图4示出图1的点云视频编码器10002的示例。点云编码器重构并编码点云数据(例如，点的位置和/或属性)以根据网络条件或应用来调节点云内容的质量(例如，无损、有损或接近无损)。当点云内容的总大小较大(例如，对于30fps给出60Gbps的点云内容)时，点云内容提供系统可能无法实时流传输内容。因此，点云内容提供系统可以基于最大目标比特率来重构点云内容以根据网络环境等提供点云内容。

如参考图1和图2描述的，点云编码器可以执行几何编码和属性编码。几何编码在属性编码之前执行。

根据实施例的点云编码器包括坐标变换器(变换坐标)40000、量化器(量化和移除点(体素化))40001、八叉树分析器(分析八叉树)40002和表面近似分析器(分析表面近似)40003、算术编码器(算术编码)40004、几何重构器(重构几何)40005、颜色变换器(变换颜色)40006、属性变换器(变换属性)40007、RAHT变换器(RAHT)40008、LOD生成器(生成LOD)40009、提升变换器(提升)40010、系数量化器(量化系数)40011和/或算术编码器(算术编码)40012。

坐标变换器40000、量化器40001、八叉树分析器40002、表面近似分析器40003、算术编码器40004和几何重构器40005可以执行几何编码。根据实施例的几何编码可以包括八叉树几何编码、直接编译、三联体(trisoup)几何编码和熵编码。直接编译和三联体几何编码选择性地或组合应用。几何编码不限于上述示例。

如图所示，根据实施例的坐标变换器40000接收位置并将其变换为坐标。例如，位置可以被变换为三维空间(例如，由XYZ坐标系表示的三维空间)中的位置信息。根据实施例的三维空间中的位置信息可以被称为几何信息。

根据实施例的量化器40001将几何量化。例如，量化器40001可以基于所有点的最小位置值(例如，X、Y和Z轴中的每一个上的最小值)来将点量化。量化器40001执行量化操作：将最小位置值与每个点的位置值之间的差乘以预设量化缩放(scale)值，并且然后通过对通过乘法获得的值进行舍入来寻找最近整数值。因此，一个或更多个点可以具有相同的量化位置(或位置值)。根据实施例的量化器40001基于量化位置执行体素化以重构量化点。如作为包含2D图像/视频信息的最小单元的像素的情况中那样，根据实施例的点云内容(或3D点云视频)的点可以包括在一个或更多个体素中。作为体积和像素的复合体的术语体素指代当基于表示3D空间的轴(例如，X轴、Y轴和Z轴)将3D空间划分成单元(单位＝1.0)时生成的3D立方空间。量化器40001可以使3D空间中的点组与体素匹配。根据实施例，一个体素可以仅包括一个点。根据实施例，一个体素可以包括一个或更多个点。为了将一个体素表达为一个点，体素的中心的位置可以基于包括在体素中的一个或更多个点的位置来设置。在这种情况下，包括在一个体素中的所有位置的属性可以被组合并指配给体素。

根据实施例的八叉树分析器40002执行八叉树几何编译(或八叉树编译)以按八叉树结构呈现体素。八叉树结构表示基于八进制树结构与体素匹配的点。

根据实施例的表面近似分析器40003可以分析并近似八叉树。根据实施例的八叉树分析和近似是分析包含多个点的区域以有效地提供八叉树和体素化的过程。

根据实施例的算术编码器40004对八叉树和/或近似八叉树执行熵编码。例如，编码方案包括算术编码。作为编码结果，生成几何比特流。

颜色变换器40006、属性变换器40007、RAHT变换器40008、LOD生成器40009、提升变换器40010、系数量化器40011和/或算术编码器40012执行属性编码。如上所述，一个点可以具有一个或更多个属性。根据实施例的属性编码同样应用于一个点所具有的属性。然而，当属性(例如，颜色)包括一个或更多个元素时，对每个元素独立地应用属性编码。根据实施例的属性编码包括颜色变换编译、属性变换编译、区域自适应分层变换(RAHT)编译、基于插值的分层最近邻居预测(预测变换)编译以及具有更新/提升步骤(提升变换)的基于插值的分层最近邻居预测编译。取决于点云内容，可以选择性地使用上述RAHT编译、预测变换编译和提升变换编译，或者可以使用一个或更多个编译方案的组合。根据实施例的属性编码不限于上述示例。

根据实施例的颜色变换器40006执行变换包括在属性中的颜色值(或纹理)的颜色变换编译。例如，颜色变换器40006可以变换颜色信息的格式(例如，从RGB到YCbCr)。可以根据包括在属性中的颜色值来可选地应用根据实施例的颜色变换器40006的操作。

根据实施例的几何重构器40005重构(解压缩)八叉树和/或近似八叉树。几何重构器40005基于分析点的分布的结果来重构八叉树/体素。重构的八叉树/体素可以被称为重构的几何(恢复的几何)。

根据实施例的属性变换器40007执行属性变换以基于重构的几何和/或不执行几何编码的位置来变换属性。如上所述，因为属性取决于几何，所以属性变换器40007可以基于重构的几何信息来变换属性。例如，基于包括在体素中的点的位置值，属性变换器40007可以变换该位置处的点的属性。如上所述，当基于包括在体素中的一个或更多个点的位置来设置体素的中心位置时，属性变换器40007变换一个或更多个点的属性。当执行三联体几何编码时，属性变换器40007可以基于三联体几何编码来变换属性。

属性变换器40007可以通过计算距每个体素的中心的位置(或位置值)特定位置/半径内的邻居点的属性或属性值(例如，每个点的颜色或反射率)的平均来执行属性变换。属性变换器40007可以在计算平均时根据从中心到每个点的距离来应用权重。因此，每个体素具有位置和计算的属性(或属性值)。

属性变换器40007可以基于K-D树或莫顿码(Morton code)搜索存在于距每个体素的中心位置特定位置/半径内的邻居点。K-D树是二叉搜索树，并且支持能够基于位置来管理点的数据结构，使得能够快速地执行最近邻搜索(NNS)。通过将表示所有点的3D位置的坐标(例如，(x,y,z))呈现为比特值并将比特混合来生成莫顿码。例如，当表示点位置的坐标为(5,9,1)时，坐标的比特值为(0101,1001,0001)。根据比特索引按z、y和x的顺序混合比特值产生010001000111。此值被表达为十进制数1095。即，具有坐标(5,9,1)的点的莫顿码值为1095。属性变换器40007可以基于莫顿码值对点进行排序并通过深度优先遍历过程执行NNS。在属性变换操作之后，当在用于属性编译的另一变换过程中需要NNS时，使用K-D树或莫顿码。

如图中所示，变换的属性被输入到RAHT变换器40008和/或LOD生成器40009。

根据实施例的RAHT变换器40008基于重构的几何信息来执行用于预测属性信息的RAHT编译。例如，RAHT变换器40008可以基于与八叉树中较低级别的节点相关联的属性信息来预测八叉树中较高级别的节点的属性信息。

根据实施例的LOD生成器40009生成细节级别(LOD)来执行预测变换编译。根据实施例的LOD是点云内容的细节程度。随着LOD值减小，指示点云内容的细节劣化。随着LOD值增大，指示点云内容的细节增强。点可以按LOD分类。

根据实施例的提升变换器40010执行基于权重来变换点云属性的提升变换编译。如上所述，可以可选地应用提升变换编译。

根据实施例的系数量化器40011基于系数来量化属性编译的属性。

根据实施例的算术编码器40012基于算术编译对量化的属性进行编码。

尽管图中未示出，但图4的点云编码器的元件可以由包括被配置成与包括在点云提供设备中的一个或更多个存储器通信的一个或更多个处理器或集成电路的硬件、软件、固件或其组合实现。一个或更多个处理器可以执行上述图4的点云编码器的元件的操作和/或功能中的至少一个。另外，一个或更多个处理器可以操作或执行用于执行图4的点云编码器的元件的操作和/或功能的软件程序和/或指令的集合。根据实施例的一个或更多个存储器可以包括高速随机存取存储器，或者包括非易失性存储器(例如，一个或更多个磁盘存储设备、闪存设备或其它非易失性固态存储器设备)。

图5示出根据实施例的体素的示例。

图5示出被定位在通过由作为X轴、Y轴和Z轴的三个轴所组成的坐标系表示的3D空间中的体素。如参考图4所述，点云编码器(例如，量化器40001)可以执行体素化。体素指代当基于表示3D空间的轴(例如，X轴、Y轴和Z轴)将3D空间划分成单元(单位＝1.0)时生成的3D立方空间。图5示出通过八叉树结构生成的体素的示例，其中由两个极点(0,0,0)和(2d,2d,2d)限定的立方轴对齐边界框被递归地细分。一个体素包括至少一个点。可以从与体素组的位置关系来估计体素的空间坐标。如上所述，体素具有如2D图像/视频的像素的属性(诸如颜色或反射率)。体素的细节与参考图4描述的那些相同，并且因此省略其描述。

图6示出根据实施例的八叉树和占用码的示例。

如参考图1至图4所描述的，点云内容提供系统(点云视频编码器10002)或点云编码器(例如，八叉树分析器40002)基于八叉树结构来执行八叉树几何编译(或八叉树编译)以有效地管理体素的区域和/或位置。

图6的上部示出八叉树结构。根据实施例的点云内容的3D空间由坐标系的轴(例如，X轴、Y轴和Z轴)表示。通过由两个极点(0,0,0)和(2^d,2^d,2^d)限定的立方轴对齐边界框的递归细分来创建八叉树结构。这里，2^d可以被设置为构成围绕点云内容(或点云视频)的所有点的最小边界框的值。这里，d表示八叉树的深度。d的值在下面的等式中确定。在下面的等式中，(x^int _n,y^int _n,z^int _n)表示量化的点的位置(或位置值)。

如图6的上部的中间所示，整个3D空间可以根据分区被划分成八个空间。每个划分的空间由具有六个面的立方体表示。如图6的右上部所示，八个空间中的每一个基于坐标系的轴(例如，X轴、Y轴和Z轴)再次划分。因此，每个空间被划分成八个更小的空间。所划分的更小的空间也由具有六个面的立方体表示。应用该分区方案，直至八叉树的叶节点变为体素。

图6的下部示出八叉树占用码。生成八叉树的占用码以指示通过划分一个空间而生成的八个划分的空间中的每一个是否包含至少一个点。因此，单个占用码由八个子节点表示。每个子节点表示划分的空间的占用，并且子节点具有1比特的值。因此，占用码被表示为8比特码。即，当与子节点对应的空间中包含至少一个点时，节点被指配值1。当与子节点对应的空间中不包含点(空间为空)时，节点被指配值0。因为图6所示的占用码为00100001，所以指示与八个子节点当中的第三子节点和第八子节点对应的空间均包含至少一个点。如图所示，第三子节点和第八子节点中的每一个具有八个子节点，并且子节点由8比特占用码表示。附图示出第三子节点的占用码为10000111，并且第八子节点的占用码为01001111。根据实施例的点云编码器(例如，算术编码器40004)可以对占用码执行熵编码。为了增加压缩效率，点云编码器可以对占用码执行帧内/帧间编译。根据实施例的接收设备(例如，接收设备10004或点云视频解码器10006)基于占用码来重构八叉树。

根据实施例的点云编码器(例如，图4的点云编码器或八叉树分析器40002)可以执行体素化和八叉树编译以存储点位置。然而，点并不总是均匀分布在3D空间中，并且因此可能存在其中存在较少点的特定区域。因此，对整个3D空间执行体素化是低效的。例如，当特定区域包含很少点时，在该特定区域中不需要执行体素化。

因此，对于上述特定区域(或八叉树的叶节点以外的节点)，根据实施例的点云编码器可以跳过体素化并执行直接编译，以直接对包括在特定区域中的点位置进行编译。根据实施例的直接编译点的坐标被称为直接编译模式(DCM)。根据实施例的点云编码器还可以基于表面模型执行三联体几何编码，其要基于体素来重构特定区域(或节点)中的点位置。三联体几何编码是将对象表示为一系列三角形网格的几何编码。因此，点云解码器可以从网格表面生成点云。根据实施例的直接编译和三联体几何编码可以被选择性地执行。另外，根据实施例的直接编译和三联体几何编码可以与八叉树几何编译(或八叉树编译)组合执行。

为了执行直接编译，应该激活要使用直接模式以应用直接编译的选项。要应用直接编译的节点不是叶节点，并且在特定节点内应该存在小于阈值的点。另外，要应用直接编译的点的总数不应超过预设阈值。当满足上述条件时，根据实施例的点云编码器(或算术编码器40004)可以对点位置(或位置值)执行熵编译。

根据实施例的点云编码器(例如，表面近似分析器40003)可以确定八叉树的特定级别(小于八叉树的深度d的级别)，并且可以从该级别开始使用表面模型以执行三联体几何编码，以基于体素来重构节点区域中的点位置(三联体模式)。根据实施例的点云编码器可以指定要应用三联体几何编码的级别。例如，当特定级别等于八叉树的深度时，点云编码器不在三联体模式下操作。换言之，仅当指定的级别小于八叉树的深度值时，根据实施例的点云编码器才可以在三联体模式下操作。根据实施例的指定级别的节点的3D立方区域被称为块。一个块可以包括一个或更多个体素。块或体素可以对应于拼块(brick)。几何被表示为每个块内的表面。根据实施例的表面可与块的每个边缘相交至多一次。

一个块具有12个边缘，并且因此一个块中存在至少12个交点。每个交点被称为顶点(或者最高点)。当共享边缘的所有块当中存在与边缘相邻的至少一个占用体素时，检测沿着边缘存在的顶点。根据实施例的占用体素指代包含点的体素。沿着边缘检测到的顶点位置是沿着共享边缘的所有块当中与边缘相邻的所有体素的边缘的平均位置。

一旦检测到顶点，根据实施例的点云编码器就可以对边缘的起点(x,y,z)、边缘的方向向量(Δx,Δy,Δz)和顶点位置值(边缘内的相对位置值)执行熵编码。当应用三联体几何编码时，根据实施例的点云编码器(例如，几何重构器40005)可以通过执行三角形重构、上采样和体素化过程来生成恢复的几何(重构的几何)。

被定位在块的边缘处的顶点确定穿过块的表面。根据实施例的表面是非平面多边形。在三角形重构过程中，基于边缘的起点、边缘的方向向量和顶点的位置值来重构由三角形表示的表面。三角形重构过程通过下述执行：1)计算每个顶点的质心值，2)从每个顶点值减去中心值，并且3)估计通过减法获得的值的平方和。

估计和的最小值，并且根据具有最小值的轴执行投影过程。例如，当元素x是最小时，每个顶点相对于块的中心投影在x轴上，并且投影在(y,z)平面上。当通过(y,z)平面上的投影获得的值为(ai,bi)时，通过atan2(bi,ai)估计θ的值，并且基于θ的值对顶点进行排序。下表示出根据顶点数量创建三角形的顶点组合。顶点从1至n排序。下表示出对于四个顶点，可以根据顶点组合构造两个三角形。第一个三角形可以由排序的顶点当中的顶点1、2和3组成，并且第二个三角形可以由排序的顶点当中的顶点3、4和1组成。

表从排序为1的顶点形成的三角形

[表1]

n	三角形
		3	(1,2,3)
4	(1,2,3),(3,4,1)
		5	(1,2,3),(3,4,5),(5,1,3)
6	(1,2,3),(3,4,5),(5,6,1),(1,3,5)
		7	(1,2,3),(3,4,5),(5,6,7),(7,1,3),(3,5,7)
8	(1,2,3),(3,4,5),(5,6,7),(7,8,1),(1,3,5),(5,7,1)
		9	(1,2,3),(3,4,5),(5,6,7),(7,8,9),(9,1,3),(3,5,7),(7,9,3)
10	(1,2,3),(3,4,5),(5,6,7),(7,8,9),(9,10,1),(1,3,5),(5,7,9),(9,1,5)
		11	(1,2,3),(3,4,5),(5,6,7),(7,8,9),(9,10,11),(11,1,3),(3,5,7),(7,9,11),(11,3,7)
12	(1,2,3),(3,4,5),(5,6,7),(7,8,9),(9,10,11),(11,12,1),(1,3,5),(5,7,9),(9,11,1),(1,5,9)

执行上采样过程以沿着三角形的边缘在中间添加点，并且执行体素化。所添加的点基于上采样因子和块的宽度来生成。添加的点被称为细化顶点。根据实施例的点云编码器可以将细化顶点体素化。另外，点云编码器可以基于体素化的位置(或位置值)来执行属性编码。

图7示出根据实施例的邻居节点图案的示例。

为了增加点云视频的压缩效率，根据实施例的点云编码器可以基于上下文自适应算术编译来执行熵编译。

如参考图1至图6所描述的，点云内容提供系统或点云编码器(例如，点云视频编码器10002、图4的点云编码器或算术编码器40004)可以立即对占用码执行熵编译。另外，点云内容提供系统或点云编码器可以基于当前节点的占用码和邻近节点的占用来执行熵编码(帧内编码)，或者基于先前帧的占用码执行熵编码(帧间编码)。根据实施例的帧表示同时生成的点云视频的集合。根据实施例的帧内编码/帧间编码的压缩效率可以取决于所参考的邻近节点的数量。当比特增加时，运算变得复杂，但是编码可以偏向一侧，这可以增加压缩效率。例如，当给出3比特上下文时，需要使用2³＝8种方法来执行编译。为编译划分的部分影响实现复杂度。因此，有必要满足适当级别的压缩效率和复杂度。

图7图示基于邻居节点的占用来获得占用图案的过程。根据实施例的点云编码器确定八叉树的每个节点的邻居节点的占用并且获得邻居图案的值。邻居节点图案被用于推断节点的占用图案。图7的左侧部分示出与节点对应的立方体(被定位在中间的立方体)以及与该立方体共享至少一个面的六个立方体(邻居节点)。图中所示的节点是相同深度的节点。图中所示的数字分别表示与六个节点关联的权重(1、2、4、8、16和32)。根据邻近节点的位置依次指配权重。

图7的右侧部分示出邻居节点图案值。邻居节点图案值是乘以占用邻居节点(具有点的邻居节点)的权重的值之和。因此，邻居节点图案值为0至63。当邻居节点图案值为0时，指示节点的邻居节点当中不存在具有点的节点(无占用节点)。当邻居节点图案值为63时，指示所有邻居节点均是占用节点。如图所示，因为指配有权重1、2、4和8的邻居节点是占用节点，所以邻居节点图案值为15，即1、2、4和8之和。点云编码器可以根据邻居节点图案值执行编译(例如，当邻居节点图案值为63时，可以执行64种类型的编译)。根据实施例，点云编码器可以通过改变邻居节点图案值(例如，基于将64改变为10或6的表)来减少编译复杂度。

图8图示根据实施例的每个LOD中的点配置的示例。

如参考图1至图7描述的，在执行属性编码之前，编码的几何被重构(解压缩)。当应用直接编译时，几何重构操作可以包括改变直接编译的点的放置(例如，将直接编译的点放置在点云数据前面)。当应用三联体几何编码时，通过三角形重构、上采样和体素化来执行几何重构过程。因为属性取决于几何，所以基于重构的几何来执行属性编码。

点云编码器(例如，LOD生成器40009)可以按LOD对点进行分类(重新组织)。图中示出与LOD对应的点云内容。图中最左侧图片表示原始点云内容。图中左起第二个图片表示最低LOD中的点分布，并且图中最右侧图片表示最高LOD中的点分布。即，最低LOD中的点是稀疏分布的，并且最高LOD中的点是密集分布的。即，随着LOD在图底部所指示的箭头所指出的方向上升高，点之间的空间(或距离)变窄。

图9图示根据实施例的用于每个LOD的点配置的示例。

如参考图1至图8所描述的，点云内容提供系统或点云编码器(例如，点云视频编码器10002、图4的点云编码器或LOD生成器40009)可以生成LOD。通过根据设置的LOD距离值(或欧几里得距离的集合)将点重新组织为细化级别的集合来生成LOD。LOD生成过程不仅由点云编码器执行，而且由点云解码器执行。

图9的上部示出分布在3D空间中的点云内容的点的示例(P0至P9)。在图9中，原始顺序表示在LOD生成之前点P0至P9的顺序。在图9中，基于LOD的顺序表示根据LOD生成的点的顺序。点按LOD重新组织。另外，高LOD包含属于较低LOD的点。如图9所示，LOD0包含P0、P5、P4和P2。LOD1包含LOD0的点、P1、P6和P3。LOD2包含LOD0的点、LOD1的点、P9、P8和P7。

如参考图4所描述的，根据实施例的点云编码器可以选择性地或组合地执行预测变换编译、提升变换编译和RAHT变换编译。

根据实施例的点云编码器可为点生成预测器以执行用于设置每个点的预测属性(或预测属性值)的预测变换编译。即，可以为N个点生成N个预测器。根据实施例的预测器可以基于每个点的LOD值、关于存在于每个LOD的设置距离内的邻居点的索引信息以及到邻居点的距离来计算权重(＝1/距离)。

根据实施例的预测属性(或属性值)被设置为通过将每个点的预测器中设置的邻居点的属性(或属性值)(例如，颜色、反射率等)乘以基于到每个邻居点的距离计算的权重(或权重值)而获得的值的平均。根据实施例的点云编码器(例如，系数量化器40011)可以量化和逆量化通过从每个点的属性(属性值)减去预测属性(属性值)而获得的残差(可以称为残差属性、残差属性值或属性预测残差)。量化过程如下表所示配置。

表属性预测残差量化伪代码

[表2]

表属性预测残差逆量化伪码

[表3]

当每个点的预测器具有邻居点时，根据实施例的点云编码器(例如，算术编码器40012)可以如上所述对量化和逆量化的残差值执行熵编译。当每个点的预测器没有邻居点时，根据实施例的点云编码器(例如，算术编码器40012)可以对对应点的属性执行熵编译，而不执行上述操作。

根据实施例的点云编码器(例如，提升变换器40010)可以生成每个点的预测器，设置计算的LOD并在预测器中注册邻居点，并且根据到邻居点的距离来设置权重，以执行提升变换编译。根据实施例的提升变换编译类似于上述预测变换编译，但不同之处在于，对属性值累积地应用权重。根据实施例对属性值累积地应用权重的过程配置如下。

1)创建用于存储每个点的权重值的阵列量化权重(QW)。QW的所有元素的初始值均为1.0。将预测器中注册的邻居节点的预测器索引的QW值乘以当前点的预测器的权重，并将通过乘法获得的值相加。

2)提升预测过程：从现有属性值减去通过将点的属性值乘以权重而获得的值，以计算预测属性值。

3)创建称为updateweight和update的临时阵列，并且将临时阵列初始化为零。

4)将通过将针对所有预测器计算的权重乘以存储在与预测器索引对应的QW中的权重而计算的权重累加到updateweight阵列，作为邻居节点的索引。将通过将邻居节点索引的属性值乘以所计算的权重而获得的值累加到update阵列。

5)提升更新过程：将所有预测器的update阵列的属性值除以预测器索引的updateweight阵列的权重值，并将现有属性值与通过除法获得的值相加。

6)针对所有预测器通过将通过提升更新过程更新的属性值乘以通过提升预测过程更新的权重(存储在QW中)来计算预测属性。根据实施例的点云编码器(例如，系数量化器40011)量化预测属性值。另外，点云编码器(例如，算术编码器40012)对量化属性值执行熵编码。

根据实施例的点云编码器(例如，RAHT变换器40008)可以执行RAHT变换编译，其中使用与八叉树中较低级别的节点相关联的属性来预测较高级别的节点的属性。RAHT变换编译是通过八叉树后向扫描进行属性帧内编译的示例。根据实施例的点云编码器从体素开始扫描整个区域并且在每一步重复将体素合并为更大的块的合并过程，直至到达根节点。仅对占用节点执行根据实施例的合并过程。不对空节点执行合并过程。对就在空节点上方的上节点执行合并过程。

下面的等式表示RAHT变换矩阵。在该等式中，

表示级别l的体素的平均属性值。

可以基于

和

来计算。

和

的权重为

和

这里，

是低通值并且在下一个较高级别的合并过程中使用。

表示高通系数。每一步的高通系数被量化并经受熵编译(例如，由算术编码器400012编码)。权重被计算为

通过

和

创建根节点如下。

如高通系数，gDC的值也被量化并经受熵编译。

图10图示根据实施例的点云解码器。

图10中图示的点云解码器是图1中描述的点云视频解码器10006的示例，并且可以执行与图1所图示的点云视频解码器10006的操作相同或相似的操作。如图所示，点云解码器可以接收包含在一个或更多个比特流中的几何比特流和属性比特流。点云解码器包括几何解码器和属性解码器。几何解码器对几何比特流执行几何解码并输出解码的几何。属性解码器基于解码的几何和属性比特流执行属性解码，并且输出解码的属性。解码的几何和解码的属性被用于重构点云内容(解码的点云)。

图11图示根据实施例的点云解码器。

图11所图示的点云解码器是图10所图示的点云解码器的示例，并且可以执行解码操作，其是在图1至图9中图示的点云编码器的编码操作的逆过程。

如参考图1和图10所描述的，点云解码器可以执行几何解码和属性解码。几何解码在属性解码之前执行。

根据实施例的点云解码器包括算术解码器(算术解码)11000、八叉树合成器(合成八叉树)11001、表面近似合成器(合成表面近似)11002和几何重构器(重构几何)11003、坐标逆变换器(逆变换坐标)11004、算术解码器(算术解码)11005、逆量化器(逆量化)11006、RAHT变换器11007、LOD生成器(生成LOD)11008、逆提升器(逆提升)11009和/或颜色逆变换器(逆变换颜色)11010。

算术解码器11000、八叉树合成器11001、表面近似合成器11002、几何重构器11003和坐标逆变换器11004可以执行几何解码。根据实施例的几何解码可以包括直接编译和三联体几何解码。直接编译和三联体几何解码选择性地应用。几何解码不限于上述示例，并且作为参考图1至图9描述的几何编码的逆过程执行。

根据实施例的算术解码器11000基于算术编译将所接收的几何比特流解码。算术解码器11000的操作对应于算术编码器40004的逆过程。

根据实施例的八叉树合成器11001可以通过从解码的几何比特流获取占用码(或关于作为解码结果取得的几何的信息)来生成八叉树。占用码如参考图1至图9详细描述那样配置。

当应用三联体几何编码时，根据实施例的表面近似合成器11002可以基于解码的几何和/或生成的八叉树来合成表面。

根据实施例的几何重构器11003可以基于表面和/或解码的几何重新生成几何。如参考图1至图9所描述的，选择性地应用直接编译和三联体几何编码。因此，几何重构器11003直接导入关于对其应用直接编译的点的位置信息并将其相加。当应用三联体几何编码时，几何重构器11003可以通过执行几何重构器40005的重构操作，例如，三角形重构、上采样和体素化，来重构几何。细节与参考图6描述的那些相同，并且因此省略其描述。重构的几何可以包括不包含属性的点云图片或帧。

根据实施例的坐标逆变换器11004可以通过基于重构的几何变换坐标来获取点位置。

算术解码器11005、逆量化器11006、RAHT变换器11007、LOD生成器11008、逆提升器11009和/或颜色逆变换器11010可以执行参考图10描述的属性解码。根据实施例的属性解码包括区域自适应分层变换(RAHT)解码、基于插值的分层最近邻居预测(预测变换)解码以及具有更新/提升步骤的基于插值的分层最近邻居预测(提升变换)解码。上述三个解码方案可以可选择性地使用，或者可以使用一个或更多个解码方案的组合。根据实施例的属性解码不限于上述示例。

根据实施例的算术解码器11005通过算术编译对属性比特流进行解码。

根据实施例的逆量化器11006逆量化关于解码的属性比特流或作为解码结果取得的属性的信息，并且输出逆量化的属性(或属性值)。可以基于点云编码器的属性编码选择性地应用逆量化。

根据实施例，RAHT变换器11007、LOD生成器11008和/或逆提升器11009可以处理重构的几何和逆量化的属性。如上所述，RAHT变换器11007、LOD生成器11008和/或逆提升器11009可以选择性地执行与点云编码器的编码对应的解码操作。

根据实施例的颜色逆变换器11010执行逆变换编译以逆变换包括在解码的属性中的颜色值(或纹理)。可以基于点云编码器的颜色变换器40006的操作选择性地执行颜色逆变换器11010的操作。

尽管图中未示出，图11的点云解码器的元件可以由包括被配置成与包括在点云提供设备中的一个或更多个存储器通信的一个或更多个处理器或集成电路的硬件、软件、固件或其组合实现。一个或更多个处理器可以执行上述图11的点云解码器的元件的操作和/或功能中的至少一个或更多个。另外，一个或更多个处理器可以操作或执行用于执行图11的点云解码器的元件的操作和/或功能的软件程序和/或指令的集合。

图12图示根据实施例的示例性发送设备。

图12所示的发送设备是图1的发送设备10000(或图4的点云编码器)的示例。图12所图示的发送设备可以执行与参考图1至图9描述的点云编码器的那些相同或相似的一个或更多个操作和方法。根据实施例的发送设备可以包括数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用码生成器12003、表面模型处理器12004、帧内/帧间编译处理器12005、算术编码器12006、元数据处理器12007、颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12010、算术编码器12011和/或发送处理器12012。

根据实施例的数据输入单元12000接收或获取点云数据。数据输入单元12000可以执行与点云视频获取器10001的操作和/或获取方法(或参考图2描述的获取过程20000)相同或相似的操作和/或获取方法。

数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用码生成器12003、表面模型处理器12004、帧内/帧间编译处理器12005和算术编码器12006执行几何编码。根据实施例的几何编码与参考图1至图9描述的几何编码相同或相似，并且因此省略其详细描述。

根据实施例的量化处理器12001量化几何(例如，点的位置值)。量化处理器12001的操作和/或量化与参考图4描述的量化器40001的操作和/或量化相同或相似。细节与参考图1至图9描述的那些相同。

根据实施例的体素化处理器12002将点的量化的位置值体素化。体素化处理器120002可以执行与参考图4描述的量化器40001的操作和/或体素化过程相同或相似的操作和/或过程。细节与参考图1至图9描述的那些相同。

根据实施例的八叉树占用码生成器12003基于八叉树结构对点的体素化的位置执行八叉树编译。八叉树占用码生成器12003可以生成占用码。八叉树占用码生成器12003可以执行与参考图4和图6描述的点云编码器(或八叉树分析器40002)的操作和/或方法相同或相似的操作和/或方法。细节与参考图1至图9描述的那些相同。

根据实施例的表面模型处理器12004可以基于表面模型执行三联体几何编码以基于体素重构特定区域(或节点)中的点位置。表面模型处理器12004可以执行与参考图4描述的点云编码器(例如，表面近似分析器40003)的操作和/或方法相同或相似的操作和/或方法。细节与参考图1至图9描述的那些相同。

根据实施例的帧内/帧间编译处理器12005可以对点云数据执行帧内/帧间编译。帧内/帧间编译处理器12005可以执行与参考图7描述的帧内/帧间编译相同或相似的编译。细节与参考图7描述的那些相同。根据实施例，帧内/帧间编译处理器12005可以被包括在算术编码器12006中。

根据实施例的算术编码器12006对点云数据的八叉树和/或近似八叉树执行熵编码。例如，编码方案包括算术编码。算术编码器12006执行与算术编码器40004的操作和/或方法相同或相似的操作和/或方法。

根据实施例的元数据处理器12007处理关于点云数据的元数据，例如，设定值，并将其提供给诸如几何编码和/或属性编码的必要处理过程。另外，根据实施例的元数据处理器12007可以生成和/或处理与几何编码和/或属性编码有关的信令信息。根据实施例的信令信息可以与几何编码和/或属性编码分开编码。根据实施例的信令信息可以被交织。

颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12010和算术编码器12011执行属性编码。根据实施例的属性编码与参考图1至图9描述的属性编码相同或相似，并且因此省略其详细描述。

根据实施例的颜色变换处理器12008执行颜色变换编译以变换包括在属性中的颜色值。颜色变换处理器12008可以基于重构的几何来执行颜色变换编译。重构的几何与参考图1至图9描述的相同。另外，其执行与参考图4描述的颜色变换器40006的操作和/或方法相同或相似的操作和/或方法。省略其详细描述。

根据实施例的属性变换处理器12009执行属性变换以基于重构的几何和/或对其不执行几何编码的位置来变换属性。属性变换处理器12009执行与参考图4描述的属性变换器40007的操作和/或方法相同或相似的操作和/或方法。省略其详细描述。根据实施例的预测/提升/RAHT变换处理器12010可以通过RAHT编译、预测变换编译和提升变换编译中的任一种或组合对变换的属性进行编译。预测/提升/RAHT变换处理器12010执行与参考图4描述的RAHT变换器40008、LOD生成器40009和提升变换器40010的操作相同或相似的至少一个操作。另外，预测变换编译、提升变换编译和RAHT变换编译与参考图1至图9描述的那些相同，并且因此省略其详细描述。

根据实施例的算术编码器12011可以基于算术编译对编译的属性进行编码。算术编码器12011执行与算术编码器400012的操作和/或方法相同或相似的操作和/或方法。

根据实施例的发送处理器12012可以发送包含编码的几何和/或编码的属性和元数据信息的每个比特流，或者发送配置有编码的几何和/或编码的属性和元数据信息的一个比特流。当根据实施例的编码的几何和/或编码的属性和元数据信息被配置成一个比特流时，比特流可以包括一个或更多个子比特流。根据实施例的比特流可以包含信令信息和切片数据，该信令信息包括用于序列级别信令的序列参数集(SPS)、用于几何信息编译信令的几何参数集(GPS)、用于属性信息编译信令的属性参数集(APS)和用于图块级别信令的图块参数集(TPS)。切片数据可以包括关于一个或更多个切片的信息。根据实施例的一个切片可以包括一个几何比特流Geom0⁰以及一个或更多个属性比特流Attr0⁰和Attr1⁰。根据实施例的TPS可以包括关于一个或更多个图块中的每个图块的信息(例如，关于边界框的坐标信息和高度/大小信息)。几何比特流可以包含报头和有效载荷。根据实施例的几何比特流的报头可以包含GPS中所包括的参数集标识符(geom_parameter_set_id)、图块标识符(geom_tile_id)和切片标识符(geom_slice_id)，以及关于包含在有效载荷中的数据的信息。如上所述，根据实施例的元数据处理器12007可以生成和/或处理信令信息并将其发送到发送处理器12012。根据实施例，执行几何编码的元件和执行属性编码的元件可以如虚线所指示彼此共享数据/信息。根据实施例的发送处理器12012可以执行与发射器10003的操作和/或发送方法相同或相似的操作和/或发送方法。细节与参考图1和图2描述的那些相同，并且因此省略其描述。

图13图示根据实施例的示例性接收设备。

图13所图示的接收设备是图1的接收设备10004(或图10和图11的点云解码器)的示例。图13所图示的接收设备可以执行与参考图1至图11描述的点云解码器的那些相同或相似的一个或更多个操作和方法。

根据实施例的接收设备包括接收器13000、接收处理器13001、算术解码器13002、基于占用码的八叉树重构处理器13003、表面模型处理器(三角形重构、上采样、体素化)13004、逆量化处理器13005、元数据解析器13006、算术解码器13007、逆量化处理器13008、预测/提升/RAHT逆变换处理器13009、颜色逆变换处理器13010和/或渲染器13011。根据实施例的每个解码元件可以执行根据实施例的对应编码元件的操作的逆过程。

根据实施例的接收器13000接收点云数据。接收器13000可以执行与图1的接收器10005的操作和/或接收方法相同或相似的操作和/或接收方法。省略其详细描述。

根据实施例的接收处理器13001可以从所接收的数据获取几何比特流和/或属性比特流。接收处理器13001可以被包括在接收器13000中。

算术解码器13002、基于占用码的八叉树重构处理器13003、表面模型处理器13004和逆量化处理器13005可以执行几何解码。根据实施例的几何解码与参考图1至图10描述的几何解码相同或相似，并且因此省略其详细描述。

根据实施例的算术解码器13002可以基于算术编译对几何比特流进行解码。算术解码器13002执行与算术解码器11000的操作和/或编译相同或相似的操作和/或编译。

根据实施例的基于占用码的八叉树重构处理器13003可以通过从解码的几何比特流(或关于作为解码结果取得的几何的信息)获取占用码来重构八叉树。基于占用码的八叉树重构处理器13003执行与八叉树合成器11001的操作和/或八叉树生成方法相同或相似的操作和/或方法。当应用三联体几何编码时，根据实施例的表面模型处理器13004可以基于表面模型方法来执行三联体几何解码和相关几何重构(例如，三角形重构、上采样、体素化)。表面模型处理器13004执行与表面近似合成器11002和/或几何重构器11003的操作相同或相似的操作。

根据实施例的逆量化处理器13005可以逆量化解码的几何。

根据实施例的元数据解析器13006可以解析包含在所接收的点云数据中的元数据，例如，设定值。元数据解析器13006可以将元数据传递给几何解码和/或属性解码。元数据与参考图12描述的元数据相同，并且因此省略其详细描述。

算术解码器13007、逆量化处理器13008、预测/提升/RAHT逆变换处理器13009和颜色逆变换处理器13010执行属性解码。属性解码与参考图1至图10描述的属性解码相同或相似，并且因此省略其详细描述。

根据实施例的算术解码器13007可以通过算术编译对属性比特流进行解码。算术解码器13007可以基于重构的几何对属性比特流进行解码。算术解码器13007执行与算术解码器11005的操作和/或编译相同或相似的操作和/或编译。

根据实施例的逆量化处理器13008可以逆量化解码的属性比特流。逆量化处理器13008执行与逆量化器11006的操作和/或逆量化方法相同或相似的操作和/或方法。

根据实施例的预测/提升/RAHT逆变换器13009可以处理重构的几何和逆量化的属性。预测/提升/RAHT逆变换处理器13009执行与RAHT变换器11007、LOD生成器11008和/或逆提升器11009的操作和/或解码相同或相似的一个或更多个操作和/或解码。根据实施例的颜色逆变换处理器13010执行逆变换编译以逆变换包括在解码的属性中的颜色值(或纹理)。颜色逆变换处理器13010执行与颜色逆变换器11010的操作和/或逆变换编译相同或相似的操作和/或逆变换编译。根据实施例的渲染器13011可以渲染点云数据。

图14的上部示出通过在图1至图13中描述的发送设备(例如，发送设备10000、图12的发送设备等)处理和发送点云内容的过程。

如参考图1至图13所描述的，发送设备可以获取点云内容的音频Ba(音频获取)，对获取的音频进行编码(音频编码)，并输出音频比特流Ea。另外，发送设备可以获取点云内容的点云(或点云视频)Bv(点获取)，并且对获取的点云执行点云编码以输出点云视频比特流Eb。发送设备的点云编码与参考图1至13描述的点云编码(例如，图4的点云编码器的编码)相同或相似，并且因此将省略对其的详细描述。

发送设备可以将生成的音频比特流和视频比特流封装成文件和/或片段(文件/片段封装)。封装的文件和/或片段Fs，File可以包括诸如ISOBMFF或DASH片段的文件格式的文件。根据实施例的点云相关元数据可以包含在封装的文件格式和/或片段中。元数据可能包含在ISOBMFF文件格式的各种级别的框中，或者可能包含在文件内的分开的轨道中。根据实施例，发送设备可以将元数据封装到分开的文件中。根据实施例的发送设备可以通过网络递送封装的文件格式和/或片段。通过发送设备的封装和发送的处理方法与参考图1至图13描述的(例如，发射器10003、图2的传输步骤20002等)相同，并且因此将会省略其详细描述。

图14的下部示出由参考图1至13描述的接收设备(例如，接收设备10004、图13的接收设备等)处理和输出点云内容的过程。

根据实施例，接收设备可以包括被配置成输出最终音频数据和最终视频数据的设备(例如，扬声器、耳机、显示器)，以及被配置成处理点云内容的点云播放器(点云播放器)。最终数据输出设备和点云播放器可以配置成分开的物理设备。根据实施例的点云播放器可以执行基于几何的点云压缩(G-PCC)编译、基于视频的点云压缩(V-PCC)编译和/或下一代编译。

根据实施例的接收设备可以取得包含在接收到的数据(例如，广播信号、通过网络发送的信号等)中的文件和/或片段F’，Fs’，并且对其进行解封装(文件/片段解封装)。接收设备的接收和解封装方法与参考图1至图13描述的那些(例如，接收器10005、接收单元13000、接收处理单元13001等)相同，并且因此将会省略其详细描述。

根据实施例的接收设备取得包含在文件和/或片段中的音频比特流E’a和视频比特流E’v。如图所示，接收设备通过对音频比特流执行音频解码输出解码的音频数据B’a，并将解码的音频数据渲染(音频渲染)以通过扬声器或耳机输出最终的音频数据A’a。

此外，接收设备对视频比特流E’v执行点云解码，并输出解码的视频数据B’v。根据实施例的点云解码与参考图1至图13描述的点云解码(例如，图11的点云解码器的解码)相同或相似，并且因此将省略对其的详细描述。接收设备可以渲染解码的视频数据并通过显示器输出最终的视频数据。

根据实施例的接收设备可以基于发送的元数据执行解封装、音频解码、音频渲染、点云解码和点云视频渲染中的至少一个。元数据的细节与参考图12至图13描述的那些相同，并且因此将省略对其的描述。

如图中示出的虚线所指示的，根据实施例的接收设备(例如，点云播放器或点云播放器中的感测/跟踪单元)可以生成反馈信息(定向、视口)。根据实施例，反馈信息可以在接收设备的解封装过程、点云解码过程和/或渲染过程中使用，或者可以被递送到发送设备。反馈信息的详情与参考图1至图13描述的那些相同，并且因此将省略对其的描述。

图15示出根据实施例的示例性发送设备。

图15的发送设备是被配置成发送点云内容的设备，并且对应于参考图1至14的描述的发送设备(例如，图1的发送设备10000、图4的点云编码器、图12的发送设备、图14的发送设备)的示例。因此，图15的发送设备执行与参考图1至图14描述的发送设备的操作相同或相似的操作。

根据实施例的发送设备可以执行点云获取、点云编码、文件/片段封装和递送中的一个或多个。

因为图中所图示的点云获取和递送的操作与参考图1至图14描述的操作相同，所以将省略对其的详细描述。

如在上面参考图1至图14所描述的，根据实施例的发送设备可以执行几何编码和属性编码。几何编码可以被称为几何压缩，并且属性编码可以被称为属性压缩。如上所述，一个点可以具有一个几何和一个或多个属性。因此，发送设备对每个属性执行属性编码。该图图示发送设备执行一个或多个属性压缩(属性#1压缩，...，属性#N压缩)。此外，根据实施例的发送设备可以执行辅助压缩。对元数据执行辅助压缩。元数据的详情与参考图1至14描述的那些相同，并且因此将省略对其的描述。发送设备也可以执行网格数据压缩。根据实施例的网格数据压缩可以包括参考图1至14描述的三联体几何编码。

根据实施例的发送设备可以将根据点云编码输出的比特流(例如，点云流)封装到文件和/或片段中。根据实施例，发送设备可以执行媒体轨道封装以承载除了元数据以外的数据(例如，媒体数据)，并且执行元数据轨道封装以承载元数据。根据实施例，元数据可以被封装到媒体轨道中。

如参考图1至图14所描述的，发送设备可以从接收设备接收反馈信息(定向/视口元数据)，并基于接收到的反馈信息执行点云编码、文件/片段封装和递送操作中的至少一个。详情与参考图1至图14描述的那些相同，并且因此将省略对其的描述。

图16示出根据实施例的示例性接收设备。

图16的接收设备是用于接收点云内容的设备，并且对应于参考图1至14描述的接收设备的示例(例如，图1的接收设备10004、图11的点云解码器，以及图13的接收设备、图14的接收设备)。因此，图16的接收设备执行与参考图1至图14描述的接收设备的操作相同或相似的操作。图16的发送设备可以接收从图16的发送设备发送的信号，并且执行与图15的发送设备的操作相反的过程。

根据实施例的接收设备可以执行递送、文件/片段解封装、点云解码和点云渲染中的至少一个。

因为图中所图示的点云接收和点云渲染操作与参考图1至图14描述的那些相同，所以将省略对其的详细描述。

参考图1至图14所描述的，根据实施例的接收设备解封装从网络或存储设备获取的文件和/或片段。根据实施例，接收设备可以执行媒体轨道解封装以承载除了元数据以外的数据(例如，媒体数据)，并且执行元数据轨道解封装以承载元数据。根据实施例，在元数据被封装到媒体轨道中的情况下，元数据轨道解封装被省略。

如参考图1至图14所描述的，接收设备可以对通过解封装取得的比特流(例如，点云流)执行几何解码和属性解码。几何解码可以被称为几何解压缩，而属性解码可以被称为属性解压缩。如上所述，一个点可以具有一个几何和一个或多个属性，每个属性都由发送设备编码。因此，接收设备对每个属性执行属性解码。该图图示接收设备执行一个或多个属性解压缩(属性#1解压缩，...，属性#N解压缩)。根据实施例的接收设备还可以执行辅助解压缩。对元数据进行辅助解压缩。元数据的详情与参考图1至图14描述的那些相同，并且因此将省略其描述。接收设备还可以执行网格数据解压缩。根据实施例的网格数据解压缩可以包括参考图1至图14描述的三联体几何解码。根据实施例的接收设备可以渲染根据点云解码输出的点云数据。

如参考图1至图14所描述的，接收设备可以使用单独的感测/跟踪元件来取得定向/视口元数据，并且将包括其的反馈信息发送到发送设备(例如，图15的发送设备)。此外，接收设备可以基于反馈信息执行接收操作、文件/片段解封装和点云解码中的至少一个。详情与参考图1至图14描述的那些相同，并且因此将省略对其的描述。

图17示出根据实施例的操作上可与发送和接收点云数据的方法/设备相连接的示例性结构。

图17的结构表示服务器1760、机器人1710、自驾驶车辆1720、XR设备1730、智能电话1740、家用电器1750和/或HMD 1770中的至少一个连接到云网络1700的配置。机器人1710、自驾驶车辆1720、XR设备1730、智能电话1740或家用电器1750被称为设备。此外，XR设备1730可以对应于根据实施例的点云数据(PCC)设备或者可操作上连接到PCC设备。

云网络1700可以表示构成云计算基础设施的一部分或存在于云计算基础设施中的网络。这里，云网络1700可以使用3G网络、4G或长期演进(LTE)网络或5G网络来配置。

服务器1760可以经由云网络1700连接到机器人1710、自驾驶车辆1720、XR设备1730、智能电话1740、家用电器1750和/或HMD 1770中的至少一个，并且可以辅助连接的设备1710至1770的至少一部分处理。

HMD 1770表示根据实施例的XR设备和/或PCC设备的实现类型之一。根据实施例，HMD型设备包括通信单元、控制单元、存储器、I/O单元、传感器单元和电源单元。

在下文中，将描述应用了上述技术的设备1710至1750的各种实施例。图17所图示的设备1710至1750可以可操作地连接/耦合到根据上述实施例的点云数据发送/接收设备。

<PCC+XR>

XR/PCC设备1730可以采用PCC技术和/或XR(AR+VR)技术，并且可以被实现为HMD、提供在车辆中的平视显示器(HUD)、电视、移动电话、智能电话、计算机、可穿戴设备、家用电器、数字标牌、车辆、固定机器人或移动机器人。

XR/PCC设备1730可以分析通过各种传感器或从外部设备获取的3D点云数据或图像数据并生成关于3D点的位置数据和属性数据。由此，XR/PCC设备1730可以获取关于周围空间或真实对象的信息，并且渲染和输出XR对象。例如，XR/PCC设备1730可以使包括关于所识别的对象的辅助信息的XR对象与所识别的对象匹配并输出匹配的XR对象。

<PCC+自驾驶+XR>

自驾驶车辆1720可以通过应用PCC技术和XR技术被实现为移动机器人、车辆、无人驾驶飞行器等。

应用了XR/PCC技术的自驾驶车辆1720可以表示提供有用于提供XR图像的装置的自主车辆，或者作为XR图像中的控制/交互目标的自主车辆。具体地，作为XR图像中的控制/交互目标，自驾驶车辆1720可与XR设备1730相区分并且可以可操作地与其连接。

具有用于提供XR/PCC图像的装置的自驾驶车辆1720可以从包括相机的传感器获取传感器信息，并且基于所获取的传感器信息来输出所生成的XR/PCC图像。例如，自驾驶车辆1720可以具有HUD并向其输出XR/PCC图像以向乘客提供与真实对象或呈现在屏幕上的对象对应的XR/PCC对象。

在这种情况下，当XR/PCC对象被输出到HUD时，可以输出XR/PCC对象的至少一部分以与乘客的眼睛所指向的真实对象重叠。另一方面，当XR/PCC对象输出在提供在自驾驶车辆内的显示器上时，可以输出XR/PCC对象的至少一部分以与屏幕上的对象重叠。例如，自驾驶车辆1220可以输出与诸如道路、另一车辆、交通灯、交通标志、两轮车、行人和建筑物的对象对应的XR/PCC对象。

根据实施例的虚拟现实(VR)技术、增强现实(AR)技术、混合现实(MR)技术和/或点云压缩(PCC)技术适用于各种设备。

换言之，VR技术是仅提供真实世界对象、背景等的CG图像的显示技术。另一方面，AR技术指代在真实对象的图像上示出虚拟创建的CG图像的技术。MR技术与上述AR技术的相似之处在于，要示出的虚拟对象与真实世界混合和组合。然而，MR技术与AR技术的不同之处在于，AR技术在真实对象和作为CG图像创建的虚拟对象之间明确区分并且使用虚拟对象作为真实对象的补充对象，而MR技术将虚拟对象视为具有与真实对象等同的特性的对象。更具体地，MR技术应用的示例是全息服务。

最近，VR、AR和MR技术有时被称为扩展现实(XR)技术，而非彼此明确区分。因此，本公开的实施例适用于VR、AR、MR和XR技术中的任何一种。基于PCC、V-PCC和G-PCC技术的编码/解码适用于这种技术。

根据实施例的PCC方法/设备可以被应用于提供自驾驶服务的车辆。

提供自驾驶服务的车辆连接到PCC设备以进行有线/无线通信。

当根据实施例的点云数据(PCC)发送/接收设备连接到车辆以进行有线/无线通信时，设备可以接收/处理与可与自驾驶服务一起提供的AR/VR/PCC服务有关的内容数据，并将其发送到车辆。在PCC发送/接收设备安装在车辆上的情况下，PCC发送/接收设备可以根据通过用户接口设备输入的用户输入信号接收/处理与AR/VR/PCC服务有关的内容数据并将其提供给用户。根据实施例的车辆或用户接口设备可以接收用户输入信号。根据实施例的用户输入信号可以包括指示自驾驶服务的信号。

图18图示根据实施例的点云数据编码器。

根据实施例的点云编码器18000接收并编码点云数据(PCC数据)18000a。根据实施例的点云编码器输出几何信息比特流18000b和属性信息比特流18000c。根据实施例的点云编码器18000可以包括空间分区器18001、几何信息编码器18002和/或属性信息编码器18003。

点云编码器的空间分区器18001可以接收点云数据(PCC数据)18000a，并将点云数据分区成一个或多个3D空间。空间分区器18001可以接收点云数据并将点云数据空间分区成3D块。点云数据可以包含关于点(或多个点)的几何信息和/或属性信息。空间分区器18001可以基于边界框和/或子边界框对点云数据(PCC数据)进行空间分区。根据实施例的方法/设备可以基于分区的单元(框)来执行编码/解码。

空间分区器18001可以执行图1的点云获取10001、图2的获取20000、图3至图5的操作、以及图12的数据输入单元12000的操作中的一些/全部。

几何信息编码器18002根据实施例接收点云数据(PCC数据)的几何信息并且对其进行编码。几何信息可以表示关于包括在点云数据中的点的位置信息。几何信息编码器18002对几何信息进行编码并输出几何信息比特流。几何信息编码器18002可以重构关于点的位置信息并输出重构的几何信息18002a。几何信息编码器18002可以将重构的几何信息发送到属性信息编码器18002。

几何信息编码器18002可以执行图1的点云视频编码器10002的操作、图2的编码20001的操作、图4的坐标变换器40000、量化器40001和八叉树分析器40002、表面近似分析器40003、算术编码器40004和几何重构器40005的操作、以及图12的量化处理器12001、体素化处理器12002、八叉树占用码生成器12003、表面模型处理器12004、帧内/帧间编译处理器12005和/或算术编译器12006的操作中的一些/全部。

属性信息编码器18003可以根据实施例接收点云数据的属性信息，并基于从几何信息编码器18003接收到的重构的几何信息对属性信息进行编码。属性信息编码器18003对属性信息进行编码并且输出属性信息比特流18000c。根据实施例，属性信息编码器18003可以执行例如预测变换、提升变换和/或区域自适应分层变换(RAHT)。属性信息编码器18003可以执行例如预测提升变换。预测提升变换可以意指根据实施例的预测变换和/或提升变换的一些或全部详细操作的组合。

根据实施例的点云编码器可以根据实施例执行预测变换、提升变换和/或RAHT的一些、全部和/或组合。

属性信息编码器18003可以执行图1的点云视频编码器10002的操作，图2的编码20001的操作，图4的颜色变换器40006、属性变换器40007、RATH变换器40008、LOD生成器40009、提升变换器40010、系数量化器40011和/或算术编码器40012的操作，图12的颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12010和算术编译器12011的操作中的一些/全部。

这里，重构的几何信息18002c可以表示由参考图4描述的几何重构器(重构几何)40005重构的八叉树和/或近似八叉树。重构的几何信息可以表示参考图6描述的占用码或表示八叉树结构。重构的几何信息可以表示由参考图12描述的八叉树占用码生成器12003生成的八叉树占用码。

属性信息编码器18003可以根据实施例对点云数据的属性信息进行编码。这里，根据实施例的编码器18003可以基于根据实施例的重构的几何信息对属性信息进行编码。属性信息编码器18003可以通过对接收到的数据进行编码来生成包含属性信息的比特流。

根据实施例的属性信息编码器18003可以包括图4的颜色变换器40006、属性变换器40007、RAHT变换器40008、LOD生成器40009、提升变换器40010和系数量化器40011，和/或算术编码器400012。

点云数据包括指示每个点的位置的几何信息和指示每个点的属性(属性)的属性信息。因为点云数据可能不均匀地分布在3D空间中，所以使用根据实施例的八叉树结构来有效地压缩点云数据。即，根据实施例的编码器生成八叉树并基于生成的八叉树对属性信息进行编码。可以基于区域自适应分层变换(RAHT)和细节级别(LoD)来执行根据实施例的对属性信息进行编码的方法。

使用参考图9描述的变换矩阵来执行根据实施例的基于RAHT的属性编码。变换矩阵中使用的系数是根据八叉树结构中的级别计算的，并且因此依赖于八叉树结构。因为执行基于RAHT的属性编码需要八叉树结构的编码(即，几何编码)，所以在需要高速处理的系统中可能会出现不必要的延迟。

此外，在根据实施例的基于LoD的属性编码中，执行在特定点处搜索邻居点的最近邻居搜索过程。虽然在最近邻居搜索过程中能够搜索到准确的邻居点，但是搜索过程所需的时间相对较长。因此，在需要高速处理的系统中可能出现不必要的延迟。

因此，根据实施例的编码器通过将关于点的属性和/或位置信息与八叉树的节点相匹配来生成着色的八叉树，并基于着色的八叉树执行属性编码。根据实施例的编码器可以基于着色的八叉树以少量的计算执行属性编码。根据实施例的发送设备可以将与着色的八叉树相关的信令信息发送到接收设备。接收设备可以取得与着色的八叉树相关的信令信息并生成着色的八叉树。因为根据实施例的解码器可以基于着色的八叉树同时执行属性解码和几何解码，从而防止在提供点云数据中的不必要的延迟。此外，因为根据实施例的解码器基于着色的八叉树处理编码的属性，所以其以较小的计算量执行属性解码。根据实施例的接收设备可以基于着色的八叉树根据接收设备的性能(例如，渲染器性能、输出性能等)渲染或输出具有各种级别的分辨率的内容。下面将描述根据实施例的通过对八叉树进行着色来生成着色的八叉树并发送该着色的八叉树的过程。

图19图示根据实施例的八叉树和着色的八叉树。

根据实施例的点云数据编码器可以根据实施例生成八叉树，并且使用生成的八叉树生成着色的八叉树。图19图示生成着色的八叉树的方法。

着色的八叉树指代着色的八叉树结构，其中属性信息被包括在八叉树中包括的一个或多个节点中。即，着色的八叉树可以指代使用八叉树结构指示关于点的位置信息并且包括与对应位置匹配的属性信息的结构。

图19(A)示出根据实施例的八叉树结构。八叉树结构指代指示关于点的位置信息的数据结构。八叉树结构表示参考图5至图6描述的八叉树。

八叉树结构由包括一个或多个节点的k-ary树组成。如参考图5和图6所描述的，八叉树结构利用0和1指示在三维空间中点的占有率。八叉树结构包括一个根节点19000a。根节点19000a包括8个子节点19000b-1至19000b-2。取决于点是否在3D空间中被占用，子节点被指配0或1。八个子节点可以被称为1级节点。八个子节点中的一些可以进一步包括次子节点。

八叉树结构包括最低级别的节点，即，一个或多个叶节点19000c-1至19000c-2。叶节点对应于不再划分的三维空间(即，体素)。

图19(A)中所示的八叉树结构可以由图18的几何信息编码器18002或者通过图11的几何重构器11003生成。图19(A)中所示的八叉树结构仅包括关于三维空间中的点的位置信息。八叉树结构中的叶节点仅使用0和1以指示点是否存在于体素单元的空间中。

图19(B)图示与八叉树结构的叶节点匹配的属性信息。因为八叉树结构中的叶节点仅指示体素单元中空间中点的存在/不存在，所以根据实施例的编码器可以将与体素单元中的空间对应的属性信息与对应的叶节点进行匹配。

例如，在图19(A)中，一个叶节点19000c-1在对应的体素中不具有点，并且因此根据实施例的编码器不需要将属性信息匹配到叶节点(19001-1)。然而，图19(A)中的其他叶节点19000c-2在体素中具有一个或多个点。因此，根据实施例的编码器可以将表示一个或多个点的属性信息与叶节点(19001a-2)匹配。将属性信息与叶节点匹配可以理解为将叶节点的值输入到对应的属性信息中。

在下文中，将几何信息和/或属性信息与八叉树结构中的一个或多个节点匹配的操作可以被称为着色(colorizing)。即，将几何信息和/或属性信息与八叉树结构中的特定节点(包括叶节点)匹配的操作可以表达为对该特定节点着色。例如，将几何信息和/或属性信息与八叉树结构中的叶节点匹配的操作可以表达为对叶节点着色。此外，将几何信息和/或属性信息与八叉树中的根节点匹配的操作可以表达为对根节点着色。

例如，当一个点存在于体素中时，根据实施例的编码器可以将关于对应点的属性信息与对应于该体素的叶节点匹配。例如，当体素中存在多个点时，根据实施例的编码器可以将表示多个点的属性信息(例如，平均信息等)与叶节点匹配。

图19(C)图示使用在其中属性信息与叶节点匹配的八叉树来生成着色的八叉树的过程。在图19(B)中，编码器将与叶节点匹配的属性信息的一些数据与八叉树中的除了叶节点以外的节点进行匹配。例如，在图19(C)中，当整个点云数据中表示的属性信息为C2时，C2可以与根节点19002a匹配。

当属性信息与除了叶节点以外的节点匹配时，匹配的属性信息可能重复地包括在叶节点19002b-1和19002b-2之一中，并且因此根据实施例的编码器可以进一步移除具有重复信息的叶节点。

因为属性信息是通过生成着色的八叉树来编码的，所以即使在没有对八叉树结构进行完全编码的情况下，根据实施例的编码器也可以执行属性编码。因此，可以解决在需要高速处理的系统中出现的不必要延迟的问题。此外，因为根据实施例的编码器使用八叉树结构生成着色的八叉树，所以可以比基于LoD的属性编译更快地执行搜索周边点的过程。因此，根据实施例的传输终端可以基于少量的计算来压缩属性信息。

此外，根据实施例的点云数据接收设备(或解码器)使用着色的八叉树执行解码。因此，即使在不完全解码属性信息的情况下，也可以执行属性解码。从而，可以实现可缩放解码。即，可以使用根据实施例的着色的八叉树基于一个压缩的比特流来支持各种性能的接收器。例如，当根据实施例的发送设备压缩面向各种性能的解码器的信息时，各种性能的接收器可以由一个比特流来支持，而不是生成或存储适合每个解码器性能的独立压缩信息。因此，可以在发射器和比特的存储空间方面效率增加。此外，当传输带宽受限时，发射器可能会生成并发送低分辨率的点云数据。

在下文中，将详细描述用于生成着色的八叉树的根据实施例的编码器的结构和操作的示例。

图20图示根据实施例的点云数据编码器。

在对接收到的点云数据进行编码之后，根据实施例的点云数据编码器20000输出几何比特流和属性比特流。根据实施例的点云数据编码器20000包括八叉树生成器(八叉树生成)20001、几何预测器(几何预测)20002、几何熵编译器(几何熵编译)20003、八叉树匹配器(八叉树匹配)20004、着色的八叉树生成器(着色的八叉树生成)20004、属性预测器(属性预测)20005、变换&量化单元(变换&量化)20006、属性熵编译器(属性熵编译)20007。

根据实施例的点云数据可以参考图18的PCC数据18000a或由空间分区器18001分区的数据。点云数据包括几何数据和属性数据。几何数据是表示关于点云数据的位置信息的信息。属性数据是表示关于点云数据的属性信息的信息。

几何比特流对应于图18的几何比特流18000b。属性比特流对应于图18的属性信息比特流18000c。

八叉树生成器20001根据实施例接收几何数据。八叉树生成器20001基于几何数据生成关于点的位置信息的八叉树结构。八叉树结构指代参考图5和图6描述的八叉树结构。八叉树生成器20001将生成的八叉树结构递送到几何预测器19002和/或八叉树匹配器20004。八叉树生成器20001可以被包括在图18的几何信息编码器18002中，并且可以表示图11的几何重构器11003。

根据实施例的几何预测器20002使用根据实施例的八叉树来预测几何信息。

根据实施例，作为检测邻居节点的方法，发送设备可以基于距特定点的一定范围内的子节点之间的位置邻接来执行预测。例如，发送设备或接收设备可以假定来自同一父节点的次节点在八叉树结构中彼此相邻。此外，发送设备或接收设备可以假定相邻子节点的预测值彼此相似。因此，接收设备通过将具有相同父节点的兄弟节点定义为具有相同预测属性值来预测父节点的属性数据，而不是为每个子节点导出预测属性值。这种配置可以减少每个子节点的编码所需的系数数量，从而增加发送设备和接收设备的编译效率。此外，预测的属性值可以用作每个父节点的代表值。从而，可以预测与八叉树结构匹配的属性。

根据实施例，发送设备可以基于如下公开的预测信息获得每个子节点的属性预测误差。属性预测误差意指原始属性数据和预测的属性数据之间的差值。取决于属性预测误差的目的，可以使用其他方法(例如，加权差、加权平均差等)。

r_l(x，y，z)＝g{c_l(x，y，z)，p_l(x，y，z)}＝c_l(x，y，z)-p_l(x，y，z)

根据实施例的几何熵编译器20003对根据实施例的预测的几何信息执行熵编译并输出几何比特流。

根据实施例的着色的八叉树生成器20004接收由八叉树生成器20001生成的八叉树结构和属性数据并生成着色的八叉树。着色的八叉树生成器20004可以根据参考图21描述的操作生成着色的八叉树。由八叉树生成器20001生成的八叉树结构可以是图19(A)中所示的八叉树结构。

着色的八叉树生成器20004可以包括例如八叉树匹配器20004a和/或节点间重复移除器(节点间重复移除)24000b。

八叉树匹配器20004a可以接收八叉树结构和属性数据，并将属性数据与八叉树结构的叶节点进行匹配。八叉树匹配器20004a可以使用与叶节点匹配的八叉树将属性数据与除了叶节点之外的节点匹配。例如，八叉树匹配器20004可以生成八叉树结构，其中属性信息与叶节点匹配，如图19(B)中所示，并且可以使用在其中属性信息与叶节点匹配的八叉树结构将属性信息与除了叶节点以外的节点进行匹配，如图19(C)中所示。即，八叉树匹配器20004通过将属性数据与八叉树结构的节点进行匹配来生成着色的八叉树。

节点间重复移除器20004b接收根据实施例的着色的八叉树并且移除包括在着色的八叉树中的重复数据。例如，如图19(C)中所示，当在叶节点和除了叶节点以外的节点中包括重复数据时，节点间重复移除器20004b可以移除重复数据(19002b-1)。节点间重复移除器20004b生成没有重复数据的着色的八叉树并且对其进行输出。

属性预测器20005接收根据实施例的着色的八叉树并预测必要的属性信息。属性预测器20005针对每个深度级别生成残差属性信息或预测属性信息。

变换&量化单元20006接收由属性预测单元20005生成的预测属性数据或残差属性数据，并对其进行变换和量化。

属性熵编译器20007根据实施例对变换和量化的属性信息进行熵编译并输出属性比特流。

通过生成着色的八叉树并发送属性信息，根据实施例的编码器可以执行属性编码而无需完全地编码八叉树结构。从而可以解决需要高速处理的系统中不必要的延迟问题，并且可以基于少量的计算来压缩属性信息。

着色的八叉树是使用八叉树结构指示关于点的位置信息的结构，并且包括与相应位置匹配的属性信息。另外，在着色的八叉树中，属性信息分布在节点当中，而不限于叶节点。因此，根据实施例的解码器可以在从着色的八叉树中的根节点到叶节点顺序遍历几何信息和属性信息的同时根据解码器的性能自适应地执行解码。即，因为根据实施例的点云数据接收设备(或解码器)接收着色的八叉树，所以可以在不完全解码属性信息的情况下对属性信息进行解码，从而实现可缩放解码。此外，着色的八叉树可以支持各种性能的接收器，因为属性信息根据解码器性能与节点匹配。

下面将详细描述根据实施例的着色的八叉树生成器20004的操作。

图21图示根据实施例的其中点云数据发送设备生成着色的八叉树的过程。

生成图21中所图示的着色的八叉树的过程可以由图20的着色的八叉树生成器20004执行。

在下文中，将属性信息与八叉树结构中的一个或多个节点匹配的操作可以被称为着色。即，将属性信息与八叉树结构中的特定节点(包括叶节点)进行匹配的操作可以表达为对特定节点进行着色。例如，将属性信息与八叉树结构中的叶节点进行匹配的操作可以表达为对叶节点进行着色。此外，将属性信息与八叉树中的根节点匹配的操作可以表达为对根节点着色。

生成着色的八叉树的过程包括叶节点着色21000、邻居检测21001、点数据选择21002、八叉树节点着色21003和节点间属性重复移除21004。

在着色的八叉树中，属性数据首先与根节点匹配。然后，在生成根节点着色的八叉树的过程中，可以执行叶节点着色21000、邻居检测21001、点数据选择21002、八叉树节点着色21003和节点间属性重复移除21004。除了包括叶节点(21005和21006)的级别之外，可以对每个级别执行生成着色的八叉树的过程。

在叶节点着色21000中，接收点云数据的属性数据和八叉树结构，并将对应的属性数据与八叉树结构中的叶节点匹配。

在邻居检测21001中，检测与点云数据的特定点的邻居对应的点。特定点的邻居可以是与该特定点相邻的邻居点的集合。可以基于根据实施例的八叉树结构来定义邻居。基于八叉树结构的邻居可以是与叶节点(其对应于特定点)的父节点的次节点相对应的点的集合。父节点可以是比相应叶节点的级别更高的特定级别的节点。具体级别可以被任意确定。将参考图23描述邻居检测的细节。

具体而言，例如，为了将属性数据与根节点匹配，编码器需要检测对应于存在于根节点下方的节点中的叶节点的点。相应地，为了将属性数据与根节点匹配，编码器可以将父节点当作根节点，并且检测与包括在比父节点(根节点)低一级的叶节点对应的点。

例如，属性信息可能需要与包括在级别4的特定位置中的第一节点(除了叶节点之外的节点)匹配。根据实施例，对应于级别4的3D空间中的点的邻居需要被检测。可以将父节点当作第一节点，并且可以检测与比父节点(第一节点)更低级别中包括的叶节点相对应的点。通过这种方式检测邻居点，根据实施例的编码器可以考虑点云数据的属性信息分布来实现着色的八叉树。

在点数据选择21002中，从与在邻居检测中检测到的邻居相对应的点当中选择特定点(或关于特定点的属性信息)。特定点是可以表示与在邻居检测21001中检测到的邻居相对应的点。根据实施例的编码器可以使用各种方法来选择特定点。根据实施例的编码器甚至可以使用各种方法在一个3D空间内选择特定点。根据实施例的编码器可以将选择的特定点与八叉树结构中除了叶节点之外的节点(即，父节点)匹配。

例如，特定点可以是靠近对应于相应父节点的位置的点。也就是说，根据实施例的编码器可以选择对应于靠近对应于父节点的位置的点的叶节点。

例如，特定点可以是靠近对应于邻居的点的平均位置的点。也就是说，根据实施例的编码器可以选择与靠近检测到的邻居的平均位置的点对应的叶节点。

根据实施例的编码器可以将所选择的特定点与八叉树结构中除了叶节点之外的节点(即，父节点)匹配。此外，根据实施例的编码器可以将关于所选择的特定点的属性信息和关于与邻居对应的点的平均属性的残差(例如，点-Attr(x_n,y_n,z_n))的信息与父节点匹配。

将参考图24详细描述根据实施例的编码器选择特定点的过程。

在八叉树节点着色21003中，根据实施例的所选择的特定点与父节点匹配。将所选择的特定点与父节点匹配可以称为对父节点着色。

在节点间属性重复移除21004中，从与存在对应属性信息的叶节点和父节点匹配的属性中移除重复数据。根据实施例，当基于关于与检测到的邻居相对应的点的属性信息匹配父节点时，可能在叶节点和父节点中可能产生重复数据。根据实施例的编码器可以进一步移除这种重复数据。

根据实施例的节点间重复数据移除21004可以在将属性数据匹配到每个节点的同时执行，或者可以在属性数据匹配到所有节点之后执行。

在对八叉树结构执行叶节点着色21000之后，根据实施例的编码器可以如下执行邻居检测21001、点数据选择21002、和八叉树节点着色21003以及节点间属性复制移除21004的步骤。

1)对根节点(对应于级别0的节点)执行步骤21001至21004，并且将属性信息匹配到根节点。

2)对根节点的子节点(对应于级别1的节点)当中的被占用节点(即，由1指示的节点)执行步骤21001至21004，并将属性信息匹配到每个节点。

3)对占用节点(21007)下方的节点递归地(或重复地)执行步骤21001至21004。当占用节点下方的节点为叶节点时，不再执行上述步骤21001至21004(21006)。

着色的八叉树是使用八叉树结构指示关于点的位置信息并包括与相应位置匹配的属性信息的结构。另外，在着色的八叉树中，属性信息分布在节点当中，而不限于叶节点。因此，根据实施例的解码器可以在从着色的八叉树中的根节点到叶节点顺序遍历几何信息和属性信息的同时，根据解码器的性能自适应地执行解码。即，因为根据实施例的点云数据接收设备(或解码器)接收着色的八叉树，所以可以在不完全地解码属性信息的情况下对属性信息进行解码，从而实现可缩放解码。此外，着色的八叉树可以支持各种性能的接收器，因为属性信息根据解码器性能与节点匹配。

图22图示对八叉树结构的叶节点着色的操作。

图22中所图示的操作可以是在图21的叶节点着色21000中执行的操作，并且可以由着色的八叉树生成器20004或八叉树匹配器20004a执行。

图22(A)示出根据实施例的属性数据(属性信息)的示例。

属性数据可以包括例如颜色值。图22(A)中所示的属性数据是参考1至图17描述的属性信息(属性数据)的示例。

c1到c9表示关于各个点的属性信息。Attr指示关于具有特定位置的点的属性信息。具体而言，Attr(0,2,0)指示关于在位置(0,2,0)处存在的点的属性信息。因此，c1＝Attr(0,2,0)意指c1是关于被定位在(0,2,0)处的点的属性信息。

图22(A)示例性地示出关于分布在3D空间中的点的属性信息。图22(A)示出关于存在于3D空间中的九个点中的每一个的属性信息。

图22(B)示出包括已经对其执行着色的叶节点的八叉树结构。图22(B)图示在根据实施例的八叉树结构中将属性信息与图22(A)中所示的点匹配的过程。例如，对应于c1的点分布在位置(0,2,0)处，并且因此对应于图22(B)中所示的八叉树中的叶节点22000B-1。属性信息c1与叶节点22000B-1匹配。c2到c9也以类似的方式匹配到相应的叶节点。

图23(A)和23(B)中图示的检测邻居的操作可以表示图21的邻居检测21001的操作。根据实施例的编码器可以检测特定点的邻居点，以便于将属性信息与八叉树结构中的节点匹配。根据实施例的编码器可以基于检测到的邻居点选择属性信息，并且然后将选择的属性信息与八叉树结构中的节点匹配。

根据实施例的编码器可以在从根节点增加级别(即，向下步进到较低级别的节点)的同时将属性信息与节点匹配。

图23(A)图示其中根据实施例的编码器检测具有根节点作为父节点的邻居点以便于导出与根节点匹配的属性信息的过程。

根据实施例的编码器可以从对应于父节点(根节点)的3D空间中的点23001当中选择一个点(例如，对应于C1的点23000a)。根据实施例的编码器可以搜索除所选择的点之外的被当作同一父节点的子节点的叶点。例如，可以搜索对应于C2至C9的节点(它们是与对应于C1的点共享父节点(根节点)的下叶节点)作为邻居点23000b。

根据实施例的编码器可以基于所选择的邻居点23000b来选择属性信息，并且然后将其匹配到相应的父节点(根节点)。

图23(B)图示其中根据实施例的编码器检测具有除了根节点之外的节点作为父节点的邻居点以便于导出要与该节点匹配的属性信息的过程。

根据实施例的编码器可以从对应于父节点的3D空间中的点23001当中选择一个点(例如，对应于C1的点23001a)。根据实施例的编码器可以搜索除所选择的点之外的被当作相同父节点的子节点的叶节点。例如，可以搜索对应于C2至C4的节点(它们是与对应于C1的点共享父节点的下叶节点)作为邻居点23000b。

根据实施例的编码器可以基于所选择的邻居点23001b来选择属性信息23001a，并且然后匹配相应的父节点。

图24示出根据实施例的用于根据实施例的编码器基于邻居将属性信息匹配到父节点的等式。

图24(A)示出根据实施例的表示在邻居点当中选择属性信息以将属性信息与父节点匹配的示例性方法的等式。

(x_n,y_n,z_n)表示根据实施例的n个点的(x,y,z)坐标。例如，在图22中，具有c1属性的点可以表示为(0,2,0)，其中x_1＝0，y_1＝2，并且z_1＝0。

Attr(x_n,y_n,z_n)表示关于n个点的属性信息。即，Attr(x_n,y_n,z_n)表示定位在(x_n,y_n,z_n)处的点的属性信息。换言之，函数Attr(point)可以理解为返回关于点的属性信息的函数。

P_GeoCtr(x,y,z)表示根据实施例的关于父节点的属性信息。即，图24(A)对应于确定关于P_GeoCtr(x，y，z)，即，父节点的属性信息的过程。

NEIGHBOR可以表示对应于(x_n,y_n,z_n)处的点的邻居的点的集合。

f{Attr(x_n,y_n,z_n)|(x_n,y_n,z_n)∈NEIGHBOR}表示当输入与特定点的邻居对应的点时，返回关于作为邻居点之一的(x_n,y_n,z_n)处的点的属性信息的函数。即，其是返回与邻居点对应的点当中的(x_n，y_n，z_n)处的一个点的属性信息的函数。

f{Attr(x_n,y_n,z_n)|(x_n,y_n,z_n)∈NEIGHBOR}表示由24000a指示的等式具有最小值的点(x_n,y_n,z_n)的属性值。

s(x_n,y_n,z_n)指示是否从根据实施例的点当中选择父节点。例如，当节点的s(x_n,y_n,z_n)为0时，其指示该点被选择为父节点以进行匹配。例如，当节点的s(x_n,y_n,z_n)为1时，其指示该点从未被选择作为父节点。

为了将属性与特定父节点匹配，根据实施例的点云数据编码器检测父节点的邻居点，并且然后检查邻居点的s(x_n，y_n，z_n)的值。然后，根据实施例的编码器将s(x_n,y_n,z_n)设置为1的点之一的属性与父节点匹配。由于这种配置，根据实施例的编码器可以将相同的属性数据匹配到多个父节点。

M可以表示根据实施例的邻居点的数量。

[x^-，y^-，z^-]^T可以表示根据实施例的邻居点的平均位置。可以基于关于邻居点的位置信息计算根据实施例的邻居点的平均位置。具体地，可以通过将邻居点的位置之和除以邻居点的数量来计算根据实施例的邻居点的平均位置。例如，根据实施例的邻居点的平均位置可以通过将要应用于相应邻居点的权重(权重(x_n,y_n,z_n))乘以邻居点的总和除以邻居点的数量来计算(24000b)。

权重(x_n,y_n,z_n)是要应用于相应的邻居点的权重。

||[x^-,y^-,z^-]^T-[x_n,y_n,z_n]^T||可以表示每个邻居点与邻居点的平均位置之间的距离(例如，欧几里德距离)。

在选择邻居点之一时，可以不考虑已经与父节点匹配的点。即，根据实施例的点云数据编码器可以将||[x^-,y^-,z^-]^T-[x_n,y_n,z_n]^T||^2乘以s(x_n,y_n,z_n)，并且可以不考虑已经与父节点匹配的点。

简而言之，根据实施例要与父节点匹配的属性值可以表示关于由24000a指示的等式具有最小值的点的属性数据。即，根据实施例的点云数据编码器可以计算通过将[x^-,y^-,z^-]^T-[x_n,y_n,z_n]^T||^2乘以s(x_n,y_n,z_n)而获得的值的平均值，选择平均值被确定为最小值的点(x_n,y_n,z_n)，并且然后关于这个点的属性信息(Attr(x_n,y_n,z_n))与父节点匹配。

图24(B)示出根据实施例的表示选择属性信息以将属性信息与邻居点当中的父节点匹配的另一示例性方法的等式。

根据实施例的点云数据编码器可以从以升序排序的邻居点当中选择具有中值的点。根据实施例的点云数据编码器可以从通过将每个邻居点乘以应用于每个邻居点的权重所获得并按升序排列的值当中选择具有中值的点。在选择邻居点之一时，可以不考虑已经与父节点匹配的点。即，根据实施例的点云数据编码器可以将{权重(x_n,y_n,z_n|x,y,z)*[x_n,y_n,z_n]^T}乘以s(x_n,y_n,z_n)，并且可以不考虑已经与父节点匹配的点。

图24(C)示出根据实施例的表示选择属性信息以将属性信息与邻居点当中的父节点匹配的另一示例性方法的等式。

当邻居点按升序排序时，根据实施例的点云数据编码器可以选择具有第k个值的点。根据实施例的点云数据编码器可以在通过将每个邻居点乘以应用于每个邻居点的权重获得并且按升序排序的值当中选择具有第k个值的点。在选择邻居点之一时，可以不考虑已经与父节点匹配的点。

图25(A)示出根据实施例的其中属性信息与每个节点匹配的树。图25(A)中的其中匹配了属性信息的八叉树结构可以被称为着色的八叉树。图25(A)的着色的八叉树可以是通过执行图21中的叶节点着色操作21000、邻居检测操作21001、点数据选择操作21002和八叉树节点着色操作21003获得的八叉树结构。

当关于点的属性数据与除了叶节点之外的节点重复匹配时，重复属性数据可以指代重复匹配的属性数据。也就是说，由于递归选择，相同的信息可能被复制到更高级别，这可能会增加数据的总数，并且因此降低编译效率。例如，在生成着色的八叉树的过程中，C1可能存在于叶节点25000b-1或上节点25000b中。当根据实施例的编码器发送这属性数据两者时，传输效率会降低。此外，可能无法实现在增加比特效率的同时实现可缩放表示的目的。因此，有必要移除重复的属性数据。

因此，根据实施例的编码器可以移除与重复数据25000b和25000b-1当中的叶节点对应的属性信息25000b-1。类似地，属性信息C2可能在根节点25000a和叶节点25000a-1处重复存在。根据实施例，可以移除关于根节点25000a和叶节点25000a-1之间的叶节点的属性信息。

类似地，属性信息C5可以在特定节点25000c和叶节点25000c-1处重复存在。根据实施例，可以移除关于特定节点25000c和叶节点25000c-1之间的叶节点的属性信息。

通过移除重复数据之间的叶节点处的属性数据，根据实施例的解码器可以快速解码属性信息，而无需执行直至叶节点的搜索和解码，并且可以为用户快速渲染PCC数据.

图26图示根据实施例的编码器的操作。

图26中所示的操作可以在根据实施例的编码器中执行。具体地，图25中所示的操作可以由图20的着色的八叉树生成器20004执行。

根据实施例的编码器包括将点云数据与叶节点匹配的步骤26000、将属性信息与根节点匹配的步骤26001、从下节点到叶节点的上节点(在级别叶-1处)将属性信息与节点匹配的步骤26002、和/或从属性信息被匹配到的八叉树结构中移除重复数据的步骤26003。

将点云数据与叶节点进行匹配的步骤26000可以通过参考图22描述的操作来执行。也就是说，根据实施例的编码器接收属性数据(输入：c1、c2、c3、c4、c5、c6、c7、c8、c9)和根据实施例的八叉树结构。根据实施例的编码器将接收到的属性数据与八叉树结构中的对应叶节点26000a进行匹配。

在将属性信息与根节点匹配的步骤26001中，在检测到具有根节点作为父节点的邻居点后，选择关于检测到的邻居点之一的属性信息，并且然后将所选择的属性信息匹配到根节点。例如，具有根节点作为父节点的邻居点为与C1至C9对应的点。根据实施例的编码器可以在点当中选择与C2对应的点，并且可以将关于选择的点的属性信息与根节点匹配(“选择和匹配：c2”)。可以使用分开的阵列或合适的数据结构将根据实施例的所选择的点存储为0或1。

在将属性信息与从下节点到叶节点的上节点(在叶-1级别处)的节点匹配的步骤26002中，可以迭代地执行将属性信息与根节点匹配的步骤26001中执行的操作，或者递归地用于下节点。

在从属性信息被匹配到的八叉树结构中移除重复数据的步骤26003中，可以从属性信息与根节点或每个节点匹配的八叉树结构中移除重复的属性数据。从属性信息被匹配到的八叉树结构中移除重复数据的步骤26003可以根据参考图25描述的操作执行。

图27示出根据实施例的点云数据的示例性比特流结构。

根据实施例的点云数据发送设备可以发送具有如图27中所示的比特流结构的比特流27000。点云数据的比特流27000可以包括顺序参数集(SPS)27001、几何参数集(GPS)27002、属性参数集(APS)27003、图块参数集(TPS)27004和一个或多个切片(切片0、切片1、...、切片n)27005。点云数据的比特流可以包括一个或多个图块。根据实施例，图块可以是包括一个或多个切片的切片组。

根据实施例的比特流27000提供图块或切片，使得点云数据可以按区域被分区和处理。根据实施例的比特流27000的每个区域可以具有不同的重要性。因此，当点云数据被分区为图块时，可以对各自图块应用不同的滤波器(编码方法)和不同的滤波器单元。当点云被分区为切片时，可以对各自切片应用不同的滤波器和不同的滤波器单元。

根据实施例的发送设备和接收设备可以根据高级句法结构发送和接收比特流，用于在点云被分区和压缩时在被分区的区域中的属性信息的选择性传输。

通过根据图27中图示的比特流27000的结构发送点云数据，根据实施例的点云数据发送设备可以根据重要性应用不同的编码操作，并且可以对重要区域使用高质量的编码方法。此外，可以根据点云的特性支持高效的编码/解码和传输，并根据用户需求提供属性值。

SPS 27001是包含应用于零个或多个完整CVS的语法元素的语法结构，如由在PPS中发现的语法元素的内容所确定的，该PPS由在每个切片片段报头中发现的语法元素参考。SPS可以包括关于根据实施例的点云数据比特流的序列信息。

GPS 27002可以表示包含语法元素的语法结构，零个或多个完整几何(或编译的几何)被应用于该语法元素。根据实施例的GPS 27002可以包括关于编码包括在一个或多个切片27005中的点云数据的属性信息的方法的信息。GPS 27002可以包括SPS标识符信息，该SPS标识符信息指示所包含的几何参数根据实施例与其相关的SPS 27001，以及用于识别GPS的GPS标识符信息。

APS 27003可以表示包含应用零个或多个所有属性(或编译的属性)的语法元素的语法结构。根据实施例的APS 27003可以包括关于对包括在一个或多个切片19005中的点云数据的属性信息进行编码的方法的信息。APS 27003可以包括指示所包含的几何参数根据实施例与其相关的SPS 27001的SPS标识符信息，与用于识别APS的GPS标识符信息。

TPS 27004可以表示包含应用零个或多个整个图块(或编译的图块)的语法元素的语法结构。根据实施例，图块库包括关于包括在根据实施例的点云数据比特流中的零个或多个图块的信息。图块库可以被称为根据实施例的图块参数集(TPS)。

TPS 27004可以包括用于识别一个或多个图块的标识符信息和指示一个或多个图块的范围(即，图块的边界框)的信息。指示一个或多个图块的范围(即，图块的边界框)的信息可以包括关于用作由图块表示的边界框的参考的点的坐标信息(例如，Tile(n).tile_bounding_box_xyz0)以及关于边界框的宽度、高度和深度的信息(例如，Tile(n).tile_boudning_box_whd)。当存在多个图块时，图块库27004可以包括指示每个图块的边界框的信息。例如，当通过关于图块的标识符信息将图块表示为0到n时，指示图块的边界框的信息可以表示为Tile(0).tile_bounding_box_xyz0、Tile(0).tile_bounding_box_whd、Tile(1).tile_bounding_box_xyz0、Tile(1).tile_bounding_box_whd等。

切片27005可以表示由根据实施例的点云数据发送设备形成对点云数据进行编码的单元。根据实施例，切片27005可以表示包括一个几何比特流(Geom00)27005a和一个或多个属性比特流(Attr00和Attr10)27005b和27005c的单元。

切片27005可以包括指示关于包括在切片中的点云数据的几何信息的几何切片(Geom)27005a，和指示关于切片中包括的点云数据的属性信息的一个或多个属性切片(Attr)27005b和27005c。

几何切片(Geom)27005a包括：几何切片数据(Geom_slice_data)19005a-2，其包括点云数据的几何信息；以及几何切片报头(GSH)(Geom_slice_header)27005a-1，其包括关于几何切片数据的信息。

几何切片报头27005a-1包括关于切片中的几何切片数据27005a-2的信息。例如，几何切片报头27005a-1可以包括用于识别指示关于切片的几何信息的GPS 27002的几何参数集标识符(geom_geom_parameter_set_id)、用于识别几何切片的几何切片标识符(geom_slice_id)、指示几何切片数据的框原点的几何框原点信息(geomBoxOrigin)、指示几何切片的对数标度的信息(geom_box_log2_scale)、以及与几何切片的点数相关的信息(geom_num_points)。

当根据实施例的点云数据比特流包括一个或多个图块时，根据实施例的几何比特流的报头可以进一步包括用于识别包括几何比特流的图块的信息(geom_tile_id)。

属性切片(Attr)27005b包括：包括关于点云数据的属性信息的属性切片数据(Attr_slice_data)27005b-2，和包括关于属性切片数据的信息的属性切片报头(Attr_slice_header(ASH))27005b-1。

根据实施例，点云编码所必要的参数可以被新定义为点云的参数集和报头信息。例如，可以将它们添加到属性参数集RBSP语法中以执行属性信息编码，并且可以添加到tile_header语法中以执行基于图块的编码。

根据实施例的点云数据发送/接收方法可以提供如上所述的比特流结构，从而增加接收器在解码点云数据的属性信息时的性能。

图28示出根据实施例的属性参数集(APS)。

根据实施例的由点云数据发送设备发送的比特流(或由点云数据接收设备接收的比特流)包括一个或多个属性参数集(APS)。根据实施例的APS表示图27的APS。

根据实施例的APS可以包括，例如，aps_attr_parameter_set_id、aps_seq_parameter_set_id、octree_full_level_present_flag、scalable_represenatation_available_flag、octree_colorization_type、matched_attribute_type、attribute_selection_type和/或point_data_selection_type以及point_cloud_geometry_info_present_flag。

aps_attr_parameter_set_id为APS提供标识符以供其他语法元素参考。aps_attr_parameter_set_id的值可以在0至15的范围内，包括0和15。

aps_seq_parameter_set_id(指定用于活动SPS的sps_seq_parameter_set_id的值)。aps_seq_parameter_set_id的值可以在0至15的范围内，包括0和15。

当octree_full_level_present_flag为1时，其指示根据实施例的八叉树结构中的完整级别的数据被发送。即，将此参数设置为1意指由根据实施例的点云数据发送设备以比特流发送几何数据的八叉树结构的完整级别的数据。

当octree_full_level_present_flag为0时，其指示根据实施例的八叉树结构中的部分级别的数据被发送。即，将此参数设置为1意指由根据实施例的点云数据发送设备以比特流发送几何数据的八叉树结构中的部分级别的数据，即，部分八叉树。

例如，当根据实施例的点云数据发送设备仅发送关于从八叉树结构中的根级别到不是叶节点级别的级别k的级别处的节点的占用信息时，octree_full_level_present_flag的值可以为0。例如，当根据实施例的点云数据发送设备发送关于与从八叉树结构中的根级别到叶节点级别的级别对应的所有节点的占用信息时，octree_full_level_present_flag的值可以为1。

当octree_full_level_present_flag的值为1时，根据实施例的点云数据接收设备(解码器)可以执行属性到节点匹配处理和属性到点匹配的过程，并且输出部分和/或完整的点云数据。当octree_full_level_present_flag的值为0时，根据实施例的点云数据接收设备(解码器)可以执行属性到节点匹配的过程，并且输出部分点云数据。在根据实施例的解码器的操作当中，下面将参考图33等描述属性到节点的匹配和属性到点的匹配。

scalable_representation_available_flag指示可缩放解码(或可缩放表示)是否可用。根据实施例的点云编码器可以生成着色的八叉树以实现可缩放表示，并基于着色的八叉树处理属性。当scalable_representation_available_flag为1时，scalable_representation_available_flag指示解码的点云数据(解码的属性)具有其中可缩放表示可用的结构(着色的八叉树结构)。因此，接收设备可以基于此信息生成着色的八叉树以提供可缩放的表示。当scalable_representation_available_flag为0时，scalable_representation_available_flag指示解码的点云数据不具有其中可缩放表示可用的结构。

octree_colorization_type指示着色的八叉树类型或生成着色的八叉树的方法。当octree_colorization_type为0时，其指示根据属性配对八叉树生成的方法来生成着色的八叉树。当octree_colorization_type为1时，其指示根据点配对八叉树生成的方法来生成着色的八叉树。

当octree_colorization_type为0时，即，当着色的八叉树为属性配对的八叉树时，给出以下公开的相关参数。

matched_attribute_type指示与八叉树节点匹配的属性类型。当matched_attribute_type为0时，matched_attribute_type指示该属性为估计的属性(例如，基于邻居节点或子节点的属性估计的属性)。当matched_attribute_type为1时，matched_attribute_type指示该属性为实际属性(例如，子节点的属性)。

attribute_selection_type指示将属性匹配到八叉树节点的方法。当attribute_selection_type为0时，估计的属性对应于子节点属性的平均值。当attribute_selection_type为1时，估计的属性对应于子节点属性的中间值。当attribute_selection_type为2时，该属性对应于在固定位置处的子节点的属性(例如，按升序排列的子节点当中的第一个子节点的属性或第二个子节点的属性)。

当octree_colorization_type为1时，即，当着色的八叉树是点配对的八叉树时，给出下面公开的相关参数。

当point_data_selection_type等于0时，point_data_selection_type指示选择对应节点的子节点当中固定位置处的节点(例如，以升序排序的子节点当中的第一个节点)的点云数据(或点)的方法。当point_data_selection_type为1时，point_data_selection_type指示在子节点当中选择位置最靠近占用节点的位置的平均位置的子节点的点的方法。当point_data_selection_type为2时，point_data_selection_type指示在子节点当中选择其位置最靠近占用节点的位置的中间值位置的子节点的点的方法。

当point_data_selection_type为0或3时，配置以下公开的相关参数。

point_cloud_geometry_info_present_flag指示是否直接提供关于与八叉树节点匹配的点数据(或点)的几何信息。当point_cloud_geometry_info_present_flag为1时，关于与八叉树节点匹配的点数据(或点)的几何信息(例如，位置)被一起发送。当point_cloud_geometry_info_present_flag为0时，关于与八叉树节点匹配的点数据(或多个点)的几何信息被一起发送。

图29图示根据实施例的属性比特流。

图29的属性比特流29000可以对应于图27的属性切片。也就是说，根据实施例的属性比特流29000包括属性切片报头29001和/或属性切片数据29002。

属性切片报头29001指代图27的属性切片报头。属性切片报头29001可以包括abh_attr_parameter_set_id和abh_attr_sps_attr_idx。

abh_attr_parameter_set_id指定活动APS的aps_attr_parameter_set_id的值。

abh_attr_sps_attr_idx指定在活动SPS中的属性集。abh_attr_sps_attr_idx的值可以在活动SPS中的0到sps_num_attribute_sets的范围内。

属性切片数据29002可以包括与根据实施例的属性编译类型对应的属性数据。当attr_coding_type为0时，包括PredictingWeight_Lifting_bitstream。当attr_coding_type为1时，包括RAHT_bitstream。当attr_coding_type为2时，包括FixedWeight_Lifting_bitstream。

根据图19至图26所图示的实施例的编码器的操作表示编码点云数据的操作，使得根据实施例的点云数据接收设备可以有效地执行点云数据的可缩放表示。因为根据实施例的点云数据发送设备提供可缩放的表示，所以接收设备可以提供各种性能的点云数据内容，并且甚至各种性能的接收设备也可以为用户有效地执行表示。例如，根据实施例的发送设备通过生成根据实施例的着色的八叉树来压缩面向各种性能的解码器的点云数据。这种配置在发送设备的存储空间和比特效率方面可能是有效的，因为即使在没有根据每个解码器性能生成或存储独立的压缩信息的情况下，也可以通过一个比特流支持各种性能的接收器。另外，当传输带宽受限时，根据实施例的发送设备可以生成并发送低分辨率的点云数据。

根据实施例的点云数据发送设备包括可缩放编码器，该可缩放编码器被配置成通过执行图19至图26中所图示的操作来执行编码。可缩放编码器30001通过生成根据实施例的着色的八叉树来生成属性比特流。即，可缩放编码器生成包括根据实施例的几何比特流和属性比特流的单个PCC比特流30002a。

可缩放编码器30001生成源几何30000a和源属性30000b。源几何30000a表示关于点云数据的点的位置信息。源几何30000a可以是包括几何信息的八叉树结构。源属性30000b表示点云数据的点的属性信息。源几何30000b可以是包括根据实施例的属性信息的着色的八叉树结构。

可缩放编码器30001生成对应于八叉树结构的几何比特流和对应于着色的八叉树的属性比特流。

根据实施例的点云数据发送设备和接收设备可以进一步包括存储单元30002b。存储单元30002b存储几何比特流和属性比特流(或包括两个比特流的单个PCC比特流)。

根据实施例的点云数据发送设备可以将存储在存储单元30002b中的数据发送到根据实施例的点云数据接收设备。根据实施例的点云数据接收设备可以接收数据并将其存储在存储单元30002b中。

根据实施例的点云数据接收设备可以包括比特流选择器30003，其被配置成选择包括根据实施例的点云数据的比特流的一部分或全部，和/或被配置成对其进行解码的一个或多个可缩放解码器30004a至30004c。

比特流选择器30003可以接收根据实施例接收到的比特流，并确定是否对其进行部分解码或者完全解码。根据实施例的比特流选择器30003可以确定是否对接收到的比特流中包括的几何比特流和属性比特流中的每一个进行部分解码或者对每个比特流进行完全解码。

根据实施例的可缩放解码器30004a至30004c可以对根据实施例的接收到的比特流中由比特流选择器30003选择的比特流进行解码。可缩放解码器30004a至30004c可以以三种方式执行解码。

根据第一实施例的可缩放解码器30004a可以从比特流选择器30003仅接收几何比特流的一部分和属性比特流的一部分并且对其进行解码。几何比特流对应于八叉树结构。因此，几何比特流的部分30004a-1是仅包括根据实施例的包括几何数据的八叉树结构的一些级别(即，从根级别到部分级别的范围)的数据。属性比特流对应于根据实施例的着色的八叉树结构。因此，属性比特流的部分30004a-2是仅包括根据实施例的包括属性数据的着色的八叉树结构的一些级别(即，从根级别到部分级别的范围)的数据。

换言之，根据实施例的可缩放解码器30004a可以接收和解码几何比特流的一部分(部分几何)和属性比特流的一部分(部分属性)。

根据第二实施例的可缩放解码器30004b可以从比特流选择器30003接收几何比特流的全部和属性比特流的一部分并且对其进行解码。几何比特流对应于八叉树结构。因此，几何比特流30004b-1的整体是包括根据实施例的包括几何数据的八叉树结构的完整级别的数据。属性比特流对应于根据实施例的着色的八叉树结构。因此，属性比特流的部分30004b-2是仅包括根据实施例的包括属性数据的着色的八叉树结构的一些级别(即，从根级别到部分级别的范围)的数据。

换句话说，根据实施例的可缩放解码器30004b可以接收和解码整个几何比特流(完整几何)和一部分属性比特流(部分属性)。

根据第三实施例的可缩放解码器30004c可以从比特流选择器30003接收几何比特流的整体和属性比特流的整体并且对其进行解码。几何比特流对应于八叉树结构。因此，几何比特流30004c-1的整体是包括根据实施例的包括几何数据的八叉树结构的完整级别的数据。属性比特流对应于根据实施例的着色的八叉树结构。因此，属性比特流30004b-2的整体是包括根据实施例的包括属性数据的着色的八叉树结构的完整级别的数据。

换句话说，根据实施例的可缩放解码器30004c可以接收和解码整个几何比特流(完整几何)和整个属性比特流(完整属性)。

根据实施例的点云数据发送设备和接收设备可以以逐图块和/或逐切片为单位独立或非独立地执行编码和解码，从而防止错误在编码和解码过程中积累。

图31图示根据实施例的点云数据解码器。

根据实施例的点云解码器31000可以包括几何信息解码单元31001和/或属性信息解码单元31002。根据实施例，点云解码器可以被称为PCC解码设备、PCC解码单元、点云解码设备、点云解码单元、PCC解码器等。

几何信息解码单元31001接收点云数据的几何信息比特流31000a。几何信息解码单元31001可以对点云数据的几何信息比特流31000a进行解码，并输出关于重构的点云数据31000c的属性信息。几何信息解码单元31001可以从几何信息比特流中重构几何信息并输出重构的几何信息31001。几何信息比特流31000a可以是图18至图26的几何信息比特流或几何比特流。属性信息比特流31000b可以是图18至图26的属性信息比特流或属性比特流。

几何信息解码单元31001解码接收到的几何信息比特流并重构几何信息。重构的几何信息可以被输入到属性信息解码单元。属性信息解码单元31002基于接收到的属性信息比特流和从几何信息解码单元接收到的重构的几何信息来重构属性信息。重构的几何信息可以是由参考图11描述的几何重构器(重构几何)11003重构的几何。重构的几何信息可以是由参考图13描述的基于占用码的八叉树重构器处理器13003重构的八叉树占用码。

几何信息解码单元31001接收由根据实施例的接收设备接收的几何信息比特流。几何信息解码单元31001可以对几何信息比特流进行解码。

几何解码单元31001可以执行图1的点云视频解码器、图2的解码20003的操作，图10的几何解码器的操作，以及参考图11描述的算术解码器11000、八叉树合成器11001、表面近似合成器11002、几何重构器11003和/或坐标逆变换器11004的操作的全部/部分。

属性信息解码单元31002接收点云数据的属性信息比特流31000b。属性信息解码单元31002可以对点云数据的属性信息比特流31000b进行解码，并输出重构的点云数据31000c的属性信息。属性信息解码单元31002可以基于几何信息解码单元31001生成的重构的几何信息31001a对属性信息比特流进行解码。

属性信息解码单元31002接收由根据实施例的接收设备接收的属性信息比特流。属性信息解码单元可以基于重构的几何信息对属性信息比特流的属性信息进行解码。包括在点云数据中的几何信息和/或属性信息可以被解码为重构的PCC数据。

属性信息解码单元31002可以执行图1的点云视频解码器、图2的解码20003的操作，参考图10描述的属性解码器的操作，图11的逆量化器11006、RAHT 11007、LOD生成器11008、逆提升器11009和/或颜色逆变换器11010的操作，以及参考图13描述的算术解码器13007、逆量化处理器13008、预测/提升/RAHT逆变换处理器13009、颜色逆变换处理器13010和/或渲染器13011的操作的部分或全部。

图32图示根据实施例的点云数据解码器。

根据实施例的点云数据解码器32000接收和解码包括编码的点云数据的比特流，并且然后输出几何数据和属性数据。根据实施例的包括编码的点云数据的比特流包括：包括几何数据的几何比特流和/或包括属性数据的属性比特流。

根据实施例的点云数据解码器32000包括被配置成对几何比特流进行解码的熵解码器32001、八叉树重构器32002、被配置成对属性比特流进行解码的熵解码器32003、以及逆量化器32004、逆变换器32005、属性重构&八叉树匹配单元32006、和/或可缩放表示单元32007。根据实施例的属性重构&八叉树匹配单元32006包括属性重构器32006a、属性节点匹配器32006b和/或八叉树-点云数据匹配器32006c。

被配置成对几何比特流进行解码的熵解码器32001接收根据实施例的几何比特流。被配置成对几何比特流进行解码的熵解码器32001对几何比特流进行解码并输出几何数据。

八叉树重构器32002接收根据实施例的几何数据，并基于接收到的数据将指示点云数据的点的位置的几何数据转换(或重构)为八叉树结构。八叉树重构器32002输出基于几何数据的八叉树结构。

被配置成对属性比特流进行解码的熵解码器32003接收并解码根据实施例的属性比特流。被配置成对属性比特流进行解码的熵解码器32003对属性比特流进行解码，并且输出解量化的属性信息。解量化的属性信息包括解量化的残差属性信息和/或预测的属性信息。

逆量化器32004接收由熵解码器32003解码的数据并且对其进行逆量化。逆量化器32004接收由熵解码器32003解码的数据，并通过对接收到的数据进行逆量化来输出变换的属性信息。变换的属性信息包括变换的残差属性信息和/或预测的属性信息。

逆变换器32005接收由根据实施例的逆量化器32004逆量化的数据并且对其进行逆变换。逆变换器32005对由逆量化器32004逆量化的数据进行逆变换，并且输出重构的属性信息。重构的属性信息包括重构的残差属性信息和/或预测的属性信息。

根据实施例的接收设备可以在向下步进级别(在从根节点到叶节点的方向上)的同时预测属性数据，如在由根据实施例的发送设备执行的属性预测。根据实施例的预测方法可以与由发射器使用的方法相同。例如，重构的父节点的属性数据可以被用作用于父节点的子节点的预测值。例如，对于预测值，可以不同地应用根据邻居的定义确定的范围。例如，根据实施例的父节点的属性数据可以由根据实施例的发送设备预测如下。

根据实施例的接收设备可以执行由发送设备使用的预测误差生成方法的逆，以基于预测的属性数据重构每个子节点的属性。例如，当根据实施例的发送设备生成作为源属性和预测属性之间的差(残差)的预测误差时，根据实施例的接收设备可以通过添加由接收设备估计的预测属性和解码的预测误差的值来重构属性数据。根据实施例的发送设备可以向接收设备发送关于属性错误生成方法的信息。例如，根据实施例的子节点(或叶节点)的属性数据可以由根据实施例的接收设备如下预测。

C^l(x,y,z)是根据实施例的子节点的属性数据。g-1{}是表示根据实施例的发送设备通过其执行预测的方法的逆的函数。p^l(x,y,z)表示根据实施例的父节点的预测的属性数据。r^l(x,y,z)表示要应用于根据实施例的父节点的预测的属性数据的残差值(其可以包括在解码的属性数据中)。

属性重构&八叉树匹配单元32006接收根据实施例的重构的属性信息和八叉树结构，并生成和输出着色的八叉树结构。

可缩放表示单元32007接收根据实施例的着色的八叉树并基于其提供可缩放表示。

图33图示根据实施例的点云数据接收设备生成着色的八叉树的过程。

参考图33描述的全部或部分操作可以由图32的属性重构&八叉树匹配单元32006和/或可缩放表示单元32007来执行。

对于点云数据的可缩放表示，可以执行以下操作。

根据实施例的点云数据接收设备可以基于接收到的属性数据和八叉树结构生成重构的点云数据。

通过根据实施例的点云数据接收设备重构点云数据的操作包括接收解码的属性和八叉树结构、属性重构33000、属性到节点匹配33001、位置估计33003和属性到点匹配33004。

可以对根据实施例的八叉树结构中的每个节点重复执行属性重构33000、属性到节点匹配33001、位置估计33003和属性到点匹配33004。

根据实施例的解码器可以在从八叉树结构中的根节点向下步进到叶节点上方的级别的同时对包括在每个级别中的节点执行属性重构33000、属性到节点匹配33001、位置估计33003和属性到点匹配33004。

根据实施例的解码器可以在以级别顺序遍历八叉树结构中的节点的同时执行属性重构33000、属性到节点匹配33001、位置估计33003和属性到点匹配33004。即，根据实施例的解码器可以首先对根节点执行属性重构33000、属性到节点匹配33001、位置估计33003和属性到点匹配33004。接下来，根据实施例的解码器可以对根节点的子节点，即，级别1的节点执行属性重构33000、属性节点匹配33001、位置估计33003、属性点匹配33004。一旦根据实施例的解码器对包括在级别1中的节点执行上述处理，根据实施例的解码器就可以对包括在级别2中的节点再次执行以上处理。在上述方法中，根据实施例的解码器实施例可以直至叶节点之上级别的节点执行上述操作(33005)。

根据实施例的位置估计33003和属性到点匹配33004可以基于包括在根据实施例的接收到的比特流中的信令信息中的参数octree_full_level_present_flag的值来执行(33002)。例如，当octree_full_level_present_flag的值为1时，位置估计33003和属性到点匹配33004可以逐个节点地或整体地执行。

将描述接收解码的属性和八叉树结构的步骤。解码属性表示由根据实施例的解码器解码的属性信息。也就是说，其表示通过对接收到的比特流中的属性比特流进行解码而获得的数据。例如，解码的属性表示通过由熵解码器32003、逆量化器32004和/或逆变换器32005对图32的属性比特流进行解码、逆量化和/或逆变换获得的数据。此外，八叉树结构表示由根据实施例的图32的八叉树重构器32002重构的八叉树结构。

属性到节点匹配32001意指将根据实施例的点云数据接收设备(解码器)接收到的解码属性与八叉树结构中的节点进行匹配。例如，根据实施例的解码器首先将解码的属性数据当中与根节点对应的属性数据与八叉树结构中的根节点进行匹配。接下来，解码器将对应于与叶节点不同的下节点(子节点)的属性数据分别与从下节点(子节点)到包括在叶节点的级别中的节点的节点进行匹配。

在位置估计33003中，预测与接收到的解码属性匹配的点的实际位置。例如，在位置估计33003中，可以在八叉树结构中预测与接收到的解码属性匹配的点的实际位置对应的叶节点。

将参考图35来详细描述通过根据实施例的点云数据解码器在位置估计33003中预测与实际位置对应的点或叶节点的实际位置的方法。

在位置估计33003中，当能够估计关于与解码(重构)的点云数据的属性对应的点的实际位置信息时，可以输出该点的实际位置而不是该点的任意位置，即便不是八叉树中每个级别的所有节点都被匹配。

属性到点匹配33004意指将解码的属性与位置估计33003中预测的点的实际位置(或与其对应的叶节点)进行匹配。即，意指将属性到节点匹配中匹配的属性数据与对应于被实际定位的点的叶节点进行匹配。

如图33中所示，根据实施例的解码器可以针对从根节点到对应于叶节点的上节点的节点中的每个节点单独执行位置估计33003和属性到点匹配33004。此外，根据实施例的解码器可以在首先将属性数据匹配到除了八叉树结构中包括的叶节点之外的所有节点之后执行位置估计33003和属性到点匹配33004。

根据实施例的点云数据解码器生成着色的八叉树。参考图34描述的根据实施例的操作可以由图32的属性重构&八叉树匹配单元32006执行。参考图34描述的根据实施例的操作可以对应于根据参考图33描述的实施例的一些或全部操作。

图34图示根据实施例的将属性数据匹配到包括在八叉树结构(完整几何)中的占用节点的过程。

为了生成根据实施例的着色的八叉树，根据实施例的点云数据解码器(或可缩放解码器)可以包括对属性比特流进行解码并生成解码的属性数据的步骤34000、将解码的属性数据中的与八叉树结构的根节点对应的属性数据与八叉树结构的根节点匹配的步骤34001、将解码的属性数据与从根节点的子节点到紧接在叶节点之上的节点的节点进行匹配的步骤34002、和/或将解码的属性数据与叶节点匹配的步骤34003。根据实施例的接收设备执行解码属性比特流的步骤34000。

根据实施例的接收设备可以将解码的属性数据当中的对应于根节点的属性数据与八叉树结构中的根节点匹配(34001a)。

一旦属性数据与根节点匹配(34001a)，根据实施例的接收设备可以单独地用信号发送或存储解码的属性数据当中的匹配的属性数据。例如，通过将匹配的属性数据存储在重构的阵列中，可以指示属性数据c2为预匹配解码的数据。

一旦属性数据与根节点匹配(34001a)，根据实施例的接收设备可以单独地用信号发送或存储解码的属性数据中的除了匹配的属性数据之外的其余属性数据。例如，通过将其余的属性数据存储在残差阵列中，可以指示属性数据c'1和c'5与其余的尚未匹配的解码数据相关。

根据实施例的接收设备可以将解码的属性数据当中的与除了叶节点之外的其余节点对应的属性数据与八叉树结构中的节点匹配(34002a)。

一旦属性数据与除了叶节点之外的其余节点匹配(34002a)，根据实施例的接收设备可以单独地用信号发送或存储解码的属性数据当中的匹配的属性数据。例如，通过将匹配的属性数据存储在重构阵列中，可以指示属性数据c2、c1和c5为预匹配解码的数据。

一旦属性数据与除了叶节点之外的其余节点匹配(34002a)，根据实施例的接收设备可以单独用信号发送或存储在解码的属性数据当中的除了已匹配的属性数据之外的其余属性数据。例如，通过将其余的属性数据存储在残差阵列中，可以指示属性数据c'3、c'4、c'6、c'7、c'8、c'9与尚未匹配的其余的解码数据相关。

根据实施例的接收设备也可以将解码的属性数据与包括在叶节点的级别中的节点匹配(34003)。步骤34003可以对应于图32的八叉树点云数据匹配器32006c和/或图33的属性到节点匹配33001。

例如，当接收设备将属性数据与直至紧接在叶节点之上的节点的节点匹配时，在解码的属性数据当中的对应于c3、c4、c6、c7、c8和c9的属性数据保留。与c3、c4、c6、c7、c8和c9对应的属性数据都可以匹配到叶节点(通过属性到节点匹配)。

在执行参考图34描述的属性到节点匹配之后，根据实施例的点云数据接收设备(解码器)可以基于信令信息(例如，根据实施例的octree_full_level_present_flag信息)执行属性点匹配。这个过程可以表示参考图33描述的位置估计33003和/或属性点匹配33004。

根据图35中所示的等式的操作可以对应于图33的位置估计33003和/或属性点匹配33004。换句话说，根据实施例的点云数据接收设备(或解码器)可以基于图35中所示的等式估计与点的实际位置或八叉树结构中的实际位置对应的叶节点，并将解码的属性数据与估计的叶节点进行匹配。

根据图35中所示的等式的操作可以由图32的八叉树-点云数据匹配器32006c执行，并且可以对应于图34中示出的步骤34003。

图35中所示的等式被用于估计与属性数据对应的叶节点(或其位置)，以便于将解码的属性数据与叶节点进行匹配，即，执行根据实施例的属性到点匹配。

根据实施例的接收设备可以在向下步进级别(在从根节点到叶节点的方向上)的同时预测属性数据，如在根据实施例的发送设备执行的属性预测。根据实施例的预测方法可以与发射器使用的方法相同。例如，重构的父节点的属性数据可以被用作用于该父节点的子节点的预测值。例如，对于预测值，可以不同地应用根据邻居的定义确定的范围。例如，根据实施例的父节点的属性数据可以由根据实施例的发送设备预测如下。

根据实施例的接收设备可以执行由发送设备使用的预测误差生成方法的逆，以基于预测的属性数据重构每个子节点的属性。例如，当根据实施例的发送设备生成作为源属性和预测属性之间的差(残差)的预测误差时，根据实施例的接收设备可以通过添加由接收设备估计的预测属性和解码的预测误差的值来重构属性数据。根据实施例的发送设备可以向接收设备发送关于属性误差生成方法的信息。例如，根据实施例的子节点(或叶节点)的属性数据可以由根据实施例的接收设备如下预测。

C^l(x,y,z)是根据实施例的子节点的属性数据。g-1{}是表示根据实施例的发送设备通过其执行预测的方法的逆函数。p^l(x,y,z)表示根据实施例的父节点的预测的属性数据。r^l(x,y,z)表示要应用于根据实施例的父节点的预测的属性数据的残差值(其可以包括在解码的属性数据中)。

首先，接收设备对根据实施例的解码的属性数据执行属性到节点的匹配。即，接收设备将解码的属性数据与除了叶节点以外的特定节点匹配。

接下来，接收设备检测具有匹配节点作为父节点的占用的叶节点。占用的叶节点可以被称为具有匹配节点作为父节点的邻居节点。

P_GeoCtr(x,y,z)表示根据实施例的关于父节点的属性信息。(x_n,y_n,z_n)表示根据实施例的n个点的(x,y,z)坐标。NEIGHBOR可以表示对应于在(x_n,y_n,z_n)处的点的邻居的点的集合。Attr(x_n,y_n,z_n)表示关于n个点中的每一个的属性信息。即，Attr(x_n,y_n,z_n)表示关于被定位在(x_n,y_n,z_n)处的点的属性信息。换言之，函数Attr(point)可以理解为返回关于点的属性信息的函数。f{Attr(x_n,y_n,z_n)|(x_n,y_n,z_n)∈NEIGHBOR}表示当输入与特定点的邻居对应的点时，返回关于作为邻居点之一的(x_n,y_n,z_n)处的点的属性信息的函数。f{Attr(x_n,y_n,z_n)|(x_n,y_n,z_n)∈NEIGHBOR}表示由35000a所指示的等式具有最小值的点(x_n,y_n,z_n)的属性值。s(x_n,y_n,z_n)指示是否从根据实施例的点中选择父节点。

例如，s(x_n，y_n，z_n)可以表示根据实施例的编码器尚未选择作为要与父节点匹配的节点的节点。根据实施例的点云数据发送设备和/或接收设备可以为所选择的点设置s()＝0，以防止该点在匹配其他节点时被重复地选择。

M可以表示根据实施例的邻居点的数量。[x^-，y^-，z^-]^T可以表示根据实施例的邻居点的平均位置。根据实施例的邻居点的平均位置可以如图24中所示确定。||[x^-,y^-,z^-]^T-[x_n,y_n,z_n]^T||可以表示每个邻居点与邻居点的平均位置之间的距离(例如，欧几里德距离)。

简而言之，根据实施例的接收设备可以使用图35中所示的等式估计与解码的属性对应的点的实际位置。例如，接收设备可以基于几何数据搜索与特定节点的NEIGHBOR对应的(x_n,y_n,z_n)，并计算针对对应于NEIGHBOR的点的M、s(x_n,y_n,z_n)、权重(x_n,y_n,z_n)、[x^-,y^-,z^-]^T和||[x^-,y^-,z^-]^T-[x_n,y_n,z_n]^T||的值。相应地，可以通过针对每个点的位置计算与35000a对应的值并检查该值是否与解码的属性信息匹配，来估计与要匹配到特定节点的属性数据对应的点的位置。

图36图示其中根据实施例的点云数据解码器生成着色的八叉树的过程的另一个实施例。

具体来说，图36图示其中根据实施例的解码器通过执行属性到节点匹配和/或属性到点匹配来生成用于部分表示或完整表示的着色的八叉树的过程。

根据实施例的点云数据解码器生成根据实施例的着色的八叉树。参考图36描述的根据实施例的操作可以由图32的属性重构&八叉树匹配单元32006和/或可缩放表示单元32007来执行。参考图36描述的根据实施例的操作可以对应于参考图33描述的根据实施例的一些或全部操作。而且，参考图36描述的根据实施例的操作包括参考图34描述的操作。

为了生成根据实施例的着色的八叉树，根据实施例的点云数据解码器(或可缩放解码器)可以执行对属性比特流进行解码并生成解码的属性数据的步骤34000、将解码的属性数据中的与八叉树结构的根节点对应的属性数据与八叉树结构的根节点匹配的步骤34001、以及将解码的属性数据与从根节点的子节点到紧接在叶节点之上的节点的节点进行匹配的步骤34002。根据实施例的点云数据解码器可以进一步以包括匹配叶节点的步骤34003。

根据实施例的接收设备执行解码属性比特流的步骤34000。在此步骤中接收到的属性比特流表示包括由图30的比特流选择器30003选择的部分属性数据的比特流。也就是说，因为此步骤中的属性比特流仅包括部分属性信息，所以可能不包括34000b中所示的属性数据。

根据实施例的接收设备可以将解码的属性数据当中的对应于根节点的属性数据与八叉树结构中的根节点匹配(36002a)。步骤36002a可以对应于图32的属性节点匹配器32006b和/或图33的属性到节点匹配33001。

一旦属性数据与根节点匹配(36002a)，根据实施例的接收设备可以单独地用信号发送或存储在解码的属性数据当中的已匹配的属性数据，如参考图34所描述的。此外，一旦属性数据与根节点匹配(36002a)，根据实施例的接收设备可以单独地用信号发送或存储解码的属性数据当中的除了已匹配的属性数据之外的其余属性数据，如参考图34所描述的。

当根据实施例的几何比特流包括完整几何信息时，即，当八叉树结构对应于完整几何信息(例如，octree_full_level_present_flag＝＝1)时，根据实施例的属性数据可以进一步匹配到与要匹配的属性数据对应的实际点的叶节点(36002b)。步骤36002b可以对应于图32的属性节点匹配器32006c和/或图33的属性到点匹配33004。

一旦属性数据与实际点的叶节点匹配(36002b)，根据实施例的接收设备可以单独地用信号发送或存储属性信息与实际点的叶节点匹配的指示。例如，接收设备可以在匹配的信令信息或阵列中存储属性信息与实际点的叶节点匹配的指示。

根据实施例的接收设备可以将解码的属性数据当中的与除了叶节点之外的其余节点对应的属性数据与八叉树结构中的节点匹配(36003a)。步骤36003a可以对应于图32的属性节点匹配器32006b和/或图33的属性到节点匹配33001。

类似地，当根据实施例的几何比特流包括完整几何信息时，即，当八叉树结构对应于完整几何信息(例如，octree_full_level_present_flag＝＝1)时，根据实施例的属性数据可以进一步匹配到与要匹配的属性数据对应的实际点的叶节点(36003b)。步骤36003b可以对应于图32的属性节点匹配器32006c和/或图33的属性到点匹配33004。

根据实施例的接收设备可以将解码的属性数据当中的对应于叶节点的属性数据与八叉树结构中的节点匹配(36004a)。步骤36004a可以对应于图32的属性节点匹配器32006b和/或图33的属性到节点匹配33001。

在步骤36004a中，属性数据被匹配到叶节点，并且因此可以不对匹配的属性数据执行属性到点的匹配。

根据实施例，尚未对其执行属性到节点匹配的属性数据与未匹配的占用叶节点匹配。即，接收设备可以对尚未执行属性到节点匹配的属性数据执行属性到点匹配(36004b)。

在下文中，将结合参考图30描述的可缩放解码器来描述根据上述实施例的操作。

图36中所图示的操作可以表示参考图30描述的可缩放解码器30004a到30004c。

例如，参考图36描述的所有操作或其部分的组合可以表示根据参考图30描述的第一实施例的可缩放解码器30004a、根据第二实施例的可缩放解码器30004b、或根据第三实施例的可缩放解码器30004c的操作。

首先，将结合图36的操作来描述参考图30描述的根据第一实施例的可缩放解码器30004a的操作。

参考图30，根据第一实施例的可缩放解码器30004a接收部分几何信息和部分属性信息。根据实施例，图36中所示的八叉树结构仅表示表示关于接收到的点云数据的点的位置信息的八叉树结构的一些级别(即，部分几何信息)。

因此，根据实施例，包括在比特流中包含的信令信息中的octree_full_level_present_flag可以为0。因此，根据octree_full_level_present_flag等于0，根据第一实施例的可缩放解码器30004b跳过根据实施例的属性点匹配操作。这是因为根据第一实施例的可缩放解码器接收的八叉树结构是针对一些级别的八叉树结构并且不包括关于点的准确位置信息。

因此，为了提供低分辨率的点云内容，根据实施例的接收设备可以跳过属性点匹配操作而不是执行部分表示，从而快速地向用户提供点云内容。

简而言之，在接收到部分几何信息和部分属性信息时，根据octree_full_level_present_flag等于0，根据实施例的可缩放解码器30004b可以对包括在八叉树结构中的节点执行属性到节点匹配36002a、36003a，从而即使在通信环境不佳的情况下，也能向用户快速提供点云内容。

接下来，将结合图36的操作来描述参考图30描述的根据第二实施例的可缩放解码器30004b的操作。

参考图30，根据第二实施例的可缩放解码器30004b接收完整几何信息和部分属性信息。根据实施例，图36中所示的八叉树结构包括表示关于接收到的点云数据的点的位置信息的八叉树结构的完整级别(即，完整几何信息)。

因此，包含在比特流中的信令信息中包括的octree_full_level_present_flag可以是1。因此，根据第二实施例的可缩放解码器30004b可以响应于octree_full_level_present_flag等于1来执行根据实施例的属性点匹配操作。这是因为根据第二实施例的可缩放解码器接收到的八叉树结构是用于完整级别的八叉树结构并且包括关于点的准确位置信息。

因为根据实施例的可缩放解码器接收部分属性信息，所以并非所有点都可以与属性信息匹配。因此，根据第二实施例的可缩放解码器30004b可以仅对与接收到的属性数据对应的点(节点)执行匹配。因此，根据第二实施例的可缩放解码器30004b可以仅针对接收到的属性数据在八叉树结构上执行属性到节点匹配36002a、36003a和属性到点匹配36002b、36003b。

因此，根据实施例的接收设备可以跳过对不必要的属性信息的匹配操作，而不是执行部分表示，以为其中关于点的位置信息相对重要的点云数据提供相对高分辨率的点云内容，从而向用户快速提供点云内容。

简而言之，在接收到完整几何信息和部分属性信息之后，根据octree_full_level_present_flag等于1，根据实施例的可缩放解码器30004b可以对与包括在接收到八叉树结构中的接收到的属性数据对应的节点执行属性到节点匹配和/或属性到点匹配，从而为用户提供合适的点云内容。

接下来，将结合图36的操作来描述参考图30描述的根据第三实施例的可缩放解码器30004c的操作。

参考图30，根据第三实施例的可缩放解码器30004c接收完整几何信息和完整属性信息。根据实施例，图36中所示的八叉树结构包括表示关于接收到的点云数据的点的位置信息的八叉树结构的完整级别(即，完整几何信息)。

因此，根据实施例，包含在比特流中的信令信息中包括的octree_full_level_present_flag可以为1。因此，根据octree_full_level_present_flag等于1，根据第三实施例的可缩放解码器30004c可以执行根据实施例的属性点匹配操作。

因为根据实施例的可缩放解码器接收完整属性信息，其可以将属性信息匹配到所有点。因此，根据第三实施例的可缩放解码器30004c可以仅对与接收到的属性数据对应的点(节点)执行匹配。因此，根据第三实施例的可缩放解码器30004c可以针对整个接收到的属性数据对八叉树结构中包括的节点执行属性到节点匹配36002a、36003a、36004a和属性到点匹配36002b、36003b、36004b。即，根据第三实施例的可缩放解码器30004c可以将属性数据匹配到八叉树结构中包括的所有占用节点。

因此，根据实施例的接收设备执行完整表示以便于提供其中精确地呈现点的位置和属性的高分辨率点云内容，并且因此可以适用于良好的接收环境或需要被提供有准确点云内容的内容。

简而言之，在接收到完整几何信息和完整属性信息之后，根据octree_full_level_present_flag等于1，根据实施例的可缩放解码器30004c可以对包括在八叉树结构中的节点执行属性到节点匹配和/或属性到点匹配，从而为用户提供合适的点云内容。

图37图示根据实施例的由点云数据解码器对可缩放表示进行解码的过程。

图37(A)图示根据实施例的可缩放表示的示例。

图37(A)图示根据实施例的点云解码器(例如，参考图30至36描述的解码器)的可缩放表示的示例。图37(A)的左侧所示的箭头指示其中几何的八叉树结构的深度增加的方向。根据实施例的八叉树结构中的最高节点对应于最小深度或第一深度，并且被称为根。根据实施例的八叉树结构中的最低节点对应于最大深度或最后深度并且被称为叶。根据实施例的八叉树结构中的深度从根到叶增加。

根据实施例的点云解码器根据其性能执行用于提供高分辨率点云内容37004b的可缩放解码37003b或用于提供低分辨率点云内容37004a的可缩放解码37003a。

为了提供高分辨率点云内容，点云解码器解码对应于完整八叉树结构的几何比特流37001和属性比特流37002(37003b)。

为了提供低分辨率点云内容，点云解码器对与八叉树结构中的特定深度对应的部分几何比特流37001和部分属性比特流37002解码(37003a)。

根据实施例的属性解码是基于几何解码来执行的。因此，即使当点云解码器解码与部分属性比特流1812-2对应的属性时，点云解码器也需要解码几何比特流37001。也就是说，流37001的部分中的阴影部分对应于不显示的几何信息，但被发送和解码，以解码与部分属性比特流37002对应的属性。

此外，根据实施例的发送设备(例如，参考图1描述的发送设备10000或参考图12描述的发送设备)或点云编码器(图1的点云视频编码器10002或图4的点云编码器、参考图12、14和15等描述的点云编码器)可以仅发送对应于八叉树结构中特定深度的部分几何比特流(37001中的顶部)和部分属性比特流(37002中的顶部)。为了提供低分辨率的点云内容，点云解码器对与八叉树结构中的特定深度对应的部分几何比特流(37001中的顶部)和部分属性比特流(37002中的顶部)进行解码(37003a)。

根据实施例的点云编码器通过将属性匹配到几何结构生成参考图30至图36描述的着色的八叉树。通过匹配节点和表示几何的八叉树结构的一个或多个级别(或深度)当中的每个级别的属性来生成根据实施例的着色的八叉树。根据实施例的点云编码器基于生成的着色的八叉树执行属性编码。此外，点云编码器生成包括与着色的八叉树相关的信息的可缩放表示信息，并通过比特流将其与编码的几何和编码的属性一起发送以允许接收设备执行可缩放解码和可缩放表示。

作为发送设备或点云编码器的操作的逆过程，接收设备可以基于可缩放表示信息生成着色的八叉树。如上所述，着色的八叉树表示与几何的八叉树结构匹配的属性。因此，接收设备可以基于着色的八叉树选择特定级别并根据匹配的属性输出或渲染低分辨率点云内容。特别地，接收设备可以根据接收设备的性能提供各种分辨率的点云内容，而无需单独的接收过程或处理过程。根据实施例的发送设备(或点云编码器)和接收设备(或点云解码器)两者可以生成着色的八叉树。根据实施例的生成着色的八叉树的过程或方法可以被称为八叉树着色。根据实施例的点云编码器可以对从八叉树结构中的最高节点(最低级别)到最低节点(最高级别)的完整八叉树结构执行八叉树着色。此外，根据实施例的点云编码器可以在八叉树结构中的任何深度范围(例如，从级别n-1到级别n的范围)中执行八叉树着色。根据实施例的点云解码器可以基于上述可缩放编码信息执行八叉树着色。

图37(B)示出根据实施例的根据可缩放解码的几何和属性的细节。

图37(B)的上部示出根据可缩放解码的几何细节的示例。第一个箭头37005c指示从八叉树的上节点(即，靠近根节点的节点)到下节点(即，靠近叶节点的节点)的方向。如图所示，随着可缩放解码从八叉树中的上节点向下节点前进，存在更多点，并且因此几何细节增加。八叉树结构中的叶节点对应于几何的细节的最高级别。

图37(B)的下部示出根据可缩放解码的属性的细节的示例。第二个箭头37005d指示从八叉树中的上节点到下节点的方向。如图所示，当可缩放解码从八叉树中的上节点向下节点前进时，属性的细节增加。

图38图示根据实施例的由点云数据解码器对可缩放表示进行解码的过程。

具体来说，图38图示根据参考图36描述的实施例的可缩放解码器的解码方法。

<情况1>表示根据实施例的可缩放解码器接收完整几何38001a和完整属性38001b并且根据实施例执行可缩放解码的情况。

<情况1>中描述的操作可以由参考图30和图36描述的根据第三实施例的可缩放解码器30004c来执行。执行<情况1>的操作的可缩放解码器通过将属性数据与包括在表示所有点的位置的八叉树结构中的占用节点进行匹配，来生成重构的着色的八叉树(也称为着色的八叉树)。由执行<情况1>的操作的可缩放解码器生成的重构的着色的八叉树可以通过参考图30至图37描述的属性到节点匹配和属性到点匹配来生成。

通过执行<情况1>中描述的操作，可缩放解码器可以在必要时向用户提供高分辨率点云内容和高质量内容。

<情况2>表示根据实施例的可缩放解码器接收部分几何38002a和部分属性38002b并执行可缩放解码的情况。

<情况2>中描述的操作可以由参考图30和图36描述的根据第一实施例的可缩放解码器30004a来执行。执行<情况2>操作的可缩放解码器通过将属性数据与八叉树结构中包括的占用节点匹配来生成重构的着色的八叉树(也称为着色的八叉树)，该八叉树结构仅包括表示点的位置的八叉树结构的一些级别的数据。可以通过参考图30至图37描述的属性到节点匹配生成由执行<情况2>的操作的可缩放解码器生成的重构的着色的八叉树。

通过执行<情况2>中描述的操作，可缩放解码器可以向用户快速提供平均分辨率的点云内容。

例如，如果完整八叉树深度＝N，几何八叉树深度＝N-a，属性八叉树深度＝N-b，那么，当定义S＝max(a,b)时，输出的点云数据是缩小到SxSxS的信息。这里，输出的点云数据可以指示绑定缩小的点云数据的SxSxS大小的立方体的中心位置，而不是输入数据中存在的实际位置的重构值。

<情况3>表示根据实施例的可缩放解码器接收完整几何38003a和部分属性38003b并执行可缩放解码的情况。

<情况3>中描述的操作可以由参考图30和图36描述的根据第二实施例的可缩放解码器30004b来执行。执行<情况3>操作的可缩放解码器通过将属性数据与包括在八叉树结构中的占用节点进行匹配来生成重构的着色的八叉树(也称为着色的八叉树)，该八叉树结构仅包括表示点的位置的八叉树结构的完整级别的数据。可以通过参考图30至图37描述的属性到节点匹配和属性到点匹配来生成由执行<情况3>的操作的可缩放解码器生成的重构的着色的八叉树。

通过执行<情况3>中描述的操作，可缩放解码器可以跳过对不必要的属性信息的匹配操作，而不是执行部分表示，以为其中关于点的位置信息是比较重要的点云数据提供相对高分辨率的点云内容，从而将点云内容快速提供给用户。

图39图示根据实施例的点云数据传输操作。

根据实施例的点云数据传输操作可以包括编码点云数据(39000)和/或发送包括点云数据和关于点云数据的信令信息的比特流(39001)。

根据实施例的点云数据可以包括指示点云数据的点的位置的几何信息和指示点云数据的点的属性的属性信息。

点云数据的编码39000包括对根据实施例的点云中包括的几何信息进行编码以及对点云中包括的属性信息进行编码。在点云数据的编码39000中，可以执行参考图18和图20的操作，以及参考图19和图21-26描述的操作。

例如，属性信息的编码可以包括接收几何信息的八叉树结构，通过将八叉树结构的每一级与一个或多个属性匹配来生成着色的八叉树。八叉树结构可以由一个级别或多个级别表示，并且着色的八叉树可以被用于对用于部分或全部属性信息的可缩放表示的属性信息进行编码。根据实施例的属性信息的编码可以进一步包括移除与着色的八叉树匹配的数据中的重复数据。

在包括点云数据和关于点云数据的信令信息的比特流的发送39001中，编码的点云数据被发送。根据实施例的信令信息可以包括参考图27描述的信息。另外，信令信息可以包括指示是否比特流包括与八叉树结构的完整级别对应的数据或者仅与八叉树结构的部分级别对应的数据的信息(octree_full_level_present_flag)。

图40图示根据实施例的点云数据接收操作。

根据实施例的点云数据接收操作包括接收包括点云数据和信令信息的比特流(40000)、解码点云数据(40001)和/或渲染解码的点云数据(40002)。

包括在根据实施例的比特流中的点云数据包括指示点云数据的点的位置的几何信息和指示点云数据的点的一个或多个属性的属性信息。

根据实施例的信令信息可以包括指示是否比特流包括对应于八叉树结构的完整级别的数据或者仅对应于八叉树结构的部分级别的数据的信息(例如，octree_full_level_present_flag)。

点云数据的解码40001包括解码几何信息以及解码属性信息。在点云数据的解码40001中，可以生成用于解码属性信息的着色的八叉树，以基于指示是否比特流包括对应于八叉树结构的完整级别的数据或者仅对应于八叉树结构的部分级别的数据的信息(例如，octree_full_level_present_flag)，来实现点云数据的可缩放表示。

解码40001可以表示参考图30至图38描述的根据实施例的解码器或解码的操作。

在渲染40002中，解码的点云数据被渲染。在渲染40002中，可以基于生成的着色的八叉树执行完整表示或部分表示。

参考图1至图40描述的根据实施例的点云数据处理设备的组件可以被实现为硬件、软件、固件或其组合，其包括与存储器耦合的一个或多个处理器。根据实施例的设备的组件可以实现为单个芯片，例如，单个硬件电路。可替选地，根据实施例的点云数据处理设备的组件可以实现为单独的芯片。此外，根据实施例的点云数据处理设备的至少一个组件可以包括能够执行一个或多个程序的一个或多个处理器，其中一个或多个程序可以包括执行或配置成执行参考图1至图40描述的点云数据处理设备的一个或多个操作/方法的指令。

尽管为了简单起见已经单独描述了附图，但是可通过将各自附图中所示的实施例合并来设计新的实施例。根据本领域地技术人员的需要设计可由计算机读取的记录有用于执行上述实施例的程序的记录介质也落在所附权利要求及其等同物的范围内。根据实施例的装置和方法可不限于上述实施例的配置和方法。可通过选择性地组合所有或一些实施例来对实施例进行各种修改。尽管参考附图描述了优选实施例，但本领域技术人员将理解，在不脱离所附权利要求中描述的本公开的精神或范围的情况下，可对实施例进行各种修改和变化。这些修改不应从实施例的技术思想或观点单独地理解。

方法和设备的描述可以被应用以相互补充。例如，根据实施例的点云数据发送方法可以由根据实施例的点云数据发送设备或包括在点云数据发送设备中的组件来执行。此外，根据实施例的点云数据接收方法可以由根据实施例的点云数据接收设备或包括在点云数据接收设备中的组件来执行。

实施例的设备的各种元件可以由硬件、软件、固件或其组合实现。实施例中的各种元件可由单个芯片实现，例如，单个硬件电路。根据实施例，根据实施例的组件可分别被实现为单独的芯片。根据实施例，根据实施例的设备的至少一个或更多个组件可以包括能够执行一个或更多个程序的一个或更多个处理器。一个或更多个程序可执行根据实施例的任一个或更多个操作/方法或者包括用于执行其的指令。用于执行根据实施例的设备的方法/操作的可执行指令可被存储在被配置成由一个或更多个处理器执行的非暂时性CRM或其它计算机程序产品中，或者可被存储在被配置成由一个或更多个处理器执行的暂时性CRM或其它计算机程序产品中。另外，根据实施例的存储器可用作不仅涵盖易失性存储器(例如，RAM)，而且涵盖非易失性存储器、闪存和PROM的概念。另外，也可按载波(例如，经由互联网的传输)的形式实现。另外，处理器可读记录介质可分布到经由网络连接的计算机系统，使得处理器可读代码可按分布式方式存储和执行。

在本说明书中，术语“/”和“，”应该被解释为指示“和/或”。例如，表达“A/B”可以意指“A和/或B”。此外，“A、B”可以意指“A和/或B”。此外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。此外，在本说明书中，术语“或”应该被解释为指示“和/或”。例如，表达“A或B”可以意指1)仅A、2)仅B或3)A和B二者。换言之，本文档中使用的术语“或”应该被解释为指示“另外地或另选地”。

诸如第一和第二的术语可用于描述实施例的各种元件。然而，根据实施例的各种组件不应受上述术语限制。这些术语仅用于将一个元件与另一元件相区分。例如，第一用户输入信号可以被称为第二用户输入信号。类似地，第二用户输入信号可以被称为第一用户输入信号。这些术语的使用应该不脱离各种实施例的范围来解释。第一用户输入信号和第二用户输入信号均是用户输入信号，但除非上下文清楚地另外规定，否则并不意指相同的用户输入信号。

用于描述实施例的术语被用于描述具体实施例的目的，并非旨在限制实施例。如在实施例的描述和权利要求中使用的，除非上下文清楚地另外规定，否则单数形式“一(a)”、“一个(an)”、“该(the)”包括复数个所指对象。表达“和/或”被用于包括术语的所有可能组合。诸如“包括”或“具有”的术语旨在指示图形、数量、步骤、元件和/或组件的存在，并且应该理解为不排除另外存在图形、数量、步骤、元件和/或组件的可能性。如本文所使用的，诸如“如果”和“当”的条件表达不限于可选情况，并且旨在解释，当满足特定条件时，执行相关操作或者根据特定条件解释相关定义。

用于本公开的模式

如上所述，已经在执行实施例的最佳模式中描述了相关内容。

工业适用性

对本领域的技术人员将会显而易见的是，在实施例的范围内可以对实施例进行各种改变或修改。因此，旨在这些实施例涵盖本公开的修改和变化，只要它们落入所附权利要求及其等效物的范围内。

Claims

1.一种用于处理点云数据的方法，所述方法包括：

编码包括几何信息和属性信息的所述点云数据，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及

发送包括编码的点云数据的比特流。

2.根据权利要求1所述的方法，其中，编码所述点云数据包括：

编码所述几何信息；以及

编码所述属性信息。

3.根据权利要求2所述的方法，其中，编码所述属性信息包括：

接收所述几何信息的八叉树结构，其中，所述八叉树结构由一个或者多个级别表示；以及

通过将所述八叉树结构的每个级别与一个或多个属性匹配来生成着色的八叉树，其中，所述着色的八叉树被用于对所述属性信息进行编码，以用于部分或整个属性信息的可缩放表示。

4.根据权利要求3所述的方法，其中，所述着色的八叉树通过下述生成：将一个或多个属性与所述八叉树结构的叶节点匹配，以及将与所述叶节点匹配的所述一个或多个属性与除了所述叶节点以外的节点匹配。

5.根据权利要求4所述的方法，其中，所述着色的八叉树通过下述生成：通过从所述八叉树结构的根节点到叶节点步进，将所述一个或者多个属性与所述叶节点之外的所述节点匹配。

6.根据权利要求3所述的方法，其中，信令信息包括表示是否所述比特流包括与所述八叉树结构的完整级别或者所述八叉树结构的部分级别对应的数据的信息。

7.根据权利要求3所述的方法，其中，编码所述属性信息包括：

移除与所述着色的八叉树匹配的数据的重复数据。

8.一种用于处理点云数据的设备，所述设备包括：

编码器，所述编码器被配置成编码包括几何信息和属性信息的所述点云数据，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；和

发射器，所述发射器被配置成发送包括编码的点云数据的比特流。

9.根据权利要求8所述的设备，其中，所述编码器包括：

第一编码器，所述第一编码器被配置成编码所述几何信息；和

第二编码器，所述第二编码器被配置成编码所述属性信息。

10.根据权利要求9所述的设备，其中，所述编码器被配置成：

接收所述几何信息的八叉树结构，其中，所述八叉树结构由一个或者多个级别表示；并且

通过将所述八叉树结构的每个级别与一个或多个属性匹配来生成着色的八叉树，其中，所述着色的八叉树被用于编码所述属性信息，以用于部分或整个属性信息的可缩放表示。

11.根据权利要求10所述的设备，其中，所述着色的八叉树通过下述生成：将一个或多个属性与所述八叉树结构的叶节点匹配，以及将与所述叶节点匹配的所述一个或多个属性与除了所述叶节点以外的节点匹配。

12.根据权利要求11所述的设备，其中，所述着色的八叉树通过下述生成：通过从所述八叉树结构的根节点到叶节点步进，将所述一个或者多个属性与所述叶节点之外的所述节点匹配。

13.根据权利要求9所述的设备，其中，信令信息包括表示是否所述比特流包括与所述八叉树结构的完整级别或者所述八叉树结构的部分级别对应的数据的信息。

14.根据权利要求10所述的设备，其中，所述编码器进一步被配置成：

移除与所述着色的八叉树匹配的数据的重复数据。

15.一种处理点云数据的方法，所述方法包括：

接收包括点云数据的比特流，其中，所述点云数据包括几何信息和属性信息，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的所述点的属性；以及

解码所述点云数据。

16.根据权利要求15所述的方法，其中，解码所述点云数据包括：

解码所述几何信息；以及

解码所述属性信息。

17.根据权利要求16所述的方法，其中，信令信息包括表示所述比特流是否包括与所述八叉树结构的完整级别或所述八叉树结构的部分级别对应的数据的信息，

解码所述属性信息包括：

基于所述信息，生成着色的八叉树以编码所述属性信息，用于所述点云数据的可缩放表示。

18.一种处理点云数据的设备，所述设备包括：

接收器，所述接收器被配置成接收包括点云数据的比特流，其中所述点云数据包括几何信息和属性信息，其中，所述几何信息表示所述点云数据的点的位置并且所述属性信息表示所述点云数据的点的属性；和

解码器，所述解码器被配置成解码所述点云数据。

19.根据权利要求18所述的设备，其中，所述解码器包括：

第一解码器，所述第一解码器被配置成解码所述几何信息；和

第二解码器，所述第二解码器被配置成解码所述属性信息。

20.根据权利要求19所述的设备，其中，信令信息包括表示所述比特流是否包括与所述八叉树结构的完整级别或所述八叉树结构的部分级别对应的数据的信息，

所述解码器进一步被配置成：