CN111417985A - 用于编码/解码表示3d对象的点云的几何形状的方法和设备 - Google Patents

Abstract

本原理涉及用于编码表示3D对象的点云的几何形状的方法和装置。所述方法包括：a)从所述点云的点获得(210)具有最大深度等级(δ_k)的至少一个候选基于八叉树结构(O_k)，每个候选基于八叉树结构(O_k)通过与叶立方体相关联的点近似点云的几何形状，每个叶立方体与所述候选基于八叉树结构(O_k)的叶节点相关联；b)获得(230)具有最大深度等级(δ_k)的所述至少一个候选基于八叉树结构(O_k)的编码成本(C_k)；c)对通过优化(240)针对所述至少一个候选基于八叉树结构(O_k)而获得的所述编码成本而获得的具有最大深度等级(δ_opt)的最佳基于八叉树结构(O_opt)进行编码(250)；以及d)对表示所述最佳基于八叉树结构(O_opt)的最大深度等级(δ_opt)的深度信息数据(DID_opt)进行编码(260)。本原理还涉及解码方法和装置。

Description

用于编码/解码表示3D对象的点云的几何形状的方法和设备

技术领域

本原理一般涉及编码和解码表示3D对象的点云的几何形状。特别地但非排他性地，本原理的技术领域涉及点云的基于八叉树的编码/解码。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以促进更好地理解本原理的各个方面。因此，应当理解的是，应从这种角度来阅读这些陈述，而不是作为对现有技术的承认。

点云是通常旨在表示3D对象的外表面的点的集合，但也可能是更复杂的几何形状(如，头发、毛发)，它们可能无法通过其他数据格式(如网格)有效地表示。点云的每个点通常由3D空间位置(3D空间中的X、Y和Z坐标)定义，并可能由其他关联属性定义，例如在RGB或YUV颜色空间中表示的颜色，例如透明度、反射率、两分量法向向量等。

点云可以是静态的也可以是动态的，这取决于云是否随时间演变。应当注意，在动态点云的情况下，点的数目不是恒定的，相反，通常随着时间而演变。因此，动态点云是点的集合的按时间排序的列表。

实际上，点云可用于各种目的，例如文化遗产/建筑物，其中以3D形式扫描如雕像或建筑物之类的对象，以便共享对象的空间配置而无需发送或访问它。另外，它是一种确保保留对象知识的方式，以防对象可能被破坏；例如，经历过地震的寺庙。这种彩色点云通常是静态且巨大的。

另一用例是在地形和地图制作中，其中通过使用3D表示，地图不限于平面，还可以包括地势(relief)。

汽车工业和自动驾驶汽车也是其中可以使用点云的领域。自动驾驶汽车应能够“探测”它们的环境，以根据其直接相邻的实际情况做出安全驾驶决策。典型的传感器产生由决策引擎使用的动态点云。这些点云并非旨在供人们查看。它们通常很小，不一定是彩色的，并且是动态的，具有很高的捕获频率。它们可能具有其他属性，例如反射率，它是与感测对象的物理表面的材质相关的有价值的信息，并且可以帮助做出决策。

虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被很多人预见为2D平板视频的未来。基本想法是让观看者沉浸在与标准电视相对的周围环境中，其中他只能观看面前的虚拟世界。取决于环境中观看者的自由度，存在几个等级的沉浸感。彩色点云是分发VR世界的理想格式候选。它们可以是静态的或动态的，并且通常具有平均大小，例如一次不超过几百万个点。

仅当比特流的大小足够小到允许实际存储/传输到最终用户时，点云压缩才能成功存储/传输用于沉浸式世界的3D对象。

能够以合理的带宽消耗将动态点云分发到最终用户，同时保持可接受的(或优选地非常好的)体验质量，这也是至关重要的。与视频压缩类似，良好地使用时间相关性被认为是将导致动态点云的有效压缩的重要要素。

众所周知的方案将表示3D对象的几何形状和颜色的点云投影到包围3D对象的立方体的表面上，以获得有关纹理和深度的视频，并使用诸如3D-HEVC(HEVC的扩展，其规范可在ITU网站、T建议、H系列、h265、http://www.itu.int/rec/T-REC-H.265-201612-I/en附录G和I上找到)的传统编码器对纹理和深度视频进行编码。

压缩的性能对于每个投影点的视频压缩都接近，但是当考虑动态点云时，由于遮挡、冗余和时间稳定性，某些内容可能会更复杂。因此，就比特率而言，点云压缩比视频压缩的要求更高。

关于遮挡，在不使用许多投影的情况下，几乎不可能获得复杂拓扑的完整几何形状。因此，用于对所有这些投影进行编码/解码的所需资源(计算能力、储存存储器)通常太高。

基于八叉树的编码也是一种众所周知的编码点云的几何形状的方案。通过递归拆分包围点云的立方体，直到与所述基于八叉树结构的叶节点相关联的叶立方体包含点云的不超过一个点，而获得用于表示点云的几何形状的基于八叉树结构。基于八叉树结构的叶节点的空间位置因此表示点云的点的3D空间位置，即其几何形状。

因此，这种拆分处理在计算能力方面需要重要的资源，因为拆分决策是在可能包含大量点的整个点云上进行的。

因此，存在应在不使用具有高计算复杂度的优化处理而获得点云的几何形状的良好表示之间获得的折衷。

发明内容

以下呈现了本原理的简化总结，以提供对本原理某些方面的基本理解。该概述不是本原理的广泛概述。它并不旨在标识本原理的关键或决定性元素。以下概述仅以简化形式呈现了本原理的一些方面，作为下面提供的更详细描述的序言。

一般而言，本原理涉及一种用于编码表示3D对象的点云的点的几何形状的方法，所述方法包括：

a)从所述点云的点获得具有最大深度等级的至少一个候选基于八叉树结构，每个候选基于八叉树结构通过与叶立方体相关联的点近似点云的几何形状，每个叶立方体与所述候选基于八叉树结构的叶节点相关联；

b)获得具有最大深度等级的所述至少一个候选基于八叉树结构的编码成本；

c)对通过优化针对所述至少一个候选基于八叉树结构而获得的所述编码成本而获得的具有最大深度等级的最佳基于八叉树结构进行编码；和

d)对表示所述最佳基于八叉树结构的最大深度等级的深度信息数据进行编码。基本上，所述方法为具有特定最大深度等级的每个候选基于八叉树结构(其中一些可能具有相同的最大深度等级)获得编码成本，并对通过基于所述编码成本使用速率失真优化处理获得的最佳基于八叉树结构进行编码。

此外，因为发信号通知基于八叉树结构的最大深度等级所需的额外比特率相对于用于对与最大深度等级的基于八叉树结构的叶节点相关联的指示这些叶节点是否被拆分的叶信息进行编码的比特率小，所以编码所述最佳基于八叉树结构的最大深度等级尤其对于复杂的几何形状是有利的。

根据实施例，针对候选基于八叉树结构获得的编码成本取决于失真和比特率，所述失真考虑一方面点云的点和另一方面与所述候选基于八叉树结构的叶立方体相关联的点之间的空间距离，并且所述比特率用于编码所述候选基于八叉树结构和用于编码其最大深度等级。

根据实施例，所述方法还包括通过对与所述至少一个候选基于八叉树结构的叶立方体相关联的点进行递归上采样，直到所述点的分辨率等级达到期望的分辨率等级为止，来获得上采样点。

根据这个实施例，所述方法获得至少一个候选基于八叉树结构的上采样点，获得针对所述候选基于八叉树结构的编码成本，并通过基于所述编码成本使用速率失真优化处理来编码所述最佳基于八叉树结构。

因为最佳基于八叉树结构被编码，即与所述最佳基于八叉树结构的叶节点相关联的叶立方体中的点(而不是上采样点)，所以用于对最佳基于八叉树结构进行编码的信息可能非常紧凑。例如，当点云的几何形状(甚至复合体)可以由几何表面(如平面)或体积(如立方体)很好地近似时，情况尤其如此。

此外，与基于八叉树结构的叶立方体相关联的上采样点通过消除速率失真优化循环中对失真估计的不希望的局部深度影响，来改善编码决策。否则，由于较差的解码点采样，较低的深度值将人为地导致较高的失真，因此，较低深度配置将受到不利影响，因此不会由RDO处理选择。

根据实施例，所述失真考虑一方面点云的点和另一方面上采样点之间的空间距离。

失真因此更精确地量化了点云的点的近似值，因为它考虑了近似所述点云的那些点的所有点。

根据实施例，所述方法还包括步骤或所述装置还包括用于以下的部件：

-通过递归地拆分包围点云的立方体直到与所述全局基于八叉树结构的叶节点相关联的叶立方体下降到预期大小为止，来确定包括至少一个立方体的全局基于八叉树结构；

-对表示全局基于八叉树结构的八叉树信息数据进行编码；

-对叶节点信息数据进行编码，所述叶节点信息数据指示与所述全局基于八叉树结构的每个叶节点相关联的叶立方体是否被编码；

-如果叶节点信息数据指示与所述全局基于八叉树结构的叶节点相关联的叶立方体被编码，则通过执行步骤a-d)来对在所述叶立方体中包括的点云的点的几何形状进行编码。

这个实施例通过全局基于八叉树结构来表示点云的几何形状，其是通过将点云拆分成多个子点云而获得的，每个子点云都位于(由)所述全局基于八叉树结构的叶立方体(包围)中，并且通过局部最佳基于八叉树结构来表示点云的几何形状，其每一个通过使用上述方法对所述子点云之一的点进行编码而彼此独立地获得。

通过全局基于八叉树结构和局部最佳基于八叉树结构来表示点云的几何形状是有利的，因为它允许局部地确定几何形状的最佳表示，即优化处理基于较小量的点来优化八叉树，从而大大降低通常在点云的整个点集合上进行的优化的复杂性。

通过全局基于八叉树结构和局部最佳基于八叉树结构来表示点云的几何形状，还允许定义具有其最佳最大深度等级的最佳基于八叉树结构，用于近似于每个所述子点云的点的几何形状。

因此，通过全局基于八叉树结构和局部最佳基于八叉树结构来表示点云的几何形状，可以提供灵活性以局部地适应最大深度等级。这是有趣的功能，因为简单的几何形状(例如平面或局部靠近平面的表面)可以利用具有低的最大深度等级的八叉树进行良好编码。另一方面，为了保留复杂几何形状的精细结构，需要更高的最大深度等级。

同样，基于八叉树结构的最大深度等级取决于编码的质量：较差的质量将导致较低的最大深度等级。因此，最佳最大深度等级是局部几何形状复杂度和编码质量的巧妙组合。现有技术没有为编码器提供找出这个最佳最大深度等级的能力。

另一优点是可以从通过已经编码的相邻基于八叉树结构预测局部基于八叉树结构中获利。这个优点类似于在许多视频压缩标准(例如HEVC)中执行的将图像分解为编码块、并然后使用块之间的帧内预测(此处是基于八叉树结构的帧内预测)的优点。

同样，考虑动态点云，可能从先前时间的已编码点获得局部最佳基于八叉树结构的时间预测。同样，这个优点类似于在许多视频压缩标准中应用的块之间的帧间时间预测的优点。使用局部基于八叉树结构允许实际的运动搜索，因为它是在合理数量的点上执行的。

根据实施例，对基于八叉树结构进行编码包括对表示所述最佳基于八叉树结构的八叉树信息数据、和指示所述基于八叉树结构的叶立方体是否包括表示点云的至少一个点的点的叶节点信息数据进行编码。

根据实施例，八叉树信息数据可以包括每个节点的二进制标志，以指示除了所述基于八叉树结构的最大深度等级处的节点之外、与节点相关联的立方体是否被拆分。

根据它们的另一方面，本原理涉及一种用于从比特流解码表示3D对象的点云的点的方法，所述方法包括：

a)解码表示所述基于八叉树结构的最大深度等级的深度信息数据。

b)从比特流中并根据最大深度等级，解码表示基于八叉树结构的八叉树信息数据、以及指示所述基于八叉树结构的叶立方体是否包括表示点云的至少一个点的点的叶节点信息数据；和

c)从八叉树信息数据获得基于八叉树结构，并且如果叶节点信息数据指示所述基于八叉树结构的叶立方体包括表示点云的至少一个点的点，则将点添加到所述叶立方体。

根据实施例，所述方法还包括通过对与所述至少一个基于八叉树结构的叶立方体相关联的点进行递归上采样，直到所述点的分辨率等级达到期望的分辨率等级为止，来获得上采样点。

根据实施例，所述方法还包括以下步骤或所述装置还包括用于以下的部件：

-从比特流中解码表示全局基于八叉树结构的八叉树信息数据；

-从八叉树信息数据获得所述全局基于八叉树结构；

-从比特流解码叶节点信息数据，所述叶节点信息数据指示与所述全局基于八叉树结构的每个叶节点相关联的叶立方体是否被编码；和

-如果叶节点信息数据指示与所述全局基于八叉树结构的叶节点相关联的叶立方体被编码，则通过执行步骤a-c)来解码在所述叶立方体中包括的点；和

-将所述全局基于八叉树结构的所有叶立方体的解码点融合。

根据实施例，解码基于八叉树结构包括：解码表示所述最佳基于八叉树结构的八叉树信息数据、和指示所述基于八叉树结构的叶立方体是否包括表示点云的至少一个点的点的叶节点信息数据。

根据实施例，八叉树信息数据可以包括每个节点的二进制标志，以指示除了在所述基于八叉树结构的最大深度等级处的节点之外、与节点相关联的立方体是否被拆分。

根据本发明的另一方面，本原理涉及一种承载表示点云的信息数据的信号，其中所述信号还承载：

-至少一个八叉树信息数据，表示至少一个基于八叉树结构；和

-至少一个叶节点信息数据，指示所述至少一个基于八叉树结构的叶立方体是否包括表示所述点云的至少一个点的点；和

-至少一个深度信息数据，表示所述至少一个基于八叉树结构的最大深度等级。

根据实施例，所述至少一个八叉树信息数据包括每个节点的二进制标志，以指示除了在所述至少一个基于八叉树结构的最大深度等级处的节点之外、与节点相关联的立方体是否被拆分。

根据本发明的另一方面，本原理还涉及一种包括用于实现上述方法的部件的装置，以及涉及一种非瞬时处理器可读介质，其上存储有指令，当在计算机上执行这个程序时，所述指令执行以上方法的步骤。

通过以下结合附图对示例的描述，本原理的特定性质以及本原理的其他目的、优点、特征和用途将变得显而易见。

附图说明

在附图中，图示了本原理的示例。其示出了：

-图1图示了基于八叉树结构的示例；

-图2示意性地示出了根据本原理的示例的、用于对表示3D对象的点云的几何形状进行编码的方法的步骤的图；

-图3示意性地图示了根据本原理的示例的、用于对与具有最大深度等级的基于八叉树结构的叶立方体相关联的点进行递归上采样的方法的步骤的图；

-图4a-图4b图示了根据本原理的示例的叶立方体的上采样；

-图5图示了根据本原理的示例的图3的方法的变型；

-图6示出了根据本原理的实施例的步骤230的子步骤的图；

-图6a-图6b示出了最大深度等级的知识对基于八叉树结构的表示的影响。

-图7示意性地示出了图2的方法的变型的步骤的图；

-图8示出了候选基于八叉树结构的示例的图示；

-图9示意性地示出了根据本原理的示例的、用于从比特流解码表示3D对象的点云的点的方法的步骤的图；

-图10示意性地示出了图9的方法的变型的步骤的图；

-图11示出了根据本原理的示例的装置的架构的示例；和

-图12示出了根据本原理的示例的通过通信网络进行通信的两个远程装置；

-图13示出了根据本原理的示例的信号的语法；

用相同的附图标记指代相似或相同的元素。

具体实施方式

在下文中将参考附图更全面地描述本原理，在附图中示出了本原理的示例。然而，本原理可以以许多替代形式来实施，并且不应被解释为限于在此阐述的示例。因此，尽管本原理易受各种修改和替代形式的影响，但是其具体示例通过附图中的示例示出，并且将在本文中进行详细描述。然而，应理解，并不意欲将本原理限制为所公开的特定形式，而是相反，本公开将涵盖落入如权利要求所定义的本原理的精神和范围内的所有修改、等效形式和替代形式。

本文所使用的术语仅出于描述特定示例的目的，而不意欲限制本原理。如本文所用，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用时，术语“包括”、“包括”、“包含”和/或“包含”指定所阐述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。而且，当元件被称为“响应于”或“连接到”另一元件时，它可以直接响应于或连接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接响应于”或“直接连接到”另一元件时，不存在中间元件。如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合，并且可以缩写为“/”。

将理解的是，尽管这里可以使用术语第一、第二等来描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于区分一个元件和另一个元件。例如，在不脱离本原理的教导的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。

尽管一些图在通信路径上包括箭头以示出通信的主要方向，但是应当理解，通信可以在与所描绘的箭头相反的方向上发生。

关于框图和操作流程图描述了一些示例，其中每个框代表电路元件、模块、或代码的一部分，其包括用于实现(多个)指定的逻辑功能的一个或多个可执行指令。还应注意的是，在其他实施方式中，在框中标注的(多个)功能可以不按照标注的顺序发生。例如，取决于所涉及的功能，实际上可以基本上并发执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。

本文中指代“根据示例”或“在示例中”是指结合示例描述的特定特征、结构、或特性可被包括在本原理的至少一种实现中。在说明书中的各个地方的“根据示例”或“在示例中”的短语的出现不一定全部指代同一示例，也不是必须与其他示例相互排斥的单独或替代示例。

出现在权利要求中的附图标记仅是说明性的，并且对权利要求的范围没有限制作用。

尽管没有明确描述，但是可以以任何组合或子组合来采用本示例和变型。

描述了本原理用于对点云进行编码/解码，但是由于如下所述对序列的每个彩色点云进行顺序编码/解码，因此本原理被扩展到点云序列的编码/解码。

基于八叉树结构包括根节点、至少一个叶节点、以及可能的中间节点。叶节点是没有子节点的基于八叉树立方体的节点。所有其他节点都有子节点。基于八叉树结构的每个节点都与立方体相关联。因此，基于八叉树结构包括与(多个)节点相关联的至少一个立方体C_j的集合{C_j}。

叶立方体是与基于八叉树结构的叶节点相关联的立方体。

在图1所示的示例中，与根节点(深度为0)相关联的立方体被拆分为8个子立方体(深度1)，然后将深度为1的两个子立方体拆分为8个子立方体(最大深度等级＝2)。

相同深度的立方体的大小通常是相同的，但是本原理不限于该示例。特定的处理还可以确定当拆分立方体时每个深度等级的子立方体的不同数量、和/或相同深度等级或根据它们的深度的多个大小的立方体。

基于八叉树结构的最大深度等级是没有任何叶立方体被拆分的深度等级。因此，基于八叉树结构可以在最大深度等级处具有叶节点，也可以具有比最大深度等级低的其他深度等级。

在下文中，术语“局部基于八叉树结构”是指从要编码的点云的点的子部分确定的基于八叉树结构。

相反，全局基于八叉树结构是指从要编码的点云的所有点确定的基于八叉树结构。

图2示意性地示出了根据本原理的示例的用于对表示3D对象的点云IPC的点P_or的几何形状进行编码的方法200的步骤的图。

基本上，速率失真优化(RDO)处理用于从K个候选基于八叉树结构O_k(k∈[1；K])确定具有最大深度等级δ_opt的最好的基于八叉树结构O_opt，以对点P_or进行编码。

基本原理是依次测试每个候选基于八叉树结构O_k，并针对每个候选基于八叉树结构O_k计算拉格朗日成本C_k，由下式给出：

C_k＝D_k+λR_k (1)

其中R_k是用于编码当前的候选基于八叉树结构O_k并用于编码其最大深度等级δ_k的比特率，D_k是下文详述的失真度量，而λ是固定的拉格朗日参数，所述参数对于所有候选基于八叉树结构O_k都可以是固定的。

然后通过最小化拉格朗日成本C_k来获得最好的基于八叉树结构O_opt：

拉格朗日参数的高值会严重不利于比特率R_k并导致较低的近似质量，而拉格朗日参数的低值会轻易导致R_k的高值并导致高的近似质量。λ值的范围取决于失真度量，并且最重要的是取决于两个相邻点之间的距离。假设这个距离是统一的，则λ的典型值在数百(对于非常差的编码)到十分之一(atenth of unity)(对于良好的编码)的范围内。这些值是指示性的，也可能取决于内容。

在步骤210中，模块M1从点P_or获得具有最大深度等级δ_k的至少一个候选基于八叉树结构O_k。

每个候选基于八叉树结构O_k通过与叶立方体相关联的点来近似点云IPC的几何形状，每个叶立方体与所述候选基于八叉树结构O_k的叶节点相关联。

例如，可以通过固定最大深度等级δ_k并递归拆分包围点P_or的初始立方体，直到达到最大深度等级δ_k并且同时叶立方体包括点P_or的至少一个，来获得候选基于八叉树结构O_k。接下来，当叶立方体与至少一个点P_or相关联时，优选地在其中心将点与所述叶立方体相关联，以近似所述至少一个点P_or。因此，最大深度等级δ_k处的叶立方体可然后包括至多一个点。然后，通过与候选基于八叉树结构O_k的叶立方体相关联的点，来近似点云IPC的几何形状。

图8示出了候选基于八叉树结构O_k的示例的图示。这个图表示拆分正方形的基于四叉树结构的示例，但读者可以通过用立方体替换正方形，而轻松地将其扩展到3D情况。

根据这个示例，所述立方体拆分为4个子立方体C1、C2、C3和C4(深度1)。子立方体C1与叶节点关联，并且不包含任何点。子立方体C2被递归拆分为4个子立方体(深度2)。子立方体C3也被递归拆分，并且子立方体C4未被拆分，但位于例如立方体中心的点与其关联，……等等。

在图8的右侧示出了具有最大深度等级δ_k＝4的候选基于八叉树结构的图示。黑色圆圈指示节点已拆分。二进制标志与每个白色圆圈(叶节点)相关联，以指示正方形(在3D情况下为立方体)包括(1)或不包括(0)点。

根据这个示例，点位于立方体的中心，因为一旦在基于八叉树结构中标识了所述立方体，就避免了有关所述点的空间位置的任何附加信息。但是本原理不限于这个示例，并且可以扩展到立方体中点的任何其他空间位置。

本原理不限于图8所示的候选基于八叉树结构，而是扩展到包括与包含至少一个点的叶立方体相关联的至少一个叶节点的任何其他基于八叉树结构。

对于每个候选的基于八叉树结构O_k，迭代地执行步骤220-230。

在图2的可选步骤220中，模块M2通过对与候选基于八叉树结构的叶立方体相关联的点P_k进行递归上采样，直到所述点P_k的分辨率等级π_k达到预期的分辨率等级πexp_k(即，与最大深度等级δexp_k的立方体大小的步长的规则3D网格相关联的分辨率(精度)等级)，来获得上采样点P_k,up。

因此，所述预期分辨率等级πexp_k与基于八叉树结构的最大深度等级δexp_k紧密相关。通常，最大深度等级δexp_k(以及因此预期的分辨率等级πexp_k)将与单一大小的叶立方体相关联，即在点云的渲染处理中“3D像素”(＝小立方体)的最小大小。

在步骤230中，模块M3获得具有最大深度等级(δ_k)的候选基于八叉树结构O_k的编码成本C_k，如结合图6所述。

在步骤240中，一旦已经考虑了所有候选基于八叉树结构O_k，则模块M4根据等式(1)和(2)获得具有最大深度等级δ_opt的最好的基于八叉树结构O_opt。

在步骤250中，模块M5对具有最大深度等级δ_opt的最佳基于八叉树结构O_opt进行编码。

根据实施例，具有最大深度等级δ_opt的最佳基于八叉树结构O_opt通过表示所述最佳基于八叉树结构O_opt的八叉树信息数据OID_opt、和指示所述最佳基于八叉树结构O_opt的叶立方体是否包含表示至少一个点P_or的点的叶节点信息数据LID_opt来编码。

在步骤260中，模块M6对表示所述最大深度等级δ_opt的深度信息数据DID_opt进行编码。

所述变型降低了最佳基于八叉树结构O_opt的编码成本，如下面关于图6a-图6b所解释的。

八叉树信息数据OID_opt、叶节点信息数据LID_opt、和深度信息数据DID_opt可以在比特流F1中存储和/或传送。

图3示意性地示出了根据步骤220的实施例的、用于对与具有最大深度等级δ_k的基于八叉树结构O_k的叶立方体相关联的点P_k进行递归上采样的方法的步骤的图。

在步骤310中，模块M7从基于八叉树结构O_k获得I个点P_k,i(I大于或等于1)的集合。每个所述点P_k,i位于与最大深度等级δ_k处的叶节点N_k,i相关联的叶立方体C_k,i本身的中心。假设所有相同深度的立方体都具有相同的大小，则将点P_k,i定位在最大深度等级δ_k的立方体大小的步长的规则3D网格上。认为这个网格的点P_k,i具有分辨率等级πk＝δ_k。

叶节点N_k,q中的一些可以具有低于最大深度等级δ_k的深度等级δ_q。

根据步骤310的变形，通过递归地拆分与所述叶节点N_k,q相关联的叶立方体、直到其深度等级达到最大深度等级δ_k，来完成基于八叉树结构O_k。在每次迭代中，将八个子节点添加到基于八叉树结构中，其中点P_k,i优选位于所述八个子节点中的每个子节点的中心。

上采样处理的目的是将所述点P_k,i上采样达到期望的分辨率等级πexp_k。

在每次迭代中，都会考虑I个点P_k,i的集合。

在步骤320中，考虑点P_k,i。模块M8确定相邻(在规则3D网格上)点NEI_k,i,j是否位于点P_k,i的附近，并且对于J个相邻点NEI_k,i,j中的每个，在步骤330中，模块M9确定新点NP_k,i,j。新点NP_k,i,j位于连接点P_k,i和相邻点NEI_k,i,j的线段的中间。

新点NP_k,i,j被添加到点P_k,i的集合，并且点P_k,i的新集合被考虑用于下一次迭代。点P_k,i的新集合的点位于其步长是点P_k,i的旧集合的点所在的规则网格的步长的一半的新规则3D网格上。换句话说，在步骤320和步骤330期间，网格的分辨率(精度)等级已增加了1。

当点P_k,i的分辨率等级π_k达到预期分辨率等级πexp_k时，迭代停止，在每次迭代时，分辨率等级π_k增加1。

图3的输出是在最后一次迭代之后获得的点P_k,i的集合，这个最后集合被称为上采样点P_k,up。

图4a-图4b图示了在步骤320和330中相邻点NEI_k,i，j和新点NP_k,i,j的确定。

在图4a中，表示了点P_k,i(黑点)的所有可能的相邻点(白圈)。由于点P_k,i的网格的分辨率等级为π_k，因此图中表示的规则3D网格具有分辨率等级π_k。

根据实施例，通过将值+S、0或-S加到点P_k,i的坐标中的至少一个上，来定义这个点P_k,i的邻域，其中S是分辨率等级为π_k的规则3D网格的步长。对于图4a所示的示例，S＝1。然后，点P_k,i最多具有由圆圈表示的26个相邻点。

在图4b中，表示了其中点P_k,i具有两个相邻点NEI_k,i,1和NEI_k,i,2的示例。在由点P_k,i和NEI_k,i,1定义的线段的中间添加一个新点NP_k,i,1，并在由点P_k,i和NEI_k,i,2定义的线段的中间添加一个新点NP_k,i,2。

本原理不限于这个示例，而是可以扩展到用于定义点P_k,i的邻域的任何其他方法，并且可以扩展到用于从位于点P_k,i的邻域中的两个现有点来定义新点的任何其他方法。

如上所述确定相邻点NEI_k,i,j是否位于点P_k,i的附近导致如图4a所示的要检查的许多对点。

根据图5所示的变型，可以将要检查的26对点的数量减少到13，其中所述13对点中的3对考虑沿着从点P_k,i开始的线段的相邻点，所述13对点中的6对考虑沿着从点P_k,i开始的小对角线的相邻点，并且所述13对点中的4对考虑沿着从点P_k,i开始的所有长对角线的相邻点。

所述变型因此避免对相同的一对点进行两次检查，因此在步骤320中要检查26/2＝13对的数目。

根据图6所示的步骤230的实施例，在步骤610中，模块M3考虑一方面点P_or和另一方面与候选基于八叉树结构O_k的叶立方体相关联的点P_k之间的空间距离，而获得失真D_k。

从数学上讲，失真D_k是由以下公式得出的度量：

D_k＝d(P_k,P_OR)+d(P_OR,P_k,)

其中d(A，B)是测量从点A的集合到点B的集合的空间距离的度量。这个度量不对称，这意味着从A到B的距离与从B到A的距离不同。

距离d(P_k，P_OR)确保点P_k与点云IPC的点相距不太远，从而避免对无关点进行编码。

距离d(P_OR，P_k)确保点云IPC的每个点都被与它们相距不太远的点近似，即确保点云IPC的所有部分都被很好地近似。

根据实施例，距离d(A，B)由下式给出：

其中范数是欧几里得距离，并且q_closest(p,B)是距A的点p最近的点B，定义为

根据图6所示的步骤230的实施例，在步骤610中，模块M3考虑一方面点P_or和另一方面点P_k,up之间的空间距离，而获得失真D_k。

从数学上讲，失真D_k是由下式给出的度量：

D_k＝d(P_k,up,P_OR)+d(P_OR,P_k,up)

在步骤620中，模块M3获得比特率R_k，用于对候选基于八叉树结构O_k进行编码，并用于对其最大深度等级δ_k进行编码。

所述比特率R_k取决于用于对表示所述候选基于八叉树结构O_k的八叉树信息数据OID_k进行编码、用于对最大深度等级δ_k进行编码、以及用于对指示所述候选基于八叉树结构O_k的叶立方体是否包括表示至少一个点P_or的点的叶节点信息数据LID_k进行编码的比特率。

编码最大深度等级δ_k降低了候选基于八叉树结构O_k的比特率，如下面关于图6a-图6b所解释的。

在步骤630中，模块M3根据公式(1)为具有最大深度等级δ_k的候选基于八叉树结构O_k计算拉格朗日成本C_k。

图7示意性地示出了图2的方法的变型的步骤的图。

在步骤700中，模块M9通过递归拆分包围点云IPC的立方体直到与所述全局基于八叉树结构GO的叶节点相关联的叶立方体缩小到预期大小，来确定包括至少一个立方体的全局基于八叉树结构GO。

与全局基于八叉树结构GO的叶节点相关联的叶立方体然后可以包括或不包括点云IPC的点P_or。与全局基于八叉树结构GO的叶节点相关联的叶立方体在以下最大八叉树单元(LOU_u)中命名，u表示引用与全局基于八叉树结构GO的叶节点u相关联的最大八叉树单元的索引。

在步骤710，模块M10对表示全局基于八叉树结构GO的八叉树信息数据OID进行编码。

在步骤720中，对于每个LOU_u(u＝1，…，U)，模块M11确定至少一个点P_or是否与LOU_u相关联。

如上所述，可能出现LOU_u不包括点云IPC的任何点P_or的情况。在这种情况下，所述LOU_u被命名为非编码LOU_u。

如果P_or的至少一个点与LOU_u相关联，则点P_or,u(即，在所述LOU_u中包括的点P_or之中的点)如关于图2-图6b所示的方法200所描述的那样被编码。

后缀u表示元素是位于LOU_u中的那些。例如，最佳基于八叉树结构O_opt,u是指用于对LOU_u中的点进行编码的最佳基于八叉树结构，候选基于八叉树结构O_k,u是用于LOU_u的候选基于八叉树结构(步骤210)，点P_k,i,u的集合表示在与候选基于八叉树结构O_k,u等的叶节点相关联的立方体中包含的点。

还可能出现的情况是，编码方法200确定点P_or,u未被任何候选基于八叉树结构O_k,u编码。例如，当用于编码这些点的成本相对于与R_k,u＝0、和在来自例如其他已编码的LOU_u的已编码点与点P_or,u之间获得的失真D_k,u相关联的成本太高时，就是这种情况。在这种情况下，所述LOU_u也称为未编码LOU_u。

模块M11还编码指示LOU_u是编码的还是未编码的LOU_u的叶节点信息数据LID_u。

如果叶节点信息数据LID_u指示LOU_u是未编码的LOU_u，则叶节点信息数据LID_u被编码。

如果叶节点信息数据LID_u指示LOU_u是编码的LOU_u，则在步骤200中，模块M5对八叉树信息数据OID_opt,u、深度信息数据DID_opt,u和叶节点信息数据LID_opt,u进行编码，所述八叉树信息数据OID_opt,u表示具有最大深度等级δ_opt,u的局部最佳基于八叉树结构O_opt,u，所述深度信息数据DID_opt,u表示所述最大深度等级δ_opt,u，并且所述叶节点信息数据LID_opt,u指示所述局部最佳基于八叉树结构O_opt,u的叶立方体是否包含表示至少一个点P_or的点。

编码所述最大深度等级δ_opt,u降低了局部最佳基于八叉树结构O_opt,u的编码成本，如下所述。

八叉树信息数据OI、叶信息数据LID_u、八叉树信息数据OID_opt,u、叶节点信息数据LID_opt,u和深度信息数据DID_opt,u可以在比特流F1中存储和/或传送。

根据所述编码方法的实施例，八叉树信息数据(OID，OID_k，OID_opt，OID_opt,u)可以包括每个节点的二进制标志，以指示与节点相关联的立方体是否被拆分。

根据所述编码方法的实施例，叶节点信息数据(LID_k，LID_opt，LID_opt,u)可以包括二进制标志，所述二进制标志指示基于八叉树结构的叶立方体是否包括表示至少一个点P_or的点。

根据所述编码方法的实施例，另一叶节点信息(LID_u)可以包括指示LOU_u是编码的还是未编码的叶立方体的至少一个比特。

根据所述编码方法的实施例，深度信息数据(DID_k，DID_opt，DID_opt,u)可以包括表示基于八叉树结构的最大深度等级的比特的集合。

根据所述编码方法的实施例，八叉树信息数据(OID，OID_k，OID_opt，OID_opt,u)和/或叶节点信息数据(LID_k，LID_opt，LID_opt,u，LID_u)和/或深度信息数据(DID_k，DID_opt，DID_opt,u)可以使用类似CABAC的熵编码器进行编码(有关CABAC的说明在HEVC的规范中查到，网址为http://www.itu.int/rec/T-REC-H.265-201612-I/en)。

对八叉树信息数据(OID，OID_k，OID_opt，OID_opt,u)和/或叶节点信息数据(LID_k，LID_opt，LID_opt,u，LID_u)进行熵编码在编码方面可能很有效，因为可以使用特定的上下文对每个节点的二进制标志进行编码，因为与相邻节点相关联的二进制标志具有相同值的可能性很高。

根据所述编码方法的变型，指示与节点相关联的立方体是否被拆分的二进制标志没有针对最大深度等级(δ_k，δ_opt，δ_opt,u)的节点被编码。因此，八叉树信息数据(OID_k，OID_opt，OID_opt,u)包括每个节点的二进制标志，以指示与除了最大深度等级(δ_k，δ_opt，δ_opt,u)的节点之外的节点相关联的立方体是否已被拆分。

根据该变型，最大深度等级(δ_k，δ_opt，δ_opt,u)的知识因此用于减少八叉树信息数据(OID，OID_k，OID_opt，OID_opt,u)中的二进制标志的数目，如图6a-图6b所示。因此降低用于编码基于八叉树结构的比特率。

在图6a上示出了具有最大深度等级δ的基于八叉树结构的图示。基于八叉树结构是图8所示的基于八叉树结构的示例，但是具有最大深度等级δ＝3。

在图6a和图6b中，示出了八叉树信息数据的二进制标志(黑色/白色圆圈)：黑色圆圈表示节点被拆分，而白色圆圈表示节点是叶节点。

在图6a中，在不知道最大深度等级δ的情况下，必须通过设置为零的二进制标志，将最右边的节点(即处于最大深度等级的节点)指示为未拆分(白色圆圈)。

在图6b中，在知道最大深度等级δ的情况下，隐式地知道这些最右边的节点是未拆分的，并且相关联的零值二进制标志不需要包括在八叉树信息数据中。

因此，用于对八叉树信息数据进行编码的比特率通常会大大降低，因为相对于最大深度等级δ的节点而言，用于编码最大深度等级δ的比特率(一些比特)低于用于编码二进制标志的比特率。

图9示意性地示出了根据本原理的示例的用于从比特流解码表示3D对象的点云的几何形状的方法900的步骤的图。

在步骤910，模块M12解码表示所述最大深度等级δ_opt的深度信息数据DID_opt。

然后模块M12根据最大深度等级δ_opt从比特流F1中解码表示基于八叉树结构O_opt的八叉树信息数据OID_opt、以及指示所述基于八叉树结构O_opt的叶立方体是否包括表示点云IPC的至少一个点P_or的点的叶节点信息数据LID_opt。

在步骤920中，模块M13从八叉树信息数据OID_opt获得基于八叉树结构O_opt，并且如果叶节点信息数据LID_opt指示所述基于八叉树结构O_opt的叶立方体包括表示点云IPC的至少一个点P_or的点，则优选地在其中心向所述叶立方体添加点。

在可选步骤220中，如结合图2所描述的，模块M2通过递归上采样与所述基于八叉树结构O_opt的叶立方体相关联的点P_opt，直到所述点P_opt的分辨率等级π_k达到预期的分辨率等级πexp_k为止，来获得上采样点P_opt,up。

点P_opt,up是点云IPC的解码点。

图10示意性地示出了图9的方法的变型的步骤的图。

在步骤1000中，模块M14从比特流F1中解码表示全局基于八叉树结构GO的八叉树信息数据OID。

在步骤1010中，模块M15从八叉树信息数据OID获得全局基于八叉树结构GO。

在步骤1020中，模块M16从比特流F1解码指示LOU_u是编码的还是未编码的LOU_u的叶节点信息数据LID_u。

如果叶节点信息数据LID_u指示LOU_u未被编码，则考虑另一LOU_u。

如果叶节点信息数据LID_u指示对LOU_u进行编码，则从比特流中解码局部最大深度等级δ_opt,u，从所述比特流并根据最大深度等级δ_opt获得表示局部基于八叉树结构O_opt,u的八叉树信息数据OID_opt,u，并且通过图9的解码方法对指示所述局部基于八叉树结构的叶立方体是否包括表示点云的至少一个点的点的叶节点信息数据LID_opt,u进行解码。

可选地，点P_opt,u也可以从图9的解码方法获得。

然后考虑另一LOU_u。

一旦已经考虑了全局基于八叉树结构GO的所有LOU_u，则在步骤1030中，模块M17在与用于所有LOU_u的所述局部基于八叉树结构O_opt,u的叶节点相关联的叶立方体中将点P_opt,u(或可选的P_opt,up)融合到一起，以得到点云IPC的解码点。

根据所述解码方法的实施例，八叉树信息数据(OID，OID_opt，OID_opt,u)可以包括每个节点的二进制标志，以指示与节点相关联的立方体是否被拆分。

根据所述解码方法的实施例，叶节点信息数据(LID_opt，LID_opt,u)可以包括二进制标志，所述二进制标志指示基于八叉树结构的叶立方体是否包括表示点云IPC的至少一个点P_or的点。

根据所述解码方法的实施例，叶节点信息LID_u可以包括指示LOU_u是编码的还是未编码的叶立方体的至少一个比特。

根据所述解码方法的实施例，深度信息数据(DID_opt，DID_opt,u)可以包括表示基于八叉树结构的最大深度等级的比特的集合。

根据所述解码方法的实施例，八叉树信息数据(OID，OID_opt，OID_opt,u)和/或叶节点信息数据(LID_opt，LID_opt,u，LID_u)和/或深度信息数据(DID_opt，DID_opt,u)可以使用类似CABAC的熵解码器进行解码(有关CABAC的描述，请参见HEVC的规范，网址为http://www.itu.int/rec/T-REC-H.265-201612-I/en)。

根据所述解码方法的变型，指示与节点相关联的立方体是否被拆分的二进制标志没有针对最大深度等级(δ_opt，δ_opt,u)的节点被解码。因此，八叉树信息数据(OID_opt，OID_opt,u)包括每个节点的二进制标志，以指示除了最大深度等级(δ_opt，δ_opt,u)的节点以外、与节点相关联的立方体是否被拆分。

因此，所述解码方法对与特定深度处的节点相关联的二进制标志进行解码，并根据所述二进制标志的值来创建子节点。当所述深度达到最大深度等级(δ_opt，δ_opt,u)时，所述方法将停止并且不会创建新的子节点。

在图1-图10上，模块是功能单元，其可以与可区分的物理单元相关或不相关。例如，这些模块或其中的一些模块可以集合在独特的组件或电路中，或有助于软件的功能。相反，某些模块可能潜在地由单独的物理实体组成。使用纯硬件、例如使用专用硬件(诸如分别是“特定用途集成电路”、“现场可编程门阵列”、“超大规模集成”的ASIC或FPGA或VLSI)，或者根据装置中嵌入的几个集成电子组件、或者根据硬件和软件组件的混合，来实现与本原理兼容的设备。

图11表示装置1100的示例性体系结构，其可以被配置为实现关于图1-图10描述的方法。

装置1100包含以下元件，这些元件通过数据和地址总线1101链接在一起：

-微处理器1102(或CPU)，其是例如，DSP(或数字信号处理器)；

-ROM(或只读存储器)1103；

-RAM(或随机存取存储器)1104；

-I/O接口1105，用于从应用接收要传送的数据；和

-电池1106。

根据示例，电池1106在装置外部。在每个提到的存储器中，规范中使用的单词“寄存器”可以对应于小容量(一些比特)的区域，也可以对应于非常大的区域(例如整个程序或大量接收或解码的数据)。ROM 1103至少包括程序和参数。ROM 1103可以存储算法和指令以执行根据本原理的技术。当接通时，CPU 1102将程序上载到RAM中并执行对应的指令。

RAM 1104在寄存器中包括由CPU 1102执行并在装置1100接通之后上载的程序、寄存器中的输入数据、寄存器中的方法的不同状态的中间数据、以及用于执行寄存器中的方法的其他变量。

本文描述的实现方式可以例如以方法或处理、设备、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的上下文中进行讨论(例如，仅作为方法或装置进行讨论)，所讨论功能的实现也可以以其他形式(例如程序)实现。设备可以例如以适当的硬件、软件和固件来实现。所述方法可以在例如诸如处理器之类的设备中实现，所述设备通常指的是处理装置，包括例如计算机、微处理器、集成电路、或可编程逻辑器件。处理器还包括通信装置，例如计算机、手机、便携式/个人数字助理(“PDA”)、以及有助于最终用户之间的信息通信的其他装置。

根据编码或编码器的示例，从源获得点云IPC。例如，源属于包含以下内容的集合：

-本地存储器(1103或1104)，例如视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘；

-存储接口(1105)，例如与大容量储存器、RAM、闪存、ROM、光盘或磁力架的接口；

-通信接口(1105)，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(例如IEEE 802.11接口或

接口)；和

-图像捕获电路(例如，诸如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体)的传感器)。

根据解码或解码器的示例，将点云的解码点发送到目的地；具体而言，目的地属于包含以下内容的集合：

-本地存储器(1103或1104)，例如视频存储器或RAM、闪存、硬盘；

-存储接口(1105)，例如与大容量储存器、RAM、闪存、ROM、光盘或磁力架的接口；

-通信接口(1105)，例如有线接口(例如总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清晰度多媒体接口)接口)或无线接口(例如IEEE 802.11接口、

或

接口)；

-渲染装置；和

-显示器。

根据编码或编码器的示例，将比特流F1发送到目的地。作为示例，比特流F1被存储在本地或远程存储器中，例如视频存储器(1104)或RAM(1104)、硬盘(1103)。在变型中，比特流F1被发送到存储接口(1105)，例如，与大容量储存器、闪存、ROM、光盘或磁力架的接口，和/或通过通信接口(1105)传输，例如，到点对点链接、通信总线、点对多点链接或广播网络的接口。

根据解码或解码器的示例，从源获得比特流F1。示例性地，从本地存储器(例如，视频存储器(1104)、RAM(1104)、ROM(1103)、闪存(1103)或硬盘(1103))读取比特流。在变型中，从存储接口(1105)(例如与大容量储存器、RAM、ROM、闪存、光盘或磁力架的接口)接收比特流和/或从通信接口(1105)(例如到点对点链接、总线、点对多点链接或广播网络的接口)接收比特流。

根据示例，被配置为实现结合图1-图8描述的编码方法的装置1100属于包括以下内容的集合：

-移动装置；

-具有3D捕捉能力的智能手机或电视机

-通信装置；

-游戏装置；

-平板(或平板电脑)；

-膝上型电脑；

-静止图像相机；

-摄像机；

-编码芯片；

-静止图像服务器；和

-视频服务器(例如，广播服务器、视频点播服务器或网络服务器)。

根据示例，被配置为实现结合图3、图9-图10描述的解码方法的装置1100属于包括以下内容的集合：

-移动装置；

-头戴式显示器(HMD)

-(混合现实)智能眼镜

-全息装置

-通信装置；

-游戏装置；

-机顶盒；

-电视机；

-平板(或平板电脑)；

-膝上型电脑；

-显示器

-立体显示器和

-解码芯片。

根据图12所示的本原理的示例，在通过通信网络NET在两个远程装置A和B之间传输上下文时，装置A包括与被配置为实现结合图1-图8描述的用于编码彩色点云的方法的存储器RAM和ROM有关的处理器，以及装置B包括与被配置为实现如关于图3、图9-图10所述的用于解码的方法的存储器RAM和ROM有关的处理器。

根据示例，所述网络是广播网络，适于从装置A向包括装置B的解码装置广播编码的彩色点云。

打算由装置A传送的信号携带比特流F1。

因此，所述信号可以携带至少一个八叉树信息数据(OID，OID_opt，OID_opt,u)和/或至少一个叶节点信息数据(LID_opt，LID_opt,u，LID_u)和/或至少一个深度信息数据(DID_opt，DID_opt,u)和八叉树信息数据OID。

图13示出了当通过基于分组的传输协议来传输数据时这种信号的语法的示例。每个传送的分组P包括报头H和有效载荷PAYLOAD。

根据实施例，有效载荷PAYLOAD可以包括以下元素中的至少一个：

-八叉树信息数据OID_opt，其表示具有最大深度等级δ_opt的所述最佳基于八叉树结构O_opt；

-叶节点信息数据LID_opt，其指示所述最佳基于八叉树结构O_opt的叶立方体是否包括表示至少一个点P_or的点；

-表示所述最大深度等级δ_opt的深度信息数据DID_opt；

-表示全局基于八叉树结构GO的八叉树信息数据OID；

-叶节点信息数据LID_u，其指示LOU_u是编码的还是未编码的LOU_u；和

-如果叶节点信息数据LID_u指示对LOU_u进行了编码，

-另一八叉树信息数据OID_opt,u，其表示具有局部最大深度等级δ_opt,u的局部基于八叉树结构；

-另一叶节点信息数据LID_opt,u，其指示所述局部基于八叉树结构的叶立方体是否包括表示所述点云的至少一个点的点；和

-表示所述最大深度等级δ_opt,u的深度信息数据DID_opt,u；

本文描述的各种处理和特征的实现方式可以在各种不同的设备或应用中实施。此类设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、手机、PDA、HMD、智能眼镜、以及用于处理图像或视频的任何其他装置或其他通信装置。应当清楚，所述设备可以是移动的，并且甚至可以安装在移动车辆中。

另外，可以通过由处理器执行的指令来实现所述方法，并且可以将这样的指令(和/或由实现方式产生的数据值)存储在计算机可读存储介质上。计算机可读存储介质可以采取在一个或多个计算机可读介质中体现并且具有在其上体现的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。在此使用的计算机可读存储介质被认为是被给予在其中存储信息的固有能力以及从中提供信息检索的固有能力的非瞬时存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外、或半导体系统、设备、或装置、或前述的任何合适的组合。应当理解，以下内容，尽管提供了可以应用本原理的计算机可读存储介质的更具体的示例，但是仅仅是本领域的普通技术人员容易理解的说明性列表而不是穷尽性列表：便携式计算机软盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式致密盘只读存储器(CD-ROM)；光存储装置；磁存储装置；或上述内容的任何适当组合。

这些指令可以形成有形地体现在处理器可读介质上的应用程序。

指令可以是例如硬件、固件、软件或其组合。指令可以在例如操作系统、单独的应用、或两者的组合中找到。因此，处理器的特征可以在于，例如，被配置为执行处理的装置、和包括具有用于执行处理的指令的处理器可读介质的装置(例如存储装置)。此外，除了或代替指令，处理器可读介质可以存储由实现方式产生的数据值。

对于本领域技术人员将显而易见的是，实现方式可以产生各种信号，这些信号被格式化以携带例如可以被存储或传送的信息。该信息可以包括例如用于执行方法的指令、或由所描述的实现方式之一产生的数据。例如，信号可以被格式化为携带用于写入或读取本原理的所描述的示例的语法的规则作为数据，或者携带由本原理的所描述的示例所写入的实际语法值作为数据。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，所述信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。

已经描述了多个实现方式。然而，将理解，可以进行各种修改。例如，不同实现方式的元素可以被组合、补充、修改或移除，以产生其他实现方式。此外，本领域普通技术人员将理解，可以用其他结构和处理代替所公开的结构和处理，并且所得到的实现方式将以至少基本上相同的(多个)方式执行至少基本上相同的(多个)功能，以至少实现与所公开的实现方式基本上相同的(多个)结果。因此，本申请预期了这些和其他实现方式。

Claims (17)

1.一种用于编码表示3D对象的点云的几何形状的方法，所述方法包括：

a)从所述点云的点获得(210)具有最大深度等级(δ_k)的至少一个候选基于八叉树结构(O_k)，每个候选基于八叉树结构(O_k)通过与叶立方体相关联的点近似点云的几何形状，每个叶立方体与所述候选基于八叉树结构(O_k)的叶节点相关联；

b)获得(230)具有最大深度等级(δ_k)的所述至少一个候选基于八叉树结构(O_k)的编码成本(C_k)；

c)对通过优化(240)针对所述至少一个候选基于八叉树结构(O_k)而获得的所述编码成本而获得的具有最大深度等级(δ_opt)的最佳基于八叉树结构(O_opt)进行编码(250)；以及

d)对表示所述最佳基于八叉树结构(O_opt)的最大深度等级(δ_opt)的深度信息数据(DID_opt)进行编码(260)。

2.一种用于对表示3D对象的点云的几何形状进行编码的装置，包括部件，用于：

a)从所述点云的点获得具有最大深度等级(δ_k)的至少一个候选基于八叉树结构(O_k)，每个候选基于八叉树结构(O_k)通过与叶立方体相关联的点近似所述点云的几何形状，每个叶立方体与所述候选基于八叉树结构(O_k)的叶节点相关联；

b)获得具有最大深度等级(δ_k)的所述至少一个候选基于八叉树结构(O_k)的编码成本(C_k)；

c)对通过优化针对所述至少一个候选基于八叉树结构(O_k)而获得的所述编码成本而获得的具有最大深度等级(δ_opt)的最佳基于八叉树结构(O_opt)进行编码；以及

d)对表示所述最佳基于八叉树结构(O_opt)的最大深度等级(δ_opt)的深度信息数据(DID_opt)进行编码。

3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中针对候选基于八叉树结构(O_k)获得的编码成本(C_k)取决于失真(D_k)和比特率(R_k)，所述失真(D_k)考虑一方面点云的点(P_or)和另一方面与所述候选基于八叉树结构(O_k)的叶立方体相关联的点(P_k)之间的空间距离，并且所述比特率(R_k)用于编码所述候选基于八叉树结构(O_k)和用于编码其最大深度等级(δ_k)。

4.根据权利要求1或3所述的方法或根据权利要求2-3所述的装置，其中所述方法还包括以下步骤或所述设备还包括用于执行以下的部件：通过对与所述至少一个候选基于八叉树结构的叶立方体相关联的点(P_k)进行递归上采样，直到所述点(P_k)的分辨率等级(π_k)达到期望的分辨率等级(πexp_k)为止，来获得(220)上采样点(P_k,up)。

5.根据权利要求4所述的方法或装置，其中所述失真(D_k)考虑一方面所述点云的点(P_or)和另一方面所述上采样点(P_k,up)之间的空间距离。

6.根据权利要求1、3-5之一所述的方法或根据权利要求2-5之一所述的装置，所述方法还包括以下步骤或所述装置还包括部件用于：

-通过递归地拆分包围点云的立方体直到与所述全局基于八叉树结构(GO)的叶节点相关联的叶立方体缩小到预期大小为止，来确定(700)包括至少一个立方体的全局基于八叉树结构(GO)；

-对表示全局基于八叉树结构(GO)的八叉树信息数据(OID)进行编码(710)；

-对叶节点信息数据(LID_u)进行编码(720)，所述叶节点信息数据指示与所述全局基于八叉树结构(GO)的每个叶节点相关联的叶立方体(LOU_u)是否被编码；

-如果所述叶节点信息数据(LID_u)指示与所述全局基于八叉树结构(GO)的叶节点相关联的叶立方体(LOU_u)被编码，则通过执行步骤a-d)来对在所述叶立方体中包括的点云的点的几何形状进行编码(210-250)。

7.根据权利要求1、3-6所述的方法或根据权利要求2-6所述的装置，其中对基于八叉树结构(O_opt，O_opt,u)进行编码包括：对表示所述最佳基于八叉树结构的八叉树信息数据(OID_opt，OID_opt,u)、和指示所述基于八叉树结构(O_opt，O_opt,u)的叶立方体是否包括表示点云的至少一个点(P_or)的点的叶节点信息数据(LID_opt，LID_opt,u)进行编码。

8.根据权利要求7所述的方法或装置，其中八叉树信息数据(OID_opt，OID_opt,u)可以包括每个节点的二进制标志，以指示除了所述基于八叉树结构(O_opt，O_opt,u)的最大深度等级(δ_opt，δ_opt,u)处的节点之外、与节点相关联的立方体是否被拆分。

9.一种用于从比特流解码表示3D对象的点云的点的方法，所述方法包括：

a)解码(910)表示所述基于八叉树结构(O_opt)的最大深度等级(δ_opt)的深度信息数据(DID_opt)；

b)从比特流中并根据最大深度等级(δ_opt)，来解码(910)表示基于八叉树结构(O_opt)的八叉树信息数据(OID_opt)、以及指示所述基于八叉树结构(O_opt)的叶立方体是否包括表示点云的至少一个点(P_or)的点的叶节点信息数据(LID_opt)；以及

c)从八叉树信息数据(OID_opt)获得(920)基于八叉树结构(O_opt)，并且如果叶节点信息数据(LID_opt)指示所述基于八叉树结构(O_opt)的叶立方体包括表示点云的至少一个点(P_or)的点，则将点(P_opt)添加到所述叶立方体。

10.一种用于从比特流解码表示3D对象的点云的点的装置，所述装置包括部件用于：

a)解码表示所述基于八叉树结构(O_opt)的最大深度等级(δ_opt)的深度信息数据(DID_opt)；

b)从比特流中并根据最大深度等级(δ_opt)，来解码表示基于八叉树结构(O_opt)的八叉树信息数据(OID_opt)、以及指示所述基于八叉树结构(O_opt)的叶立方体是否包括表示点云的至少一个点(P_or)的点的叶节点信息数据(LID_opt)；以及

c)从八叉树信息数据(OID_opt)获得基于八叉树结构(O_opt)，并且如果叶节点信息数据(LID_opt)指示所述基于八叉树结构(O_opt)的叶立方体包括表示点云的至少一个点(P_or)的点，则将点(P_opt)添加到所述叶立方体。

11.根据权利要求9所述的方法或根据权利要求10所述的装置，其中所述方法还包括以下步骤或所述装置还包括用于执行以下的部件：通过对与所述至少一个基于八叉树结构(O_opt)的叶立方体相关联的点(P_opt)进行递归上采样，直到所述点(P_k)的分辨率等级(π_k)达到期望的分辨率等级(πexp_k)为止，来获得上采样点(P_opt,up)。

12.根据权利要求9或11所述的方法或根据权利要求10-11所述的装置，其中所述方法还包括以下步骤或所述装置还包括部件用于：

-从比特流中解码(1000)表示全局基于八叉树结构(GO)的八叉树信息数据(OID)；

-从八叉树信息数据(OID)获得(1010)所述全局基于八叉树结构(GO)；

-从比特流解码(1020)叶节点信息数据(LID_u)，所述叶节点信息数据(LID_u)指示与所述全局基于八叉树结构(GO)的每个叶节点相关联的叶立方体(LOU_u)是否被编码；以及

-如果所述叶节点信息数据(LID_u)指示与所述全局基于八叉树结构(GO)的叶节点相关联的叶立方体(LOU_u)被编码，则通过执行步骤a-c)来解码(910-920,220)在所述叶立方体中包括的点；以及

-融合(1030)用于所述全局基于八叉树结构(GO)的所有叶立方体的解码点。

13.根据权利要求9、11-13所述的方法，其中，解码(910,920)基于八叉树结构(O_opt，O_opt,u)包括：解码表示所述最佳基于八叉树结构的八叉树信息数据(OID_opt，OID_opt,u)、和指示所述基于八叉树结构(O_opt，O_opt,u)的叶立方体是否包括表示点云的至少一个点(P_or)的点的叶节点信息数据(LID_opt，LID_opt,u)。

14.根据权利要求13所述的方法或装置，其中八叉树信息数据(OID_opt，OID_opt,u)可以包括每个节点的二进制标志，以指示除了所述基于八叉树结构(O_opt，O_opt,u)的最大深度等级(δ_opt，δ_opt,u)处的节点之外、与节点相关联的立方体是否被拆分。

15.一种承载表示点云的信息数据的信号，其中，所述信号还承载：

-至少一个八叉树信息数据，表示至少一个基于八叉树结构；和

-至少一个叶节点信息数据，其指示所述至少一个基于八叉树结构的叶立方体是否包括表示所述点云的至少一个点的点；和

-至少一个深度信息数据，表示所述至少一个基于八叉树结构的最大深度等级。

16.根据权利要求15所述的信号，其中所述至少一个八叉树信息数据(OID_opt，OID_opt,u)包括每个节点的二进制标志，以指示除了所述至少一个基于八叉树结构(O_opt，O_opt,u)的最大深度等级(δ_opt，δ_opt,u)处的节点之外、与节点相关联的立方体是否被拆分。

17.一种非瞬时处理器可读介质，其上存储有指令，当在计算机上执行这个程序时，所述指令执行根据权利要求1、3-9、11-14之一所述的方法的步骤。

Images