CN113614786A - 处理点云 - Google Patents

Abstract

至少一个实施例涉及用于信令通知表示点局部重建模式的语法元素的方法，所述点局部重建模式表示定义用于重建点云帧的至少一个点的模式的至少一个参数。

Description

处理点云

技术领域

本实施例中的至少一个通常涉及点云的处理。

背景技术

本章节旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的至少一个当前实施例的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解至少一个实施例的各个方面。

点云可以用于各种目的，例如文化遗产/建筑，其中像雕像或建筑这样的对象被以3D方式扫描，以便共享对象的空间配置，而无需发送或访问它。此外，这是一种对象可能被摧毁的情况下确保保存该对象的知识的方法；例如，可能被地震摧毁的寺庙。这种点云通常是静态的、彩色的和巨大的。

另一个使用案例是在地形和制图学中，其中使用3D表示允许地图不限于平面，并且可以包括地形。谷歌地图现在是3D地图的一个很好的示例，但是它使用网格而不是点云。然而，对于3D地图，点云可能是合适的数据格式，并且这种点云通常是静态的、彩色的和巨大的。

汽车工业和自动驾驶汽车也是其中可以使用点云的领域。自动驾驶汽车应该能够“探测”自己的环境，基于近邻的现实情况做出良好的驾驶决策。像激光雷达(LightDetection And Ranging，LIDAR)这样的典型传感器会产生动态点云，供决策引擎使用。这些点云不打算被人类看到，它们通常很小，不一定是彩色的，并且动态捕捉频率很高。这些点云可以具有其他属性，如LIDAR提供的反射率，因为该属性提供了关于感测对象材料的良好信息，并可能有助于做出决策。

虚拟现实和沉浸式世界最近成为热门话题，它们被许多人预见为2D平面视频的未来。基本思想是让观众沉浸在观众周围的环境中，这与观众只能看着观众面前的虚拟世界的标准TV形成对比。沉浸感有几个等级，这取决于观众在环境中的自由度。点云是用于分布虚拟现实(VR)世界的一个很好的格式候选。

在许多应用程序中，能够通过仅消耗合理的比特量(或存储应用程序的存储空间)，同时保持可接受的(或最好是非常好的)体验质量，将动态点云分发给终端用户(或将它们存储在服务器中)是非常重要的。为了使许多沉浸式世界的分发链实用化，高效压缩这些动态点云是一个关键点。

考虑到前述内容，已经设计了至少一个实施例。

发明内容

以下呈现了至少一个当前实施例的简化概述，以便提供对本公开的一些方面的基本理解。此发明内容不是对实施例的广泛概述。它不旨在标识实施例的关键或重要元素。以下概述仅仅以简化的形式呈现了至少一个当前实施例的一些方面，作为在本文件别处提供的更详细描述的序言。

根据至少一个实施例的一般方面，提供了一种方法，包括在比特流中信令通知表示点局部重建模式(Point Local Reconstruction mode)的第一语法元素，所述点局部重建模式表示定义用于重建点云帧的至少一个点的模式的至少一个参数。

根据一个实施例，所述点局部重建模式是查找表的条目的索引值，该查找表的条目定义所述索引值和所述至少一个参数之间的关系。

根据一个实施例，针对每块或者每片元(patch)信令通知第一语法元素，片元是2D样点的至少一个块的集合，该2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

根据一个实施例，片元是至少一个2D样点的至少一个块的集合，该2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，该方法还包括针对每片元信令通知第二语法元素，该第二语法元素指示是否针对片元的所有块一次信令通知单个的第一语法元素，或者是否针对片元的每个块信令通知第一语法元素。

根据一个实施例，仅当片元包含多于给定数量的块时，才信令通知所述第二语法元素。

根据一个实施例，该方法还包括信令通知表示默认点局部重建模式的第三语法元素。

根据一个实施例，针对每点云帧和/或每片元信令通知所述第三语法元素，片元是2D样点的至少一个块的集合，该2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

根据一个实施例，片元是2D样点的至少一个块的集合，该2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，该方法还包括信令通知第四语法元素，该第四语法元素用于针对每块或每片元信令通知所述第一语法元素的粒度，以及针对每片元信令通知所述第三语法元素的使用。

根据一个实施例，第一语法元素与至少一个先前信令通知的第一语法元素不同地被编解码。

至少一个当前实施例中的一个或多个还提供了设备、计算机程序、信号和非暂时性计算机可读存储介质。

从下面结合附图对示例的描述中，至少一个当前实施例的特定性质以及所述至少一个当前实施例的其他目的、优点、特征和用途将变得显而易见。

附图说明

在附图中，示出了几个实施例的示例。附图显示了：

图1示出了根据至少一个当前实施例的基于两层的点云编码结构的示例的示意框图；

图2示出了根据至少一个当前实施例的基于两层的点云解码结构的示例的示意框图；

图3示出了根据至少一个当前实施例的基于图像的点云编码器的示例的示意框图；

图3a示出了包括2个片元及其2D边界框的画布的示例；

图4示出了根据至少一个当前实施例的基于图像的点云解码器的示例的示意框图；

图5示意性地示出了根据至少一个当前实施例的表示基本层BL的比特流的语法示例；

图6示出了其中实现了各种方面和实施例的系统的示例的示意框图；

图7示出了根据至少一个当前实施例的用于信令通知点局部重建模式的方法的示例的示意框图；

图8a-图8b示出了根据步骤710的实施例的查找表LUT的示例；

图8c示出了用于信令通知根据步骤710的实施例的查找表LUT的语法的示例；

图8d-图8e示出了步骤710的实施例的示例；

图9示出了图7的方法的实施例的示例；

图10示出了图7的方法的实施例的变型的示例；

图11示出了图8c的变型的示例；

图12a-图12b示出了图7的方法的实施例的示例；

图13示出了图12b的方法的变型的示例；

图14示出了图7的方法的变型的示例；以及

图15示出了图7的方法的实施例的示例。

具体实施方式

在下文中，将参考附图更全面地描述至少一个当前实施例，其中示出了至少一个当前实施例的示例。然而，实施例可以以多种替代形式体现，并且不应该被解释为限于本文阐述的示例。因此，应当理解，并不旨在将实施例限制于所公开的特定形式。相反，本公开旨在覆盖落入本申请的精神和范围内的所有修改、等同物和替代物。

当图作为流程图呈现时，应当理解，它还提供了对应装置的框图。类似地，当图作为框图呈现时，应当理解，它还提供了对应方法/过程的流程图。

附图中相似或相同的元件用相同的附图标记引用。

一些图表示在V-PCC中广泛使用的语法表，其用于定义符合V-PCC的比特流的结构。在那些语法表中，术语“…”表示关于V-PCC中给出的原始定义的语法的未改变部分，为了便于阅读，在图中去掉了这些部分。图中的粗体术语指示该术语的值是通过解析比特流获得的。语法表的右列指示用于对语法元素的数据进行编码的比特数。例如，u(4)指示4比特用于编码数据，u(8)指示8比特，ae(v)表示上下文自适应算术熵编解码的语法元素。

下面描述和考虑的方面可以以许多不同的形式实现。下面的图1-图15提供了一些实施例，但是也考虑了其他实施例，并且图1-图15的讨论不限制实现方式的广度。

至少一个方面通常涉及点云编码和解码，并且至少一个其他方面通常涉及发送生成的或编码的比特流。

更准确地说，本文描述的各种方法和其他方面可以用于修改模块，例如，与元数据编码相关的模块(诸如发生在图3的片元信息编码器3700中的编码)以及与元数据解码相关的模块(诸如发生在图4的片元信息解码器4400中的模块，或者发生在图4的几何生成模块4500中的重建过程中的解码)。

此外，本方面不限于MPEG标准(例如与点云压缩相关的MPEG-1第5部分)，并且可以应用于例如其他标准和建议(无论是现有的还是未来开发的)，以及任何这样的标准和建议(包括MPEG-1第5部分)的扩展。除非另有说明，或者技术上排除，本申请中描述的方面可以单独使用或者组合使用。

在下文中，图像数据是指数据，例如特定图像/视频格式的一个或几个2D样点阵列。特定的图像/视频格式可以指定与图像(或视频)的像素值有关的信息。特定的图像/视频格式还可以指定信息，该信息例如可以被显示器和/或任何其他装置用来可视化和/或解码图像(或视频)。图像通常包括第一2D样点阵列形状的第一分量，其通常代表图像的亮度(或明度)。图像还可以包括其他2D样点阵列的形式的第二分量和第三分量，其通常代表图像的色度(或色彩浓度)。一些实施例使用一组2D颜色样点阵列(例如传统的三色RGB表示)来表示相同的信息。

在一个或多个实施例中，像素值由C值的向量表示，其中C是分量的数量。向量的每个值通常用多个比特来表示，这些比特可以定义像素值的动态范围。

图像块是指属于图像的一组像素。图像块(或图像块数据)的像素值是指属于该图像块的像素值。图像块可以具有任意形状，尽管矩形是常见的。

点云可以由3D体积空间内的3D样点数据集来表示，该3D体积空间具有唯一的坐标并且还可以具有一个或多个属性。

该数据集的3D样点可以由它的空间位置(3D空间中的X、Y和Z坐标)来定义，并且可能由一个或多个相关联的属性来定义，例如，如在RGB或YUV颜色空间中表示的颜色、透明度、反射率、双分量法向量或表示该样点特征的任何特征。例如，3D样点可以由6个分量(X，Y，Z，R，G，B)或等效的(X，Y，Z，y，U，V)定义，其中(X，Y，Z)定义了3D空间中点的坐标，而(R，G，B)或(y，U，V)定义了该3D样点的颜色。同一类型的属性可能会出现多次。例如，多个颜色属性可以从不同的角度提供颜色信息。

点云可以是静态的，也可以是动态的，这取决于云是否随时间变化。静态点云或动态点云的实例通常被表示为点云帧。应该注意的是，在动态点云的情况下，点的数量通常不是恒定的，而是相反，通常随着时间而变化。更一般地，如果任何东西随着时间改变，例如点的数量、一个或多个点的位置或任何点的任何属性，则点云可以被认为是动态的。

例如，2D样点可以由6个分量(u，v，Z，R，G，B)或等效地(u，v，Z，y，U，V)来定义。(u，v)定义2D样点在投影平面的2D空间中的坐标。Z是投影到该投影平面上的3D样点的深度值。(R，G，B)或(y，U，V)定义了该3D样点的颜色。

图1示出了根据至少一个当前实施例的基于两层的点云编码结构1000的示例的示意框图。

基于两层的点云编码结构1000可以提供表示输入点云帧IPCF(input pointcloud frame)的比特流B。可能地，所述输入点云帧IPCF表示动态点云的帧。然后，所述动态点云的帧可以由基于两层的点云编码结构1000独立于另一帧进行编码。

基本上，基于两层的点云编码结构1000可以提供将比特流B结构化为基本层BL和增强层EL的能力。基本层BL可以提供输入点云帧IPCF的有损表示，而增强层EL可以通过编码基本层BL未表示的孤立点来提供更高质量(可能无损)的表示。

基本层BL可以由基于图像的编码器3000提供，如图3所示。所述基于图像的编码器3000可以提供表示输入点云帧IPCF的3D样点的几何/属性的几何/纹理图像。它可以允许丢弃孤立的3D样点。基本层BL可以由图4所示的基于图像的解码器4000解码，该解码器可以提供中间重建点云帧IRPCF(intermediate reconstructed point cloud frame)。

然后，回到图1中的基于两层的点云编码1000，比较器COMP可以将输入点云帧IPCF的3D样点与中间重建点云帧IRPCF的3D样点进行比较，以便检测/定位丢失的/孤立的3D样点。接下来，编码器ENC可以对丢失的3D样点进行编码，并且可以提供增强层EL。最后，基本层BL和增强层EL可以由复用器MUX复用在一起，以便生成比特流B。

根据一个实施例，编码器ENC可以包括检测器，该检测器可以检测中间重建点云帧IRPCF的3D参考样点R并将其与丢失的3D样点M相关联。

例如，根据给定的度量，与丢失的3D样点M相关联的3D参考样点R可以是M的最近邻居。

根据一个实施例，然后，编码器ENC可以将丢失的3D样点M的空间位置及其属性编码为根据所述3D参考样点R的空间位置和属性确定的差。

在一个变体中，这些差可以被单独编码。

例如，对于具有空间坐标x(M)、y(M)和z(M)的丢失的3D样点M，x坐标位置差Dx(M)、y坐标位置差Dy(M)、z坐标位置差Dz(M)、R属性分量差Dr(M)、G属性分量差Dg(M)和B属性分量差Db(M)可以计算如下：

Dx(M)＝x(M)-x(R)，

其中x(M)、x(R)分别是图3提供的几何图像中3D样点M、R的x坐标，

Dy(M)＝y(M)-y(R)

其中y(M)、x(R)分别是图3提供的几何图像中3D样点M、R的y坐标，

Dz(M)＝z(M)-z(R)

其中z(M)、x(R)分别是图3提供的几何图像中3D样点M、R的z坐标，

Dr(M)＝R(M)-R(R)。

其中R(M)、R(R)分别是3D样点M、R的颜色属性的r-颜色分量，

Dg(M)＝G(M)-G(R)。

其中G(M)、G(R)分别是3D样点M、R的颜色属性的g-颜色分量，

Db(M)＝B(M)-B(R)。

其中B(M)、B(R)分别是3D样点M、R的颜色属性的b-颜色分量。

图2示出了根据至少一个当前实施例的基于两层的点云解码结构2000的示例的示意框图。

基于两层的点云解码结构2000的行为取决于其能力。

如图4所示，具有有限能力的基于两层的点云解码结构2000可以通过使用解复用器DMUX仅从比特流B访问基本层BL，然后可以通过由点云解码器4000解码基本层BL来提供输入点云帧IPCF的忠实(但有损)版本IRPCF。

具有全部能力的基于两层的点云解码结构2000可以通过使用解复用器DMUX从比特流B访问基本层BL和增强层EL。如图4所示，点云解码器4000可以从基本层BL确定中间重建点云帧IRPCF。解码器DEC可以从增强层EL确定互补点云帧CPCF(complementary pointcloud frame)。然后，组合器COM可以将中间重建点云帧IRPCF和互补点云帧CPCF组合在一起，从而提供输入点云帧IPCF的更高质量(可能无损)表示(重建)CRPCF。

图3示出了根据至少一个当前实施例的基于图像的点云编码器3000的示例的示意框图。

基于图像的点云编码器3000利用现有的视频编解码器来压缩动态点云的几何和纹理(属性)信息。这主要是通过将点云数据转换成一组不同的视频序列来实现的。

在特定实施例中，可以使用现有的视频编解码器生成和压缩两个视频，一个用于捕捉点云数据的几何信息，另一个用于捕捉纹理信息。现有视频编解码器的一个示例是HEVC主简档编码器/解码器(ITU-T H.265ITU的电信标准化部门(02/2018)，系列H：视听和多媒体系统，视听服务基础设施-运动视频编解码，高效视频编解码，建议ITU-T H.265)。

用于解释两个视频的附加元数据通常也是单独生成和压缩的。这种附加元数据包括例如占用图OM(occupancy map)和/或辅助片元信息PI(patch information)。

然后，可以将生成的视频比特流和元数据复用在一起，以便生成组合比特流。

应当注意，元数据通常表示少量的整体信息。大部分信息都在视频比特流中。

测试模型类别2算法(也表示为V-PCC)给出了这种点云编码/解码过程的示例，该算法实现了ISO/IEC JTC 1/SC29/WG11 MPEG 2019/w 18180(2019年1月，马拉喀什)中定义的MPEG草案标准。

在步骤3100中，模块PGM可以通过使用提供最佳压缩的策略，将表示输入点云帧IPCF的数据集的3D样点分解成投影平面上的2D样点来生成至少一个片元。

一个片元可以被定义为一组2D样点。

例如，在V-PCC中，如Hoppe等人(Hugues Hoppe、Tony DeRose、Tom Duchamp、JohnMcDonald、Werner Stuetzle，根据无组织点的表面重建，ACM SIGGRAPH 1992年会议记录，第71-78页)所述，首先估计每个3D样点处的法向量。接下来，通过将每个3D样点与涵盖输入点云帧IPCF的3D样点的3D边界框的六个定向平面之一相关联，获得输入点云帧IPCF的初始聚类。更准确地说，每个3D样点被聚类并与具有最接近法向量的定向平面相关联(即最大化点法向量和平面法向量的点积)。然后将3D样点投影到它们相关联的平面上。在它们的平面内形成连接区域的一组3D样点称为连接分量。连接分量是一组至少一个具有相似法向量和相同关联定向平面的3D样点。然后，通过基于每个3D样点的法向量及其最近相邻样点的聚类，迭代更新与每个3D样点相关联的聚类，来细化初始聚类。最后一步包括从每个连接分量生成一个片元，这是通过将每个连接分量的3D样点投影到与所述连接分量相关联的定向平面上来完成的。片元与辅助片元信息PI相关联，辅助片元信息PI表示为每个片元定义的辅助片元信息，以解释对应于几何和/或属性信息的被投影的2D样点。

例如，在V-PCC中，辅助片元信息PI包括1)指示3D边界框的六个定向平面之一的信息，该3D边界光涵盖连接分量的3D样点；2)相对于平面法向量的信息；3)确定连接分量相对于用深度、切向偏移和双切向偏移表示的片元的3D位置的信息；以及4)诸如定义涵盖片元的2D边界框的投影平面中的坐标(u0，v0，u1，v1)的信息。

在步骤3200中，片元打包模块PPM(patch packing module)可以以通常最小化未使用空间的方式，将至少一个生成的片元映射(放置)到2D网格(也称为画布)上而没有任何重叠，并且可以保证2D网格的每个T×T(例如，16×16)块与唯一的片元相关联。2D网格的给定最小块大小T×T可以指定放置在该2D网格上的不同片元之间的最小距离。2D网格分辨率可以取决于输入点云大小及其宽度W和高度H，并且块大小T可以作为元数据发送到解码器。

辅助片元信息PI还可以包括相对于2D网格的块与片元之间的关联的信息。

在V-PCC中，辅助信息PI可以包括块到片元索引信息(BlockToPatch)，其确定2D网格的块与片元索引之间的关联。

图3a示出了画布C的示例，该画布C包括2个片元P1和P2以及它们的相关联的2D边界框B1和B2。注意，如图3a所示，两个边界框可以在画布C中重叠。2D网格(画布的分割)仅在边界框内表示，但画布的分割也发生在这些边界框之外。与片元相关联的边界框可以被分割成T×T块，通常T＝16。

包含属于一个片元的2D样点的T×T块可以被认为是对应占用图OM中的被占用的块。然后，占用图OM的块可以指示块是否被占用，即是否包含属于一个片元的2D样点。

在图3a中，被占用的块由白色块表示，而浅灰色块表示未被占用的块。图像生成过程(步骤3300和3400)利用至少一个生成的片元到在步骤3200期间计算的2D网格上的映射，将输入点云帧IPCF的几何和纹理存储为图像。

在步骤3300中，几何图像生成器GIG(Geometry image generator)可以从输入点云帧IPCF、占用图OM和辅助片元信息PI生成至少一个几何图像GI。几何图像生成器GIG可以利用占用图信息来检测(定位)被占用的块，从而检测(定位)几何图像GI中的非空白像素。

几何图像GI可以表示输入点云帧IPCF的几何，并且可以是例如以YV420-8比特格式表示的W×H像素的单色图像。

为了更好地处理多个3D样点被投影(映射)到投影平面的相同2D样点(沿着相同的投影方向(线))的情况，可以生成被称为层的多个图像。因此，不同的深度值D1，…，Dn可以与片元的2D样点相关联，然后可以生成多个几何图像。

在V-PCC中，片元的2D样点被投影到两层上。第一层，也被称为近层，可以存储例如与具有较小深度的2D样点相关联的深度值D0。被称为远层的第二层可以存储例如与具有更大深度的2D样点相关联的深度值D1。替代地，第二层可以存储深度值D1与D0之间的差值。例如，由第二深度图像存储的信息可以在对应于范围[D0，D0+Δ]中的深度值的间隔[0，Δ]内，其中Δ是描述表面厚度的用户定义参数。

通过这种方式，第二层可以包含显著的轮廓状高频特征。因此，很明显，第二深度图像可能难以通过使用旧有的视频编编解码器来编解码，因此，深度值可能从所述解码的第二深度图像很差地重建，这导致重建的点云帧的几何质量很差。

根据一个实施例，几何图像生成模块GIG可以通过使用辅助片元信息PI来编解码(导出)与第一层和第二层的2D样点相关联的深度值。

在V-PCC中，3D样点在具有对应的连接分量的片元中的位置可以用深度δ(u，v)、切向位移s(u，v)和双切向位移r(u，v)来表示，如下所示：

δ(u，v)＝δ0+g(u,v)

s(u，v)＝s0-u0+u

r(u，v)＝r0-v0+v

其中g(u，v)是几何图像的亮度分量，(u，v)是与投影平面上的3D样点相关联的像素，(δ0，s0，r0)是与3D样点所属的连接分量的对应的片元的3D位置，以及(u0，v0，u1，v1)是定义2D边界框的所述投影平面中的坐标，该2D边界框涵盖与所述连接分量相关联的片元的投影。

因此，几何图像生成模块GIG可以将与层(第一层或第二层或两者)的2D样点相关联的深度值编解码(导出)为亮度分量g(u，v)，其由下式给出：g(u，v)＝δ(u，v)-δ0。注意，这种关系可以用于从具有伴随辅助片元信息PI的重建几何图像g(u，v)来重建3D样点位置(δ0，s0，r0)。

根据一个实施例，投影模式可以用于指示第一几何图像GI0是否可以存储第一层或第二层的2D样点的深度值，以及第二几何图像GI1是否可以存储与第二层或第一层的2D样点相关联的深度值。

例如，当投影模式等于0时，则第一几何图像GI0可以存储第一层的2D样点的深度值，并且第二几何图像GI1可以存储与第二层的2D样点相关联的深度值。反过来，当投影模式等于1时，则第一几何图像GI0可以存储第二层的2D样点的深度值，并且第二几何图像GI1可以存储与第一层的2D样点相关联的深度值。

根据一个实施例，可以使用帧投影模式来指示是否针对所有片元使用固定投影模式，或者是否使用其中针对每个片元可以使用不同的投影模式的可变投影模式。

投影模式和/或帧投影模式可以作为元数据被发送。

例如，在V-PPC的第2.2.1.3.1节中，可以提供帧投影模式决策算法。

根据一个实施例，当帧投影指示可以使用可变投影模式时，可以使用片元投影模式来指示用于(去)投影片元的适当模式。

片元投影模式可以作为元数据被发送，并且可能是包括在辅助片元信息PI中的信息。

例如，在V-PCC的第2.2.1.3.2节中，提供了一种片元投影模式决策算法。

根据步骤3300的实施例，与片元的2D样点(u，v)对应的第一几何图像(例如GI0)中的像素值可以表示与沿着对应于所述2D样点(u，v)的投影线定义的至少一个介于中间(in-between)的3D样点相关联的深度值。所述介于中间的3D样点沿着投影线存在，并且共享2D样点(u，v)的相同坐标，该2D样点(u，v)的深度值D1在第二几何图像(例如GI1)中被编解码。此外，所述介于中间的3D样点可以具有深度值D0与深度值D1之间的深度值。指定比特可以与每个所述介于中间的3D样点相关联，如果介于中间的3D样点存在，则该指定比特被设置为1，否则设置为0。

然后，沿着所述投影线的所有所述指定比特可以被连接以形成码字，以下称为增强-增量-深度(enhanced-delta-depth，EDD)码。最后，所有的EDD码可以被打包在一个图像中，例如在第一几何图像GI1或占用图OM中。

在步骤3400中，纹理图像生成器TIG(texture image generator)可以从输入点云帧IPCF、占用图OM、辅助片元信息PI和从视频解码器VDEC的输出(图4中的步骤4200)的至少一个解码的几何图像DGI(decoded geometry image)导出的重建点云帧的几何，生成至少一个纹理图像TI。

纹理图像TI可以表示输入点云帧IPCF的纹理，并且可以是例如以YV420-8比特格式表示的W×H像素的图像。

纹理图像生成器TG可以利用占用图信息以便检测(定位)被占用的块，从而检测(定位)纹理图像中的非空白像素。

纹理图像生成器TIG可以适于生成纹理图像TI并将其与每个几何图像/层DGI相关联。

根据一个实施例，纹理图像生成器TIG可以将与第一层的2D样点相关联的纹理(属性)值T0编解码(存储)为第一纹理图像TI0的像素值，并将与第二层的2D样点相关联的纹理值T1编解码(存储)为第二纹理图像TI1的像素值。

替代地，纹理图像生成模块TIG可以将与第二层的2D样点相关联的纹理值T1编解码(存储)为第一纹理图像TI0的像素值，并将与第一层的2D样点相关联的纹理值D0编解码(存储)为第二几何图像GI1的像素值。

例如，可以按照V-PCC的第2.2.3、2.2.4、2.2.5、2.2.8或2.5节中的描述获得3D样点的颜色。

根据一个实施例，可以将填充过程应用于几何和/或纹理图像。填充过程可用于填充片元之间的空白空间，以生成适于视频压缩的分段平滑图像。

V-PCC的第2.2.6节和第2.2.7节提供了一个图像填充示例。

在步骤3500，视频编解码器VENC可以编码生成的图像/层TI和GI。

例如，如在第2.2.2节中详细描述的，在步骤3600中，编码器OMENC可以将占用图编码为图像。可以使用有损或无损编码。

根据一个实施例，视频编码器ENC和/或OMENC可以是基于HEVC的编码器。

在步骤3700中，编码器PIENC可以编码辅助片元信息PI和可能的附加元数据，例如几何/纹理图像的块大小T、宽度W和高度H。

根据一个实施例，辅助片元信息可以被差分编码(例如，如在V-PCC的第2.4.1节中所定义的)。

在步骤3800中，复用器可以被应用于步骤3500、3600和3700的生成的输出，并且作为结果，这些输出可以被复用在一起，以便生成表示基本层BL的比特流。应当注意，元数据信息表示整个比特流的一小部分。大量的信息是使用视频编解码器压缩的。

图4示出了根据至少一个当前实施例的基于图像的点云解码器4000的示例的示意框图。

在步骤4100中，解复用器DMUX可以应用于解复用表示基本层BL的比特流的编码的信息。

在步骤4200中，视频解码器VDEC可以解码编码的信息以导出至少一个解码的几何图像DGI和至少一个解码的纹理图像DTI(decoded texture image)。

在步骤4300中，解码器OMDEC可以解码编码的信息以导出解码的占用图DOM(decoded occupancy map)。

根据一个实施例，视频解码器VDEC和/或OMDEC可以是基于HEVC的解码器。

在步骤4400中，解码器PIDEC可以解码编码的信息以导出辅助片元信息DPI(decoded auxiliary patch information)。

可能地，元数据也可以从比特流BL中被导出。

在步骤4500中，几何生成模块GGM(geometry generating module)可以从至少一个解码的几何图像DGI、解码的占用图DOM、解码的辅助片元信息DPI和可能的附加元数据中导出重建的点云帧IRPCF的几何RG。

几何生成模块GGM可以利用解码的占用图信息DOM，以便定位至少一个解码的几何图像DGI中的非空白像素。然后，可以从所述非空白像素的坐标和所述重建2D样点的值导出与非空白像素相关联的重建3D样点的3D坐标。

根据一个实施例，几何生成模块GGM可以从非空白像素的坐标导出重建3D样点的3D坐标。

根据一个实施例，几何生成模块GGM可以从非空白像素的坐标、至少一个解码的几何图像DGI之一的所述非空白像素的值、解码的辅助片元信息以及可能从附加元数据中导出重建3D样点的3D坐标。

非空白像素的使用是基于2D像素与3D样点的关系。例如，利用在V-PCC中的所述投影，重建3D样点的3D坐标可以用深度δ(u，v)、切向位移s(u，v)和双切向位移r(u，v)表示如下：

δ(u，v)＝δ0+g(u，v)

s(u，v)＝s0-u0+u

r(u，v)＝r0-v0+v

其中g(u，v)是解码的几何图像DGI的亮度分量，(u，v)是与重建的3D样点相关联的像素，(δ0，s0，r0)是重建3D样点所属的连接分量的3D位置，以及(u0，v0，u1，v1)是定义2D边界框的投影平面中的坐标，该边界框涵盖与所述连接分量相关联的片元的投影。

在步骤4600中，纹理生成模块TGM可以从几何RG和至少一个解码的纹理图像DTI中导出重建的点云帧IRPCF的纹理。

图5示意性地示出了根据至少一个当前实施例的表示基本层BL的比特流的示例语法。

比特流包括比特流标头SH(Bitstream Header)和至少一个帧流组GOFS(Group OfFrame Stream)。

帧流组GOFS包括标头HS、表示占用图OM的至少一个语法元素OMS、表示至少一个几何图像(或视频)的至少一个语法元素GVS、表示至少一个纹理图像(或视频)的至少一个语法元素TVS以及表示辅助片元信息的至少一个语法元素PIS和其他附加元数据。

在变体中，帧流组GOFS包括至少一个帧流。

图6示出了说明其中实现各个方面和实施例的系统的示例的示意框图。

系统6000可以被实施为包括下述各种组件的一个或多个设备，并且被配置为执行本文件中描述的一个或多个方面。可以形成系统6000的全部或部分的设备的示例包括个人计算机、膝上型计算机、智能手机、平板电脑、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、连接的车辆及其相关联的处理系统、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴(caves)”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、网络服务器、机顶盒以及用于处理点云、视频、或图像的任何其他设备或其他通信设备。系统6000的元件可以单独或组合被实施在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统6000的处理和编码器/解码器元件可以分布在多个IC和/或分立组件上。在各种实施例中，系统6000可以经由例如通信总线或通过专用输入和/或输出端口通信耦合到其他类似系统或其他电子设备。在各种实施例中，系统6000可以被配置成实现本文件中描述的一个或多个方面。

系统6000可以包括至少一个处理器6010，处理器6010被配置为执行加载在其中的指令，用于实现例如本文件中描述的各个方面。处理器6010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统6000可以包括至少一个存储器6020(例如，易失性存储器设备和/或非易失性存储器设备)。系统6000可以包括存储设备6040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备6040可以包括内部存储设备、附接存储设备和/或网络可访问存储设备。

系统6000可以包括编码器/解码器模块6030，其被配置为例如处理数据以提供编码的数据或解码的数据，并且编码器/解码器模块6030可以包括其自己的处理器和存储器。编码器/解码器模块6030可以表示可以包括在设备中以执行编码和/或解码功能的(多个)模块。众所周知，设备可以包括编码模块和解码模块中的一者或两者。此外，编码器/解码器模块6030可以被实现为系统6000的独立元件，或者可以被结合在处理器6010内作为本领域技术人员已知的硬件和软件的组合。

要加载到处理器6010或编码器/解码器6030上以执行本文件中描述的各个方面的程序代码可以存储在存储设备6040中，并且随后被加载到存储器6020上以供处理器6010执行。根据各种实施例，处理器6010、存储器6020、存储设备6040和编码器/解码器模块6030中的一个或多个可以在执行本文件中描述的过程期间存储各种项目中的一个或多个。这种被存储的项目可以包括但不限于点云帧、编码/解码的几何/纹理视频/图像、或编码/解码的几何/纹理视频/图像的部分、比特流、矩阵、变量以及来自等式、公式、操作和操作逻辑的处理的中间或最终结果。

在几个实施例中，处理器6010和/或编码器/解码器模块6030内部的存储器可以用于存储指令，并为可以在编码或解码期间执行的处理提供工作存储器。

然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器6010或编码器/解码器模块6030)可以用于这些功能中的一个或多个。外部存储器可以是存储器6020和/或存储设备6040，例如动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存可以用于存储电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器可以用作视频编解码和解码操作的工作存储器，例如用于MPEG-2第2部分(也称为ITU-T建议H.262和ISO/IEC 13818-2，也称为MPEG-2视频)、HEVC(高效视频编解码)或VVC(多功能视频编解码)。

如方框6130所示，系统6000的元件的输入可以通过各种输入设备来提供。这种输入设备包括但不限于(i)可以接收例如由广播公司通过空中发送的RF信号的RF部分，(ii)复合输入终端，(iii)USB输入终端，和/或(iv)HDMI输入终端。

在各种实施例中，块6130的输入设备可以具有本领域中已知的相关联的相应输入处理元件。例如，RF部分可以与针对以下项所需的元件相关联：(i)选择期望的频率(也称为被选择信号，或者将信号频带限制到频带)，(ii)下变频所选择的信号，(iii)再次频带限制到较窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分可以包括一个或多个执行这些功能的元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，包括例如将接收到的信号下变频到较低频率(例如，中频或近基带频率)或基带。

在一个机顶盒实施例中，RF部分及其相关联的输入处理元件可以接收通过有线(例如，电缆)介质发送的RF信号。然后，RF部分可以通过滤波、下变频和再次滤波到期望的频带来执行频率选择。

各种实施例重新排列上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行相似或不同功能的其他元件。

添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，RF部分可以包括天线。

此外，USB和/或HDMI终端可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统6000连接到其他电子设备。应当理解，输入处理的各个方面，例如里德-所罗门(Reed-Solomon)纠错，可以根据需要在例如单独的输入处理IC或处理器6010内实现。类似地，可以根据需要在单独的接口IC或处理器6010内实现USB或HDMI接口处理的各个方面。解调、纠错和解复用的流可以被提供给与存储器和存储元件结合操作的各种处理元件(包括例如处理器6010和编码器/解码器6030)，以处理在输出设备上呈现所需的数据流。

系统6000的各种元件可以在集成外壳内被提供。在集成外壳内，可以使用合适的连接布置6140(例如本领域已知的内部总线，包括I2C总线、布线和印刷电路板)将各种元件相互连接并在它们之间发送数据。

系统6000可以包括通信接口6050，其能够经由通信信道6060使能与其他设备的通信。通信接口6050可以包括但不限于被配置成通过通信信道6060发送和接收数据的收发器。通信接口6050可以包括但不限于调制解调器或网卡，并且通信信道6060可以例如在有线和/或无线介质中被实现。

在各种实施例中，可以使用诸如IEEE 802.11的Wi-Fi将数据流式传输到系统6000。这些实施例的Wi-Fi信号可以通过适于Wi-Fi通信的通信信道6060和通信接口6050来接收。这些实施例的通信信道6060通常可以连接到接入点或路由器，该接入点或路由器提供对包括互联网在内的外部网络的访问，以允许流式应用和其他超顶(over-the-top)通信。

其他实施例可以使用通过输入块6130的HDMI连接递送数据的机顶盒向系统6000提供流式传输的数据。

其他实施例可以使用输入块6130的RF连接向系统6000提供流式传输的数据。

应当理解，信令可以以多种方式来完成。例如，在各种实施例中，一个或多个语法元素、标志等可以用于向对应的解码器信令通知信息。

系统6000可以向各种输出设备(包括显示器6100、扬声器6110和其他外围设备6120)提供输出信号。在实施例的各种示例中，其他外围设备6120可以包括独立DVR、磁盘播放器、立体声系统、照明系统以及基于系统3000的输出提供功能的其他设备中的一个或多个。

在各种实施例中，可以使用诸如AV.Link(音频/视频链接)、CEC(消费电子控制)或在用户干预或不干预的情况下支持设备到设备控制的其他通信协议的信令在系统6000和显示器6100、扬声器6110或其他外围设备6120之间传送控制信号。

输出设备可以通过相应的接口6070、6080和6090经由专用连接通信地耦合到系统6000。

替代地，输出设备可以使用通信信道6060经由通信接口6050连接到系统6000。显示器6100和扬声器6110可以与电子设备(例如电视机)中的系统6000的其他组件集成在单个单元中。

在各种实施例中，显示接口6070可以包括显示驱动器，例如定时控制器(T Con)芯片。

例如，如果输入6130的RF部分是单独的机顶盒的一部分，则显示器6100和扬声器6110可以可选地与一个或多个其他组件分离。在显示器6100和扬声器6110可以是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，包括例如HDMI端口、USB端口或COMP输出。

PLR(Point Local Reconstruction)代表点局部重建。PLR是一种重建方法，可用于向点云帧生成附加的3D样点。PLR通常在2D到3D投影之后，在任何其他处理(例如，几何或纹理平滑)之前立即应用。

PLR以3D样点层作为输入，并应用一组由PLR元数据驱动的滤波器来生成附加的3D样点及其几何和纹理。

PLR可以是局部的，因为PLR元数据可以按画布的每个T×T块而变化，并且该组滤波器可以使用小的邻域来生成附加的3D样点。请注意，编码器和解码器中必须使用相同的PLR元数据。

在通常情况下，使用具有PLR的单层深度和纹理图像比两层深度和纹理图像提供更好的BD-率性能。通过投影到深度和纹理图像上，PLR元数据的编解码比传统的3D样点编解码占用更少的比特，因此整体比特率降低。同时，附加的3D样点补偿了由于使用较少的层而导致的质量损失。

V-PCC包括PLR的实现方式，其中PLR由RDO(率失真优化)在编码器侧确定。所述的PLR的实现方式定义了多个表示为PLRM(Point Local Reconstruction Mode，点局部重建模式)的模式，用于重建(生成)点云帧的至少一个3D样点。每个PLRM由PLRM元数据的特定值确定，这些特定值定义了如何使用滤波器。

例如，在V-PCC的“9.4.4”一节中，多个PLRM由V-PCC的“7.4.35点局部重建语义”节中描述的四个参数确定。所述四个参数比特流中作为PLRM元数据被发送：

·point_local_reconstruction_mode_interpolate_flag：

该参数等于1，指示在重建方法期间使用点插值；该参数等于0，指示在重建方法期间不使用点插值；

·point_local_reconstruction_mode_filling_flag

该参数等于1，指示在重建方法期间使用填充模式；该参数等于0，指示在重建过程期间不使用填充模式。

·point_local_reconstruction_mode_minimum_depth_minus1：

该参数指定重建方法期间使用的最小深度值减1。

·point_local_reconstruction_mode_neighbour_minus1：

该参数指定重建方法期间使用的2D邻居的大小减1。

在V-PCC的“7.3.35点局部重建语法”一节中详细介绍了一种编解码PLR的语法。该语法描述了T×T块(占用打包块大小)通过“块到片元(blockToPatch)”信息发送的PLRM元数据。块到片元结构为每个T×T像素块指示它所属的片元。块到片元块的16×16像素大小是V-PCC测试模型软件中使用的典型值。该规范(以及至少一个当前实施例)可以支持块到片元索引和PLRM元数据的其他块大小。

可以如下从比特流中检索PLR元数据：以扫描顺序(例如光栅扫描顺序)循环迭代画布的所有T×T块。对于画布的每个块，如果占用图OM指示所述块未被占用，则前进到下一个块。否则，即该块被占用，从比特流中检索块到片元信息BlockToPatch，以便获得所述块的片元ID，并且从比特流中检索所述被占用的块的PLR参数。

在点云编解码(V-PCC)的当前方式中，从比特流解码PLR元数据需要密集的计算资源(CPU、GPU、存储器)，因为针对每个T×T块都必须解码四个参数。

根据至少一个实施例的一般方面，提供了一种用于信令通知表示点局部重建模式的语法元素的方法，所述点局部重建模式表示定义用于重建点云帧的至少一个点的模式的至少一个参数。

信令通知语法元素而不是每个块四个参数可以减少如在V-PCC中所定义的解码侧的计算资源，因为可以针对每片元或每点云帧信令通知所述语法元素。这也为信令通知PLRM元数据提供了灵活性。

图7示出了根据至少一个当前实施例的用于信令通知点局部重建模式的方法的示例的示意框图。

在步骤710，模块可以在比特流中添加表示点局部重建模式(表示为PLRM)的至少一个语法元素SE1。所述PLRM表示定义用于重建点云帧的至少一个3D样点的模式的至少一个参数。

在步骤740，发送比特流。

在步骤770，模块可以从比特流(接收到的比特流)中检索(读取)至少一个第一语法元素SE1，表示用于重建点云的至少一个3D样点的至少一个PLRM。

从所述至少一个语法元素SE1中检索至少一个参数，然后使用所述至少一个PLRM重建点云的至少一个3D样点。

根据步骤710的实施例，PLRM可以是查找表LUT(look-up-table)的条目的索引值。所述LUT的每个条目定义了索引值与至少一个参数之间的关系，所述至少一个参数定义了用于重建所述点云帧的至少一个点的特定模式。

图8a-图8b示出了根据步骤710的实施例的查找表LUT的示例。

左列指示不同的PLRM值，每个PLRM定义了4个参数I、F、D1min和N的组合，该组合使用前面解释的以下工具的组合来确定重建方法：

point_local_reconstruction_mode_interpolate_flag；

point_local_reconstruction_mode_filling_flag；

point_local_reconstruction_mode_minimum_depth_minus1；以及

point_local_reconstruction_mode_neighbour_minus1

图8a的PLRM 0指示使用“无PLRM元数据”，即没有发送PLR元数据。

从图8b的查找表LUT中移除了这种PLRM模式。在这种情况下，在其他地方信令通知“无PLRM元数据”模式。

图8c示出了用于信令通知根据步骤710的实施例的查找表LUT的语法示例。

根据步骤710的实施例，如图8d所示，可以针对每块信令通知第一语法元素SE1，其中point_local_reconstruction_mode[p][i]是指与片元p的块i相关联的语法元素SE1。

根据步骤710的一个实施例，如图8e所示，可以针对每片元信令通知第一语法元素SE1，其中point_local_reconstruction_mode[p]是指与片元p相关联的第一语法元素SE1。

在步骤720(可选)，模块可以在比特流中针对每片元添加第二语法元素SE2，该第二语法元素指示是否针对片元的所有块一次信令通知单个第一语法元素SE1，或者是否针对片元的每个块信令通知第一语法元素SE1。

当第二语法元素SE2指示针对片元的所有块一次信令通知单个第一语法元素时，所述单个第一语法元素被用于所述片元的所有块，并且因此在片元级别被信令通知。

如图9所示，point_local_reconstruction_patch_level[p]是指第二语法元素SE2：point_local_reconstruction_patch_level[p]＝0意味着针对片元的每个块信令通知第一语法元素point_local_reconstruction_mode[p][i]，而point_local_reconstruction_patch_level[p]＝1意味着针对片元p的所有块一次信令通知第一语法元素point_local_reconstruction_mode[p]。

根据步骤720的变型，仅当片元包含多于给定数量的块时，才可以信令通知第二语法元素SE2。

如图10所示，BlockCountThreshold是指块的给定数量。当片元中的块的数量大于或等于BlockCountThreshold时，第二语法元素point_local_reconstruction_patch_level[p]被设置为0(针对每块信令通知第一语法元素point_local_reconstruction_mode[p])。否则其被设置为1(针对每片元信令通知第一个语法元素point_local_reconstruction_mode[p])。

在步骤730(可选)，模块可以在比特流中添加至少一个第三语法元素SE3，其表示默认的点局部重建模式，也表示为优选的点局部重建模式。

如图12a-图12b所示，point_local_reconstruction_preferred_mode是指第三语法元素SE3。

图11示出了用于信令通知根据步骤710的实施例的查找表LUT(第一语法元素SE1)和point_local_reconstruction_preferred_mode的示例。

根据步骤730的实施例，可以针对每点云帧和/或每片元信令通知第三语法元素SE3。

如图13所示，point_local_reconstruction_preferred_mode_patch[p]是指针对每片元信令通知的第三语法元素SE3，并且point_local_reconstruction_preferred_mode是指针对每点云帧信令通知的第三语法元素SE3。

如图15所示，point_local_reconstruction_preferred_mode是指针对每点云帧信令通知的第三语法元素SE3。

根据步骤740的实施例，模块可以在比特流中添加第四语法元素SE4和第三语法元素SE3(针对每片元信令通知的默认点局部重建模式)的使用，第四语法元素SE4用于信令通知第一语法元素SE1(针对每块或每片元的PLRM)的粒度。

如图12a-图12b所示，point_local_reconstruction_patch_level[p]指第四语法元素。当point_local_reconstruction_patch_level[p]＝0时，则针对每块i信令通知第一语法元素SE1(point_local_reconstruction_mode[p][i])；当point_local_reconstruction_patch_level[p]＝1时，则针对每片元p信令通知第一语法元素SE1(point_local_reconstruction_mode[p])，否则，针对片元p的所有块信令通知第三语法元素SE3(point_local_reconstruction_preferred_mode)。

在图12a中，针对每点云帧信令通知point_local_reconstruction_preferred_mode。

在图12b中，针对每片元信令通知point_local_reconstruction_preferred_mode_patch[p]。

图13示出了当第二语法元素SE2仅在片元包含多于给定数量的块BlockCountThreshold时才被信令通知时的图12b的变体的示例。

图14示出了当针对每块信令通知第一语法元素point_local_reconstruction_mode[p][i](图8d)时所述变体的示例：point_local_reconstruction_mode_delta[p][i]代替point_local_reconstruction_mode[p][i]。

所述变体也可以应用于用于信令通知第一语法元素SE1的其他示例，例如，如图8e、图9、图10、图12a-图12b和图13所示。

所述变体也可以应用于对第二语法元素SE2进行差分编码，例如如图9、图10、图12a-12b和图13所示。

在图1-图15中，本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非该方法的正确操作需要步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

关于框图和操作流程图描述了一些示例。每个框表示电路元件、模块或代码部分，代码部分包括一个或多个用于实现(多个)特定逻辑功能的可执行指令。还应该注意的是，在其他实现方式中，框中提到的(多个)功能可以不按所指示的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。

本文描述的实现方式和方面可以以例如方法或过程、装置、计算机程序、数据流、比特流或信号实现。即使仅在实现方式的单一形式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现方式也可以以其他形式实现(例如，装置或计算机程序)。

这些方法可以在例如处理器中实现，处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备。

另外，这些方法可以通过由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采取包含在一个或多个计算机可读介质中的计算机可读程序产品的形式，并且其上包含可由计算机执行的计算机可读程序代码。给定在其中存储信息的固有能力以及提供从中检索信息的固有能力，本文使用的计算机可读存储介质可以被认为是非暂时性存储介质。计算机可读存储介质可以是，例如，但不限于，电子、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。应当理解，如下尽管提供了可以应用本实施例的计算机可读存储介质的更具体的示例，但是其仅仅是说明性的，而不是本领域普通技术人员容易理解的穷举列表：便携式计算机软盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式压缩光盘只读存储器(CD-ROM)；光学存储设备；磁性存储装置；或前述的任何合适的组合。

指令可以形成有形地包含在处理器可读介质上的应用程序。

指令可以例如在硬件、固件、软件或其组合中。指令可以在例如操作系统、单独的应用程序或两者的组合中找到。因此，处理器可以被表征为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(例如存储设备)的设备。此外，除了指令之外或者代替指令，处理器可读介质可以存储由实现方式产生的数据值。

装置可以用例如适当的硬件、软件和固件来实现。这种装置的示例包括个人计算机、膝上型计算机、智能手机、平板电脑、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的前处理器、网络服务器、机顶盒以及用于处理点云、视频或图像的任何其他设备或其他通信设备。应该清楚的是，设备可以是移动的，甚至可以安装在移动车辆中。

计算机软件可以由处理器6010或由硬件或由硬件和软件的组合来实现。作为非限制性示例，实施例也可以由一个或多个集成电路来实现。作为非限制性示例，存储器6020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术(例如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器6010可以是适合于技术环境的任何类型，并且可以涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。

对于本领域普通技术人员来说显而易见的是，实现方式可以产生各种信号，这些信号被格式化以携带例如可以被存储或发送的信息。信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括，例如，编码数据流和用编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路来发送。信号可以存储在处理器可读介质上。

本文使用的术语仅仅是为了描述特定的实施例，而不是为了进行限制。如本文所使用的，除非上下文另有明确指示，单数形式“一”、“一个”和“该”也可以包括复数形式。将进一步理解，当在本说明书中使用时，术语“包括/包含”和/或“包括有/包含有”可以指定所陈述的例如特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或添加。此外，当元件被称为“响应”或“连接”到另一个元件时，它可以直接响应或连接到另一个元件，或者可以存在中间元件。相反，当一个元件被称为“直接响应”或“直接连接”到其他元件时，不存在中间元件。

应当理解，使用任何符号/术语“/”、“和/或”和“至少一个”，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，可以旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或选择两个选项(A和B)。作为另一个示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措辞旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一和第三个列出的选项(A和C)，或者仅选择第二和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。正如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列出的许多项目。

在本申请中可以使用各种数值。特定值可以是出于示例目的，并且所描述的方面不限于这些特定值。

应当理解，尽管术语第一、第二等可以用于描述各种元件，但是这些元件不受这些术语的限制。这些术语仅用于区分一个元素和另一个元素。例如，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，而不脱离本申请的教导。第一个元素和第二个元素之间没有隐含顺序。

提及“一个实施例”或“实施例”或“一个实现方式”或“实现方式”及其其他变体经常被用来传达特定特征、结构、特性等(结合实施例/实现方式描述的)被包括在至少一个实施例/实现方式中。因此，短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”的出现，以及出现在本申请各处的任何其他变体，不一定都指同一实施例。

类似地，本文提及的“根据实施例/示例/实现方式”或“在实施例/示例/实现方式中”以及其其他变体经常用于传达特定特征、结构或特性(结合实施例/示例/实现方式描述的)可以被包括在至少一个实施例/示例/实现方式中。因此，说明书中不同地方出现的表述“根据实施例/示例/实现方式”或“在实施例/示例/实现方式中”不一定都指相同的实施例/示例/实现方式，也不一定是与其他实施例/示例/实现方式相互排斥的单独或替代的实施例/示例/实现方式。

权利要求中出现的附图标记仅仅是为了说明，对权利要求的范围没有限制作用。尽管没有明确描述，但是本实施例/示例和变体可以以任何组合或子组合来使用。

当附图被呈现为流程图时，应该理解，它还提供了对应装置的框图。类似地，当图被呈现为框图时，应当理解，它还提供了对应方法/过程的流程图。

尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是应当理解，通信可以在与所示箭头相反的方向上发生。

各种实现方式涉及解码。本申请中使用的“解码”可以涵盖例如对接收的点云帧(可能包括对一个或多个点云帧进行编码的接收到的比特流)执行的全部或部分过程，以便产生适合于显示或在重建的点云域中进一步处理的最终输出。在各种实施例中，这样的过程包括通常由基于图像的解码器执行的一个或多个过程。

作为进一步的示例，在一个实施例中，“解码”可以仅指熵解码，在另一个实施例中，“解码”可以仅指差分解码，并且在另一个实施例中，“解码”可以指熵解码和差分解码的组合。基于具体描述的上下文，短语“解码过程”是具体指操作的子集还是一般指更广泛的解码过程将是清楚的，并且被认为是本领域技术人员很好理解的。

各种实现涉及编码。以类似于上面关于“解码”的讨论的方式，本申请中使用的“编码”可以涵盖例如对输入点云帧执行的全部或部分过程，以便产生编码的比特流。在各种实施例中，这样的过程包括通常由基于图像的编码器执行的一个或多个过程。

作为进一步的示例，在一个实施例中，“编码”可以仅指熵编码，在另一个实施例中，“编码”可以仅指差分编码，并且在另一个实施例中，“编码”可以指差分编码和熵编码的组合。基于具体描述的上下文，短语“编码过程”是旨在具体指操作的子集还是一般指更广泛的编码过程将是清楚的，并且被认为是本领域技术人员很好理解的。

注意，本文使用的语法元素，例如，标志point_local_reconstruction_mode_present_flag是描述性术语。因此，它们不排除使用其他语法元素名称。

各种实施例涉及率失真优化。特别是，在编码过程中，给定计算复杂性的限制，通常会考虑速率和失真之间的平衡或权衡。率失真优化通常可以用公式表示为最小化率失真函数，它是速率和失真的加权和。有不同的方法来解决率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，包括所有考虑的模式或编解码参数值，以及对它们的编解码成本和对编解码及解码后重建信号的相关失真的完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重建信号来计算近似失真。也可以使用这两种方法的混合，例如只对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其他方法只评估可能的编码选项的子集。更一般地，许多方法采用多种技术中的任何一种来执行优化，但是优化不一定是对编解码成本和相关失真的完整评估。

此外，本申请可以指“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。

此外，本申请可以指“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。

此外，本申请可以指“接收”各种信息。与“访问”一样，接收是一个宽泛的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一个或多个。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以这样或那样的方式涉及“接收”。

此外，如本文所使用的，单词“信令通知”尤其是指向对应的解码器的一些东西。例如，在某些实施例中，编码器信令通知特定的语法元素SE和/或PLR元数据。这样，在实施例中，相同的参数(PLR元数据)可以在编码器侧和解码器侧使用。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以在不发送的情况下使用信令(隐式信令)来简单地允许解码器知道并选择特定参数。通过避免任何实际功能的发送，在各种实施例中实现了比特节省。应当理解，信令通知可以以各种方式完成。例如，在各种实施例中，一个或多个语法元素、标志等用于向对应的解码器信令通知信息。虽然前面涉及单词“信令通知”的动词形式，但是单词“信令通知”在本文也可以用作名词。

已经描述了许多实现方式。然而，应当理解，可以进行各种修改。例如，不同实现方式的元素可以被组合、补充、修改或移除以产生其他实现方式。此外，本领域普通技术人员将理解，可以用其他结构和过程来代替所公开的那些结构和过程，并且所得到的实现方式将以至少基本相同的(多个)方式执行至少基本相同的(多个)功能，以实现与所公开的实现方式至少基本相同的(多个)结果。因此，本申请考虑了这些和其他实施方式。

Claims (59)

1.一种方法，包括在比特流中信令通知第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

2.根据权利要求1所述的方法，其中，所述信息是查找表的条目的索引值，所述查找表的条目定义所述索引值与相对于所述模式的至少一个参数之间的关系。

3.根据权利要求1所述的方法，其中，或者针对每块或者针对每片元信令通知所述第一语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

4.根据权利要求1所述的方法，其中，片元是至少一个2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，所述方法还包括针对每片元信令通知第二语法元素，所述第二语法元素指示是否针对片元的所有块一次信令通知单个的第一语法元素，或者是否针对片元的每个块信令通知第一语法元素。

5.根据权利要求4所述的方法，其中，仅当片元包含多于给定数量的块时，才信令通知所述第二语法元素。

6.根据权利要求1所述的方法，其中，所述方法还包括信令通知表示默认模式的第三语法元素。

7.根据权利要求6所述的方法，其中，针对每点云帧和/或每片元信令通知所述第三语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

8.根据权利要求6所述的方法，其中，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，所述方法还包括信令通知第四语法元素，所述第四语法元素用于针对每块或每片元信令通知所述第一语法元素的粒度，以及针对每片元信令通知所述第三语法元素的使用。

9.根据权利要求1所述的方法，其中，所述第一语法元素与至少一个先前信令通知的第一语法元素不同地被编解码。

10.一种方法，包括在比特流中添加第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

11.根据权利要求10所述的方法，其中，所述信息是查找表的条目的索引值，所述查找表的条目定义所述索引值与相对于所述模式的至少一个参数之间的关系。

12.根据权利要求10所述的方法，其中，或者针对每块或者针对每片元添加所述第一语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

13.根据权利要求10所述的方法，其中，片元是至少一个2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，所述方法还包括针对每片元添加第二语法元素，所述第二语法元素指示是否针对片元的所有块一次添加单个的第一语法元素，或者是否针对片元的每个块添加第一语法元素。

14.根据权利要求13所述的方法，其中，仅当片元包含多于给定数量的块时，才添加所述第二语法元素。

15.根据权利要求10所述的方法，其中，所述方法还包括添加表示默认模式的第三语法元素。

16.根据权利要求15所述的方法，其中，针对每点云帧和/或每片元添加所述第三语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

17.根据权利要求15所述的方法，其中，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，所述方法还包括添加第四语法元素，所述第四语法元素用于针对每块或每片元信令通知所述第一语法元素的粒度，以及针对每片元信令通知所述第三语法元素的使用。

18.根据权利要求10所述的方法，其中，所述第一语法元素与至少一个先前信令通知的第一语法元素不同地被编解码。

19.一种方法，包括从比特流获得第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

20.根据权利要求19所述的方法，其中，所述信息是查找表的条目的索引值，所述查找表的条目定义所述索引值与相对于所述模式的至少一个参数之间的关系。

21.根据权利要求19所述的方法，其中，或者针对每块或者针对每片元获得所述第一语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

22.根据权利要求19所述的方法，其中，片元是至少一个2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，所述方法还包括针对每片元获得第二语法元素，所述第二语法元素指示是否针对片元的所有块一次获得单个的第一语法元素，或者是否针对片元的每个块获得第一语法元素。

23.根据权利要求22所述的方法，其中，仅当片元包含多于给定数量的块时，才获得所述第二语法元素。

24.根据权利要求19所述的方法，其中，所述方法还包括获得表示默认模式的第三语法元素。

25.根据权利要求24所述的方法，其中，针对每点云帧和/或每片元获得所述第三语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

26.根据权利要求24所述的方法，其中，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，所述方法还包括获得第四语法元素，所述第四语法元素用于针对每块或每片元信令通知所述第一语法元素的粒度，以及针对每片元信令通知所述第三语法元素的使用。

27.根据权利要求19所述的方法，其中，所述第一语法元素与至少一个先前信令通知的第一语法元素不同地被编解码。

28.一种包括一个或多个处理器的装置，所述一个或多个处理器被配置成在比特流中信令通知第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

29.根据权利要求29所述的装置，其中，所述信息是查找表的条目的索引值，所述查找表的条目定义所述索引值与相对于所述模式的至少一个参数之间的关系。

30.根据权利要求29所述的装置，其中，或者针对每块或者每片元信令通知所述第一语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

31.根据权利要求29所述的装置，其中，片元是至少一个2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，其中所述一个或多个处理器还被配置成针对每片元信令通知第二语法元素，所述第二语法元素指示是否针对片元的所有块一次信令通知单个的第一语法元素，或者是否针对片元的每个块信令通知第一语法元素。

32.根据权利要求32所述的装置，其中，仅当片元包含多于给定数量的块时，才信令通知所述第二语法元素。

33.根据权利要求29所述的装置，其中所述一个或多个处理器还被配置成信令通知表示默认模式的第三语法元素。

34.根据权利要求34所述的装置，其中，针对每点云帧和/或每片元信令通知所述第三语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

35.根据权利要求29所述的装置，其中，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，其中所述一个或多个处理器还被配置成信令通知第四语法元素，所述第四语法元素用于针对每块或每片元信令通知所述第一语法元素的粒度，以及针对每片元信令通知所述第三语法元素的使用。

36.根据权利要求29所述的装置，其中，所述第一语法元素与至少一个先前信令通知的第一语法元素不同地被编解码。

37.一种包括一个或多个处理器的装置，所述一个或多个处理器被配置成在比特流中添加第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

38.根据权利要求38所述的装置，其中，所述信息是查找表的条目的索引值，所述查找表的条目定义所述索引值与相对于所述模式的至少一个参数之间的关系。

39.根据权利要求38所述的装置，其中，或者针对每块或者针对每片元添加所述第一语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

40.根据权利要求38所述的装置，其中，片元是至少一个2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，其中所述一个或多个处理器还被配置成针对每片元添加第二语法元素，所述第二语法元素指示是否针对片元的所有块一次添加单个的第一语法元素，或者是否针对片元的每个块添加第一语法元素。

41.根据权利要求41所述的装置，其中，仅当片元包含多于给定数量的块时，才添加所述第二语法元素。

42.根据权利要求38所述的装置，其中，所述一个或多个处理器还被配置成添加表示默认模式的第三语法元素。

43.根据权利要求43所述的装置，其中，针对每点云帧和/或每片元添加所述第三语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

44.根据权利要求38所述的装置，其中，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，其中所述一个或多个处理器还被配置成添加第四语法元素，所述第四语法元素用于针对每块或每片元信令通知所述第一语法元素的粒度，以及针对每片元信令通知所述第三语法元素的使用。

45.根据权利要求38所述的装置，其中，所述第一语法元素与至少一个先前信令通知的第一语法元素不同地被编解码。

46.一种包括一个或多个处理器的装置，所述一个或多个处理器被配置成从比特流获得第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

47.根据权利要求47所述的装置，其中，所述信息是查找表的条目的索引值，所述查找表的条目定义所述索引值与相对于所述模式的至少一个参数之间的关系。

48.根据权利要求47所述的装置，其中，或者针对每块或者针对每片元获得所述第一语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

49.根据权利要求47所述的装置，其中，片元是至少一个2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，其中所述一个或多个处理器还被配置成针对每片元获得第二语法元素，所述第二语法元素指示是否针对片元的所有块一次获得单个的第一语法元素，或者是否针对片元的每个块获得第一语法元素。

50.根据权利要求50所述的装置，其中，仅当片元包含多于给定数量的块时，才获得所述第二语法元素。

51.根据权利要求50所述的装置，其中所述一个或多个处理器还被配置成获得表示默认模式的第三语法元素。

52.根据权利要求52所述的装置，其中，针对每点云帧和/或每片元获得所述第三语法元素，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影。

53.根据权利要求52所述的装置，其中，片元是2D样点的至少一个块的集合，所述2D样点表示点云帧的至少一个3D样点在投影平面上的正交投影，其中所述一个或多个处理器还被配置成获得第四语法元素，所述第四语法元素用于针对每块或每片元信令通知所述第一语法元素的粒度，以及针对每片元信令通知所述第三语法元素的使用。

54.根据权利要求47所述的装置，其中，所述第一语法元素与至少一个先前信令通知的第一语法元素不同地被编解码。

55.一种比特流，包括第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

56.一种包括指令的计算机程序产品，当程序由一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行方法，所述方法包括在比特流中添加第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

57.一种包括指令的非暂时性计算机可读介质，所述指令用于使一个或多个处理器执行在比特流中添加第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

58.一种包括指令的计算机程序产品，当程序由一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行方法，所述方法包括从比特流获得第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

59.一种包括指令的非暂时性计算机可读介质，所述指令用于使一个或多个处理器执行在比特流中获得第一语法元素，所述第一语法元素表示定义用于重建点云帧的至少一个点的模式的信息。

Images