CN113475093B

CN113475093B - 用于处理点云的方法和装置

Info

Publication number: CN113475093B
Application number: CN202080013137.4A
Authority: CN
Inventors: C·盖德; J·里卡德; J·拉奇
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2019-02-07
Filing date: 2020-01-10
Publication date: 2024-03-22
Anticipated expiration: 2040-01-10
Also published as: WO2020163038A1; WO2020163038A9; KR20210121072A; US20220109882A1; EP3922037A1; CN113475093A

Abstract

至少一个实施例涉及一种用于传输PLRM元数据的方法，该方法去除了PLRM元数据与占用图和块到面片信息BlockToPatch之间的依赖性。

Description

用于处理点云的方法和装置

技术领域

本发明的至少一个实施例主要涉及点云的处理。

背景技术

本部分旨在向读者介绍可能与下面描述和/或要求保护的本发明的实施例中的至少一个的各方面相关的技术的各方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解至少一个实施例的各个方面。

点云可以用于各种目的，诸如文化遗产/建筑，其中，以3D扫描像雕像或建筑的对象，以便共享该对象的空间配置，而不发送或访问它。而且，这是一种确保在对象可能被破坏的情况下保留关于该对象的知识的方式；例如地震引起的寺庙毁坏。这种点云通常是静态的、彩色的和巨大的。

另一使用情况是在地形图和制图中，其中使用3D表示允许地图不限于平面且可包含起伏。Google Maps现在是3D地图的良好示例，但是使用网格而不是点云。然而，点云可以是用于3D地图的合适的数据格式，并且这样的点云通常是静态的、彩色的和巨大的。

汽车工业和自动驾驶汽车也是其中可以使用点云的领域。自动驾驶汽车应当能够“探测”它们的环境以基于它们的紧邻车辆的现实而做出良好的驾驶决策。像LIDAR(光检测和测距)的典型传感器产生决策引擎所使用的动态点云。这些点云不旨在被人类查看，并且它们通常是小的，不一定是有色的，并且是动态的，具有高频率捕获。这些点云可以具有其他属性，例如LIDAR提供的反射率，因为该属性提供关于感测对象的材料的良好信息，并且可以帮助做出决定。

虚拟现实和沉浸式世界近来已经成为热点主题，并且被很多人预见为2D平面视频的未来。基本思想是使观看者沉浸在围绕该观看者的环境中，这与观看者仅能够观看该观看者前方的虚拟世界的标准TV形成对比。根据观看者在环境中的自由度，在沉浸度中存在若干等级。点云是用于分发虚拟现实(VR)世界的良好格式候选。

在许多应用中，重要的是能够通过仅消耗合理量的比特率(或用于存储应用的存储空间)同时维持可接受的(或优选地非常好的)体验质量来将动态点云分发给最终用户(或将它们存储在服务器中)。为了使多沉浸世界的分发链实用化，这些动态点云的高效压缩是关键点。

考虑到前述内容，设计了至少一个实施例。

发明内容

以下呈现了本发明的实施例中的至少一者的简化概述，以便提供对本发明的一些方面的基本理解。本发明内容不是对实施例的广泛综述。其不旨在标识实施例的关键或重要元素。以下概述仅以简化形式呈现了本发明的实施例中的至少一者的一些方面，作为在本文档中的其它地方提供的更详细描述的序言。

根据至少一个实施例的主要方面，提供了一种方法，包括：

-将在画布(canvas)上定义的2D规则网格的按照块(per block)的语法元素添加到比特流，以指示与所述块相关的PLRM元数据是否存在于所述比特流中；所述画布通过将表示点云的至少一个点到投影平面上的正交投影的至少一个面片(patch)打包(pack)来定义；所述PRLM元数据定义用于重构所述点云的至少一个点的模式的至少一个参数；以及

-当所述语法元素指示在所述比特流中存在与所述块相关的PLRM元数据时，将所述PLRM元数据添加到所述比特流。

根据实施例，该方法还包括传输所述比特流。

根据至少一个实施例的另一个主要方面，提供了一种方法，包括：

-从比特流中检索在画布上定义的2D规则网格的按照块的语法元素，其指示在所述比特流中是否存在与所述块相关的PLRM元数据；所述画布通过将表示点云的至少一个点到投影平面上的正交投影的至少一个面片打包来定义；所述PRLM元数据定义用于重构所述点云的至少一个点的模式的至少一个参数；

-当所述语法元素指示与所述块相关的PLRM元数据存在于所述比特流中时，从所述比特流中检索所述PLRM元数据；以及

-根据所述PLRM元数据来重构所述点云的至少一个点。

根据实施例，该方法还包括接收所述比特流。

根据至少一个实施例的主要方面，提供了一种信号，该信号携带比特流并且包括在画布上定义的2D规则网格的按照块的语法元素，以指示与所述块相关的PLRM元数据是否存在于比特流中；所述画布通过将表示点云的至少一个点到投影平面上的正交投影的至少一个面片打包来定义；所述PRLM元数据定义用于重构所述点云的至少一个点的模式的至少一个参数；当该语法元素指示与该块相关的PLRM元数据存在于该比特流中时，该信号进一步包括该PLRM元数据。

根据一个实施例，当所述块被至少一个面片覆盖时，语法元素指示与所述块相关的PLRM元数据存在于所述比特流中，并且当所述块未被面片覆盖时，语法元素指示与所述块相关的PLRM元数据不存在于所述比特流中。

根据实施例，语法元素按照所述画布的块而被添加或检索。

根据变型，向比特流添加或从比特流检索所述画布的按照块的语法元素仅在以下情况下发生：所述块被包围面片的至少一个2D边界框覆盖。

根据实施例，语法元素按照所述包含面片的2D边界框的块而被添加或检索。

根据实施例，所述语法元素是标志。

本发明的至少一个实施例的一个或多个还提供了一种设备、计算机程序和计算机可读存储介质。

根据结合附图进行的以下实例描述，本发明实施例中的至少一者的特定性质以及本发明实施例中的所述至少一者的其它目的、优点、特征和用途将变得显而易见。

附图说明

在附图中，示出了若干实施例的示例。附图示出了：

图1示出了根据至少一个本发明实施例的基于两层的点云编码结构的示例的示意性框图；

图2示出了根据至少一个本发明实施例的基于两层的点云解码结构的示例的示意性框图；

图3示出了根据至少一个本发明实施例的基于图像的点云编码器的示例的示意性框图；

图3a示出了包括2个面片及它们的2D边界框的画布的示例；

图4示出了根据至少一个本发明实施例的基于图像的点云解码器的示例的示意性框图；

图5示意性地示出了根据至少一个当前实施例的表示基本层BL的比特流的语法的示例；

图6示出了其中实现了各个方面和实施例的系统的示例的示意性框图；

图7示出了根据至少一个当前实施例的用于传输PLRM元数据的方法的示例的示意性框图；

图8示出了根据步骤710和730的第一实施例的用于传输PLRM元数据的语法的示例；

图9示出了根据一个变型的用于传输PLRM元数据的语法的示例；以及

图10示出了根据步骤710和730的第二实施例的用于传输PLRM元数据的语法的示例。

具体实施方式

在下文中参考附图更全面地描述至少一个本发明实施例，其中示出了至少一个本发明实施例的示例。然而，实施例可以以许多替代形式来体现，并且不应被解释为限于本文阐述的示例。因此，应当理解，不旨在将实施例限于所公开的特定形式。相反，本公开旨在覆盖落入本申请的精神和范围内的所有修改、等同物和替代物。

当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。相似或相同的元素用相同的参考数字表示。

下面描述和预期的方面可以以许多不同的形式来实现。图1-10提供了一些实施例，但是可以设想其它实施例，并且图1-10的讨论不限制实现的广度。

至少一个方面主要涉及点云编码和解码，并且至少一个其它方面主要涉及传送所生成或编码的比特流。

更准确地说，本文描述的各种方法和其它方面可用于修改模块，例如，与元数据编码相关的模块(例如，在图3的面片信息编码器3600中发生的那些模块)以及与元数据解码相关的模块(例如，在图4的面片信息解码器4400中发生的那些模块，或者在图4的几何生成模块4500中的重构过程中发生的那些模块)。

此外，本发明的方面不限于MPEG标准(例如，涉及点云压缩的MPEG-I部分5)，并且可以应用于例如其他标准和建议(无论是预先存在的还是将来开发的)以及任何这样的标准和建议的扩展(包括MPEG-I部分5)。除非另外指出或在技术上排除，否则本申请中描述的方面可以单独或组合使用。

在下文中，图像数据指的是例如特定图像/视频格式的一个或几个2D样本阵列的数据。特定图像/视频格式可以指定与图像(或视频)的像素值有关的信息。特定图像/视频格式还可以指定可以由显示器和/或任何其他装置用来例如可视化和/或解码图像(或视频)的信息。图像通常包括第一分量，其形式为第一2D样本阵列，通常表示图像的亮度(或luma)。图像还可以包括第二分量和第三分量，其形式为其它2D样本阵列，通常表示图像的色度(或chroma)。一些实施例使用一组色度样本2D阵列来表示相同的信息，诸如传统的三色RGB表示。

在一个或多个实施例中，像素值由具有C个值的向量表示，其中C是分量的数目。向量的每一值通常用可定义像素值的动态范围的若干个比特来表示。

图像块是指属于图像的一组像素。图像块(或图像块数据)的像素值指的是属于该图像块的像素值。图像块可以具有任意形状，尽管矩形是常见的。

点云可以由3D体积空间内的3D样本的数据集来表示，该3D样本具有唯一的坐标并且还可以具有一个或多个属性。

该数据集的3D样本可以由其空间位置(3D空间中的X、Y和Z坐标)来定义，并且可能由一个或多个相关联的属性来定义，所述属性颜色(诸如在RGB或YUV颜色空间中表示的颜色)、透明度、反射率、两分量法向量或表示该样本的特征的任何特征。例如，3D样本可以由6个分量(X,Y,Z,R,G,B)或等效地(X,Y,Z,y,U,V)来定义，其中(X,Y,Z)定义3D空间中的点的坐标，并且(R,G,B)或(y,U,V)定义该3D样本的颜色。相同类型的属性可以多次出现。例如，多个颜色属性可以提供来自不同视点的颜色信息。

点云可以是静态的或动态的，这取决于云是否随时间变化。静态点云或动态点云的实例通常被表示为点云帧。应当注意，在动态点云的情况下，点的数量通常不是恒定的，而是相反，通常随时间变化。更一般地，如果点云(例如，点的数量、一个或多个点的位置、或任何点的任何属性)随时间变化，则点云可被认为是动态的。

作为示例，2D样本可以由6个分量(u,v,Z,R,G,B)或等效地(u,v,Z,y,U,V)来定义。(u,v)定义了投影平面的2D空间中的2D样本的坐标。Z是投影到该投影平面上的3D样本的深度值。(R,G,B)或(y,U,V)定义了该3D样本的颜色。

图1示出了根据本发明的至少一个实施例的基于两层的点云编码结构1000的示例的示意性框图。

所述基于两层的点云编码结构1000可提供表示输入点云帧IPCF的比特流B。可能地，所述输入点云帧IPCF表示动态点云的帧。然后，所述动态点云的帧可以独立于另一帧而由所述基于两层的点云编码结构1000编码。

基本上，所述基于两层的点云编码结构1000可提供将比特流B结构化为基本层BL和增强层EL的能力。基本层BL可以提供输入点云帧IPCF的有损表示，并且增强层EL可以通过对基本层BL未表示的孤立点进行编码来提供更高质量(可能无损)的表示。

所述基本层BL可以由如图3中所示的基于图像的编码器3000提供。所述基于图像的编码器3000可以提供表示输入点云帧IPCF的3D样本的几何结构/属性的几何结构/纹理图像。它可以允许丢弃被孤立的3D样本。所述基本层BL可以由如图4中所示的基于图像的解码器4000解码，其可以提供中间重构点云帧IRPCF。

然后，回到图1中的基于两层的点云编码1000，比较器COMP可以将输入点云帧IPCF的3D样本与所述中间重构点云帧IRPCF的3D样本进行比较，以便检测/定位丢失/孤立的3D样本。接下来，编码器ENC可以对丢失的3D样本进行编码，并且可以提供增强层EL。最后，所述基本层BL和增强层EL可由复用器MUX一起复用以产生比特流B。

根据实施例，编码器ENC可以包括检测器，该检测器可以检测中间重构点云帧IRPCF的3D参考样本R并将其与丢失的3D样本M相关联。

举例来说，根据给定度量，与丢失的3D样本M相关联的3D参考样本R可为M的最近相邻者。

根据实施例，编码器ENC然后可以将丢失的3D样本M的空间位置及其属性编码为根据所述3D参考样本R的空间位置和属性确定的差。

在一种变型中，这些差可以被分别编码。

例如，对于具有空间坐标x(M)、y(M)和z(M)的丢失的3D样本M，x坐标位置差Dx(M)、y坐标位置差Dy(M)、z坐标位置差Dz(M)、R属性分量差Dr(M)、G属性分量差Dg(M)和B属性分量差Db(M)可以如下计算：

Dx(M)＝x(M)-x(R)

其中x(M)是3D样本M的x坐标，相应地x(R)是R在图3提供的几何图像中的x坐标，

Dy(M)＝y(M)-y(R)

其中y(M)是3D样本M的y坐标，相应地y(R)是R在图3提供的几何图像中的y坐标，

Dz(M)＝z(M)-z(R)

其中z(M)是3D样本M的z坐标，相应地z(R)是R在图3提供的几何图像中的z坐标，

Dr(M)＝R(M)-R(R)

其中R(M)、R(R)分别是3D样本M、R的颜色属性的r颜色分量，

Dg(M)＝G(M)-G(R)

其中G(M)、G(R)分别是3D样本M、R的颜色属性的g颜色分量，

Db(M)＝B(M)-B(R)

其中B(M)、B(R)分别是3D样本M、R的颜色属性的b颜色分量。

图2示出了根据至少一个本发明实施例的基于两层的点云解码结构2000的示例的示意性框图。

所述基于两层的点云解码结构2000的行为取决于其能力。

具有有限能力的基于两层的点云解码结构2000可通过使用解复用器DMUX从比特流B仅访问基本层BL，然后可通过由如图4所示的点云解码器4000对基本层BL进行解码来提供输入点云帧IPCF的忠实(但有损)版本IRPCF。

具有全能力的基于两层的点云解码结构2000可通过使用解复用器DMUX从比特流B访问基本层BL和增强层EL。如图4所示，点云解码器4000可以根据基本层BL确定中间重构点云帧IRPCF。解码器DEC可以从增强层EL确定互补点云帧CPCF。然后，组合器COM可以将中间重构点云帧IRPCF和互补点云帧CPCF组合在一起，以因此提供输入点云帧IPCF的更高质量(可能无损)表示(重构)CRPCF。

图3示出了根据至少一个本实施例的基于图像的点云编码器3000的示例的示意性框图。

所述基于图像的点云编码器3000利用现有视频编解码器来压缩动态点云的几何结构和纹理(属性)信息。这是通过将点云数据基本上转换成一组不同的视频序列来实现的。

在特定实施例中，可以使用现有的视频编解码器来生成和压缩两个视频，其中一个视频用于捕获点云数据的几何信息，另一个视频用于捕获纹理信息。现有视频编解码器的一个示例是HEVC主简档编码器/解码器(ITU的ITU-TH.265电信标准化部门(02/2018)，H系列：视听和多媒体系统、视听服务基础设施-运动视频的编码、高效视频编码、推荐ITU-TH.265(audiovisual and multimedia systems,infrastructure of audiovisualservices-coding of moving video,High efficiency video coding,RecommendationITU-T H.265))。

用于解释这两个视频的附加元数据通常也被分别生成和压缩。这样的附加元数据包括例如占用图OM和/或辅助面片信息PI。

然后，可以将所生成的视频比特流和元数据复用在一起，以生成组合比特流。

应当注意，所述元数据通常表示少量的总体信息。大量信息在视频比特流中。

这种点云编码/解码过程的一个示例由ISO/IEC JTC1/SC29/WG11MPEG2018/N18030或N17796(2018年10月，中国澳门)中定义的测试模型类别2算法(也称为V-PCC)给出。

在步骤3100中，模块PGM可以通过使用提供最佳压缩的策略而将表示输入点云帧IPCF的数据集的3D样本分解成投影平面上的2D样本来生成至少一个面片。

面片可以被定义为一组2D样本。

例如，在V-PCC中，首先如Hoppe等人(Hugues Hoppe,Tony DeRose,Tom Duchamp,John McDonald,Werner Stuetzle.Surface reconstruction from unorganized points(来自未组织的点的表面重构).ACM SIGGRAPH 1992Proceedings,71-78)所述，估计每种3D样本的法线(normal)。接下来，通过将每个3D样本与包含输入点云帧IPCF的3D样本的3D边界框的六个定向平面之一相关联，获得输入点云帧IPCF的初始聚类。更准确地说，每个3D样本被聚类并与具有最接近法线(其最大化点法线和面法线的点积)的定向平面相关联。然后，将所述3D样本投影到它们的关联平面。在它们的平面中形成连通区域的一组3D样本被称为连通分量。连通分量是一组至少一个3D样本，其具有相似法线和相同关联定向平面。然后，通过基于每个3D样本的法线和其最近的相邻样本的聚类而迭代地更新与每个3D样本相关联的聚类，从而细化所述初始聚类。最后的步骤包括从每个连通分量生成一个面片，这是通过将每个连通分量的3D样本投影到与所述连通分量相关联的定向平面上来完成的。面片与辅助面片信息PI相关联，该辅助面片信息PI表示为每个面片定义的辅助面片信息，以解释对应于几何结构和/或属性信息的投影的2D样本。

例如，在V-PCC中，所述辅助面片信息PI包括：1)指示包围连通分量的3D样本的3D边界框的所述六个定向平面之一的信息；2)有关平面法线的信息；3)确定连通分量相对于面片的3D位置的信息，该3D位置按照深度、切向偏移和双切向偏移而被表示；以及4)诸如定义包围面片的2D边界框的投影平面中的坐标(u0,v0,u1,v1)的信息。

在步骤3200中，面片打包模块PPM可以以通常使未使用空间最小化的方式将至少一个生成的面片映射(放置)到2D网格(也称为画布)上而没有任何重叠，并且可以保证2D网格的每个TxT(例如，16×16)块与唯一的面片相关联。2D网格的给定最小块大小TxT可以指定如放置在该2D网格上的不同面片之间的最小距离。所述2D网格分辨率可以取决于输入点云大小及其宽度W和高度H，并且块大小T可以作为元数据被发送到解码器。

所述辅助面片信息PI可以进一步包括关于2D网格的块和面片之间的关联的信息。

在V-PCC中，所述辅助信息PI可以包括块到面片索引信息(BlockToPatch)，其确定所述2D网格的块和面片索引之间的关联。

图3a示出了画布C的示例，该画布C包括2个面片P1和P2以及它们相关联的2D边界框B1和B2。注意，如图3a所示，画布C中的两个边界框可以重叠。2D网格(所述画布的分割)仅在边界框内部表示，但是画布的分割也发生在那些边界框外部。与面片相关联的边界框可以被分割成TxT块，典型地为T＝16。

包含属于面片的2D样本的TxT块可以在相应的占用图OM中被认为是占用块。然后，所述占用图OM的块可以指示块是否被占用，即，其包含属于面片的2D样本。

在图3A中，占用块由白色块表示，而浅灰色块表示未占用块。图像生成过程(步骤3300和3400)利用在步骤3200期间计算的至少一个生成的面片到2D网格上的映射，以将输入点云帧IPCF的几何结构和纹理存储为图像。

在步骤3300中，几何图像生成器GIG可以根据输入点云帧IPCF、占用图OM和辅助面片信息PI，生成至少一个几何图像GI。几何图像生成器GIG可以利用该占用图信息来检测(定位)占用块，从而检测(定位)所述几何图像GI中的非空像素。

几何图像GI可以表示输入点云帧IPCF的几何结构，并且可以是例如以YUV420-8比特格式表示的WxH个像素的单色图像。

为了更好地处理多个3D样本被投影(映射)到投影平面的相同2D样本(沿着相同的投影方向(线))的情况，可以生成被称为层的多个图像。因此，不同的深度值D1、…、Dn可以与面片的2D样本相关联，并且然后可以生成多个几何图像。

在V-PCC中，将面片的2D样本投影到两个层上。第一层(也称为近层)可以存储例如与具有较小深度的2D样本相关联的深度值D0。第二层(被称为远层)可以存储例如与具有较大深度的2D样本相关联的深度值D1。或者，所述第二层可存储深度值D1与D0之间的差值。例如，由第二深度图像存储的信息可以在对应于范围[D0,D0+Δ]中的深度值的区间[0,Δ]内，其中Δ是描述表面厚度的用户定义的参数。

通过这种方式，所述第二层可以包含显著的轮廓状高频特征。因此，清楚地看起来第二深度图像可能难以通过使用传统视频编码器来编码，并且因此，深度值可能从所述解码的第二深度图像被较差地重构，这导致重构的点云帧的几何结构的较差质量。

根据实施例，所述几何图像生成模块GIG可以通过使用辅助面片信息PI来编码(导出)与第一和第二层的2D样本相关联的深度值。

在V-PCC中，具有相应连通分量的3D样本在面片中的位置可以用深度δ(u,v)、切向位移s(u,v)和双切向位移r(u,v)表示如下：

δ(u,v)＝δ0+g(u,v)

s(u,v)＝s0-u0+u

r(u,v)＝r0-v0+v

其中g(u,v)是几何图像的亮度分量，(u,v)是与投影平面上的所述3D样本相关联的像素，(δ0,s0,r0)是3D样本所属的连通分量的对应面片的3D位置，以及(u0,v0,u1,v1)是所述投影平面中的坐标，其定义了包围与所述连通分量相关联的面片的投影的2D边界框。

因此，几何图像生成模块GIG可以将与层(第一或第二或两者)的2D样本相关联的深度值编码(导出)为亮度分量g(u,v)，其由下式给出：g(u,v)＝δ(u,v)-δ0。应当注意，该关系可以用于从具有伴随的辅助面片信息PI的重构几何图像g(u,v)重构3D样本位置(δ0,s0,r0)。

根据实施例，投影模式可以用于指示第一几何图像GI0是否可以存储第一层或第二层的2D样本的深度值，并且第二几何图像GI1是否可以存储与第二层或第一层的2D样本相关联的深度值。

例如，当投影模式等于0时，第一几何图像GI0可以存储第一层的2D样本的深度值，第二几何图像GI1可以存储与第二层的2D样本相关联的深度值。相反，当投影模式等于1时，第一几何图像GI0可以存储第二层的2D样本的深度值，第二几何图像GI1可以存储与第一层的2D样本相关联的深度值。

根据实施例，帧投影模式可以用于指示固定投影模式是否用于所有面片，或者是否使用可变投影模式，在可变投影模式中，每个面片可以使用不同的投影模式。

可以将所述投影模式和/或帧投影模式作为元数据发送。

例如，在V-PCC的第2.2.1.3.1节中可以提供帧投影模式决策算法。

根据实施例，当帧投影指示可以使用可变投影模式时，可以使用面片投影模式来指示用于(去)投影面片的适当模式。

面片投影模式可以作为元数据发送，并且可能是包括在所述辅助面片信息PI中的信息。

例如在V-PCC的第2.2.1.3.2节中提供了面片投影模式决策算法。

根据步骤3300的一个实施例，第一几何图像(例如GI1)中对应于面片的2D样本(u,v)的像素值可表示与沿着对应于所述2D样本(u,v)的投影线定义的至少一个中间3D样本相关联的深度值。所述中间3D样本沿着投影线存在，并且共享2D样本(u,v)的相同坐标，该样本的深度值D0被编码在第二几何图像中，例如GI0。此外，所述中间3D样本可具有介于深度值D0与深度值D0+ST(表面厚度值)之间的深度值。指定的比特可以与每个所述中间3D样本相关联，如果中间3D样本存在，则该比特被设置为1，否则被设置为0。

然后，沿着所述投影线的所有所述指定比特可以被级联以形成码字，此后其被称为增强差量深度(EDD)码。最后，所有EDD码可被打包在图像中，例如被打包在第一几何图像GI1或占有图OM中。

在步骤3400中，纹理图像生成器TIG可从输入点云帧IPCF、占用图OM、辅助面片信息PI以及从视频解码器VDEC的输出的至少一个解码的几何图像DGI导出的重构的点云帧的几何结构，生成至少一个纹理图像TI(图4中的步骤4200)。

纹理图像TI可以表示所述输入点云帧IPCF的纹理，并且可以是例如以YUV420-8比特格式表示的WxH个像素的图像。

所述纹理图像生成器TG可以利用所述占用图信息来检测(定位)占用块，从而检测(定位)所述纹理图像中的非空像素。

所述纹理图像生成器TIG可适于生成纹理图像TI并将其与每个几何图像/层DGI相关联。

根据实施例，所述纹理图像生成器TIG可将与第一层的2D样本相关联的纹理(属性)值T0编码(存储)为第一纹理图像TI0的像素值，将与第二层的2D样本相关联的纹理值T1编码(存储)为第二纹理图像TI1的像素值。

可替换地，所述纹理图像生成模块TIG可将与第二层的2D样本相关联的纹理值T1编码(存储)为第一纹理图像TI0的像素值，并将与第一层的2D样本相关联的纹理值D0编码(存储)为第二几何图像GI1的像素值。

例如，3D样本的颜色可如V-PCC第2.2.3、2.2.4、2.2.5、2.2.8或2.5节所述而被获得。

根据实施例，可以对几何和/或纹理图像应用填充过程。该填充过程可用于填充面片之间的空白空间，以生成适合于视频压缩的分段平滑图像。

在V-PCC的2.2.6和2.2.7节中提供了图像填充示例。

在步骤3500中，视频编码器VENC可以对所生成的图像/层TI和GI进行编码。

在步骤3600中，编码器OMENC可以将所述占用图编码为例如V-PCC的2.2.2节中详细描述的图像。可以使用有损或无损编码。

根据实施例，所述视频编码器ENC和/或OMENC可以是基于HEVC的编码器。

在步骤3700中，编码器PIENC可以对所述辅助面片信息PI以及可能的附加元数据进行编码，该附加元数据诸如几何/纹理图像的块大小T、宽度W和高度H。

根据一个实施例，所述辅助面片信息可以被差分编码(例如，如V-PCC的2.4.1节中所定义的)。

在步骤3800中，复用器可被应用于步骤3500、3600和3700的生成的输出，并且作为结果，这些输出可被复用在一起以便生成表示基本层BL的比特流。应当注意，元数据信息表示整个比特流的一小部分。使用视频编解码器来压缩大量所述信息。

图4示出了根据本发明的至少一个实施例的基于图像的点云解码器4000的示例的示意性框图。

在步骤4100中，解复用器DMUX可以用于解复用表示基本层BL的比特流的编码信息。

在步骤4200中，视频解码器VDEC可对编码信息进行解码以获得至少一个解码几何图像DGI及至少一个解码纹理图像DTI。

在步骤4300中，解码器OMDEC可以对编码信息进行解码以导出解码后的占用图DOM。

根据一实施例，视频解码器VDEC和/或OMDEC可为基于HEVC的解码器。

在步骤4400中，解码器PIDEC可以对编码信息进行解码以导出辅助面片信息DPI。

可能地，元数据也可以从比特流BL中导出。

在步骤4500中，几何生成模块GGM可从至少一个解码的几何图像DGI、解码的占用图DOM、解码的辅助面片信息DPI和可能的附加元数据，导出重构的点云帧IRPCF的几何结构RG。

所述几何生成模块GGM可利用经解码的占用图信息DOM来定位至少一个经解码的几何图像DGI中的非空像素。然后，可以从非空像素的坐标和所述重构的2D样本的值，导出与所述非空像素相关联的重构的3D样本的3D坐标。

根据实施例，所述几何生成模块GGM可从非空像素的坐标，导出经重构3D样本的3D坐标。

根据一个实施例，所述几何生成模块GGM可从非空像素的坐标、至少一个经解码的几何图像DGI中的一个的所述非空像素的值、经解码的辅助面片信息、以及可能地从附加元数据，导出经重构的3D样本的3D坐标。

非空像素的使用是基于与3D样本的2D像素关系。例如，对于V-PCC中的所述投影，重构的3D样本的3D坐标可以用深度δ(u,v)、切向位移s(u,v)和双切向位移r(u,v)表示如下：

δ(u,v)＝δ0+g(u,v)

s(u,v)＝s0-u0+u

r(u,v)＝r0-v0+v

其中g(u,v)是解码的几何图像DGI的亮度分量，(u,v)是与重构的3D样本相关联的像素，(δ0,s0,r0)是重构的3D样本所属的连通分量的3D位置，以及(u0,v0,u1,v1)是定义2D边界框的投影平面中的坐标，该边界框包围与所述连通分量相关联的面片的投影。

在步骤4600中，纹理生成模块TGM可以从所述几何结构RG和至少一个解码的纹理图像DTI，导出重构的点云帧IRPCF的纹理。

图5示意性地示出了根据至少一个本实施例的表示基本层BL的比特流的示例语法。

该比特流包括比特流头部SH和至少一帧流组GOFS。

帧流组GOFS包括：头部HS、表示占用图OM的至少一个语法元素OMS、表示至少一个几何图像(或视频)的至少一个语法元素GVS、表示至少一个纹理图像(或视频)的至少一个语法元素TVS以及表示辅助面片信息和其它附加元数据的至少一个语法元素PIS。

在一种变型中，帧流组GOFS包括至少一个帧流。

图6示出了说明其中实现了各个方面和实施例的系统的示例的示意性框图。

系统6000可以被实现为包括下面描述的各种组件的一个或多个设备，并且被配置为执行本文中描述的一个或多个方面。可以形成系统6000的全部或部分的设备的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、连接的车辆及其相关联的处理系统、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“caves”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒、以及用于处理点云、视频或图像的任何其他设备或其他通信设备。系统6000的元件可以单独地或组合地实现在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统6000的处理和编码器/解码器元件可以分布在多个IC和/或分立组件上。在各种实施例中，系统6000可以例如经由通信总线或通过专用输入和/或输出端口通信地耦合到其它类似系统或其它电子设备。在各种实施例中，系统6000可以被配置为实现本文档中描述的一个或多个方面。

所述系统6000可以包括至少一个处理器6010，其被配置成执行加载在其中的指令，以便实现例如本文中描述的各个方面。处理器6010可以包括嵌入式存储器、输入输出接口以及本领域已知的各种其它电路。系统6000可以包括至少一个存储器6020(例如，易失性存储器设备和/或非易失性存储器设备)。系统6000可以包括存储设备6040，其可以包括非易失性存储器和/或易失性存储器，这其中包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，所述存储设备6040可以包括内部存储设备、所附着的存储设备和/或网络可访问存储设备。

所述系统6000可以包括编码器/解码器模块6030，其被配置为例如处理数据以提供编码数据或解码数据，并且编码器/解码器模块6030可以包括其自己的处理器和存储器。所述编码器/解码器模块6030可表示可包括在设备中以执行编码和/或解码功能的一个或多个模块。如已知的，设备可以包括所述编码和解码模块中的一个或两个。另外，编码器/解码器模块6030可以实现为系统6000的单独元件，或者可以作为本领域技术人员公知的硬件和软件的组合而被结合在处理器6010内。

要加载到处理器6010或编码器/解码器6030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备6040中，并且随后加载到存储器6020上以由处理器6010执行。根据各种实施例，处理器6010、存储器6020、存储设备6040和编码器/解码器模块6030中的一个或多个可以在执行本文中描述的过程期间存储各种项中的一个或多个。这样的存储项目可以包括但不限于点云帧、编码/解码的几何/纹理视频/图像或编码/解码的几何/纹理视频/图像的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。

在若干实施例中，所述处理器6010和/或所述编码器/解码器模块6030内部的存储器可用于存储指令，并提供用于可在编码或解码期间执行的处理的工作存储器。

然而，在其它实施例中，所述处理设备(例如，处理设备可以是处理器6010或编码器/解码器模块6030)外部的存储器可以用于这些功能中的一个或多个。所述外部存储器可以是存储器6020和/或存储设备6040，例如，动态易失性存储器和/或非易失性闪存。在若干实施例中，外部非易失性闪存可用于存储电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器可以用作视频编码和解码操作的工作存储器，诸如用于MPEG-2部分2(也称为ITU-T建议H.262和ISO/IEC 13818-2，也称为MPEG-2视频)、HEVC(高效视频编码)或VVC(通用视频编码)。

如框6130中所示，可以通过各种输入设备来提供对系统6000的元件的输入。这样的输入设备包括但不限于：(i)RF部分，其可以接收例如由广播公司通过空中传输的RF信号，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。

在各种实施例中，框6130的输入设备可以具有本领域已知的相关联的相应输入处理元件。例如，所述RF部分可以与以下必要的元件相关联：(i)选择期望的频率(也称为选择信号，或者将信号频带限制到一频带)，(ii)将所选择的信号下转换，(iii)再次频带限制到较窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下转换和频带限制的信号，(v)执行纠错，以及(vi)解复用，以选择期望的数据分组流。各种实施例的RF部分可以包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下转换器、解调器、纠错器和解复用器。所述RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收的信号下转换到较低频率(例如，中频或近基带频率)或基带。

在一个机顶盒实施例中，所述RF部分及其相关的输入处理元件可以接收通过有线(例如，电缆)介质发送的RF信号。然后，所述RF部分可以通过滤波、下转换以及再次滤波到期望的频带来执行频率选择。

各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。

添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，所述RF部分可以包括天线。

另外，USB和/或HDMI端子可以包括用于通过USB和/或HDMI连接将系统6000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如，Reed-Solomon纠错)可以根据需要在例如单独的输入处理IC内或处理器6010内实现。类似地，USB或HDMI接口处理的方面可根据需要在单独的接口IC内或处理器6010内实现。可以将解调、纠错和解复用的流提供给各种处理元件，这其中包括例如处理器6010和编码器/解码器6030，它们与存储器和存储元件结合操作以便根据需要处理数据流以便呈现在输出设备上。

系统6000的各种元件可以设置在集成壳体内。在集成壳体内，各种元件可以使用合适的连接布置6140互连，并在其间传输数据，所述连接布置6140例如为本领域已知的内部总线，这其中包括I2C总线、布线和印刷电路板。

系统6000可以包括使得能够经由通信信道6060与其它设备通信的通信接口6050。通信接口6050可以包括但不限于被配置成通过通信信道6060发送和接收数据的收发器。通信接口6050可以包括但不限于调制解调器或网卡，并且通信信道6060可以例如在有线和/或无线介质内实现。

在各种实施例中，可以使用诸如IEEE 802.11的Wi-Fi网络将数据流式传输到系统6000。这些实施例的Wi-Fi信号可通过适用于Wi-Fi通信的通信信道6060和通信接口6050来接收。这些实施例的通信信道6060通常可连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式应用和其它云上通信。

其它实施例可以使用通过输入框6130的HDMI连接而递送数据的机顶盒来向系统6000提供流式数据。

其他实施例可以使用输入框6130的RF连接向系统6000提供流式数据。

应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等可以用于将信息用信号通知给对应的解码器。

系统6000可以向包括显示器6100、扬声器6110和其它外围设备6120的各种输出设备提供输出信号。在实施例的各种示例中，所述其他外围设备6120可以包括以下中的一个或多个：独立的DVR、盘播放器、立体声系统、照明系统和基于系统3000的输出提供功能的其他设备。

在各种实施例中，可以使用诸如AV.Link(音频/视频链路)、CEC(消费电子控制)或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议的信令在系统6000与显示器6100、扬声器6110或其它外围设备6120之间传送控制信号。

所述输出设备可以通过各自的接口6070、6080和6090经由专用连接通信地耦合到系统6000。

作为替代，所述输出设备可以使用通信信道6060经由通信接口6050连接到系统6000。所述显示器6100和扬声器6110可以与诸如电视机之类的电子设备中的系统6000的其它组件一起集成在单个单元中。

在各种实施例中，所述显示接口6070可包括显示驱动器，例如定时控制器(T Con)芯片。

例如，如果输入6130的RF部分是单独的机顶盒的一部分，则所述显示器6100和扬声器6110可以备选地与其他组件中的一个或多个分离。在显示器6100和扬声器6110可以是外部组件的各种实施例中，所述输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)而被提供。

PLRM代表点局部重构模式。PLRM是一种编码工具，其通过点重构算法及其相应的元数据来代替点层(即，一个深度图像和/或一个纹理图像)的投影和编码。PLRM通常在2D到3D投影之后、在任何其他处理(例如几何结构或纹理平滑)之前立即应用。通过将编码点的层作为输入，点重构算法应用由PLRM元数据驱动的一组过滤器，以生成具有其几何结构和纹理的附加点。所述重构方法是局部的，因为PRLM元数据按画布的TxT块而改变，并且所述重构算法使用小的邻域来生成新点。注意，在编码器和解码器中必须使用相同的PLRM。在典型的条件下，通过PRLM使用单层深度和纹理图像，提供了比两层深度和纹理图像更好的BD率性能。通过投影到深度和纹理图像上，PLRM元数据的编码比传统的点编码花费更少的比特，因此降低了总比特率。同时，由所述重构算法生成的新点补偿了由于使用较少的层而引起的质量损失。

V-PCC包括PLRM的实现，其中重构模式由RDO(速率失真优化)在编码器侧确定。

每一重构模式可经由多个参数在比特流中被定义。

例如，在V-PCC的“9.2.3”节中，重构模式由V-PCC的“7.4.17辅助信息数据单元语义”节中描述的以下四个参数定义，并作为PLRM元数据发送：

·插值模式：

该参数指的是语法元素point_local_reconstruction_mode_interpolate_flag，其等于1以指示在局部重构模式处理期间使用点插值。point_local_reconstruction_mode_interpolate_flag等于0指示在局部重构过程期间不使用点插值；

·填充模式：(其可以与插值模式组合)

该参数指的是语法元素point_local_reconstruction_mode_filling_flag，其等于1以指示在局部重构模式处理期间使用该填充模式。point_local_reconstruction_mode_filling_flag等于0指示在局部重构模式处理期间不使用所述填充模式。

·minD1模式：(其可以与插值模式组合)

该参数指的是语法元素point_local_reconstruction_mode_minimum_depth_minus1，其指定在局部重构模式处理期间要使用的最小深度值减1。

·相邻者：(其与所述插值模式相联系，表示用于所述插值过程的相邻像素的数量)

该参数指的是语法元素point_local_reconstruction_mode_neighbour_minus1，其指定了要在局部重构模式过程中使用的2D邻域的大小减1

PLRM语法在V-PCC的“7.3.17辅助信息数据单元语法”一节中详细描述。

该语法描述了通过“blockToPatch”信息由TxT块(占用打包块大小)发送的PLRM元数据。BlockToPatch结构为TxT像素的每个块指示其所属的面片。

所述BlockToPatch块的16×16像素的大小是在V-PCC测试模型软件中使用的典型值。该规范(以及至少一个本实施例)可以支持BlockToPatch索引和PLRM元数据的其他块大小。

在点云编码(V-PCC)的当前实现中，从比特流解码PLRM元数据需要解码所述块到面片信息BlockToPatch和占用图OM。此相依性导致额外存储器传送，在CPU与GPU处理线程之间产生相依性且限制了并行处理。

PLRM元数据可以从比特流中如下地检索：循环以扫描顺序(例如，光栅扫描顺序)在画布的所有TxT块上迭代。对于画布的每个块，如果占用图OM指示所述块未被占用，则继续到下一个块。否则，即该块被占用，从比特流中检索块到面片信息BlockToPatch，以便获得所述块的面片ID，并且从比特流中检索所述被占用的块的PLRM参数。

根据至少一个实施例的主要方面，提供了一种用于传输PLRM元数据的方法，该方法移除PLRM元数据与占用图和块到面片信息BlockToPatch之间的依赖性。

此方法是有利的，因为其避免了传输块到面片信息BlockToPatch，且减少了存储器之间的视频数据传送。

图7示出了根据至少一个本申请实施例的用于传输PLRM元数据的方法的示例的示意性框图。

在步骤710，模块在比特流(例如B或BL)中添加在画布上定义的2D规则网格的按照块的语法元素SE，以指示在比特流中是否存在与所述块相关的PLRM元数据，并且当所述语法元素SE指示在比特流中存在与所述块相关的PLRM元数据时，在比特流中添加所述PLRM元数据。

在步骤720中，发送所述比特流。

在步骤730中，模块从比特流(接收的比特流)检索(读取)按照块的语法元素SE，该SE指示在该比特流中是否存在与所述块相关的PLRM元数据，并且当所述语法元素SE指示在该比特流中存在与所述块相关的PLRM元数据时，从该比特流检索(读取)所述PLRM元数据。

根据步骤710和730的实施例，当所述块被占用时，语法元素SE指示与所述块相关的PLRM元数据存在于所述比特流中，并且当所述块未被占用时，语法元素SE指示与所述块相关的PLRM元数据不存在于所述比特流中。

根据步骤710(和步骤730)的第一实施例，按照所述画布的每个块(在图3的步骤3200中定义画布)添加(步骤710)和检索(步骤730)语法元素SE。

根据步骤710(和步骤730)的第二实施例，按照包围面片(在图3的步骤3100中定义面片)的2D边界框的每个块，添加(步骤710)并检索(步骤730)语法元素SE。

该实施例允许提取与单个面片的块相关的PLRM元数据。

所述画布的或包围面片的2D边界框的所有块然后可以使用例如光栅扫描顺序或任何其他扫描顺序而被顺序地处理。

根据实施例，语法元素SE是表示为point_local_reconstruction_mode_present_flag的标志。

如图3a所示，根据扫描顺序处理(所述画布或所述2D边界框的)每个TxT块，并且将按照块的标志point_local_reconstruction_mode_present_flag添加到所述比特流。所述标志指示：对于白色块(占用块)，与所述块相关的PLRM元数据存在于的比特流中，并且然后将所述PLRM元数据添加到所述比特流。所述标志指示：对于浅灰色块(未占用块)，PLRM元数据不存在于的比特流中。

例如，标志point_local_reconstruction_mode_present_flag＝1以指示PLRM元数据存在于比特流中，否则＝0。

图8示出了根据步骤710和730的第一实施例的用于传输PLRM元数据的语法的示例。

在该实施例中，BlockCount变量(由编码器和解码器内部使用)表示画布中非重叠TxT块的数量。因此，对于画布的每个块i，标志point_local_reconstruction_mode_present_flag[i]被添加到比特流(从比特流读取)，并且如果该标志不等于0，则PLRM元数据被添加到比特流(从比特流读取)。在该示例中，添加(读取)PLRM元数据包括添加(读取)四个参数：point_local_reconstruction_mode_interpolate_flag 、point_local_reconstruction_mode_filling_flag 、point_local_reconstruction_mode_minimum_depth_minus1 、point_local_reconstruction_mode_neighbour_minus1。

该实施例有效地去除了PLRM元数据与解码器侧的块到面片信息BlockToPatch和占用图OM之间的依赖性。

然而，它需要按照块发送语法元素SE，导致比特率的轻微增加。

在步骤710和步骤730的第一实施例的变型中，模块添加所述画布的按照块的语法元素SE添加到比特流(或从比特流中检索)，这仅发生在该块被至少一个面片的边界框(即，包围面片的2D边界框)覆盖的情况下，即，仅针对画布的潜在占用的块(即，针对可能被面片占用的块)，将语法元素SE添加到比特流(或从比特流中检索)

与原始实施例相比，这种变型降低了步骤710的比特率，但是增加了计算复杂度，因为解码器必须检测块是否被面片的边界框覆盖。

图9示出了根据所述变型的用于传输PLRM元数据的语法的示例。

在这个变型中，BlockCount变量(由编码器和解码器内部使用)表示画布中非重叠TxT块的数量。变量block[i].insidePatchBoundingBox()指的是用于检测块是否被面片的边界框覆盖的检测函数；如果该块被至少一个边界框覆盖，则该检测函数返回“真”，否则返回“假”。

因此，对于被面片的边界框覆盖的画布的每个块i，标志point_local_reconstruction_mode_present_flag[i]被添加到比特流(从比特流读取)，并且如果该标志不等于0，则PLRM元数据被添加到比特流(从比特流读取)。在该示例中，添加(读取)PLRM元数据包括添加(读取)四个参数：point_local_reconstruction_mode_interpolate_flag、point_local_reconstruction_mode_filling_flag 、point_local_reconstruction_mode_minimum_depth_minus1 、point_local_reconstruction_mode_neighbour_minus1。

在这个变型中，BlockCount变量(由编码器和解码器内部使用)表示当前面片的边界框中非重叠TxT块的数量。

因此，对于面片的边界框的每个块i，标志point_local_reconstruction_mode_present_flag[i]被添加到比特流(从该比特流被读取)，并且如果该标志不等于0，则PLRM元数据被添加到比特流(从该比特流被读取)。在该示例中，添加(读取)PLRM元数据包括添加(读取)四个参数：point_local_reconstruction_mode_interpolate_flag、point_local_reconstruction_mode_filling_flag 、point_local_reconstruction_mode_minimum_depth_minus1 、point_local_reconstruction_mode_neighbour_minus1。

该实施例允许以当两个或更多2D边界框重叠时，以编码多于一个按照块的point_local_reconstruction_mode_present_flag为代价，独立地解析每个面片的PLRM元数据，这与先前的实施例相比，将导致比特率的略微增加。

该实施例提供了在复杂度和编码效率方面的最佳折衷。

在图1-10中，本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。

一些示例是关于框图和操作流程图来描述的。每个框表示电路元件、模块或代码部分，其包括用于实现指定逻辑功能(一个或多个)的一个或多个可执行指令。还应当注意，在其它实现中，框中所标注的功能(一个或多个)可以不按所指明的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。

本文描述的实现方式和方面可以在例如方法或过程、装置、计算机程序、数据流、比特流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或计算机程序)来实现。

所述方法可以在例如处理器中实现，所述处理器通常指处理设备，这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备。

另外，所述方法可由处理器执行的指令实施，且此类指令(和/或由实施方案产生的数据值)可存储在计算机可读存储介质上。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品包含在一个或多个计算机可读介质中，并且具有包含在其上的计算机可读程序代码，该计算机可读程序代码可由计算机执行。如本文所使用的计算机可读存储介质可以被认为是非暂时性存储介质，其具有在其中存储信息的固有能力以及提供从其中检索信息的固有能力。计算机可读存储介质可以是，例如，但不限于，电、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。应当理解，尽管提供了可以应用本实施例的计算机可读存储介质的更具体的示例，但是如本领域普通技术人员容易理解的，以下仅是说明性的而不是穷举列表：便携式计算机磁盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光学存储设备；磁存储装置；或前述的任何合适的组合。

所述指令可以形成有形地体现在处理器可读介质上的应用程序。

指令可以是在例如硬件、固件、软件或其组合中。指令可以在例如操作系统、单独的应用程序或两者的组合中找到。因此，处理器可以被表征为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备。此外，处理器可读介质可以存储由实现方式产生的数据值，其作为指令的补充或替代。

例如，可以以适当的硬件、软件和固件来实现装置。这样的装置的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“caves”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒、以及用于处理点云、视频或图像的任何其他设备或其他通信设备。应当清楚，该设备可以是移动的，甚至可以安装在移动车辆中。

计算机软件可以由处理器6010或由硬件实现，或者由硬件和软件的组合实现。作为非限制性示例，所述实施例还可以由一个或多个集成电路实现。存储器6020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。所述处理器6010可以是适合于技术环境的任何类型，并且作为非限制性示例，可以包含以下中的一者或多者：微处理器、通用计算机、专用计算机和基于多核架构的处理器。

如对于本领域普通技术人员将显而易见的，实现可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。所述格式化可以包括例如编码数据流和用所述编码数据流调制载波。所述信号携带的信息可以是例如模拟或数字信息。如已知的，所述信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。

本文所用的术语仅是为了描述特定实施例的目的，而不是旨在进行限制。如本文所用，单数形式“一”、“一个”和“该”也可旨在包括复数形式，除非上下文另有明确指示。还应当理解，术语“包括/包含includes/comprises()”和/或“包括/包含(including/comprising)”在本说明书中使用时可以指定所述的例如特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组合的存在或添加。此外，当元件被称为“响应”或“连接”到另一元件时，其可以直接响应或连接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其它元件时，不存在中间元件。

应当理解，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，符号/术语“/”、“和/或”和“至少一个”中的任意者的使用可以旨在仅包括第一列出的选项(A)的选择，或仅包括第二列出的选项(B)的选择，或包括两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。

在本申请中可以使用各种数值。具体值可以是例如目的，并且所描述的方面不限于这些具体值。

应当理解，尽管术语第一、第二等可以在这里用来描述各种元件，但是这些元件不受这些术语的限制。这些术语仅用于将一个元件与另一个元件区分。例如，在不脱离本申请的教导的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。在第一元件和第二元件之间不暗示顺序。

对“一个实施例”或“一实施例”或“一个实现”或“一实现”及其它变型的引用经常用于表达特定特征、结构、特性等(结合实施例/实现描述)包括在至少一个实施例/实现中。因此，在本申请中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个实现中”或“在一实现中”以及任何其他变型的出现不一定都指同一实施例。

类似地，本文中对“根据实施例/示例/实现”或“在实施例/示例/实现中”及其它变型的引用经常用于表达特定特征、结构或特性(结合该实施例/示例/实现描述的特定特征、结构或特性)可以被包括在至少一个实施例/示例/实现中。因此，在说明书中的各个地方出现的表述“根据实施例/示例/实现”或“在实施例/示例/实现中”不一定全部指代相同的实施例/示例/实现，也不一定是与其他实施例/示例/实现相互排斥的单独的或替代的实施例/示例/实现。

权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围具有限制作用。尽管没有明确描述，但是本发明的实施例/示例和变型可以以任何组合或子组合来采用。

当附图被呈现为流程图，但是应当理解，它还提供了相应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。

尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是应当理解，通信可以在与所描绘的箭头相反的方向上发生。

各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的点云帧(可能包括对一个或多个点云帧进行编码的接收到的比特流)执行的全部或部分过程，以便产生适合于显示或适合于在重构的点云域中进一步处理的最终输出。在各种实施例中，此类过程包括通常由基于图像的解码器执行的过程中的一者或多者。

作为进一步的示例，在一个实施例中，“解码”可以仅指熵解码，在另一个实施例中，“解码”可以仅指差分解码，并且在另一个实施例中，“解码”可以指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程，这基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。

各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入点云帧执行的以便产生编码的比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由基于图像的解码器执行的过程中的一者或多者。

作为进一步的示例，在一个实施例中，“编码”可以仅指熵编码，在另一个实施例中，“编码”可以仅指差分编码，并且在另一个实施例中，“编码”可以指差分编码和熵编码的组合。短语“编码过程”是旨在在具体地指代操作的子集还是一般地指代更广泛的编码过程，这基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。

注意，如本文所使用的语法元素(例如，标志oint_local_reconstruction_mode_present_flag)是描述性项。因此，它们不排除使用其它语法元素名称。

各种实施例涉及速率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。该速率失真优化通常可以被公式化为最小化速率失真函数，该函数是速率和失真的加权和。存在不同的方法来解决速率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，这其中包括所有考虑的模式或编码参数值，在编码和解码之后对它们的编码成本和重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。也可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其它编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任意者来执行优化，但是该优化不一定是对编码成本和相关失真两者的完整评估。

另外，本申请可以涉及“确定”各种信息。确定该信息可以包括以下中的一者或多者：例如，估计所述信息、计算所述信息、预测所述信息或从存储器检索所述信息。

此外，本申请可以涉及“访问”各种信息。访问该信息可以包括以下中的一者或多者：例如，接收所述信息、检索所述信息(例如，从存储器)、存储所述信息、移动所述信息、复制所述信息、计算所述信息、确定所述信息、预测所述信息或估计所述信息。

另外，本申请可以涉及“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收所述信息可以包括以下中的一者或多者：例如，访问所述信息或(例如从存储器)检索所述信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。

此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知特定的语法元素SE和/或PLRM元数据。这样，在一个实施例中，可以在编码器侧和解码器侧使用相同的参数(PLRM元数据)。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，则可以使用信令而不进行发送(隐式信令)，以简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。

已经描述了许多实现。然而，应当理解，可以进行各种修改。例如，不同实现的元素可以被组合、补充、修改或移除以产生其他实现。另外，本领域技术人员将理解，其他结构和过程可以替代所公开的那些，并且所得到的实现将以至少基本上相同的方式(一个或多个)执行至少基本上相同的功能(一个或多个)，以实现与所公开的实现至少基本上相同的结果(一个或多个)。因此，本申请考虑了这些和其他实现。

Claims

1.一种用于处理点云的方法，包括：对于表示点云的至少一个点到投影平面上的正交投影的至少一个面片，该至少一个面片与被分割成若干块的边界框相关联，且对于所述至少一个面片的所述边界框的每一块：

将第一语法元素添加到比特流，该第一语法元素指示与所述块相关联的PLRM元数据是否存在于所述比特流中；所述PRLM元数据包括用于重构所述点云的点的模式的至少一个参数；以及

响应于确定所述第一语法元素指示对于所述块而言，PLRM元数据存在于所述比特流内，将与所述块相关联的所述PLRM元数据添加到所述比特流。

2.根据权利要求1所述的方法，其中所述第一语法元素是标志。

3.根据权利要求1的方法，还包括：基于所述第一语法元素和所述PLRM元数据，编码点云的至少一个点。

4.根据权利要求1所述的方法，还包括：发送所述比特流。

5.一种用于处理点云的方法，包括：对于表示点云的至少一个点到投影平面上的正交投影的至少一个面片，该至少一个面片与被分割成若干块的边界框相关联，且对于所述至少一个面片的所述边界框的每一块：

访问第一语法元素，该第一语法元素指示与所述块相关联的PLRM元数据是否存在于比特流中；所述PRLM元数据包括用于重构所述点云的点的模式的至少一个参数；

响应于确定所述第一语法元素指示对于所述块而言，PLRM元数据存在于所述比特流内，从所述比特流访问与所述块相关联的所述PLRM元数据。

6.根据权利要求5所述的方法，其中所述第一语法元素是标志。

7.根据权利要求5所述的方法，进一步包括：基于所述第一语法元素和所述PLRM元数据，解码点云的至少一个点。

8.根据权利要求5所述的方法，还包括：接收所述比特流。

9.一种包括一个或多个处理器的装置，所述一个或多个处理器被配置为：对于表示点云的至少一个点到投影平面上的正交投影的至少一个面片，该至少一个面片与被分割成若干块的边界框相关联，且对于所述至少一个面片的所述边界框的每一块：

10.一种包括一个或多个处理器的装置，所述一个或多个处理器被配置为：对于表示点云的至少一个点到投影平面上的正交投影的至少一个面片，该至少一个面片与被分割成若干块的边界框相关联，且对于所述至少一个面片的所述边界框的每一块：

-访问第一语法元素，该第一语法元素指示与所述块相关联的PLRM元数据是否存在于比特流中；所述PRLM元数据包括用于重构所述点云的点的模式的至少一个参数；

-响应于确定所述第一语法元素指示对于所述块而言，PLRM元数据存在于所述比特流内，从所述比特流访问与所述块相关联的所述PLRM元数据。

11.根据权利要求10所述的装置，其中与所述块关联的所述PLRM元数据至少包括：指示用于所述块的所述模式是否使用点插值的一个第二语法元素、指示用于所述块的所述模式是否使用填充模式的一个第三语法元素、指示用于所述块的所述模式将使用的最小深度值减1的一个第四语法元素、以及指示用于所述块的所述模式将使用的2D邻域的大小减1的第五语法元素。

12.根据权利要求10所述的装置，其中所述第一语法元素在块级别处被用信号发送。

13.一种非暂时性计算机可读介质，其包含用于致使一或多个处理器执行以下操作的指令：对于表示点云的至少一个点到投影平面上的正交投影的至少一个面片，该至少一个面片与被分割成若干块的边界框相关联，且对于所述至少一个面片的所述边界框的每一块：

14.一种非暂时性计算机可读介质，其包含用于致使一或多个处理器执行以下操作的指令：对于表示点云的至少一个点到投影平面上的正交投影的至少一个面片，该至少一个面片与被分割成若干块的边界框相关联，且对于所述至少一个面片的所述边界框的每一块：