CN114503579A

CN114503579A - 使用中间样品的贴片对点云进行编码和解码

Info

Publication number: CN114503579A
Application number: CN202080069495.7A
Authority: CN
Inventors: P·安德里文; Y·奥利维尔; J-C·舍韦; D·金德伦
Original assignee: Interactive Digital Vc Holdings France Ltd
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2019-09-24
Filing date: 2020-09-15
Publication date: 2022-05-13
Also published as: AU2020354341A1; KR20220062556A; US20220345709A1; US20240114143A1; MX2022003201A; WO2021058315A1; JP2022549246A; US11895301B2; EP4035375A1

Abstract

本发明的至少一个实施方案涉及提供一种对正交投影的3D样品和中间3D样品的属性进行编码/解码的方法，其中信息指示通过根据第一属性编码模式对至少一个正交投影的3D样品的属性进行编码而获得的2D样品的至少一个第一属性贴片以及通过对至少一个中间3D样品的属性进行编码而获得的图像的2D样品的至少一个第二属性贴片是否存储在单独图像中。

Description

使用中间样品的贴片对点云进行编码和解码

技术领域

本实施方案中的至少一个大体上涉及一种点云的处理。确切地说，公开了对单独的视频流中/来自单独的视频流的3D样品的属性进行编码/解码。

背景技术

本部分旨在介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本实施方案中的至少一个的各个方面有关。此讨论被认为有助于向读者提供背景信息，以促进更好地理解至少一个实施方案的各个方面。

点云可用于各种目的，例如文化遗产/建筑物，其中雕塑或建筑物等物体以3D方式进行扫描，以便在不发送或访问其的情况下共享物体的空间配置。另外，这是一种确保保存物体的知识以防其被破坏的方式；举例来说，因地震而倒塌的寺庙。此类点云通常是静态的、着色的和巨大的。

另一种使用案例是在地貌和制图中，其中使用3d表示允许不限于平面的地图且可包含地形。谷歌地图现在是3D地图的良好实例，但其使用网格而不是点云。然而，点云可以是3D地图的合适数据格式，并且此类点云通常是静态的、着色的和巨大的。

汽车工业和自动驾驶汽车也是可以使用点云的领域。自动驾驶汽车应能够“探测”其环境，以基于其近邻的实际情况作出良好的驾驶决策。光检测和测距(LIDAR)等典型传感器产生由决策引擎使用的动态点云。这些点云不旨在由人类查看，并且它们通常较小，不一定是着色的，且在较高捕获频率下为动态的。这些点云可能具有其它属性，例如LIDAR提供的反射率，这是因为此属性提供关于所感测物体的材料的良好信息，且可能有助于作出决策。

最近，虚拟现实和沉浸式世界已成为热门话题，且许多人都预见到2D平面视频的未来。与观看者只能看到观看者面前的虚拟世界的标准TV相比，基本想法是使观看者沉浸在观看者周围的环境中。取决于观看者在环境中的自由度，沉浸感划分为若干等级。点云是用于分布虚拟现实(VR)世界的良好候选格式。

在许多应用中，重要的是能够通过仅消耗合理量的比特率(或存储应用的存储空间)将动态点云分布到终端用户(或将其存储在服务器中)，同时维持可接受(或优选地非常好)的体验质量。这些动态点云的高效压缩是关键点，以便使许多沉浸式世界的分布链实用。

考虑到前述内容，已经设计了至少一个实施方案。

发明内容

以下呈现本实施方案中的至少一个的简化概述，以便提供对本公开的一些方面的基本理解。本发明内容不是实施方案的广泛概述。不旨在识别实施方案的关键或重要元件。以下发明内容仅以简化形式呈现本实施方案中的至少一个的一些方面，作为对本文档中其它地方提供的更详细描述的前言。

根据至少一个实施方案的一般方面，提供了一种对正交投影的3D样品的属性进行编码的方法，其中所述正交投影的3D样品的属性被编码为图像的2D样本的至少一个第一属性贴片，并且沿着相同投影线位于两个正交投影的3D样品之间的中间3D样品的属性被编码为图像中的2D样品的至少一个第二属性贴片，其中所述方法包括对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行编码。

根据实施方案，视频流在一组图片级别、帧级别和贴片级别处进行分层结构化，所述信息在所述一组图片级别、帧级别、图集级别或贴片级别处是有效的。

根据实施方案，所述信息是指示2D样品的至少一个第一属性贴片是否存储在第一图像中或2D样品的所述至少一个第一属性贴片是否与2D样品的其它属性贴片一起存储在第二图像中的第一标记，以及指示2D样品的至少一个第二属性贴片是否存储在第三图像中或2D样品的所述至少一个第二属性贴片是否与2D样品的其它属性贴片一起存储在所述第二图像中的第二标记。

根据实施方案，所述方法进一步包括对指示如何压缩单独图像的另一信息进行编码。

根据至少一个实施方案的一般方面，提供了一种对3D样品的属性进行解码的方法，其中根据图像中2D样品的至少一个第二属性贴片对所述3D样品的属性进行解码，并且沿着相同投影线位于两个3D样品之间的中间3D样品的属性被解码为图像中的2D样品的至少一个第二属性贴片，其中所述方法包括对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行解码。

一个或多个实施方案还提供设备、比特流、计算机程序产品和非暂时性计算机可读介质。

根据以下结合附图对实例的描述，本实施方案中的至少一个以及本实施方案中的所述至少一个的其它目的、优点、特征和用途的特定性质将变得显而易见。

附图说明

在附图中示出了若干实施方案的实例。附图展示：

-图1示出根据本实施方案中的至少一个的基于两层的点云编码结构的实例的示意性框图；

-图2示出根据本实施方案中的至少一个的基于两层的点云解码结构的实例的示意性框图；

-图3示出根据本实施方案中的至少一个的基于图像的点云编码器的实例的示意性框图；

-图3a示出包括2个贴片和其2D边界框的画布的实例；

-图3b示出沿着投影线位于两个3D样品之间的中间3D样品的实例；

-图4示出根据本实施方案中的至少一个的基于图像的点云解码器的实例的示意性框图；

-图5示意性地示出根据本实施方案中的至少一个的表示基础层BL的比特流的语法的实例；

-图6示出在其中实施各种方面和实施方案的系统的实例的示意性框图；

-图7及图7a展示根据至少一个实施方案的用于对点云帧的正交3D样品进行编码的方法的流程图的实例；

-图8示出根据至少一个实施方案的嵌入信息INF的语法元素的实例；

具体实施方式

下文参考附图更全面地描述本实施方案中的至少一个，其中展示本实施方案中的至少一个的实例。然而，实施方案可以许多替代形式体现，并且不应被解释为限于本文中所阐述的实例。因此，应理解，不旨在将实施方案限于所公开的特定形式。相反，本公开旨在涵盖落入本申请的精神和范围内的所有修改、等效物和替代方案。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

图式的类似或相同元件用相同的附图标记引用。

一些图式表示在V-PCC中广泛使用的用于定义与V-PCC一致的比特流结构的语法表。在那些语法表中，术语‘...’表示与在V-PCC中给出的原始定义相关的语法的未改变部分，并在图式中移除所述未改变部分以便于阅读。图式中的粗体术语指示通过解析比特流获得所述术语的值。语法表的右列指示用于对语法元素的数据进行编码的位数。举例来说，u(4)指示用于对数据进行编码的4个位，u(8)指示8个位，ae(v)指示上下文自适应算术熵编码语法元素。

下文描述和设想的方面可以许多不同的形式实施。图1到图8在下文提供了一些实施方案，但是考虑了其它实施方案，并且图1到图8的论述并不限制实施方式的广度。

这些方面中的至少一个方面通常涉及点云编码和解码，并且至少一个其它方面通常涉及发射生成或编码的比特流。

更精确地，本文所描述的各种方法和其它方面可用于修改模块，例如，基于图像的编码器3000和解码器4000，如图1到图8所展示。

此外，本发明方面不限于MPEG标准，例如与点云压缩有关的MPEG-I第5部分，并且可应用于例如其它标准和建议，无论是预先存在的还是未来开发的，以及任何此类标准和建议(包含MPEG-I第5部分)的扩展。除非另有指示或技术上排除，否则本申请中所述的方面可单独使用或组合使用。

在下文中，图像数据参考数据，例如，在特定图像/视频格式中的2D样品的一个或若干阵列。特定图像/视频格式可以指定与图像(或视频)的像素值有关的信息。特定图像/视频格式还可以指定可以由显示器和/或任何其它设备使用以例如可视化和/或解码图像(或视频)的信息。图像通常包含呈样品的第一2D阵列的形状的第一组件，通常表示图像的亮度(luminance/luma)。图像还可包含呈样品的其它2D阵列的形状的第二组件和第三组件，通常表示图像的色度(chrominance/chroma)一些实施方案表示使用一组颜色样品的2D阵列(例如，传统三色RGB表示)的相同信息。

像素值在一个或多个实施方案中由C值表示，其中C是组件的数目。向量的每个值通常用可以限定像素值的动态范围的位数表示。

图像块意味着属于图像的一组像素。图像块(或图像块数据)的像素值是指属于此图像块的像素的值。图像块可具有任意形状，尽管矩形是常见的。

点云可以由3D体积空间内的3D样品的数据集表示，所述3D体积空间可具有唯一坐标且还可具有一个或多个属性。

3D样品可包括限定点云的3D点的几何形状的信息，所述点可由3D空间中的X、Y和Z坐标表示。其还可包括限定一个或多个相关联属性的信息，例如在RGB或YUV颜色空间中表示的颜色，例如，透明度、反射率、双组分法向量或表示此样品的特征的任何特征。举例来说，3D样品可包括限定6个组件(X，Y，Z，R，G，B)或等效地(X，Y，Z，y，U，V)的信息，其中(X，Y，Z)限定3D空间中的3D点的坐标，且(R，G，B)或(y，U，V)限定此3D点的颜色。相同类型的属性可以多次存在。举例来说，多个颜色属性可以从不同的视点提供颜色信息。

2D样品可包括限定正交投影的3D样品的几何形状的信息，所述正交投影的3D样品可由三个坐标(u，v，Z)表示，其中(u，v)是正交投影的3D的2D空间中的坐标，且Z是3D样品与所述3D样品正交投影到其上的投影平面之间的欧几里得距离。Z通常表示为深度值。3D样品还可包括限定一个或多个相关联属性的信息，例如在RGB或YUV颜色空间中表示的颜色，例如，透明度、反射率、双组分法向量或表示此正交投影的3D样品的特征的任何特征。

因此，2D样品可包括限定通过(u，v，Z，R，G，B)或等效地(u，v，Z，y，U，V)的正交投影的3D样品的几何形状和属性的信息。

点云可以是静态的或动态的，这取决于云是否相对于时间变化。静态点云或动态点云的实例通常表示为点云帧。应注意，在动态点云的情况下，点的数目通常不是恒定的，但相反，通常随时间变化。更一般地，如果任何事物(例如，点的数目、一个或多个点的位置或任何点的任何属性)随时间变化，则点云可被视为动态的。

图1示出根据本实施方案中的至少一个的基于两层的点云编码结构1000的实例的示意性框图。

基于两层的点云编码结构1000可提供表示输入点云帧IPCF的比特流B。可能地，所述输入点云帧IPCF表示动态点云的帧。接着，所述动态点云的帧可由基于两层的点云编码结构1000编码。

接着，可以通过将表示所述动态点云的每个帧的比特流一起组合来获得用于表示动态点云的视频流。

基本上，基于两层的点云编码结构1000可提供将比特流B结构化为基础层BL和增强层EL的能力。基础层BL可提供输入点云帧IPCF的有损表示，且增强层EL可通过对不由基础层BL表示的孤立点进行编码来提供更高的质量(可能无损)表示。

基础层BL可由基于图像的编码器3000提供，如图3所示。所述基于图像的编码器3000可提供表示输入点云帧IPCF的3D样品的几何形状/属性的几何形状/属性图像。其可允许丢弃孤立的3D样品。如图4所示，基础层BL可由基于图像的解码器4000解码，所述基于图像的解码器可提供中间重建点云帧IRPCF。

接着，回到图1中的基于两层的点云编码1000，比较器COMP可将输入点云帧IPCF的3D样品与中间重建点云帧IRPCF的3D样品进行比较，以便检测/定位缺失/孤立的3D样品。接下来，编码器ENC可对缺失的3D样品进行编码，且可提供增强层EL。最后，可以通过复用器MUX将基础层BL与增强层EL复用在一起，以便生成比特流B。

根据实施方案，编码器ENC可包括检测器，其可检测中间重建点云帧IRPCF的3D参考样品R并将其与缺失的3D样品M相关联。

举例来说，根据给定度量，与缺失的3D样品M相关联的3D参考样品R可以是其M的最近邻。

根据实施方案，编码器ENC可接着将缺失的3D样品M的空间位置及其属性编码为根据所述3D参考样品R的空间位置和属性确定的差异。

在变体中，那些差异可以单独地编码。

举例来说，对于缺失的3D样品M，空间坐标x(M)、y(M)和z(M)、x坐标位置差Dx(M)、y坐标位置差Dy(M)、z坐标位置差Dz(M)、R属性分量差Dr(M)、G属性分量差Dg(M)和B属性分量差Db(M)可如下进行计算：

Dx(M)＝x(M)-x(R)，

其中x(M)是3D样品M的x坐标，分别为由图3提供的几何图像中的R坐标，

Dy(M)＝y(M)-y(R)，

其中y(M)是3D样品M的y坐标，分别为由图3提供的几何图像中的R坐标，

Dz(M)＝z(M)-z(R)，

其中z(M)是3D样品M的z坐标，分别为由图3提供的几何图像中的R坐标，

Dr(M)＝R(M)-R(R)，

其中R(M)、R(R)分别为3D样品M的颜色属性的r颜色分量，分别为R，

Dg(M)＝G(M)-G(R)，

其中G(M)、G(R)分别为3D样品M的颜色属性的g颜色分量，分别为R，

Db(M)＝B(M)-B(R)，

其中B(M)、B(R)分别为3D样品M的颜色属性的b颜色分量，分别为R。

图2示出根据本实施方案中的至少一个的基于两层的点云解码结构2000的实例的示意性框图。

基于两层的点云解码结构2000的行为取决于其能力。

具有有限能力的基于两层的点云解码结构2000可以通过使用解复用器DMUX从比特流B仅存取基础层BL，且接着可以通过点云解码器4000对基础层BL进行解码来提供输入点云帧IPCF的忠实(但有损)版本的IRPCF，如图4所示。

具有完整能力的基于两层的点云解码结构2000可以通过使用解复用器DMUX从比特流B存取基础层BL和增强层EL两者。如图4所示，点云解码器4000可以根据基础层BL确定中间重建点云帧IRPCF。解码器DEC可以根据增强层EL确定互补点云帧CPCF。接着，组合器COMB可以将中间重建点云帧IRPCF与互补点云帧CPCF组合在一起，因此提供输入点云帧IPCF的更高质量(可能无损)表示(重建)CRPCF。

图3示出根据本实施方案中的至少一个的基于图像的点云编码器3000的实例的示意性框图。

基于图像的点云编码器3000利用现有视频编解码器来压缩使用不同视频流的输入动态点云的3D样品的几何形状和属性信息。

在特定实施方案中，可以使用现有视频编码器生成和压缩两个视频流，一个用于捕获输入点云的3D样品的几何信息，且另一个用于捕获这些3D样品的属性信息。现有视频编解码器的实例是HEVC主配置文件编码器/解码器(ITU-T H.265，ITU的电信标准化扇区，(2018年2月)，H系列：视听和多媒体系统、视听服务的基础设施-移动视频的编码、高效视频编码、建议ITU-TH.265)。

用于解释两个视频流的额外元数据通常也被单独地生成和压缩。此类额外元数据包含例如占据地图OM和/或辅助贴片信息PI。

接着可以将生成的视频流和元数据复用在一起以便生成组合的流。

应注意，元数据通常表示少量的整体信息。信息的大部分在视频流中。

此类点云编码/解码过程的实例由实施MPEG草案标准的测试模型类别2算法(也表示为V-PCC)给出，如ISO/IEC JTC1/SC29/WG11中所定义的信息技术-沉浸式介质的编码表示-部分5：基于视频的点云压缩，CD级，SCD_d39，ISO/IEC 23090-5。

在步骤3100中，通过使用提供最佳压缩的策略将输入点云帧的帧IPCF的3D样品正交投影到投影平面上的2D样品，模块PGM可以生成2D样品的至少一个贴片。

2D样品的贴片可以定义为共享共同特性的一组2D样品。

举例来说，在V-PCC中，首先对每个3D样品的法线进行估计，如例如霍普等人(胡格斯·霍普、托尼·德罗斯、汤姆·杜尚、约翰·麦克唐纳、沃纳·斯图兹尔：来自未组织点的表面重建。ACM SIGGR4PH 1992，Proceedings，第71-78页)所描述。接下来，通过将每个3D样品与包围3D样品的3D边界框的六个定向平面中的一个相关联来获得3D样品的初始聚类。更精确地，每个3D样品被聚类并且与具有最接近法线的定向平面相关联(即最大化点法线和平面发现的点积)。接着，3D样品正交投影到其相关联平面(投影平面)。在其平面中形成连接区域的一组3D样品被称为连接组件。因此，连接组件是具有相似法线和相同相关联的定向平面的一组至少一个3D样品。接着，通过基于每个3D样品的法线及其最近相邻样品的聚类迭代地更新与所述每个3D样品相关联的聚类，对初始聚类进行细化。最终步骤包括从每个连接组件生成2D样品的一个贴片，其通过将每个连接组件的3D样品投影到与所述连接组件相关联的定向平面上来完成。

接着，2D样品贴片的2D样品共享相同的法线和相同的定向平面，并且它们彼此紧密定位。

2D样品的贴片与辅助贴片信息PI相关联，所述辅助贴片信息表示用于解释2D样品的此贴片的2D样品的几何形状/属性的辅助贴片信息。

在V-PCC中，例如，辅助贴片信息PI包含：1)指示包围连接组件的3D样品的3D边界框的六个定向平面中的一个的信息；2)相对于平面法线的信息；3)确定连接组件相对于在深度、切向移位和双切向移位方面表示的贴片的3D位置的信息；以及4)限定包围贴片的2D边界框的投影平面中的坐标(u0，v0，u1，v1)等信息。

在步骤3200中，贴片填充模块PPM可以将2D样品的至少一个生成的贴片映射到2D网格(也表示为画布或图集)上，而不以通常使未使用空间最小化的方式重叠，并且可以保证2D网格的每个T×T(例如，16×16)块与唯一贴片相关联。2D网格的给定最小块大小T×T可以指定如在此2D网格上放置的2D样品的不同贴片之间的最小距离。2D网格分辨率可以取决于输入点云帧大小以及其宽度W和高度H，并且块大小T可以作为元数据发射到解码器。

辅助贴片信息PI可以进一步包含相对于2D网格的块与2D样品的贴片之间的关联的信息。

图3a示出包括2D样品的2个贴片P1和P2及其相关联的2D边界框B1和B2的画布C的实例。注意，两个边界框可以在画布C中重叠，如图3a所示。2D网格(画布的分割)仅在边界框内表示，但是画布的分割也发生在那些边界框之外。与贴片相关联的边界框可以分割成TxT块，通常T＝16。

含有属于2D样品贴片的2D样品的T×T块可以被认为是占据块。画布的每个占据块由占据地图OM中的特定像素值(例如，1)表示，且画布的每个未占据块由另一特定值(例如，0)表示。接着，占据地图OM的像素值可以指示画布的TxT块是否为占据的，即是否含有属于2D样品的贴片的至少一个2D样品。

在图3a中，占据块由白色块表示，且浅灰色块表示未占用块。图像生成过程(步骤3300和3400)利用在步骤3200期间计算的2D样品的至少一个生成的贴片到2D网格上的映射，以将3D样品的几何形状和属性存储为图像。

在步骤3300中，几何图像生成器GIG可以从2D样品的至少一个贴片、占据地图OM和辅助贴片信息PI生成至少一个几何图像GI。

几何图像GI可以表示2D样品的至少一个贴片的几何形状，并且可以是例如以YUV420-8位格式表示的WxH像素的单色图像。

几何图像生成器GIG可以利用占据地图信息，以便检测(定位)将2D样品的所述至少一个贴片限定在其上的2D网格的占据块，且因此检测(定位)几何图像GI中的非空像素。

为了更好地处理多个3D样品被投影(映射)到投影平面的相同坐标(沿着相同的投影方向线)的情况，可以生成多个层。因此，可获得不同的深度值D1、...、Dn并与2D样品的相同贴片的2D样品相关联。接着可以生成多个几何图像GI1、...、GIn，每个几何图像针对2D样品贴片的特定深度值。

在V-PCC中，贴片的2D样品可以投影到两个层上。第一层(也称为近层)可以存储例如与具有较小深度的2D样品相关联的深度值D0。称为远层的第二层可以存储例如与具有较大深度的2D样品相关联的深度值D1。

根据步骤3300的实施方案，根据规则几何编码模式RGCM对2D样品的至少一个贴片的几何形状(至少一个正交投影的3D点的几何形状)进行编码。规则几何编码模式RGCM根据2D样品的所述至少一个贴片的几何形状输出2D样品RG2DP的至少一个规则几何形状贴片。

根据实施方案，常规几何编码模式RGCM可以将与相对于层(第一层或第二层或两者)的2D样品贴片的2D样品相关联的深度值编码(导出)为亮度分量g(u，v)，所述亮度分量由下式给出：g(u，v)＝δ(u，v)-δ0。应注意，此关系可用于根据具有所附辅助贴片信息PI的重建几何图像g(u，v)来重建3d样品位置(δ0，s0，r0)。

根据步骤3300的实施方案，根据第一几何编码模式FGCM对2D样品的至少一个贴片的几何形状(至少一个正交投影的3D点的几何形状)进行编码。第一几何编码模式FGCM根据2D样品的所述至少一个贴片的几何形状输出2D样品的至少一个第一几何形状贴片FG2DP。

根据实施方案，第一几何编码模式FGCM直接将2D样品的所述至少一个贴片的2D样品的几何形状编码为几何图像的像素值。

举例来说，当几何形状由三个坐标(u，v，Z)表示时，接着使用图像的三个连续像素：一个用于编码u，另一个用于编码v，且另一个用于编码Z坐标。

根据步骤3300的实施方案，根据第二几何编码模式SGCM对至少一个中间3D样品的几何形状进行编码。第二几何编码模式SGCM根据所述至少一个中间3D样品的几何形状输出2D样品的至少一个第二几何形状贴片SG2DP。

中间3D样品可以沿着相同的投影线位于第一正交投影的3D样品与第二正交投影的3D样品之间。此中间3D样品以及所述第一正交投影的3D样品和第二正交投影的3D样品在投影平面上具有相同的坐标和不同的深度值。

在变体中，可以根据单个正交投影的3D样品和EOM码字的长度来限定中间3D样品。接着，“虚拟”第二正交投影的3D样品的深度值等于第一正交投影的3D样品的深度值加上EOM码字的所述长度值。第一正交投影的3D样品和“虚拟”正交投影的3D样品在投影平面上具有相同的坐标和不同的深度值。

可能地，EOM码字的长度嵌入比特流的语法元素中。

在下文中，中间3D样品将被视为位于第一正交投影的3D样品与第二正交投影的3D样品之间，即使在所述第二正交投影的3D样品是“虚拟的”情况下也是如此。

此外，所述中间3D样品的深度值大于第一正交投影的3D样品的深度值，且低于第二正交投影的3D样品的深度值。

多个中间3D样品可存在于第一正交投影的3D样品与第二正交投影的3D样品之间。因此，可以针对所述中间3D样品中的每一个设置码字的指定位，以指示中间3D样品是存在(还是不存在)于距两个正交投影的3D样品中的一个的特定距离处(在沿着投影线的特定空间位置处)。

图3b示出沿着投影线PL位于两个3D样品P0和P1之间的中间3D样品P_i1和P_i2的实例。3D样品P0和P1分别具有等于D0和D1的深度值。分别对应于两个中间3D样品P_i1和P_i2的深度值D_i1和D_i2大于D0且小于D1。

接着，沿着所述投影线的所有所述指定比特可被串联以形成码字，其在下文中表示为增强型占据地图(EOM)码字。如图3b所示，假设长度为8位的EOM码字，2位等于1，以指示两个3D样品的位置P_i1和P_i2的位置。

根据第二几何编码模式SGCM的实施方案，所有EOM码字被填充在一起以形成2D样品的至少一个第二几何形状贴片SG2DP。

2D样品的所述至少一个第二几何形状贴片SG2DP属于图像，并且所述图像中的像素的坐标指示中间3D样品的三个坐标中的两个(当那些像素参考EOM码字时)，并且那些像素的值指示这些中间3D样品的第三坐标。

根据实施方案，2D样品的所述至少一个第二几何形状贴片SG2DP属于占据地图OM。

在步骤3400中，属性图像生成器TIG可以根据2D样品的至少一个贴片、占据地图OM、辅助贴片信息PI和从至少一个经解码几何图像DGI导出的3D样品的几何形状、视频解码器VDEC的输出生成至少一个属性图像TI(图4中的步骤4200)。

属性图像TI可以表示3D样品的属性，并且可以是例如以YUV420-8位格式表示的WxH像素的图像。

属性图像生成器TG可以利用占据地图信息，以便检测(定位)将2D样品的所述至少一个贴片限定在其上的2D网格的占据块，且因此检测(定位)属性图像TI中的非空像素。

属性图像生成器TIG可以适于生成属性图像并使其与每个几何图像DGI相关联。

接着可以生成多个属性图像TI1、...、TIn，每个属性图像针对2D样品的贴片的特定深度值(针对每个几何图像)。

根据步骤3400的实施方案，根据常规属性编码模式RACM对2D样品的至少一个贴片的属性(正交投影的3D样品的属性)进行编码。常规属性编码模式RACM根据2D样品的所述至少一个贴片的属性输出2D样品的至少一个常规属性贴片RA2DP。

根据实施方案，常规属性编码模式RACM可以将与相对于第一层的2D样品的贴片的2D样品相关联的属性T0编码(存储)为第一属性图像TI0的像素值，并将与相对于第二层的2D样品的贴片的2D样品相关联的属性值T1编码(存储)为第二属性图像TI1的像素值。

替代地，属性图像生成模块TIG可以将与相对于第二层的2D样品的贴片的2D样品相关联的属性值T1编码(存储)为第一属性图像TI0的像素值，并将与相对于第一层的2D样品的贴片的2D样品相关联的属性值T0编码(存储)为第二属性图像TI1的像素值。

举例来说，可以如V-PCC的第2.2.3节、第2.2.4节、第2.2.5节、第2.2.8节或第2.5节中所描述来获得3D样品的颜色。

根据步骤3400的实施方案，根据第一属性编码模式FACM对2D样品的至少一个贴片的属性(正交投影的3D样品的属性)进行编码。第一属性编码模式FACM根据2D样品的所述至少一个贴片的属性输出2D样品的至少一个第一属性贴片FA2DP。

根据实施方案，第一属性编码模式FACM直接将2D样品的所述至少一个贴片的2D样品的属性编码为图像的像素值。

根据实施方案，2D样品的所述至少一个贴片属于属性图像。

举例来说，可以如V-PCC的第2.2.3节、第2.2.4节、第2.2.5节、第2.2.8节或第2.5节中所描述来获得正交投影的3D样品的属性。

根据步骤3400的实施方案，根据第二属性编码模式SACM对中间3D样品的属性进行编码。第二属性编码模式SACM根据所述至少一个中间3D样品的属性输出2D样品的至少一个第二属性贴片SA2DP。

中间3D样品的属性值不能直接存储为属性图像的像素值，这是因为那些像素的位置对应于已被用于存储其它2D样品的属性值的占据块，如图3b所示。

根据第二属性编码模式SACM的实施方案，中间3D样品中的属性值被填充在一起以形成2D样品的至少一个第二属性贴片。

根据实施方案，2D样品的所述至少一个第二属性贴片属于属性图像。

在V-PCC中，2D样品的所述至少一个第二属性贴片的位置按程序定义(V-PCC的第9.4.5节)。简而言之，此过程确定未占据块在属性图像中的位置，并将与中间3D样品相关联的属性值存储为属性图像的所述未占据块的像素值。这避免了占据块与2D样品的第二属性贴片之间的重叠。

在步骤3500中，视频编码器VENC可以对生成的图像/层TI和GI进行编码。

在步骤3600中，编码器OMENC可以将占据地图编码为图像，例如，在V-PCC的第2.2.2节中详细说明。可以使用有损或无损编码。

根据实施方案，视频编码器ENC和/或OMENC可以是基于HEVC的编码器。

在步骤3700中，编码器PIENC可以对辅助贴片信息PI和可能的额外元数据进行编码，所述可能的额外元数据例如为块大小T、几何/属性图像的宽度W和高度H。

根据实施方案，辅助贴片信息可以进行差分编码(如V-PCC的第2.4.1节中所定义)。

在步骤3800中，可以将复用器应用于步骤3500、3600和3700的生成的输出，且因此，这些输出可以被复用在一起以便生成表示基础层BL的组合流。应注意，元数据信息表示整体比特流的小部分。

编码器3000还可以用于对动态点云进行编码：接着迭代地对此点云的每个帧进行编码。接着针对每个帧生成至少一个几何图像(步骤3300)、至少一个属性图像(步骤3400)、占据地图(步骤3600)和辅助贴片信息(步骤3700)。接着，针对点云的所有帧生成的几何图像可以组合在一起以形成视频流，将属性图像组合在一起以形成另一视频流，并将占据地图组合在一起以形成另一视频流。可以添加辅助贴片信息以生成视频流，或者所有辅助贴片信息可被填充在一起以形成另一视频流。所有这些视频流可接着被复用(步骤3800)以形成单个比特流BL。

图4示出根据本实施方案中的至少一个的基于图像的点云解码器4000的实例的示意性框图。

解码器4000可以用于根据包括多个图像流(至少一个几何图像流、至少一个属性图像流、占据地图流和辅助贴片信息图像流)的比特流对点云帧进行解码。但是，其还可以用于对包括多个帧的动态点云进行解码。在这种情况下，通过从嵌入在比特流中的视频流(几何视频流、属性视频流、占据视频流、辅助贴片信息视频流)中提取信息来对动态点云中的每个帧进行解码。

在步骤4100中，解复用器DMUX可以应用于对表示基础层BL的比特流的经编码信息进行解复用。

在步骤4200中，相对于点云帧的3D样品的解码，视频解码器VDEC可以对经编码信息进行解码以导出至少一个经解码几何图像DGI和至少一个经解码属性图像DTI。

在步骤4300中，解码器OMDEC可以对经编码信息进行解码，以相对于对3D样品进行解码来导出经解码的占据地图DOM。

根据实施方案，视频解码器VDEC和/或OMDEC可以是基于HEVC的解码器。

在步骤4400中，相对于3D样品的解码，解码器PIDEC可以对经编码信息进行解码以导出辅助贴片信息DPI。

可能地，元数据也可以从比特流BL导出。

在步骤4500中，几何生成模块GGM可以从至少一个经解码几何图像DGI、经解码的占据地图DOM、经解码的辅助贴片信息DPI和可能的额外元数据中导出点云帧IRPCF的3D样品的几何RG。

几何生成模块GGM可以利用经解码的占据地图信息DOM，以便在至少一个经解码几何图像DGI中定位非空像素。

如上所述，取决于经解码占据信息DOM的像素值和D1-D0的值，所述非空像素属于占据块或EOM参考块。

根据步骤4500的实施方案，当所述非空像素属于占据块时，根据常规几何解码模式RGDM对3D样品的几何形状进行解码。

根据实施方案，常规几何解码模式RGDM从非空像素的坐标、至少一个经解码几何图像DGI中的一个的所述非空像素的值、经解码辅助贴片信息以及可能从额外元数据中导出3D样品的3D坐标。

非空像素的使用基于与3D样品的2D像素关系。举例来说，在V-PCC中的所述投影的情况下，重建的3D样品的3D坐标可以根据深度δ(u，v)、切向移位s(u，v)和双向移位r(u，v)表示，如下：

δ(u，v)＝δ0+g(u，v)

s(u，v)＝s0-u0+u

r(u，v)＝r0-v0+v

其中g(u，v)是经解码几何图像DGI的亮度分量，(u，v)是与重建的3D样品相关联的像素，(δ0，s0，r0)是重建的3D样品所属的连接组件的3D位置，且(u0，v0，ul，v1)是限定包围与所述连接组件相关联的贴片的投影的2D边界框的投影平面中的坐标。

根据步骤4500的实施方案，根据第一几何解码模式FGDM对3D样品的几何形状进行解码。

根据实施方案，第一几何解码模式FGDM根据经解码几何图像DGI的像素值直接对3D样品的几何形状进行解码。

举例来说，当几何形状由三个坐标(u，v，Z)表示时，接着使用图像的三个连续像素：u坐标等于几何图像的一个像素的值，v坐标等于几何图像的另一像素的值，且Z坐标等于几何图像的另一像素的值。

根据步骤4500的实施方案，根据第二几何解码模式SGDM对至少一个中间3D样品的几何形状进行解码。

根据实施方案，第二几何编码模式SGCM可以从非空像素的坐标中导出中间3D样品的两个3D坐标，并且从EOM码字的比特值中导出第三3D坐标。

举例来说，根据图3b的实例，EOM码字EOMC用于确定中间3D样品P_i1和P_i2的3D坐标。中间3D样品PP_i1的第三坐标可以例如从D0通过D_i1＝D0+3导出，且重建3D样品P_i2的第三坐标可以例如从D0通过D_i2＝D0+5导出。偏移值(3或5)是沿着投影线在D0与D1之间的间隔的数目。

在步骤4600中，属性生成模块TGM可以从所述3D样品的几何RG和至少一个经解码属性图像DTI导出重建点云帧IRPCF的3D样品的属性。

根据步骤4600的实施方案，根据常规属性解码模式RADM对其几何形状由常规几何形状解码模式RGDM解码的3D样品的属性进行解码。第一属性解码模式RADM可以根据属性图像的像素值对3D样品的属性进行解码。

根据步骤4600的实施方案，根据第一属性解码模式FADM对其几何形状由第一几何形状解码模式FGDM解码的3D样品的属性进行解码。第一属性解码模式FADM可以根据属性图像的像素值对3D样品的属性进行解码。

根据步骤4600的实施方案，根据第二属性解码模式SADM对中间3D样品的属性进行解码。

根据实施方案，第二属性解码模式SADM可以从2D样品的第二属性贴片SA2DP导出中间3D样品的属性。

在V-PCC中，2D样品的所述至少一个第二属性贴片的位置按程序定义(V-PCC的第9.4.10节)。简而言之，此过程确定未占据块在属性图像中的位置，并从属性图像的所述未占据块的像素值导出与中间3D样品相关联的属性值。

图5示意性地示出根据本实施方案中的至少一个的表示基础层BL的比特流的实例语法。

比特流包括比特流标头SH和至少一个帧流组GOFS。

帧流组GOFS包括标头HS、表示占据地图OM的至少一个语法元素OMS、表示至少一个几何图像(或视频)的至少一个语法元素GVS、表示至少一个属性图像(或视频)的至少一个语法元素TVS和表示辅助贴片信息和其它额外元数据的至少一个语法元素PIS。

在变体中，帧流组GOFS包括至少一个帧流。

图6展示说明在其中实施各种方面和实施方案的系统的实例的示意性框图。

系统6000可体现为包含下文所描述的各种组件的一个或多个装置，且被配置为执行本文档中所描述方面中的一个或多个。可以形成系统6000的全部或部分的设备的实例包含个人计算机、膝上型计算机、智能手机、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器、连接的车辆及其相关联的处理系统、头戴式显示装置(HMD、透视眼镜)、投影仪(射束器)、“洞穴式显示器”(包含多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器、视频编码器、网络服务器、机顶盒提供输入的预处理器以及用于处理点云、视频或图像的任何其它装置，或其它通信装置。系统6000的元件可单独地或组合地体现在单个集成电路、多个IC和/或分立组件中。举例来说，在至少一个实施方案中，系统6000的处理和编码器/解码器元件可以跨多个IC和/或分立组件分布。在各种实施方案中，系统6000可以经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其它类似系统或其它电子装置。在各种实施方案中，系统6000可被配置为实施本文档中所描述的方面中的一个或多个。

系统6000可包含至少一个处理器6010，所述至少一个处理器被配置为执行加载到其中的指令，以用于实施方案如本文档中所描述的各个方面。处理器6010可包含嵌入式存储器、输入输出接口和如本领域所已知的各种其它电路。系统6000可包含至少一个存储器6020(例如，易失性存储器装置和/或非易失性存储器装置)。系统6000可包含存储装置6040，所述存储装置可包含非易失性存储器和/或易失性存储器，包含但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、快闪、磁盘驱动器和/或光盘驱动器。作为非限制性实例，存储装置6040可包含内部存储装置、附接存储装置和/或网络可存取的存储装置。

系统6000可包含编码器/解码器模块6030，所述编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块6030可包含其自身的处理器和存储器。编码器/解码器模块6030可表示可被包含在装置中以执行编码功能和/或解码功能的模块。众所周知，装置可包含编码模块和解码模块中的一者或两者。另外，编码器/解码器模块6030可被实施为系统6000的单独元件，或可被结合在处理器6010内作为本领域技术人员已知的硬件和软件的组合。

要加载到处理器6010或编码器/解码器6030上以执行本文档中所述的各种方面的程序代码可存储在存储设备6040中，并且随后加载到存储器6020上以供处理器6010执行。根据各种实施方案，处理器6010、存储器6020、存储设备6040和编码器/解码器模块6030中的一者或多者可在本文档中所描述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包含但不限于点云帧、经编码/经解码几何形状/属性视频/图像或经编码/经解码几何形状/属性视频/图像的部分、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在若干实施方案中，处理器6010和/或编码器/解码器模块6030内部的存储器可用于存储指令并且提供用于在编码或解码期间可执行的用于处理的工作存储器。

然而，在其它实施方案中，在处理装置外部的存储器(例如，处理装置可为处理器6010或编码器/解码器模块6030)可用于这些功能中的一个或多个功能。外部存储器可为存储器6020和/或存储装置6040，例如动态易失性存储器和/或非易失性快闪存储器。在若干实施方案中，外部非易失性快闪存储器可用于存储电视的操作系统。在至少一个实施方案中，例如RAM的快速外部动态易失性存储器可以用作视频编码和解码操作的工作存储器，例如用于MPEG-2部分2(也称为ITU-T建议H.262和ISO/IEC 13818-2，也称为MPEG-2视频)、高效视频编码(HEVC)或多功能视频编码(VVC)。

如块6130所指示，可通过各种输入装置提供对系统6000的元件的输入。此类输入装置包含但不限于：(i)可接收例如由广播器通过空中

发射的RF信号的RF部分，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。

在各种实施方案中，块6130的输入装置具有如本领域已知的相关联的相应输入处理元件。举例来说，RF部分可与以下项所需的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分可包含用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包含执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。

在一个顶部盒实施方案中，RF部分和其相关联的输入处理元件可以接收通过有线(例如，电缆)介质传输的RF信号。接着，RF部分可以通过过滤、向下转换和再次过滤到所要频带来执行频率选择。

各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。

添加元素可包括在现有元素之间插入元素，例如，插入放大器和模数变换器。在各种实施方案中，RF部分可包含天线。

另外，USB和/或HDMI端子可包含用于跨USB和/或HDMI连接将系统6000连接到其他电子设备的相应接口处理器。应理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要在例如单独的输入处理IC内或在处理器6010内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器6010内实施。可以将解调流、纠错流和解复用流提供给各种处理元件，包含例如与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上的处理器6010以及编码器/解码器6030。

系统6000的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置6140(例如，本领域已知的内部总线，包含I2C总线、布线和印刷电路板)互连并且在这些元件之间传输数据。

系统6000可包含能够经由通信信道6060与其它装置通信的通信接口6050。通信接口6050可包含但不限于被配置为通过通信信道6060发射和接收数据的收发器。通信接口6050可包含但不限于调制解调器或网卡，并且通信信道6060可例如在有线和/或无线介质内实施。

在各种实施方案中，使用诸如IEEE 802.11等Wi-Fi网络可将数据流式传输到系统6000。这些实施方案的Wi-Fi信号可通过适于Wi-Fi通信的通信信道6060和通信接口6050来接收。这些实施方案的通信信道6060通常可以连接到接入点或路由器，所述接入点或路由器提供对包含互联网的外部网络的接入，以允许流式应用和其他跨顶通信。

其它实施方案可使用机顶盒向系统6000提供流式数据，所述机顶盒通过输入块6130的HDMI连接递送数据。

还有其它实施方案可使用输入块6130的RF连接向系统6000提供流式数据。

流式传输数据可以用作系统5000使用的发送信令信息的方式。信令信息可以包括上文所解释的信息INF。

应当理解，信令可以多种方式实现。举例来说，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知到对应解码器。

系统6000可以向各种输出装置(包含显示器6100、扬声器6110和其他外围设备6120)提供输出信号。在实施方案的各种实例中，其它外围设备6120可包含独立DVR、磁盘播放器、立体系统、照明系统和基于系统3000的输出提供功能的其它设备中的一个或多个。

在各种实施方案中，可以使用诸如音频/视频链接(AV.Link)、消费电子控制(CEC)或能够在有或无用户干预的情况下进行装置到装置控制的其它通信协议的信令在系统6000与显示器6100、扬声器6110或其他外围设备6120之间传送控制信号。

输出装置可通过相应的接口6070、6080和6090经由专用连接通信地耦接到系统6000。

另选地，输出装置可使用通信信道6060经由通信接口6050连接到系统6000。显示器6100和扬声器6110可与电子装置(例如，电视)中的系统6000的其它组件集成在单个单元中。

在各种实施方案中，显示接口6070可包含显示驱动器，诸如例如定时控制器(TCon)芯片。

另选地，如果输入6130的RF部分是单独机顶盒的一部分，则显示器6100和扬声器6110可选地与其它组件中的一个或多个组件分开。在显示器6100和扬声器6110可以是外部组件的各种实施方案中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供。

在V-PCC中，2D样品的常规几何形状贴片和2D样品的第一几何形状贴片存储在几何图像GI中，2D样品的第二几何形状贴片存储在占据地图OM中，并且2D样品的常规、第一和第二属性贴片存储在由语法元素指示的位置处的属性图像TI中。

在相同的视频流中将2D样品的常规、第一和第二属性贴片存储在一起可具有仅需要一个视频编码器/解码器以用于对3D样品的属性信息进行编码/解码的优点。

通过设计，常规、第一和第二几何形状/属性编码模式对不同需求作出响应。因此，其属性格式、扫描顺序、大小和形状不同。因此，减少信息(或编码(encode/code)/压缩)的方式可能需要不同的方法，尤其是当涉及减少空间“内部”冗余时。此外，可能感兴趣的是使用无损视频编码器对3D样品(EOM码字)的几何形状/属性进行编码，而通常通过使用第一几何形状/属性编码模式进行编码的稀疏3D样品(某种不太表示典型点云场景的焦点)的几何形状/属性可根据应用而经历有损编码，或反之亦然。

因此，对3D样品的几何形状/属性进行编码需要这些常规、第一和第二编码模式两者，这些编码模式需要特定(不常见)的成型视频编解码器，包含适于这两种编码模式中的每一个的过程，以及用于向解码器指示这些编码模式中的哪些必须用于对3D样品的几何形状和属性进行解码的额外信令。

因此，允许使用多种编码模式对点云帧的3D样品进行编码可能会影响性能(造成编码器/解码器的复杂性和带宽的减少)。

一般而言，本实施方案中的至少一个提供一种对正交投影的3D样品和中间3D样品的属性进行编码的方法，其中信息INF指示通过根据第一属性编码模式对所述至少一个正交投影的3D样品的属性进行编码而获得的2D样品的至少一个第一属性贴片以及通过对至少一个中间3D样品的属性进行编码而获得的图像的2D样品的至少一个第二属性贴片是否存储在单独图像中。

单独图像可以意指在同一视频流中但在不同时刻的图像，或不同视频流的图像(其不属于同一视频流)。

信息INF允许在视频编解码器的使用方面具有更大的灵活性，并且还允许更好的压缩性能，这是因为视频编解码器可以针对对正交3D样品或中间3D样品的属性进行编码来进行调整。接着，调整视频编解码器可以考虑这些3D样品属性的特性和/或满足应用约束和要求。举例来说，2D样品的第一和/或第二属性贴片可根据应用或解码器/渲染器能力被丢弃(例如，一些3D样品可能对在小型显示器上渲染的点云没有帮助且可能具有用于解码的相关联低端SoC)。

此外，存储那些属性的视频流可以并行处理。

图7展示根据至少一个实施方案的用于对点云帧的正交3D样品进行编码的方法的流程图的实例。

在步骤710中，可以将信息INF设置为第一特定值(例如，1)，以指示2D样品的至少一个第一属性贴片FA2DP(步骤3400)和2D样品的至少一个第二属性贴片SA2DP(步骤3400)存储在单独图像中。还可以将信息INF设置为第二特定值(例如，0)，以指示2D样品的所述至少一个第一属性贴片FA2DP和2D样品的所述至少一个第二属性贴片SA2DP存储在相同图像中。

当信息INF等于所述第一特定值时，接着在步骤720中，将2D样品的所述至少一个第一属性贴片FA2DP存储在第一图像FAI中，且将2D样品的所述至少一个第二属性贴片SA2DP存储在第二图像SAI中。

当信息INF等于所述第二特定值时，接着在步骤730中，将2D样品的所述至少一个第一属性贴片FA2DP和2D样品的所述至少一个第二属性贴片SA2DP存储在相同图像AI中。

根据实施方案，如图7a所示，信息INF包括第一二进制标记F1和第二二进制标记F2。

在步骤740中，可以将第一标记F1设置为第一特定值(例如，1)，以指示2D样品的至少一个第一属性贴片FA2DP(步骤3400)存储在第一图像FA1中，且可以将所述第一标记设置为第二特定值(例如，0)，以指示2D样品的至少一个第一属性贴片FA2DP(步骤3400)存储在图像AI中。

在步骤750中，可以将第二标记F2设置为第一特定值(例如，1)，以指示2D样品的至少一个第二属性贴片SA2DP(步骤3400)存储在第二图像FA2中，且可以将所述第二标记设置为第二特定值(例如，0)，以指示2D样品的至少一个第二属性贴片FA2DP(步骤3400)存储在图像AI中。

当第一标记FA和第二标记F2等于1时，2D样品的第一属性贴片和第二属性贴片FA2DP和SA2DP存储在单独图像中。

当第一标记F1等于0且第二标记F2等于1时，2D样品的第一属性贴片FA2DP和常规属性2D贴片RA2DP存储在相同图像中，且2D样品的第二属性贴片SA2DP存储在单独图像中。

当第一标记F1等于1且第二标记F2等于0时，2D样品的第二属性贴片SA2DP和常规属性2D贴片RA2DP存储在相同图像中，且2D样品的第一属性贴片FA2DP存储在单独图像中。

当第一标记FA和第二标记F2等于0时，2D样品的第一属性贴片和第二属性贴片FA2DP和SA2DP存储在相同图像中。

根据变体，信息INF在一组图片级别、帧/图集级别或贴片级别处是有效的。

根据变体，在比特流中添加语法元素以识别用于压缩携带2D样品的第二属性贴片的视频流的视频编解码器。

此编解码器可以通过组件编解码器映射SEI消息或通过V-PCC规格之外的手段来识别。

此类表示为ai_eom_attribute_codec_id[atlas_id]的语法元素可以有条件地添加到属性信息语法结构，直到添加到另一语法元素的特定值，例如图8的语法元素vpcc_eom_patch_separate_video_present_flag标记。

图8示出根据至少一个实施方案的嵌入信息INF的语法元素vpcc_eom_patch_separate_video_present_flag的实例。

语法元素vpcc_eom_patch_separate_video_present_flag可以在参数集中编码，例如序列参数集(SPS)、图集序列参数集(ASPS)或图片参数集(PPS)。

图8的元素具有以下语义：

vpcc_eom_patch_separate_video_present_flag刚等于1，以指示具有索引j的2D样品的第二属性贴片可以存储在单独的视频流中。

vpcc_eom_patch_separate_video_present_flag[j]等于0，以指示具有索引j的2D样品的第二属性贴片不应存储在单独的视频流中。

当vpcc_eom_patch_separate_video_present_flag[j]不存在时，推断其等于0。

epdu_patch_in_eom_video_flag[p]指定与帧内和帧间的经编码贴片的那些属性数据相比，与在当前图集图块组中具有索引p的2D样品的第二属性贴片相关联的属性数据是否在单独视频中进行编码。如果epdu_patch_in_eom_video_flag[p]等于0，与当前图集图块组中的具有索引j的2D样品的第二属性贴片相关联的属性数据在与帧内和帧间经编码贴片的那些属性数据相同的视频中进行编码。如果epdu_patch_in_eom_video_flag[p]等于1，与当前图集图块组中的具有索引j的2D样品的第二属性贴片相关联的属性数据在与帧内和帧间经编码贴片的那些属性数据不同的视频中进行编码。如果epdu_patch_in_eom_video_flag[p]不存在，则其值应被推断为等于0。

在变体中，语法元素vpcc_eom_patch_separate_video_present_flag[j]对于2D样品的第一属性贴片和第二属性贴片可以是常见的。

接着，当vpcc_separate_video_present_flag[j]等于1时，指示对于具有索引j的图集，2D样品的第二属性贴片、2D样品的第一属性贴片和2D样品的第一几何形状贴片可以存储在单独图像(单独视频流)。

当vpcc_separate_video_present_flag[j]等于0时，指示对于具有索引j的图集，2D样品的第二属性贴片、2D样品的第一属性贴片和2D样品的第一几何形状贴片不应存储在单独的视频流中。

当vpcc_separate_video_present_flag[j]不存在时，推断其等于0。

在图1到图8中，本文描述了各种方法，并且每种方法包含用于实现所描述方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。

关于框图和操作流程图描述一些实例。每个块表示电路元件、模块或代码部分，其包含一个或多个用于实施指定逻辑功能的可执行指令。还应当指出的是，在其它实施中，块中标注的功能可能不按所指示的顺序出现。举例来说，连续展示的两个块实际上可基本上同时执行，或者这些块有时可根据所涉及的功能性以相反的顺序执行。

本文所述的实施和方面可在例如方法或过程、设备、计算机程序、数据流、比特流或信号中实施。即使仅在单个形式的实施的上下文中论述(例如，仅作为方法论述)，所论述的特征的实施也可以其它形式(例如，设备或计算机程序)实施。

这些方法可在例如处理器中实现，该处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包含通信装置。

另外，方法可以通过由处理器执行的指令来实施，并且此类指令(和/或由实施产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采取计算机可读程序产品的形式，所述计算机可读程序产品以一个或多个计算机可读介质体现，且其上体现可由计算机执行的计算机可读程序代码。鉴于在其中存储信息的固有能力以及从中检索信息的固有能力，本文所使用的计算机可读存储介质可以被视为非暂时性存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置，或前述的任何合适的组合。应理解，在提供可应用本实施方案的计算机可读存储介质的更特定实例的同时，以下内容仅仅是说明性的，而不是本领域普通技术人员容易理解的详尽列表：便携式计算机软盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或快闪存储器)；便携式光盘只读存储器(CD-ROM)；光学存储装置；磁性存储装置；或前述的任何合适的组合。

指令可以形成应用程序，所述应用程序在处理器可读介质上有形地体现。

指令可以是例如硬件、固件、软件或组合。指令可以在例如操作系统、单独应用程序或两者的组合中发现。因此，处理器可以被表征为例如被配置成执行过程的装置和包含具有用于执行过程的指令的处理器可读介质的装置(例如，存储装置)两者。此外，除了或代替指令，处理器可读介质可以存储由实施产生的数据值。

装置可在例如适当的硬件、软件和固件中实现。此类设备的实例包含个人计算机、膝上型计算机、智能手机、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(射束器)、“洞穴式显示器”(包含多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器、视频编码器、网络服务器、机顶盒提供输入的预处理器以及用于处理点云、视频或图像的任何其它装置，或其它通信装置。应当清楚的是，设备可以是移动的，且甚至可以安装在移动车辆中。

计算机软件可通过处理器6010或通过硬件或通过硬件和软件的组合来实施。作为非限制性实例，实施方案可由一个或多个集成电路实施。存储器6020可为适合技术环境的任何类型，并且作为非限制性实例，可使用任何适当的数据存储技术来实施，例如光学存储器装置、磁性存储器装置、基于半导体的存储器装置、固定存储器和可移动存储器。处理器6010可为适合技术环境的任何类型，并且作为非限制性实例，可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。此类信号可格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且使用经编码的数据流调制载体。信号携带的信息可为例如模拟或数字信息。如已知的，信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上。

本文所使用的术语仅用于描述特定实施方案的目的，且并非旨在进行限制。如本文所使用，除非上下文另外明确指出，否则单数形式“一(a/an)”和“所述(the)”也可以旨在包含复数形式。应进一步理解，当用于本说明书时，术语“包含/包括(includes/comprises)”和/或“包含/包括(including/comprising)”可以指定所陈述的存在，例如特征、整数、步骤、操作、元件和/或组件，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。此外，当元件被称为“响应”或“连接”到另一元件时，其可以直接响应或连接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其它元件时，不存在中间元件。

应理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用符号/术语“/”、“和/或”和“至少一种”中的任一种可旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

在本申请中可使用各种数值。特定值可例如出于实例目的，并且所描述方面不限于这些特定值。

应理解，尽管本文可使用术语第一、第二等等来描述各种元件，但这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。举例来说，第一元件可以被称为第二元件，并且类似地，在不脱离本申请的教示的情况下，第二元件可以被称为第一元件。在第一元件与第二元件之间没有暗示排序。

对“一个实施方案”或“实施方案”或“一个实施”或“实施”以及它们的其它变体的参考被频繁用于传达结合实施方案/实施描述的特定特征、结构、特性等包含在至少一个实施方案/实施中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

类似地，本文中对“根据实施方案/实例/实施”或“在实施方案/实例/实施中”以及其其它变体的参考被频繁用于传达(结合实施方案/实例/实施描述的)特定特征、结构或特性可以包含在至少一个实施方案/实例/实施中。因此，出现在说明书中各个地方的表达“根据实施方案/实例/实施”或“在实施方案/实例/实施中”不一定都指相同的实施方案/实例/实施，单独的或替代的实施方案/实例/实施也不一定与其它实施方案/实例/实施相互排斥。

在权利要求书中出现的参考标号仅用于说明，并且不应对权利要求书的范围具有限制作用。虽然未明确描述，但本发明的实施方案/实例可以任何组合或子组合采用。

当图示呈现为流程图时，应理解，其还提供了对应设备的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

尽管一些图包含通信路径上的箭头，以展示通信的主要方向，但应理解，通信可以在与所描绘箭头相反的方向上发生。

各种具体实施参与解码。如本申请中使用的“解码”可以涵盖例如在所接收的点云帧(包含对一个或多个点云帧进行编码的可能的所接收比特流)上执行的所有或部分过程，以便产生适合于显示或适合于在重建点云域中执行进一步处理的最终输出。在各种实施方案中，此类过程包含通常由基于图像的解码器执行的一个或多个过程。在各种实施方案中，此类过程还包含或替代地包含由本申请中所描述的各种实施的解码器执行的过程。

作为进一步的实例，在一个实施方案中，“解码”可仅指熵解码，在另一实施方案中，“解码”可仅指差分解码，并且在又一实施方案中，“解码”可指熵解码和差分解码的组合。短语“解码过程”可以是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上文关于“解码”的论述类似的方式，如在本申请中使用的“编码”可涵盖例如对输入点云帧执行以便产生经编码比特流的全部或部分过程。在各种实施方案中，此类过程包含通常由基于图像的解码器执行的一个或多个过程。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的编码器执行的过程。

作为进一步的实例，在一个实施方案中，“编码”可仅指熵编码，在另一实施方案中，“编码”可仅指差分编码，并且在又一实施方案中，“编码”可指差分编码和熵编码的组合。短语“编码过程”可以是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化可以通常表述为最小化速率失真函数，所述速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，例如通过仅针对一些可能的编码选项使用近似失真，并且针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、(例如，从存储器)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如(例如，从存储器)访问信息或检索信息中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。举例来说，在某些实施方案中，编码器向特定信息INF发送信号，所述特定信息可由语法元素vpcc_eom_patch_separate_video_present_flag携带。以此方式，在实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他参数，则可在不传输(隐式信令)的情况下使用信令，以简单地允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以多种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词“signal(发信号通知)”的动词形式，但是词“signal(信号)”在本文也可用作名词。

已描述了多个实施。然而，应理解，可进行各种修改。举例来说，可以组合、补充、修改或移除不同实施的元件以产生其它实施。另外，普通技术人员将理解，可以用其它结构和过程代替所公开的那些结构和过程，并且所得实施将以至少基本上相同的方式执行至少基本上相同的功能，以实现至少基本上与所公开的实施相同的结果。因此，本申请考虑了这些和其它实施。

Claims

1.一种包括对正交投影的3D样品的属性进行编码的方法，其中所述正交投影的3D样品的属性被编码为图像的2D样品的至少一个第一属性贴片，并且沿着相同投影线位于两个正交投影的3D样品之间的中间3D样品的属性被编码为图像中的2D样品的至少一个第二属性贴片，其中对所述正交投影的3D样品的属性进行编码包括对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行编码。

2.根据权利要求1所述的方法，其中视频流在一组图片级别、帧级别和贴片级别处进行分层结构化，所述信息在所述一组图片级别、帧级别、图集级别或贴片级别处是有效的。

3.根据权利要求1或2所述的方法，其中所述信息包括指示2D样品的至少一个第一属性贴片是否存储在第一图像中或2D样品的所述至少一个第一属性贴片是否与2D样品的其它属性贴片一起存储在第二图像中的第一标记，以及指示2D样品的至少一个第二属性贴片是否存储在第三图像中或2D样品的所述至少一个第二属性贴片是否与2D样品的其它属性贴片一起存储在所述第二图像中的第二标记。

4.根据权利要求1至3中任一项所述的方法，其中所述方法进一步包括对指示如何压缩单独图像的另一信息进行编码。

5.一种包括对3D样品的属性进行解码的方法，其中根据图像的2D样品的至少一个第一属性贴片对所述3D样品的属性进行解码，并且沿着相同投影线位于两个3D样品之间的中间3D样品的属性被解码为图像中2D样品的至少一个第二属性贴片，其中对3D样品的属性进行解码包括对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行解码。

6.根据权利要求5所述的方法，其中视频流在一组图片级别、帧级别和贴片级别处进行分层结构化，所述信息在所述一组图片级别、帧级别、图集级别或贴片级别处是有效的。

7.根据权利要求5或6所述的方法，其中所述信息包括指示2D样品的至少一个第一属性贴片是否存储在第一图像中或2D样品的所述至少一个第一属性贴片是否与2D样品的其它属性贴片一起存储在第二图像中的第一标记，以及指示2D样品的至少一个第二属性贴片是否存储在第三图像中或2D样品的所述至少一个第二属性贴片是否与2D样品的其它属性贴片一起存储在所述第二图像中的第二标记。

8.根据权利要求5至7中任一项所述的方法，其中所述方法进一步包括对指示如何压缩单独图像的另一信息进行编码。

9.一种对正交投影的3D样品的属性进行编码的设备，其中所述正交投影的3D样品的属性被编码为图像的2D样品的至少一个第一属性贴片，并且沿着相同投影线位于两个正交投影的3D样品之间的中间3D样品的属性被编码为图像中的2D样品的至少一个第二属性贴片，其中所述设备包括用于对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行编码的构件。

10.根据权利要求9所述的设备，其中视频流在一组图片级别、帧级别、图集级别或贴片级别处进行分层结构化，所述信息在所述一组图片级别、帧级别、图集级别或贴片级别处是有效的。

11.根据权利要求9或10所述的设备，其中所述信息包括指示2D样品的至少一个第一属性贴片是否存储在第一图像中或2D样品的所述至少一个第一属性贴片是否与2D样品的其它属性贴片一起存储在第二图像中的第一标记，以及指示2D样品的至少一个第二属性贴片是否存储在第三图像中或2D样品的所述至少一个第二属性贴片是否与2D样品的其它属性贴片一起存储在所述第二图像中的第二标记。

12.根据权利要求9至11中任一项所述的设备，其中所述设备进一步包括用于对指示如何压缩单独图像的另一信息进行编码的构件。

13.一种对3D样品的属性进行解码的设备，其中根据图像的2D样品的至少一个第一属性贴片对所述3D样品的属性进行解码，并且沿着相同投影线位于两个3D样品之间的中间3D样品的属性被解码为图像中的2D样品的至少一个第二属性贴片，其中所述设备包括用于对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行解码的构件。

14.根据权利要求13所述的设备，其中视频流在一组图片级别、帧级别和贴片级别处进行分层结构化，所述信息在所述一组图片级别、帧级别、图集级别或贴片级别处是有效的。

15.根据权利要求13或14所述的设备，其中所述信息包括指示2D样品的至少一个第一属性贴片是否存储在第一图像中或2D样品的所述至少一个第一属性贴片是否与2D样品的其它属性贴片一起存储在第二图像中的第一标记，以及指示2D样品的至少一个第二属性贴片是否存储在第三图像中或2D样品的所述至少一个第二属性贴片是否与2D样品的其它属性贴片一起存储在所述第二图像中的第二标记。

16.根据权利要求13至15中任一项所述的设备，其中所述设备进一步包括用于对指示如何压缩单独图像的另一信息进行编码的构件。

17.一种包括正交投影的3D样品的视频数据属性的比特流，其中：所述正交投影的3D样品的属性被编码为图像的2D样品的至少一个第一属性贴片，并且沿着相同投影线位于两个正交投影的3D样品之间的中间3D样品的属性被编码为图像中的2D样品的至少一个第二属性贴片，其中比特流进一步包括对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行编码。

18.根据权利要求17所述的比特流，其中所述信息包括指示2D样品的至少一个第一属性贴片是否存储在第一图像中或2D样品的所述至少一个第一属性贴片是否与2D样品的其它属性贴片一起存储在第二图像中的第一标记，以及指示2D样品的至少一个第二属性贴片是否存储在第三图像中或2D样品的所述至少一个第二属性贴片是否与2D样品的其它属性贴片一起存储在所述第二图像中的第二标记。

19.一种包含指令的计算机程序产品，所述指令在所述程序由一个或多个处理器执行时使得所述一个或多个处理器执行对3D样品的属性进行解码的方法，其中：根据图像的2D样品的至少一个第一属性贴片对所述3D样品的属性进行解码，并且沿着相同投影线位于两个3D样品之间的中间3D样品的属性被解码为图像中的2D样品的至少一个第二属性贴片，其中所述方法包括对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行解码。

20.一种非暂时性计算机可读介质，其包含用于使一个或多个处理器执行对3D样品的属性进行解码的方法的指令，其中：根据图像的2D样品的至少一个第一属性贴片对所述3D样品的属性进行解码，并且沿着相同投影线位于两个3D样品之间的中间3D样品的属性被解码为图像中2D样品的至少一个第二属性贴片，其中所述方法包括对指示2D样品的所述至少一个第一属性贴片和2D样品的所述至少一个第二属性贴片是否存储在单独图像中的信息进行解码。