CN114503553A - 基于视频的点云压缩模型到世界信令信息 - Google Patents

基于视频的点云压缩模型到世界信令信息 Download PDF

Info

Publication number
CN114503553A
CN114503553A CN202080065855.6A CN202080065855A CN114503553A CN 114503553 A CN114503553 A CN 114503553A CN 202080065855 A CN202080065855 A CN 202080065855A CN 114503553 A CN114503553 A CN 114503553A
Authority
CN
China
Prior art keywords
point cloud
domain
world
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080065855.6A
Other languages
English (en)
Inventor
L·孔德拉德
S·施瓦兹
L·伊洛拉
K·罗伊梅拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN114503553A publication Critical patent/CN114503553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

公开了实现基于视频的点云压缩模型到世界信令的装置、方法和计算机程序。示例装置包括：用于提供第一信令信息(807)的部件，其中，该第一信令信息包括与世界域(811)有关的信息，其中，该世界域(811)是由第一体积坐标系中的多个点表示的点云帧；以及用于提供第二信令信息(807)的部件，其中，该第二信令信息包括与模型域(802)到世界域(811)的转换有关的信息，其中，该模型域(802)通过第二体积坐标系中的多个点来表示该点云帧。

Description

基于视频的点云压缩模型到世界信令信息
技术领域
示例和非限制性实施例一般涉及多媒体和软件，并且更特别地涉及基于视频的点云压缩模型到世界信令(video-based cloud compression model to world signaling)信息。
背景技术
执行视频编码和解码是已知的。
发明内容
以下概述仅旨在作为示例。本概述并非旨在限制权利要求的范围。
根据一个方面，一种装置，包括：用于提供第一信令信息的部件，其中，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧；以及用于提供第二信令信息的部件，其中，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
根据一个方面，一种装置，包括：至少一个处理器；以及包括计算机程序代码的至少一个非暂时性存储器；其中，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行：提供第一信令信息，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧；以及提供第二信令信息，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
根据一个方面，一种方法，包括：提供第一信令信息，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧；以及提供第二信令信息，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
根据一个方面，提供了一种机器可读的非暂时性程序存储设备，其有形地体现该机器可执行的用于执行操作的指令程序，这些操作包括：提供第一信令信息，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧；以及提供第二信令信息，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
附图说明
结合附图在以下描述中解释了前述各方面和其他特征，其中：
图1是描绘基于视频的点云压缩(V-PCC)过程的概述的框图。
图2是描绘V-PCC解压缩过程的概述的框图。
图3描绘示例的点云样本图像(1帧)。
图4是描绘被投影到“有界框”平面上的示例点云的图示。
图5A描绘投影几何结构的示例。
图5B描绘纹理图像的示例。
图6图示层投影结构的示例。
图7是示出堆叠表面补片分离的图示。
图8示出示例的V-PCC编码器操作。
图9示出示例的V-PCC解码器操作。
图10是基于本文描述示例的被配置为实现基于视频的云压缩模型到世界信令的示例装置。
图11是基于本文描述示例的实现基于视频的云压缩模型到世界信令的示例方法。
具体实施方式
可以在说明书和/或附图中发现的以下缩略语和缩写词被定义如下：
2D或2d 二维
3D或3d 三维
6DOF 六自由度
AR 增强现实
AVC 高级视频编码
CD 上下文描述
Codec 编解码器
CGI 计算机生成的图像
GI 几何信息
HEVC 高效视频编码
HEVCRExt HEVC格式范围扩展
HEVC-SCC HEVC屏幕内容编码
HM HEVC测试模型
IEC 国际电工委员会
ISO 国际标准化组织
ISOBMFF ISO基本媒体文件格式
K-D k维
MPEG 运动图像专家组
MPEG-I MPEG沉浸式
MR 混合现实
MSE 均方误差
N# 国际标准化组织文件编号
OM 占用图
PCC 点云编码/压缩
Pcm 脉冲编码调制
Psd 功率谱密度
RGB 红绿蓝
SEI 补充增强信息
Sps 序列参数集
TMC2 文本模型类别2
TMC2v0 文本模型类别2版本0
V-PCC 基于视频的点云编码/压缩
VR 虚拟现实
WxH 宽乘高
本文描述的示例涉及数字体积视频的编码和解码。
体积视频数据
体积视频数据表示三维场景或对象，并且可以被用作AR、VR和MR应用的输入。这种数据描述了几何结构(形状、大小、在3D空间中的位置)和相应的属性(例如，颜色、不透明度、反射率……)，以及几何结构和属性在给定时间实例(如2D视频中的帧)处的任何可能的时间性变化。立体视频或者从3D模型(即，CGI)生成，或者使用各种捕获解决方案(例如，多相机、激光扫描、视频和专用深度传感器的组合等)从真实世界场景中捕获。此外，CGI和真实世界数据的组合也是可能的。这种体积数据的典型表示格式是三角形网格、点云、或体素。关于场景的时间信息可以以个体捕获实例的形式(即，2D视频中的“帧”)或以其他方式(例如，作为时间函数的对象的位置)被包括。
因为体积视频描述了3D场景(或对象)，所以可以从任何视点观看这种数据。因此，体积视频是一种用于任何AR、VR或MR应用的尤其是用于提供6DOF观看能力的重要格式。
计算资源的增加以及3D数据获取设备的进步已使能重构自然场景的高度详尽的体积视频表示。红外线、激光、飞行时间和结构光都是可以被用于构建3D视频数据的设备示例。3D数据的表示取决于如何使用3D数据。密集体素阵列已被用于表示体积医学数据。在3D图形中，多边形网格被广泛使用。另一方面，点云非常适于捕获诸如其中拓扑未必是2D流形的真实世界3D场景之类的应用。表示3D数据的另一种方法是将此3D数据编码为一组纹理和深度图，就像多视图加深度的情况中那样。与在多视图加深度中使用的技术密切相关的是高度图以及多级表面图的使用。
体积视频数据的压缩
在密集点云或体素阵列中，重构的3D场景可包含数千万甚至数亿个点。如果要在实体之间存储或交换这种表示，则有效压缩变得至关重要。标准的体积视频表示格式(诸如点云、网格、体素)存在时间压缩性能差的问题。识别3D空间中运动补偿的对应关系是一个定义不明确的问题，因为几何结构和相应的属性两者都可发生变化。例如，时间连续“帧”未必具有相同数量的网格、点或体素。因此，动态3D场景的压缩效率很低。用于压缩体积数据的基于2D视频的方法(即，多视图+深度)具有好得多的压缩效率，但很少覆盖整个场景。因此，它们仅提供有限的6DOF能力。
替代上面提及的方法，被表示为网格、点和/或体素的3D场景可以被投影到一个或多个几何结构上。这些几何结构被“展开”到2D平面上(每几何结构两个平面：一个用于纹理，一个用于深度)，进而使用标准2D视频压缩技术对其进行编码。相关的投影几何信息与编码视频文件一起被发送到解码器。解码器对视频进行解码并执行逆投影，以采用任何期望表示格式(不必是起始格式)重新生成该3D场景。
将体积模型投影到2D平面上允许使用具有高效时间压缩的标准2D视频编码工具。因此，编码效率大大提高。使用几何投影而不是现有技术的基于2D视频的方法(即，多视图+深度)可以更好地覆盖场景(或对象)。因此，提高了6DOF能力。将若干几何结构用于个体对象进一步提高场景的覆盖。此外，标准的视频编码硬件可以被用于投影平面的实时压缩/解压缩。投影和逆投影步骤的复杂度很低。
基于MPEG视频的点云编码(V-PCC)测试模型(MPEG N18017)
为了明确起见，提供了MPEG文件N18017的某些选定摘录。图1和图2提供在V-PCCTMC2中实现的压缩/解压缩过程的概述。特别地，图1是描绘了基于视频的点云压缩(V-PCC)压缩过程的概述的框图100，而图2是描绘了V-PCC解压缩过程的概述的框图200。
在编码阶段，输入点云帧以下列方式进行处理：首先，体积3d数据被表示为不同分量中的一组3d投影。在分离阶段，图像被分解成几何结构的远和近分量以及对应的属性分量，另外还创建(106)占用图2d图像以指示可以使用的图像的部分。2d投影由基于输入点云帧(102)的几何特性的独立的补片(patch)(104)组成。在已生成(108)补片(104)并创建用于视频编码的2d帧后，可以压缩(112、114、116、118、120)占用图(106)、几何信息(110)和辅助信息。在过程结束时，单独的比特流被复用(122)到输出压缩二进制文件(124)中。
解码过程开始于将被压缩成二进制文件(124)的输入解复用(202)成几何结构(206)、属性(204)、占用图(208)和辅助信息(210)流。辅助信息流(210)是被熵编码的(在MPEG N18017中提供了用于辅助信息压缩的编码方法的详细描述)。占用图可以根据所选择的级别使用熵编码方法或视频压缩方法进行压缩。几何结构流被解码(212)并与占用图和辅助信息相结合，从而平滑(214、216)被应用于重构点云几何信息(218)。基于解码的属性视频流(220)和用于经平滑的几何结构的重构信息(212和214)，可以重构点云的占用图和辅助信息属性(218)。在属性重构阶段之后，使用附加的属性平滑方法进行点云细化。
因此，图1中所示的结构框图100用于编码，而图2中的结构框图200用于解码。
V-PCC中的点云表示
每个点云帧表示3D体积空间内具有唯一的坐标和属性的点的数据集。在图3中示出了点云帧300的示例。
补片生成
补片生成过程通过使用提供最佳压缩的策略来将3d样本转换成在给定投影平面上的2d样本来分解点云帧。在TMC2v0中，补片生成过程旨在将点云分解成具有平滑边界的最少数量的补片，同时还最小化重构误差。
在初始阶段，估计按照每个点的法线(normal per each point)。基于在预定义搜索距离内的点的最接近邻居m，按照每个点定义切面及其对应的法线。使用K-D树来分离数据并查找在点pi附近的邻居，以及使用该点集的重心
Figure BDA0003553615420000071
来定义法线。重心c被计算如下：
Figure BDA0003553615420000072
从用于所定义的点云的特征分解(eigen decomposition)将法线估计为：
Figure BDA0003553615420000073
基于此信息，每个点与点云边界框的对应平面相关联。每个平面由具有以下值的对应法线
Figure BDA0003553615420000074
定义：
-(1.0,0.0,0.0)
-(0.0,1.0,0.0)
-(0.0,0.0,1.0)
-(-1.0,0.0,0.0)
-(0.0,-1.0,0.0)
-(0.0,0.0,-1.0)
更准确地，每个点与具有最接近法线的平面相关联(即，最大化点法线
Figure BDA0003553615420000075
和平面法线
Figure BDA0003553615420000076
的点积)。
Figure BDA0003553615420000077
法线的符号是根据点的相对于“中心”的位置来定义的。在图4中演示了投影估计描述。图4是描绘了被投影到“有界框”平面上的示例点云的图示400。
进而，通过基于点的法线和点的最接近邻居的聚类索引迭代地更新与每个点相关联的聚类索引来细化初始聚类。下一步骤包括通过应用被连接组件提取过程来提取补片。
补片打包
补片打包过程尝试通过适当地考虑所生成的补片并通过尝试有效地将与每个补片对应的几何结构或纹理数据放置到大小为WxH的2D网格上来生成几何结构和纹理图。这种放置还考虑了使用定义的最小尺寸块TxT，其指定如被放置在此2D网格上的不同补片之间的最小距离。对应的值(T)被编码并被发送到解码器。
图5A描绘了投影几何结构的示例500，而图5B描绘了纹理图像的示例550。
TMC2中的打包方法使用穷举搜索算法如下：最初，补片以保证非重叠插入的方式被放置在2D网格上。属于补片的样本(被舍入为是T的倍数的值)被视为占用块。另外，相邻补片之间的保护(safeguard)被强制为至少一个块(T的倍数)的距离。基于补片索引列表以有序方式处理这些补片。来自该列表的每个补片被迭代地放置在网格上。网格分辨率取决于原始点云的大小，并且其宽度(W)和高度(H)被发送到解码器。在没有可用于下一补片的空的空间的情况下，网格的高度值最初被加倍，并再次评估该补片的插入。如果所有补片的插入成功，则高度被修剪为最小所需值。然而，不允许将此值设置得低于编码器中最初指定的值。W和H的最终值对应于用于使用合适的视频编解码器来对纹理和几何视频信号进行编码的帧分辨率。
图像生成
图像生成过程利用在打包过程期间计算的3D到2D映射以将点云的几何结构和纹理存储为图像。为了更好地处理多个点被投影到同一样本的情况，每个补片被投影到两个被称为层(layer)的图像上。更准确地，令H(u,v)是当前补片的被投影到同一样本(u,v)的点集。
图6图示了层投影结构600的示例。第一层(也被称为近层)602存储H(u,v)中的具有最低深度D0的点。第二层(被称为远层)604捕获H(u,v)中的在区间[D0,D0+Δ]内具有最高深度的点，其中，Δ是描述表面厚度的用户定义的参数。
当在被连接组件中存在多个不同表面的堆叠时，应用表面分离方法以防止在被连接组件中不同表面的混合。用于分离表面的方法之一是使用RGB色域中点的MSE值的差异：如果
MSE(R1-R2,G1-G2,B1-B2)>阈值；阈值＝20
则分离补片。
其中，R1、G1、B1是属于T0的属性值，R2、G2、B2是属于T1的属性值。
图7是示出堆叠表面补片分离的图示700。注意，该示例几何视频是单色的。
填充
填充过程旨在使补片之间的空的空间充满，以便生成适于视频压缩的分段平滑图像。以下方法被使用：
·每个TxT(例如，16x16)像素的块都被独立地处理。
·如果块是空的(即，其所有像素都属于空的空间)，则通过以栅格顺序复制前一TxT块的最后一行或最后一列来使该块的像素充满。
·如果块是满的(即，没有空像素)，则什么也不做。
·如果块具有空像素和被充满像素两者，则空像素被迭代地用其非空邻居的平均值充满。
视频压缩
所生成的图像/层被存储为视频帧，并根据被提供为参数的HM配置使用HM 16.16视频编解码器进行压缩。
辅助补片信息
针对每个补片，对以下元数据进行编码/解码：
·投影平面的索引
ο用于平面(1.0,0.0,0.0)和(-1.0,0.0,0.0)的索引0
ο用于平面(0.0,1.0,0.0)和(0.0,-1.0,0.0)的索引1
ο用于平面(0.0,0.0,1.0)和(0.0,0.0,-1.0)的索引2
·2D边界框(u0,v0,u1,v1)
·依据深度δ0、切向偏移s0和双切向偏移r0表示的补片的3D位置(x0,y0,z0)。根据所选择的投影平面，(δ0,s0,r0)被计算如下：
ο索引0，δ0＝x0、s0＝z0、r0＝y0
ο索引1，δ0＝y0、s0＝z0、r0＝x0
ο索引2，δ0＝z0、s0＝x0、r0＝y0
此外，针对每个TxT块提供其相关联的补片索引的映射信息被编码如下：
·针对每个TxT块，令L是补片的索引的有序列表，以使得它们的2D边界框包含该块。该列表中的顺序与用于编码2D边界框的顺序相同。L被称为候选补片列表。
·补片之间的空的空间被视为补片并被分配特殊索引0，其被添加到所有块的候选补片列表中。
·令I是当前TxT块所属的补片的索引，并且令J是I在L中的位置。替代对索引I进行显示编码，而是对其位置J进行算术编码，
这导致更好的压缩效率。
占用图(OM)编码–有损条件
分辨率为(Width/B0)x(Height/B1)的二维二进制图像，其中，Width和Height是要被压缩的几何和纹理图像的宽度和高度。样本等于1意味着：在解码时，几何和纹理图像中的一个或多个对应/共位的样本可以被视为点云点，而等于0的样本可以被忽略(通常包括填充信息)。占用图的分辨率不必与几何和纹理图像的分辨率相同，而是可以以B0xB1块的精度对占用图进行编码。为了实现无损编码，选择B0和B1等于1。在实践中，B0＝B1＝2或B0＝B1＝4可产生在视觉上可接受的结果，同时显著减少编码占用图所需的比特数量。所生成的二进制图像仅覆盖单个颜色平面。然而，鉴于4:2:0编解码器的普遍性，可期望用“中性”或固定值色度平面来扩展图像(例如，添加所有样本值等于0或128的色度平面，假定使用8比特编解码器)。
通过使用具有无损编码工具支持的视频编解码器(例如，AVC、HEVC RExt、HEVC-SCC)来压缩所获得的视频帧。
通过在占用图中检测分辨率TxT的空块和非空块来简化占用图，并且对于非空块，它们的补片索引被编码如下：
·通过考虑包含该块的所有补片，针对每个TxT块创建候选补片列表。
·该候选列表以补片的相反顺序被分类排序。
·对于每个块，
1.如果该候选列表具有一个索引，则不进行任何编码。
2.否则，对此列表中的补片的索引进行算术编码。
几何重构
点云几何重构过程利用占用图信息，以便检测几何结构/纹理图像/层中的非空像素。通过使用辅助补片信息和几何图像来计算与这些像素相关联的点的3D位置。更准确地，令P是与像素(u,v)相关联的点，令(δ0,s0,r0)是其所属补片的3D位置，并且令(u0,v0,u1,v1)是其2D边界框。P可以依据深度δ(u,v)、切向偏移s(u,v)和双切向偏移r(u,v)而被表示如下：
δ(u,v)＝δ0+g(u,v)
s(u,v)＝s0–u0+u
r(u,v)＝r0–v0+v
其中，g(u,v)是几何图像的亮度分量。
平滑
平滑过程旨在减轻可由于压缩伪影而在补片边界处出现的潜在不连续性。所实现的方法将边界点移动到它们的最接近邻居的质心。
纹理重构
纹理值直接从纹理图像中被读取。
V-PCC辅助信息比特流语法(MPEG N18180)
以下比特流语法取自ISO/IEC 23090-5:2018(E)CD研究，作为MPEG文档N18180可用。仅选择与本文描述的示例相关的元素。在N18180中提供了每个语法元素的语义，然而，它们对于理解本文描述的示例不是必需的。
7.3.3.4几何信息语法
Figure BDA0003553615420000111
Figure BDA0003553615420000121
可以指定用于SEI消息有效载荷的语法和语义。SEI消息有助于与解码、重构、显示或其他目的有关的过程。然而，解码过程不需要SEI消息。不需要一致性解码器处理此信息以使输出顺序符合特定规范。需要一些SEI消息信息以检查比特流一致性以及用于输出时序解码器一致性。
关于SEI有效载荷语法，一般的SEI消息语法如下。
Figure BDA0003553615420000122
Figure BDA0003553615420000131
V-PCC编码器的输入是点云帧，其由第一坐标域(模型域)中的多个点表示。V-PCC编码器将点云帧转换到另一个整数坐标域(基于视频的点云压缩域，vpcc域)中。该转换是通过用体积(量化体积)来形成由点云帧表示的对象的边界来完成的。进而，基于所选择的位深来量化该对象，并且在VPCC比特流中的gi_geometry_3d_coordinates_bitdepth_minus1字段中信令传送该位深。例如，这可以是10比特，即，1024x 1024x 1024个点。
第一个问题：VPCC比特流不向解码器提供如何从vpcc域(基于视频的点云压缩域)转换回模型域的信息。
由模型域中的点云帧表示的对象或对象组可以相对于又一个坐标域(世界域)而被放置。例如，当模型域原点在世界域中逐帧地变化时可以实现动画效果。
在当前的V-PCC规范中，当存在构成点云序列的多个点云帧时，对于所有帧，模型域的原点与世界域的相同。换句话说，量化体积对于所有帧是相同的，并且在世界域中是静态的。V-PCC编码器可以基于序列的第一帧或者基于序列的编号或帧来计算量化体积。在前者中，点云帧的分辨率可能是最高的，但在模型域中的一些点云帧中，可能会发生对象在量化体积以外的情况。在后者中，V-PCC编码器可以以牺牲对象的分辨率为代价，确保由真实域中的点云帧所表示的对象始终由模型域中的点云帧来表示。为了解决以上所提出的问题，V-PCC编码器应在逐帧的基础上适配模型域相对于世界域的原点。
第二个问题：V-PCC没有提供在逐帧的基础上适配量化体积的可能性。
在解码点云帧之后，应用可能将其放置在场景(AR或VR)中。该应用的渲染引擎可能需要根据外部信息(例如，由于VR头戴式设备移动而导致的相机的视点变化)来变换点云帧。为了执行这种操作，渲染器需要知道可以相对于哪个点(轴心点(pivot point))来该变换。
第三个问题：V-PCC规范没有提供关于由点云帧表示的对象或对象组的轴心点的信息。
为了确保AR应用中的沉浸式体验，在场景中的解码点云帧放置应保持所表示的对象的真实尺寸。
第四个问题：V-PCC规范没有提供如何将编码器域中的解码点云帧转换回到真实世界域中的信息，因此保留了对象的缩放。
本文描述的示例的缩放相关信息解决了上面提到的问题。
本文描述的信令的类似但简化版本由本文所述示例的发明人在投稿“用于PCC的模型缩放和偏移信令(Model scale and offset signaling for PCC)”(m42470，2018年4月，美国圣地亚哥)中提出。
在本文描述的示例中，引入了关于vpcc到模型到世界域转换(vpcc to model toworld domain conversion)的信令信息，以提高编码性能并保持解码点云的最高可能保真度。另外，该信令允许内容创建者将信息包含在VPCC比特流中，该信息确保与内容创建者的意图一致地再现解码对象，并且它可以在多个场景中被重复使用。因此，本文描述的示例实现了以下目标。
1.定义关于模型到世界转换(model to world conversion)的信令信息。
a.信令传送由基于视频的点云压缩域(vpcc域)中的点云帧表示的对象或对象组的轴心点。
b.信令传送将由点云帧表示的对象或对象组从vpcc域缩放到模型域的缩放参数。
c.信令传送围绕被信令传送的轴心点旋转由点云帧表示的对象或对象组以使其在世界域中被正确地定向的旋转参数。
d.信令传送相对于被信令传送的轴心点平移由点云帧表示的对象或对象组以使其在世界域中被正确地放置的平移参数。
2.定义关于世界域的信令信息。
e.信令传送世界域中的长度单位。
f.信令传送世界域的坐标系。
g.信令传送世界域中的由点云帧序列表示的对象或对象组被放置在周围的边界框的尺寸。
h.信令传送世界域中的边界框的轴心点。
3.基于所提议的信令引入新的V-PCC编码器和解码器操作。
益处
本文描述的示例提供了若干益处和技术效果。在这些益处和技术效果中，包括：i)实现提高压缩效率的预处理算法的编码器，ii)提供关于缩放和真实尺寸的信息的内容创建器，iii)可以保留对象的世界坐标域尺寸，以及iv)多个点云模型可以被合并到同一场景中。
在所描述的示例中，新的信令结构被引入到V-PCCSEI信令中。所描述示例的编码器和解码器的高级框图分别在图8和图9中被描绘。
图8示出了示例V-PCC编码器800的示例V-PCC编码器操作850。V-PCC编码器800的操作可以如下：世界域中的点云帧(811)与侧信息(side information)(810)一起被提供为V-PCC编码器(800)的输入。侧信息模块(810)可以提供(包括但不限于)关于世界域的长度单位的信息、由世界域中的点云帧序列表示的对象或对象组的边界框、该边界框的轴心点、以及世界域坐标系轴。转换(801)执行将世界域中的点云帧(811)转换成模型域中的点云帧(802)，并生成SEI消息(807、808)。转换模块(801)可以使用由侧信息(810)提供的信息，或者它可以执行计算以获得必需的信息，包括但不限于平移、旋转、以及轴心点。转换模块(801)在逐帧的基础上进行操作，并且它可以找到由模型域内的点云帧(802)表示的对象或对象组的最合适的表示。模型域中的点云帧(802)被提供给量化模块(803)，量化模块(803)将模型域中的点云帧(802)转换成基于视频的点云压缩域(vpcc域)中的点云帧(804)。量化模块(803)提供如何从vpcc域缩放回模型域的信息。此信息被包括在模型到世界的SEI消息(SEI message model to world)(808)中。vpcc域中的点云帧(804)被输入到补片数据、占用图、几何结构、属性生成/编码模块(805)。生成/编码模块(805)根据V-PCC规范和VPCC比特流(806)的所选择的配置文件、层(tier)、级(level)参数进行操作。V-PCC编码器(800)的输出是包含SEI消息(例如，807、808或其他一个或多个SEI消息)的VPCC比特流(806)。
图9示出了示例V-PCC解码器操作950。V-PCC解码器的操作可以如下：包含SEI消息(907、908)的VPCC比特流(901)被提供为V-PCC解码器(902)的输入。V-PCC解码器(902)根据V-PCC规范进行操作，并生成在vpcc域中的点云帧(903)。转换模块(904)基于由SEI消息(908)信令传送的信息来将vpcc域中的点云帧(903)转换成世界域中的点云帧(905)。转换模块(904)可以具有中间状态，其中，vpcc域中的点云帧(903)首先被变换成模型域中的点云帧，进而该模型域中的点云帧被变换成世界域中的点云帧(905)。世界域中的点云帧(905)与由SEI消息(907)信令传送的信息一起被提供给渲染模块(906)。渲染模块(906)可以用合适的缩放、定向和平移来渲染世界域中的点云帧(905)。在实际实现中，块(904、905、906)中的一些可以驻留在应用中，其中PCC解码器仅提供解码的视频和元数据。
SEI消息(808、908)结构包含允许vpcc域中的点云(804、903)到世界域中的点云(811、905)的转换(904)的信息。
Figure BDA0003553615420000161
Figure BDA0003553615420000171
此SEI消息(808或908)提供关于如何从当前访问单元开始，将重构点云帧从解码器整数域变换到世界域的信息。如果适用，则可以按以下顺序执行该变换：缩放、旋转和平移。可以相对于所指示的轴心点来执行旋转和平移。
消息保持有效，直到相同类型的下一SEI消息或者vpcc序列结束(以解码顺序中的更早者为准)为止。
precision_minus3指示用于计算用于平移(x,y,z)、旋转(x,y,z)、缩放、以及轴心(x,y,z)字段的比特数量的值。
translation_flag指示是否信令传送了平移信息。translation_flag等于1例如指示信令传送了平移信息。translation_flag等于0例如指示没有信令传送平移信息。
rotation_flag指示是否信令传送了旋转信息。rotation_flag等于1例如指示信令传送了旋转信息。rotation_flag等于0例如指示没有信令传送旋转信息。
scale_flag指示是否信令传送了缩放信息。scale_flag等于1例如指示信令传送了缩放信息。scale_flag等于0例如指示没有信令传送缩放信息。pivot(轴心)指示轴心点的位置。
表Y轴心的规定
轴心 描述
0 边界框的中心(量化体积)
1 点云坐标系的原点
2 保留
3 关于边界框的原点的显式信令
translation_x、translation_y、translation_z分别指示沿x轴、y轴和z轴的平移。translation_x、translation_y和translation_z的值被存储为固定点值(fixed-pointvalues)(参见表X)。用于表示translation_x、translation_y、translation_z的比特数量等于2precision_minus3+3。
rotation_x、rotation_y、rotation_z指示几何旋转四元组。该四元组的第四分量可以通过以下方程式来计算：
rotation_x2+rotation_y2+rotation_z2+rotation_w2＝1.0
rotation_x、rotation_y和rotation_x的值被存储为固定点值(参见表X)。用于表示rotation_x、rotation_y和rotation_z的比特数量等于2precision_minus3+3。
scale指示对象的统一缩放。scale的值被存储为固定点值(参见表X)。用于表示缩放的比特数量等于2precision_minus3+3。
pivot_x、pivot_y、pivot_z指示相对于坐标系的原点的轴心位置。pivot_x、pivot_y和pivot_z的值被存储为固定点值(参见表X)。用于表示pivot_x、pivot_y、pivot_z的比特数量等于2precision_minus3+3。
表X提供了前述固定点值的示例值。
表X：基于precision_minus3值的固定点数表示
Figure BDA0003553615420000191
固定点数(fixed-point number)是通过将一个整数除以合适的2的幂而得到的有符号或无符号值。例如：固定点数30.2是通过将32-比特整数除以22而形成的；固定点数16.16是通过将32-比特整数除以216而形成的；固定点数2.6是通过将8-比特整数除以26而形成的。
信令传送关于世界域的信息的SEI消息(例如，807、907)可以被渲染模块(906)使用。
Figure BDA0003553615420000192
Figure BDA0003553615420000201
此SEI消息(例如，807、907)提供关于世界域的信息。该消息保持有效，直到相同类型的下一SEI消息或者vpcc序列结束(以解码顺序中的更早者为准)为止。
当volume_present_flag等于1时，世界的轴心点可以是体积的中心。否则，坐标系的原点可以被用作轴心点。
unit_of_length_flag指示所定义的长度单位的类型。unit_of_length_flag等于1指示长度单位是米。unit_of_length_flag等于0指示长度单位是任意的。
world_orientation指示所使用的世界定向。world_orientation等于0指示定向如ISO/IEC23090-2中所定义的。world_orientation等于1指示定向由单位上向量(unit upvector)(up_x,up_y,up_z)和单位前向量(unit front vector)(front_x,front_y,front_z)指定。在ISO/IEC 23090-2中指定的坐标系与ISO/IEC23008-3中的相同。
volume_present_flag指示是否信令传送了体积信息。
up_x、up_y、up_z指示在右手坐标系中描述上方向的单位向量。up_x、up_y和up_z的值被存储为32.32固定点值。
front_x、front_y、front_z指示在右手坐标系中描述前方向的单位向量。front_x、front_y和front_z的值被存储为32.32固定点值。
volume_x、volume_y、volume_z分别指示沿x轴、y轴和z轴的体积尺寸。volume_x、volume_y和volume_z的值被存储为32.32固定点值。
pivot指示世界域中的轴心点的位置。
表Y轴心的规定
轴心 描述
0 点云坐标系的原点
1 关于边界框的原点的显式信令
pivot_x、pivot_y、pivot_z指示相对于坐标系的原点的轴心位置。pivot_x、pivot_y和pivot_z的值被存储为64.64固定点值。
附加实施例：在另一个实施例中，SEI消息(807、808、907、908)的信息不在VPCC比特流(806、901)内被递送，而是通过其他方式(例如，作为与ISOBMFF内的VPCC轨道相关联的定时元数据)被等效地传达。
附加实施例：在另一个实施例中，SEI消息(807、808、907、908)的信息通过VPCC比特流(806、901)内的其他结构(例如，作为序列参数集或帧参数集的一部分)被递送。
附加实施例：在另一个实施例中，转换模块(801)不是VPCC编码器(800)的一部分，而是独立的预处理模块，其向VPCC编码器(800)提供等效信息。
附加实施例：在另一个实施例中，可以根据unit_of_length_flag的值来信令传送长度单位。例如，如果unit_of_length＝＝0，则可遵循明确地给出一个单位的长度的固定点缩放值，或者可使用有符号幂值以导出长度单位。
附加实施例：在另一个实施例中，轴心字段可以具有专用于另一个指示预定义字段(例如，边界框的底平面(floor plane)的中心)的更多比特。
本文描述的示例可以有助于标准化，诸如MPEG-I 23090第5部分——基于视频的点云压缩中的标准化。
本文描述的结构和概念可以作为规范性文本被包括在标准中，并因此任何声称符合要求的产品可以被视为采用者。
图10是可在硬件中实现的示例装置1000，其被配置为基于本文描述的示例来实现基于视频的云压缩的模型到世界信令。装置1000包括处理器1002、包括计算机程序代码1005的至少一个非暂时性存储器1004，其中，至少一个存储器1004和计算机程序代码1005被配置为与至少一个处理器1002一起使该装置实现电路、进程、组件、模块或功能(统称为1006)以实现如本文所描述的信令。装置1000可选地包括显示器和/或I/O接口1008，其可以被用于(例如，在方法被执行时或者在随后的时间)显示本文描述的方法的各方面或状态。显示器和/或I/O接口1008还可以被配置为接收诸如用户输入之类的输入。装置1000还可选地包括一个或多个网络(NW)接口(I/F)1010。NW I/F 1010可以是有线和/或无线的，并且经由任何通信技术在因特网/其他网络上通信。NW I/F 1010可以包括一个或多个发射机和一个或多个接收机。装置1000可以基于本文描述的各信令方面而被配置作为服务器或客户端(例如，装置1000可以是远程、虚拟、或云装置)。
对“计算机”、“处理器”等的提及应被理解为不仅涵盖具有诸如单个/多个处理器架构和串行(冯诺依曼)/并行架构之类的不同架构的计算机，而且还涵盖诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其他处理电路之类的专用电路。对计算机程序、指令、代码等的提及应被理解为涵盖用于可编程处理器的软件、或者可包括用于处理器的指令的例如硬件设备的可编程内容的固件、或者用于固定功能器件、门阵列或可编程逻辑器件等的配置设置。
存储器1004可以使用任何合适的数据存储技术来实现，诸如基于半导体的存储器设备、闪存存储器、磁存储器设备和系统、光学存储器设备和系统、固定存储器和可移动存储器。存储器1004可以包括用于存储数据的数据库。
如在本申请中所使用的，术语“电路”是指以下中的全部：(a)仅硬件电路实现(诸如仅模拟和/或数字电路的实现)；(b)电路和软件(和/或固件)的组合，诸如(如果适用)：(i)处理器的组合；或者(ii)处理器/软件的部分，包括数字信号处理器、软件和存储器，其一起工作以使装置执行各种功能；以及(c)电路，诸如微处理器或微处理器的一部分，其需要软件或固件来操作，即使该软件或固件并非在物理上存在。“电路”这一定义适用于在本申请中的该术语的全部使用。作为另一示例，如在本申请中使用的，术语“电路”还覆盖仅处理器(或多个处理器)或处理器的一部分及其伴随的软件和/或固件的实现。术语“电路”还覆盖(例如且如果适用于具体要求的元件)用于移动电话的基带集成电路或应用处理器集成电路、或者服务器、蜂窝网络设备、或另一网络设备中的类似集成电路。
图11是基于本文描述的示例的实现六自由度空间布局信令的示例方法1100。在1102处，该方法包括：提供第一信令信息，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧。在1104处，该方法包括：提供第二信令信息，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
示例装置包括：用于提供第一信令信息的部件，其中，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧；以及用于提供第二信令信息的部件，其中，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
该装置可以进一步包括：用于信令传送扩展点云帧的适配参数集中的一个或多个相机参数的部件。
该装置可以进一步包括：用于信令传送一个或多个相机参数的存在或缺失的部件。
该装置可以进一步包括：其中，一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关，并被用于解码操作之后的重构。
该装置可以进一步包括：用于信令传送序列参数集中的一个或多个体积可用性参数的部件。
该装置可以进一步包括：其中，体积可用性参数包括以下中的一个或多个：一个或多个体积可用性参数以米表示的指示；显示框信息的存在或缺失的指示；或者锚点的存在或缺失的指示。
该装置可以进一步包括：用于在点云帧的重构中执行生成点集的适配的部件。
该装置可以进一步包括：其中，适配使用以下项作为输入：点云帧的点的数量；点云帧中的点的位置的数组；锚点；以及偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。
该装置可以进一步包括：用于基于所提供的第一信令和所提供的第二信令执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个的部件。
该装置可以进一步包括：用于使用基于视频的点云编码编码器来将世界域中的点云帧编码成基于视频的点云比特流的部件；或者用于使用基于视频的点云编码解码器来解码基于视频的点云比特流以渲染世界域中的点云帧的部件。
该装置可以进一步包括：其中，作为世界域中的点云帧到模型域中的点云帧的转换的结果，生成第一信令信息和第二信令信息。
该装置可以进一步包括：其中，世界域中的点云帧到模型域中的点云帧的转换确定由模型域中的点云帧表示的对象或对象组的表示。
该装置可以进一步包括：其中，世界域中的点云帧的渲染是基于第一信令信息。
该装置可以进一步包括：其中，基于视频的点云压缩域中的点云帧到世界域中的点云帧的转换是基于第二信令信息。
该装置可以进一步包括：其中，基于视频的点云压缩域中的点云帧到世界域中的点云帧的转换包括中间状态，其中，基于视频的点云压缩域中的点云帧首先被变换成模型域中的点云帧，进而模型域中的点云帧被变换成世界域中的点云帧。
该装置可以进一步包括：其中，包括与世界域有关的信息的第一信令信息信令传送以下中的一个或多个：世界域中的信号长度单位；世界域的坐标系；世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸；或者世界域中的边界框的轴心点。
该装置可以进一步包括：其中，包括与模型域到世界域的转换有关的信息的第二信令信息信令传送以下中的一个或多个：由基于视频的点云压缩域中的点云帧表示的对象或对象组的轴心点；将由点云帧表示的对象或对象组从基于视频的点云压缩域缩放到世界域中的缩放参数；围绕被信令传送的轴心点旋转由点云帧表示的对象或对象组以在世界域中被正确地定向的旋转参数；或者相对于被信令传送的轴心点平移由点云帧表示的对象或对象组以在世界域中被正确地放置的平移参数。
示例装置包括：至少一个处理器；以及包括计算机程序代码的至少一个非暂时性存储器；其中，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行：提供第一信令信息，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧；以及提供第二信令信息，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行：信令传送扩展点云帧的适配参数集中的一个或多个相机参数。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行：信令传送一个或多个相机参数的存在或缺失。
该装置可以进一步包括：其中，一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关，并被用于解码操作之后的重构。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行：信令传送序列参数集中的一个或多个体积可用性参数。
该装置可以进一步包括：其中，体积可用性参数包括以下中的一个或多个：一个或多个体积可用性参数以米表示的指示；显示框信息的存在或缺失的指示；或者锚点的存在或缺失的指示。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行：在点云帧的重构中执行生成点集的适配。
该装置可以进一步包括：其中，适配使用以下项作为输入：点云帧的点的数量；点云帧中的点的位置的数组；锚点；以及偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行：基于所提供的第一信令和所提供的第二信令，执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行：使用基于视频的点云编码编码器来将世界域中的点云帧编码成基于视频的点云比特流；或者使用基于视频的点云编码解码器来解码基于视频的点云比特流以渲染世界域中的点云帧。
该装置可以进一步包括：其中，作为世界域中的点云帧到模型域中的点云帧的转换的结果，生成第一信令信息和第二信令信息。
该装置可以进一步包括：其中，世界域中的点云帧到模型域中的点云帧的转换确定由模型域中的点云帧表示的对象或对象组的表示。
该装置可以进一步包括：其中，世界域中的点云帧的渲染是基于第一信令信息。
该装置可以进一步包括：其中，基于视频的点云压缩域中的点云帧到世界域中的点云帧的转换是基于第二信令信息。
该装置可以进一步包括：其中，基于视频的点云压缩域中的点云帧到世界域中的点云帧的转换包括中间状态，其中，基于视频的点云压缩域中的点云帧首先被变换成模型域中的点云帧，进而模型域中的点云帧被变换成世界域中的点云帧。
该装置可以进一步包括：其中，包括与世界域有关的信息的第一信令信息信令传送以下中的一个或多个：世界域中的信号长度单位；世界域的坐标系；世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸；或者世界域中的边界框的轴心点。
该装置可以进一步包括：其中，包括与模型域到世界域的转换有关的信息的第二信令信息信令传送以下中的一个或多个：由基于视频的点云压缩域中的点云帧表示的对象或对象组的轴心点；将由点云帧表示的对象或对象组从基于视频的点云压缩域缩放到世界域中的缩放参数；围绕被信令传送的轴心点旋转由点云帧表示的对象或对象组以在世界域中被正确地定向的旋转参数；或者相对于被信令传送的轴心点平移由点云帧表示的对象或对象组以在世界域中被正确地放置的平移参数。
示例方法包括：提供第一信令信息，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧；以及提供第二信令信息，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
该方法可以进一步包括：信令传送扩展点云帧的适配参数集中的一个或多个相机参数。
该方法可以进一步包括：信令传送一个或多个相机参数的存在或缺失。
该方法可以进一步包括：其中，一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关，并被用于解码操作之后的重构。
该方法可以进一步包括：信令传送序列参数集中的一个或多个体积可用性参数。
该方法可以进一步包括：其中，体积可用性参数包括以下中的一个或多个：一个或多个体积可用性参数以米表示的指示；显示框信息的存在或缺失的指示；或者锚点的存在或缺失的指示。
该方法可以进一步包括：在点云帧的重构中执行生成点集的适配。
该方法可以进一步包括：其中，适配使用以下项作为输入：点云帧的点的数量；点云帧中的点的位置的数组；锚点；以及偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。
该方法可以进一步包括：基于所提供的第一信令和所提供的第二信令，执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个。
该方法可以进一步包括：使用基于视频的点云编码编码器来将世界域中的点云帧编码成基于视频的点云比特流；或者使用基于视频的点云编码解码器来解码基于视频的点云比特流以渲染世界域中的点云帧。
该方法可以进一步包括：其中，作为世界域中的点云帧到模型域中的点云帧的转换的结果，生成第一信令信息和第二信令信息。
该方法可以进一步包括：其中，世界域中的点云帧到模型域中的点云帧的转换确定由模型域中的点云帧表示的对象或对象组的表示。
该方法可以进一步包括：其中，世界域中的点云帧的渲染是基于第一信令信息。
该方法可以进一步包括：其中，基于视频的点云压缩域中的点云帧到世界域中的点云帧的转换是基于第二信令信息。
该方法可以进一步包括：其中，基于视频的点云压缩域中的点云帧到世界域中的点云帧的转换包括中间状态，其中，基于视频的点云压缩域中的点云帧首先被变换成模型域中的点云帧，进而模型域中的点云帧被变换成世界域中的点云帧。
该方法可以进一步包括：其中，包括与世界域有关的信息的第一信令信息信令传送以下中的一个或多个：世界域中的信号长度单位；世界域的坐标系；世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸；或者世界域中的边界框的轴心点。
该方法可以进一步包括：其中，包括与模型域到世界域的转换有关的信息的第二信令信息信令传送以下中的一个或多个：由基于视频的点云压缩域中的点云帧表示的对象或对象组的轴心点；将由点云帧表示的对象或对象组从基于视频的点云压缩域缩放到世界域中的缩放参数；围绕被信令传送的轴心点旋转由点云帧表示的对象或对象组以在世界域中被正确地定向的旋转参数；或者相对于被信令传送的轴心点平移由点云帧表示的对象或对象组以在世界域中被正确地放置的平移参数。
可以提供一种机器可读的非暂时性程序存储设备，其有形地体现该机器可执行的用于执行操作的指令程序，这些操作包括：提供第一信令信息，该第一信令信息包括与世界域有关的信息，其中，该世界域是由第一体积坐标系中的多个点表示的点云帧；以及提供第二信令信息，该第二信令信息包括与模型域到世界域的转换有关的信息，其中，该模型域通过第二体积坐标系中的多个点来表示该点云帧。
该非暂时性程序存储设备的操作可以进一步包括：信令传送扩展点云帧的适配参数集中的一个或多个相机参数。
该非暂时性程序存储设备的操作可以进一步包括：信令传送一个或多个相机参数的存在或缺失。
该非暂时性程序存储设备可以进一步包括：其中，一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关，并被用于解码操作之后的重构。
该非暂时性程序存储设备的操作可以进一步包括：信令传送序列参数集中的一个或多个体积可用性参数。
该非暂时性程序存储设备可以进一步包括：其中，体积可用性参数包括以下中的一个或多个：一个或多个体积可用性参数以米表示的指示；显示框信息的存在或缺失的指示；或者锚点的存在或缺失的指示。
该非暂时性程序存储设备的操作可以进一步包括：在点云帧的重构中执行生成点集的适配。
该非暂时性程序存储设备可以进一步包括：其中，适配使用以下项作为输入：点云帧的点的数量；点云帧中的点的位置的数组；锚点；以及偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。
该非暂时性程序存储设备的操作可以进一步包括：基于所提供的第一信令和所提供的第二信令，执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个。
该非暂时性程序存储设备的操作可以进一步包括：使用基于视频的点云编码编码器来将世界域中的点云帧编码成基于视频的点云比特流；或者使用基于视频的点云编码解码器来解码基于视频的点云比特流以渲染世界域中的点云帧。
该非暂时性程序存储装置可以进一步包括：其中，作为世界域中的点云帧到模型域中的点云帧的转换的结果，生成第一信令信息和第二信令信息。
该非暂时性程序存储设备可以进一步包括：其中，世界域中的点云帧到模型域中的点云帧的转换确定由模型域中的点云帧表示的对象或对象组的表示。
该非暂时性程序存储设备可以进一步包括：其中，世界域中的点云帧的渲染是基于第一信令信息。
该非暂时性程序存储设备可以进一步包括：其中，基于视频的点云压缩域中的点云帧到世界域中的点云帧的转换是基于第二信令信息。
该非暂时性程序存储设备可以进一步包括：其中，基于视频的点云压缩域中的点云帧到世界域中的点云帧的转换包括中间状态，其中，基于视频的点云压缩域中的点云帧首先被变换成模型域中的点云帧，进而模型域中的点云帧被变换成世界域中的点云帧。
该非暂时性程序存储设备可以进一步包括：其中，包括与世界域有关的信息的第一信令信息信令传送以下中的一个或多个：世界域中的信号长度单位；世界域的坐标系；世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸；或者世界域中的边界框的轴心点。
该非暂时性程序存储设备可以进一步包括：其中，包括与模型域到世界域的转换有关的信息的第二信令信息信令传送以下中的一个或多个：由基于视频的点云压缩域中的点云帧表示的对象或对象组的轴心点；将由点云帧表示的对象或对象组从基于视频的点云压缩域缩放到世界域中的缩放参数；围绕被信令传送的轴心点旋转由点云帧表示的对象或对象组以在世界域中被正确地定向的旋转参数；或者相对于被信令传送的轴心点平移由点云帧表示的对象或对象组以在世界域中被正确地放置的平移参数。
示例装置可以包括被配置为执行本文描述的信令示例中的任何一个的方法的一个或多个电路。
应当理解，前述描述仅是说明性的。本领域技术人员可以设计各种替代和修改。例如，在各种从属权利要求中描述的特征可以以任何合适的组合彼此进行组合。另外，来自以上所描述的不同实施例的特征可以被选择性地组合成新的实施例。因此，上述描述旨在涵盖落入所附权利要求的范围内的所有这种替代、修改和变化。

Claims (69)

1.一种装置，包括：
用于提供第一信令信息的部件，其中，所述第一信令信息包括与世界域有关的信息，其中，所述世界域是由第一体积坐标系中的多个点表示的点云帧；以及
用于提供第二信令信息的部件，其中，所述第二信令信息包括与模型域到所述世界域的转换有关的信息，其中，所述模型域通过第二体积坐标系中的多个点来表示所述点云帧。
2.根据权利要求1所述的装置，进一步包括：
用于信令传送扩展所述点云帧的适配参数集中的一个或多个相机参数的部件。
3.根据权利要求2所述的装置，进一步包括：
用于信令传送所述一个或多个相机参数的存在或缺失的部件。
4.根据权利要求2至3中任一项所述的装置，其中，所述一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关，并被用于解码操作之后的重构。
5.根据权利要求2至4中任一项所述的装置，进一步包括：
用于信令传送序列参数集中的一个或多个体积可用性参数的部件。
6.根据权利要求5所述的装置，其中，所述体积可用性参数包括以下中的一个或多个：
所述一个或多个体积可用性参数以米表示的指示；
显示框信息的存在或缺失的指示；或者
锚点的存在或缺失的指示。
7.根据权利要求1至6中任一项所述的装置，进一步包括：
用于在所述点云帧的重构中执行生成点集的适配的部件。
8.根据权利要求7所述的装置，其中，所述适配使用以下项作为输入：
所述点云帧的点的数量；
所述点云帧中的点的位置的数组；
锚点；以及
偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。
9.根据权利要求1至8中任一项所述的装置，进一步包括：
用于基于所提供的第一信令和所提供的第二信令执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个的部件。
10.根据权利要求9所述的方法，进一步包括：
用于使用所述基于视频的点云编码编码器来将所述世界域中的所述点云帧编码成基于视频的点云比特流的部件；或者
用于使用所述基于视频的点云编码解码器来解码所述基于视频的点云比特流以渲染所述世界域中的所述点云帧的部件。
11.根据权利要求1至10中任一项所述的装置，其中，作为所述世界域中的所述点云帧到所述模型域中的所述点云帧的转换的结果，生成所述第一信令信息和所述第二信令信息。
12.根据权利要求11所述的装置，其中，所述世界域中的所述点云帧到所述模型域中的所述点云帧的所述转换确定由所述模型域中的所述点云帧表示的对象或对象组的表示。
13.根据权利要求1至12中任一项所述的装置，其中，所述世界域中的所述点云帧的渲染是基于所述第一信令信息。
14.根据权利要求1至13中任一项所述的装置，其中，基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的转换是基于所述第二信令信息。
15.根据权利要求14所述的装置，其中，所述基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的所述转换包括中间状态，其中，所述基于视频的点云压缩域中的所述点云帧首先被变换成所述模型域中的所述点云帧，进而所述模型域中的所述点云帧被变换成所述世界域中的所述点云帧。
16.根据权利要求1至15中任一项所述的装置，其中，包括与所述世界域有关的信息的所述第一信令信息信令传送以下中的一个或多个：
所述世界域中的信号长度单位；
所述世界域的坐标系；
所述世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸；或者
所述世界域中的所述边界框的轴心点。
17.根据权利要求1至16中任一项所述的装置，其中，包括与所述模型域到所述世界域的所述转换有关的信息的所述第二信令信息信令传送以下中的一个或多个：
由基于视频的点云压缩域中的所述点云帧表示的对象或对象组的轴心点；
将由所述点云帧表示的对象或对象组从所述基于视频的点云压缩域缩放到所述世界域中的缩放参数；
围绕被信令传送的轴心点旋转由所述点云帧表示的对象或对象组以在所述世界域中被正确地定向的旋转参数；或者
相对于被信令传送的轴心点平移由所述点云帧表示的对象或对象组以在所述世界域中被正确地放置的平移参数。
18.一种装置，包括：
至少一个处理器；以及
包括计算机程序代码的至少一个非暂时性存储器；
其中，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少执行：
提供第一信令信息，所述第一信令信息包括与世界域有关的信息，其中，所述世界域是由第一体积坐标系中的多个点表示的点云帧；以及
提供第二信令信息，所述第二信令信息包括与模型域到所述世界域的转换有关的信息，其中，所述模型域通过第二体积坐标系中的多个点来表示所述点云帧。
19.根据权利要求18所述的装置，其中，所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行：
信令传送扩展所述点云帧的适配参数集中的一个或多个相机参数。
20.根据权利要求19所述的装置，其中，所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行：
信令传送所述一个或多个相机参数的存在或缺失。
21.根据权利要求19至20中任一项所述的装置，其中，所述一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关，并被用于解码操作之后的重构。
22.根据权利要求18至21中任一项所述的装置，其中，所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行：
信令传送序列参数集中的一个或多个体积可用性参数。
23.根据权利要求22所述的装置，其中，所述体积可用性参数包括以下中的一个或多个：
所述一个或多个体积可用性参数以米表示的指示；
显示框信息的存在或缺失的指示；或者
锚点的存在或缺失的指示。
24.根据权利要求18至23中任一项所述的装置，其中，所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行：
在所述点云帧的重构中执行生成点集的适配。
25.根据权利要求24所述的装置，其中，所述适配使用以下项作为输入：
所述点云帧的点的数量；
所述点云帧中的点的位置的数组；
锚点；以及
偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。
26.根据权利要求18至25中任一项所述的装置，其中，所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行：
基于所提供的第一信令和所提供的第二信令，执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个。
27.根据权利要求26所述的装置，其中，所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行：
使用所述基于视频的点云编码编码器来将所述世界域中的所述点云帧编码成基于视频的点云比特流；或者
使用所述基于视频的点云编码解码器来解码所述基于视频的点云比特流以渲染所述世界域中的所述点云帧。
28.根据权利要求18至26中任一项所述的装置，其中，作为所述世界域中的所述点云帧到所述模型域中的所述点云帧的转换的结果，生成所述第一信令信息和所述第二信令信息。
29.根据权利要求28所述的装置，其中，所述世界域中的所述点云帧到所述模型域中的所述点云帧的所述转换确定由所述模型域中的所述点云帧表示的对象或对象组的表示。
30.根据权利要求18至29中的任一项所述的装置，其中，所述世界域中的所述点云帧的渲染是基于所述第一信令信息。
31.根据权利要求18至30中任一项所述的装置，其中，基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的转换是基于第二信令信息。
32.根据权利要求31所述的装置，其中，所述基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的所述转换包括中间状态，其中，所述基于视频的点云压缩域中的所述点云帧首先被变换成所述模型域中的所述点云帧，进而所述模型域中的所述点云帧被变换成所述世界域中的所述点云帧。
33.根据权利要求18至32中任一项所述的装置，其中，包括与所述世界域有关的信息的所述第一信令信息信令传送以下中的一个或多个：
所述世界域中的信号长度单位；
所述世界域的坐标系；
所述世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸；或者
所述世界域中的所述边界框的轴心点。
34.根据权利要求18至33中任一项所述的装置，其中，包括与所述模型域到所述世界域的所述转换有关的信息的所述第二信令信息信令传送以下中的一个或多个：
由基于视频的点云压缩域中的所述点云帧表示的对象或对象组的轴心点；
将由所述点云帧表示的对象或对象组从所述基于视频的点云压缩域缩放到所述世界域中的缩放参数；
围绕被信令传送的轴心点旋转由所述点云帧表示的对象或对象组以在所述世界域中被正确地定向的旋转参数；或者
相对于被信令传送的轴心点平移由所述点云帧表示的对象或对象组以在所述世界域中被正确地放置的平移参数。
35.一种方法，包括：
提供第一信令信息，所述第一信令信息包括与世界域有关的信息，其中，所述世界域是由第一体积坐标系中的多个点表示的点云帧；以及
提供第二信令信息，所述第二信令信息包括与模型域到所述世界域的转换有关的信息，其中，所述模型域通过第二体积坐标系中的多个点来表示所述点云帧。
36.根据权利要求35所述的方法，进一步包括：
信令传送扩展所述点云帧的适配参数集中的一个或多个相机参数。
37.根据权利要求36所述的方法，进一步包括：
信令传送所述一个或多个相机参数的存在或缺失。
38.根据权利要求36至37中任一项所述的方法，其中，所述一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关，并被用于解码操作之后的重构。
39.根据权利要求35至38中任一项所述的方法，进一步包括：
信令传送序列参数集中的一个或多个体积可用性参数。
40.根据权利要求39所述的方法，其中，所述体积可用性参数包括以下中的一个或多个：
所述一个或多个体积可用性参数以米表示的指示；
显示框信息的存在或缺失的指示；或者
锚点的存在或缺失的指示。
41.根据权利要求35至40中任一项所述的方法，进一步包括：
在所述点云帧的重构中执行生成点集的适配。
42.根据权利要求41所述的方法，其中，所述适配使用以下项作为输入：
所述点云帧的点的数量；
所述点云帧中的点的位置的数组；
锚点；以及
偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。
43.根据权利要求35至42中任一项所述的方法，进一步包括：
基于所提供的第一信令和所提供的第二信令，执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个。
44.根据权利要求43所述的方法，进一步包括：
使用所述基于视频的点云编码编码器来将所述世界域中的所述点云帧编码成基于视频的点云比特流；或者
使用所述基于视频的点云编码解码器来解码所述基于视频的点云比特流以渲染所述世界域中的所述点云帧。
45.根据权利要求35至44中任一项所述的方法，其中，作为所述世界域中的所述点云帧到所述模型域中的所述点云帧的转换的结果，生成所述第一信令信息和所述第二信令信息。
46.根据权利要求45所述的方法，其中，所述世界域中的所述点云帧到所述模型域中的所述点云帧的所述转换确定由所述模型域中的所述点云帧表示的对象或对象组的表示。
47.根据权利要求35至46中任一项所述的方法，其中，所述世界域中的所述点云帧的渲染是基于所述第一信令信息。
48.根据权利要求35至47中任一项所述的方法，其中，基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的转换是基于第二信令信息。
49.根据权利要求48所述的方法，其中，所述基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的所述转换包括中间状态，其中，所述基于视频的点云压缩域中的所述点云帧首先被变换成所述模型域中的所述点云帧，进而所述模型域中的所述点云帧被变换成所述世界域中的所述点云帧。
50.根据权利要求35至49中任一项所述的方法，其中，包括与所述世界域有关的信息的所述第一信令信息信令传送以下中的一个或多个：
所述世界域中的信号长度单位；
所述世界域的坐标系；
所述世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸；或者
所述世界域中的所述边界框的轴心点。
51.根据权利要求35至50中任一项所述的方法，其中，包括与所述模型域到所述世界域的所述转换有关的信息的所述第二信令信息信令传送以下中的一个或多个：
由基于视频的点云压缩域中的所述点云帧表示的对象或对象组的轴心点；
将由所述点云帧表示的对象或对象组从所述基于视频的点云压缩域缩放到所述世界域中的缩放参数；
围绕被信令传送的轴心点旋转由所述点云帧表示的对象或对象组以在所述世界域中被正确地定向的旋转参数；或者
相对于被信令传送的轴心点平移由所述点云帧表示的对象或对象组以在所述世界域中被正确地放置的平移参数。
52.一种机器可读的非暂时性程序存储设备，其有形地体现所述机器可执行的用于执行操作的指令程序，所述操作包括：
提供第一信令信息，所述第一信令信息包括与世界域有关的信息，其中，所述世界域是由第一体积坐标系中的多个点表示的点云帧；以及
提供第二信令信息，所述第二信令信息包括与模型域到所述世界域的转换有关的信息，其中，所述模型域通过第二体积坐标系中的多个点来表示所述点云帧。
53.根据权利要求52所述的非暂时性程序存储设备，所述操作进一步包括：
信令传送扩展所述点云帧的适配参数集中的一个或多个相机参数。
54.根据权利要求53所述的非暂时性程序存储设备，所述操作进一步包括：
信令传送所述一个或多个相机参数的存在或缺失。
55.根据权利要求53至54中任一项所述的非暂时性程序存储设备，其中，所述一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关，并被用于解码操作之后的重构。
56.根据权利要求52至55中任一项所述的非暂时性程序存储设备，所述操作进一步包括：
信令传送序列参数集中的一个或多个体积可用性参数。
57.根据权利要求56所述的非暂时性程序存储设备，其中，所述体积可用性参数包括以下中的一个或多个：
所述一个或多个体积可用性参数以米表示的指示；
显示框信息的存在或缺失的指示；或者
锚点的存在或缺失的指示。
58.根据权利要求52至57中任一项所述的非暂时性程序存储设备，所述操作进一步包括：
在所述点云帧的重构中执行生成点集的适配。
59.根据权利要求58所述的非暂时性程序存储设备，其中，所述适配使用以下项作为输入：
所述点云帧的点的数量；
所述点云帧中的点的位置的数组；
锚点；以及
偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。
60.根据权利要求52至59中任一项所述的非暂时性程序存储设备，所述操作进一步包括：
基于所提供的第一信令和所提供的第二信令，执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个。
61.根据权利要求60所述的非暂时性程序存储设备，所述操作进一步包括：
使用所述基于视频的点云编码编码器来将所述世界域中的所述点云帧编码成基于视频的点云比特流；或者
使用所述基于视频的点云编码解码器来解码所述基于视频的点云比特流以渲染所述世界域中的所述点云帧。
62.根据权利要求52至61中任一项所述的非暂时性程序存储设备，其中，作为所述世界域中的所述点云帧到所述模型域中的所述点云帧的转换的结果，生成所述第一信令信息和所述第二信令信息。
63.根据权利要求62所述的非暂时性程序存储设备，其中，所述世界域中的所述点云帧到所述模型域中的所述点云帧的所述转换确定由所述模型域中的所述点云帧表示的对象或对象组的表示。
64.根据权利要求52至63中任一项所述的非暂时性程序存储设备，其中，所述世界域中的所述点云帧的渲染是基于所述第一信令信息。
65.根据权利要求52至64中任一项所述的非暂时性程序存储设备，其中，基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的转换是基于第二信令信息。
66.根据权利要求65所述的非暂时性程序存储设备，其中，所述基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的所述转换包括中间状态，其中，所述基于视频的点云压缩域中的所述点云帧首先被变换成所述模型域中的所述点云帧，进而所述模型域中的所述点云帧被变换成所述世界域中的所述点云帧。
67.根据权利要求52至66中任一项所述的非暂时性程序存储设备，其中，包括与所述世界域有关的信息的所述第一信令信息信令传送以下中的一个或多个：
所述世界域中的信号长度单位；
所述世界域的坐标系；
所述世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸；或者
所述世界域中的所述边界框的轴心点。
68.根据权利要求52至67中任一项所述的非暂时性程序存储设备，其中，包括与所述模型域到所述世界域的所述转换有关的信息的所述第二信令信息信令传送以下中的一个或多个：
由基于视频的点云压缩域中的所述点云帧表示的对象或对象组的轴心点；
将由所述点云帧表示的对象或对象组从所述基于视频的点云压缩域缩放到所述世界域中的缩放参数；
围绕被信令传送的轴心点旋转由所述点云帧表示的对象或对象组以在所述世界域中被正确地定向的旋转参数；或者
相对于被信令传送的轴心点平移由所述点云帧表示的对象或对象组以在所述世界域中被正确地放置的平移参数。
69.一种装置，包括：
被配置为执行根据权利要求35-51中任一项所述的方法的一个或多个电路。
CN202080065855.6A 2019-09-19 2020-09-16 基于视频的点云压缩模型到世界信令信息 Pending CN114503553A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962902511P 2019-09-19 2019-09-19
US62/902,511 2019-09-19
PCT/FI2020/050593 WO2021053270A1 (en) 2019-09-19 2020-09-16 Video-based point cloud compression model to world signalling information

Publications (1)

Publication Number Publication Date
CN114503553A true CN114503553A (zh) 2022-05-13

Family

ID=74881401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080065855.6A Pending CN114503553A (zh) 2019-09-19 2020-09-16 基于视频的点云压缩模型到世界信令信息

Country Status (5)

Country Link
US (1) US11711535B2 (zh)
EP (1) EP4032261A4 (zh)
KR (1) KR20220063254A (zh)
CN (1) CN114503553A (zh)
WO (1) WO2021053270A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115443652B (zh) * 2020-04-11 2024-02-20 Lg电子株式会社 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
EP4124032A4 (en) * 2020-04-12 2023-05-31 LG Electronics, Inc. POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE, AND POINT CLOUD DATA RECEIVING METHOD
EP4131961A4 (en) * 2020-04-13 2023-09-13 LG Electronics, Inc. DEVICE FOR TRANSMITTING POINT CLOUD DATA, METHOD FOR TRANSMITTING POINT CLOUD DATA, DEVICE FOR RECEIVING POINT CLOUD DATA AND METHOD FOR RECEIVING POINT CLOUD DATA
CN117546207A (zh) * 2021-06-25 2024-02-09 索尼集团公司 信息处理装置和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019034807A1 (en) * 2017-08-15 2019-02-21 Nokia Technologies Oy SEQUENTIAL CODING AND DECODING OF VOLUMETRIC VIDEO
EP3695597A4 (en) * 2017-10-11 2021-06-30 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
US10535161B2 (en) * 2017-11-09 2020-01-14 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection
WO2019158821A1 (en) * 2018-02-19 2019-08-22 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
WO2019166688A1 (en) * 2018-03-01 2019-09-06 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US10939129B2 (en) * 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010955B2 (en) * 2018-06-27 2021-05-18 Sony Group Corporation Point cloud mapping
US11012713B2 (en) * 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data

Also Published As

Publication number Publication date
EP4032261A4 (en) 2023-07-12
KR20220063254A (ko) 2022-05-17
US20210092430A1 (en) 2021-03-25
WO2021053270A1 (en) 2021-03-25
US11711535B2 (en) 2023-07-25
EP4032261A1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
US20230050860A1 (en) An apparatus, a method and a computer program for volumetric video
US11711535B2 (en) Video-based point cloud compression model to world signaling information
EP3850579A1 (en) A method, an apparatus and a computer program product for volumetric video
JP2018534881A (ja) 点群を圧縮する方法
WO2021136878A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
CN113853796A (zh) 用于体积视频编码和解码的方法、装置和计算机程序产品
WO2021260266A1 (en) A method, an apparatus and a computer program product for volumetric video coding
EP4007284A1 (en) Point cloud data processing device and method
WO2021170906A1 (en) An apparatus, a method and a computer program for volumetric video
US20220159297A1 (en) An apparatus, a method and a computer program for volumetric video
WO2021053262A1 (en) An apparatus, a method and a computer program for volumetric video
WO2023144445A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
EP4068789A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP3987774A1 (en) An apparatus, a method and a computer program for volumetric video
EP4358519A1 (en) Point cloud data transmission device and method, and point cloud data reception device and method
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230326138A1 (en) Compression of Mesh Geometry Based on 3D Patch Contours
US20240121435A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230171427A1 (en) Method, An Apparatus and a Computer Program Product for Video Encoding and Video Decoding
US20240029312A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230298218A1 (en) V3C or Other Video-Based Coding Patch Correction Vector Determination, Signaling, and Usage
WO2023001623A1 (en) V3c patch connectivity signaling for mesh compression
WO2024003683A1 (en) Method apparatus and computer program product for signaling boundary vertices
WO2024084326A1 (en) Adaptive displacement packing for dynamic mesh coding
WO2021165566A1 (en) An apparatus, a method and a computer program for volumetric video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination