CN111386551A

CN111386551A - 点云的预测编码、解码的方法和设备

Info

Publication number: CN111386551A
Application number: CN201880075765.8A
Authority: CN
Inventors: S.拉塞尔; S.普里; 蔡康颖; J.里卡德; C.古德
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2017-10-19
Filing date: 2018-10-11
Publication date: 2020-07-07
Also published as: US20200258262A1; EP3698328A1; WO2019079093A1; US11769275B2

Abstract

这种用于将时变3D点云帧间预测编码到至少一个比特流中的方法，所述时变3D点云包含一系列被分成多个3D块的连续帧，所述方法包括对包含几何变换的3D运动信息进行编码(20)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息包括表示平移变换的估计误差的向量ΔT。

Description

点云的预测编码、解码的方法和设备

技术领域

本公开总体上关于表示3D对象的点云数据源的领域。

更具体地说，它处理动态的(即随时间变化的)3D点云。

因此，本公开涉及用于编码和解码点云的方法以及相应的编码器和解码器。它还涉及实施本发明的编码和解码方法的计算机程序。

背景技术

本部分中描述的方法可以被实行，但不一定是先前已经设想或实行的方法。因此，除非本文另外指出，否则本部分中描述的方法不是本申请中权利要求的现有技术，并且不因包括在本部分中而被承认为现有技术。

点云由点的集合构成，这些点通常旨在表示3D对象的外表面，但也表示更复杂的几何形状(如头发、毛发)，这些几何形状可能无法由其他数据格式(如网格)有效地表示。每个点由其3D空间位置(3D空间中的x、y和z坐标)(即几何信息)以及可能地由其他关联属性来定义，这些属性典型地包括在RGB或YUV或任何其他颜色坐标系统中表示的颜色信息。其他属性可以包括透明度、反射率等。

点云可以是静态的也可以是动态的，这取决于点云是否相对于时间而演变。应当注意，在动态点云的情况下，点的数量不是恒定的，而是相反，通常随时间而演变。因此，动态点云是点集的按时间排序的列表。

本公开更具体地涉及动态3D点云。在其中自然场景与合成或虚拟的对象相结合的混合现实系统(诸如增强现实)中，这样的点云是3D视频流的有用表示，或者，在其中用表示用户的实况捕获的自然3D视频流增强合成场景的沉浸式虚拟房间中也是如此。

3D点云非常适合快速的实时采集和通信。然而，现实的重构3D点云可能包含数十万个到数百万个点，并且压缩对于在带宽受限的网络中实现高效且实时的通信而言是关键的。

近年来，3D点云的压缩已受到广泛关注。为了比较不同的解决方案，通常已经评估了压缩率和几何变形。

然而，在沉浸式、增强和混合现实通信系统的背景中，若干其他附加因素对于评估压缩解决方案也是重要的。

实际上，如在这些系统中那样，点云序列被快速地捕获，可以利用帧间冗余来经由帧间预测实现更好的压缩性能，这在现有的静态点云编码器中通常是不考虑的。

R.Mekuria等人的文章：“Design,Implementation,and Evaluation of a PointCloud Codec for Tele-Immersive Video”，IEEE视频技术电路与系统学报，第27卷，第4期，第828-842页，2017年4月，描述了一种用于增强和沉浸式3D视频的时变3D点云的编解码器。所提出的编解码器利用了帧间冗余，并介绍了一种基于先前输入对帧进行帧间预测编码的方法，该方法包括基于迭代最近点(ICP)算法的刚性变换计算。所计算的刚性变换可以用于生成预测器。

该刚性变换矩阵Transf是4×4矩阵，包括3×3旋转矩阵R和3×1平移向量T。如图1中所示。

虽然该文章的解决方案允许通过使用帧间预测来提高动态3D点云编解码器的速率失真(RD)性能，但仍然需要减少编码刚性变换矩阵所需的比特率的数量。例如，在该文章中，使用每个分量(即x、y、z)16比特来量化平移向量T，这仍然是很大的数量。

发明内容

本公开提出了一种用于改善现状的解决方案。

本公开提供了根据权利要求1和2的用于编码点云的方法和设备，以及根据权利要求13和14的用于解码点云的方法和设备。

相应地，本公开提供了一种用于将时变3D点云预测编码到至少一个比特流中的方法，所述时变3D点云包含一系列被分成3D块的连续帧，所述方法包括对包含几何变换的3D运动信息进行编码，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息包括表示平移变换的估计误差的向量ΔT。

因此，本公开的方法通过仅对平移向量T的估计误差(而不是平移向量T本身)进行编码，与现有技术相比能够显著减小平移向量的范围。因此，动态3D点云的帧间预测编码所需的量化比特远少于在现有技术中所需的量化比特。

有利地，旋转变换由旋转矩阵R表示，并且编码方法包括：

-对旋转矩阵R进行编码；

-对编码后的旋转矩阵进行解码以获得重构的旋转矩阵R^rec；以及

-将平移变换的估计确定为重构的旋转矩阵R^rec的向量T^*函数。

因此，根据本公开，被编码的是向量ΔT＝T-T^*。ΔT的范围远小于T的范围，因为其大致是3D块的尺寸，所述尺寸通常被选得非常小。例如，如果3D块是固定尺寸为16×16×16的立方体，则仅需4比特即可对ΔT的每个分量进行编码。

有利地，3D运动信息包含指向与当前点云帧的每个3D块相关联的匹配参考3D块的向量，所述匹配参考3D块在参考点云帧中。

参考点云帧是已经被编码的点云帧。

重要的是要注意，包括旋转和平移信息的几何变换将落入匹配参考3D块中的参考点云帧的子集变换为落入当前正被编码的3D块中的当前点云帧的子集的最接近形式。

有利地，平移信息的估计T^*是重构的旋转矩阵R^rec和指向匹配参考3D块的重构向量的函数。

优选地，从参考点云帧中的多个候选参考3D块中选择匹配参考3D块，作为提供小于阈值的最小预测误差的参考3D块。

这意味着将当前帧中待编码的每个块与参考帧中的搜索区域内的若干个块进行比较。这是非常有利的，因为对于待编码的块而言有更多的机会找到匹配参考块并通过帧间预测被压缩。

有利地，几何变换由使用迭代最近点ICP算法确定的4×4变换矩阵表示。

ICP算法已在Paul J.Besl等人的文章：“A method for registration of 3-Dshapes”(IEEE模式分析与机器智能学报，第14卷，第2期，第239-256页，1992年)，以及T.Tamaki等人的文章：“Softassign and EM-ICP on GPU”(2010年第一届网络与计算国际会议，东广岛，2010年，第179-183页)中进行了描述。

根据实施例，旋转变换由三个欧拉角表示。

有利地，旋转信息的编码使用至少一个三角函数查找表LUT。

通过使用这种LUT，可以避免三角函数值和角度之间的转换。这允许改善编码精度并降低其计算复杂度。

根据另一实施例，旋转变换由单位四元数表示。

这些表示比3×3旋转矩阵更易于压缩。

本公开还提供了一种用于将时变3D点云预测编码到至少一个比特流中的编码器，所述时变3D点云包含一系列被分成3D块的连续帧，所述编码器包括用于对包含几何变换的3D运动信息进行编码的部件，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息由表示平移变换的估计误差的向量ΔT表示。

本公开还提供了一种用于从至少一个比特流对时变3D点云进行预测解码的方法，所述时变3D点云包含一系列被分成3D块的连续帧，所述方法包括对包含几何变换的3D运动信息进行解码，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息由表示平移变换的估计误差的向量ΔT表示。

本公开还提供了一种用于从至少一个比特流对时变3D点云进行帧间预测解码的解码器，所述时变3D点云包含一系列被分成3D块的连续帧，所述解码器包括用于对包含几何变换的3D运动信息进行解码的部件，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息由表示平移变换的估计误差的向量ΔT表示。

可以在可编程装置上的软件中实施根据本公开的方法。这些方法可以单独以硬件或以软件来实施，或者以其组合来实施。

由于这些方法可以在软件中实施，因此这些方法可以体现为计算机可读代码，以在任何合适的载体介质上提供给可编程装置。载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储设备等的存储介质。

因此，本公开提供了一种计算机可读程序，其包括使得计算机能够执行本公开的编码方法的计算机可执行指令。

图3的图示出了用于这种计算机程序的通用算法的示例。

本公开还提供了一种计算机可读程序，其包括使得计算机能够执行本公开的解码方法的计算机可执行指令。

图8的图示出了用于这种计算机程序的通用算法的示例。

附图说明

在附图的各图中，通过示例而非限制的方式示出了本发明，其中相同的附图标记指代相似的元件，并且其中：

-图1(已描述)表示在3D点云的帧间预测编码中使用的变换矩阵；

-图2是示出3D点云的帧间预测编码的原理的流程图；

-图3是示出根据本发明的实施例的编码点云的方法的步骤的流程图；

-图4示出了在2D中平移和旋转变换的组合的示例；

-图5示出了图示本原理的第一实施例中正弦值的失真的曲线；

-图6示出了图示本原理的第二实施例中正弦值的失真的曲线。

-图7是根据本公开的实施例的在3D点云的帧间预测编码中使用的变换矩阵的分解；

-图8是示出根据本发明的实施例的解码点云的方法的步骤的流程图；

-图9是图示出根据本发明的实施例的编码器的示意图；以及

-图10是图示出根据本发明的实施例的解码器的示意图。

具体实施方式

本公开的原理可以在帧间预测(inter-prediction)编码和帧内预测(intra-prediction)编码中使用。以下描述的实施例针对帧间预测编码的情况。

在图2的流程图中图示了根据本发明的实施例的3D点云的帧间预测编码的原理。

3D点云包括一系列被分成多个3D块的连续帧。

帧间预测编码利用相邻帧之间的时间冗余，即编码器将尝试找到与当前帧6中的当前块4类似的3D块2(称为参考块)，而不是直接对每个3D块的原始数据进行编码，所述块2在先前编码的帧8(称为参考帧)上被编码。该处理基于块匹配算法。如果编码器搜索成功，则可以使用表示参考块2与当前块4之间的变换的3D运动信息以及预测误差或残差(即通过对匹配参考块2进行变换所获得的变换块10与当前块4之间的差12)对块4进行编码。3D运动信息和预测残差均被编码，并且在至少一个比特流中被发送到解码器，以恢复通过基于帧间预测的编码而被编码的当前块4。

根据实施例，3D块是具有固定尺寸的立方体，例如16×16×16。

3D块不一定完全被占用。它们可以包含1到K³个元素，其中K是3D块的尺寸，例如，对于16×16×16的块而言，K＝16。

图3是示出根据本公开的优选实施例的对来自当前帧6的当前块4进行帧间预测编码的步骤的框图。

对于当前帧6，从同一组点云帧(以下称为GOPC)内的点云帧中选择参考帧8，以用于帧间编码。因此，对于一个GOPC，使用公共的边界框。当前帧的边界框首先被均匀分成多个3D块。将仅处理包含至少一个点的当前帧的3D块，以用于帧间预测编码。

假设当前3D块4的左下角为(x_min，y_min，z_min)，那么其左下角在区域([x_min-S，x_min+S]，[y_min-S，y_min+S]，[z_min-S，z_min+S])中的参考帧8的3D块构成了匹配参考3D块的搜索区域。搜索步长用ΔS表示。根据示例，在当前3D块的尺寸为16×16×16时，选择S等于4且ΔS等于2。

对于每对在步骤18从搜索区域中选择的候选参考块PC_Ref以及当前块PC_Cur4，在步骤20通过迭代最近点(ICP)算法实现点云帧6、8的两个子集的对准。子集在此处是指参考帧8的落入候选参考块PC_Ref中的点以及当前帧6的落入当前块PC_Cur中的点。

ICP输出旋转矩阵R和平移向量T，它们使点云帧6、8的两个子集之间的均方误差最小。因此，点云帧子集对准的结果是4×4变换矩阵Trans^fICP，其具有图1中表示的形式。

ICP的“迭代”特征来自以下事实：随着解决方案更接近误差局部最小值，重新考虑点对应关系。与任何梯度下降方法一样，当预先有相对好的起点时，ICP是可应用的。否则，它将陷入第一个局部最小值中，并且解决方案将是无用的。因此，需要提前使候选参考块和当前块大致对准。该初始对准通过平移候选参考块以使该候选参考块和当前块的平均值重叠来实现。然后初始变换矩阵(表示为Transf^Init)可由下式确定：

其中，

和

分别是PC_Ref和PC_Cur的平均值。

然后，用于将PC_Ref与PC_Cur对准的最终变换矩阵为：

Transf＝Transf^ICP*Transf^Init。

从图1可以清楚地看出，在该矩阵中，左上3×3子矩阵表示旋转，即图1中的R。此外，右上3×1子矩阵表示平移，即图1中的T。

在不进行任何进一步处理的情况下，需要12个浮点数(即9个用于旋转，3个用于平移)来恢复变换矩阵。对于压缩而言，成本显然太高。因此，变换矩阵需要转换为更易于压缩的格式。参考以下步骤，我们描述如何将R和T转换为若干整数。

因此，在步骤22，将变换矩阵进一步转换为更易于压缩的格式。该转换处理还包括量化处理。

下面描述转换旋转变换的两个实施例。

根据第一实施例，旋转变换由3个欧拉角表示。根据欧拉旋转定理，任何3D旋转都可以被分解为3个连续的元素旋转(即围绕坐标系轴的旋转)。因此，可以通过三个角度(其被称为欧拉角)来描述任何3×3旋转矩阵。存在十二种可能的旋转轴顺序，分为两组：

-包括顺序ZXZ、XYX、YZY、ZYZ、XZX、YXY的适当欧拉(Proper Euler)角，以及

-包括顺序XYZ、YZX、ZXY、XZY、ZYX、YXZ的泰特布莱恩(Tait-Bryan)角。

不失一般性，此处我们选择XYZ作为旋转轴顺序。然后，相应的3个元素旋转为：

1.第一旋转为使用以下旋转矩阵绕X轴旋转角度θ_X：

2.第二旋转为使用以下旋转矩阵绕Y轴旋转角度θ_Y：

3.第三旋转为使用以下旋转矩阵绕Z轴旋转角度θ_Z：

然后，旋转矩阵

可被写为：

基于等式(1)，可以由以弧度为单位的3个欧拉角θ_X、θ_Y和θ_Z来描述R，所述3个欧拉角由下式确定：

将R转换为以整数度为单位的3个角度的过程如下。

首先，使用等式(2)确定3个浮点角度。

其次，将以浮点弧度为单位的3个角度量化为以整数度为单位的3个角度，如下所示：

i＝x，y或z。

根据以整数度为单位的3个角度来重构R的过程如下。

首先，使用

i＝x，y或z将以整数度为单位的3个角度转换为以浮点弧度为单位的3个角度。其次，使用等式(1)重构R。

通过上述转换，旋转变换由三个整数欧拉角表示。

应当注意的是，使用三角函数查找表LUT、以及使用LUT的索引来描述旋转矩阵可能是有利的，这会避免三角函数值和角度之间的转换。

根据实施例，根据以下处理来实施LUT的使用。

由于正弦函数的周期为2π，所以

因此，有必要仅针对

构建LUT。

根据第一实施例，可以使用均匀采样步长Δθ，例如，Δθ＝5度，来构建sinθ，

的LUT。然后，sinθ的均匀采样的LUT如表1中所示。

表1：sinθ的均匀LUT，其中Δθ＝5度

LUT[i]返回LUT的第i个条目的值。在该示例中，LUT包含N＝19个条目(从0到18的19个索引i)和N＝19个输出(19个正弦值)，其中，N＝(90/Δθ)+1。LUT包括有限数量的正弦值，每Δθ＝5度一个值。

根据实施例，扩展该LUT以便加速确定表示三角值的整数，特别是当存在大量待编码的旋转矩阵时。

在该扩展处理中，通过在LUT的两个相邻条目之间进行线性插值，为每个整数值ID’∈[0...90°/QP_θ]计算使用LUT重构的正弦值。参数QP_θ是以度为单位的角度的量化步长。例如，QP_θ＝0.5°。

该LUT的用法如下。假设以度为单位的θ的量化步长为QP_θ，例如，QP_θ＝0.5。对于任何整数ID，正弦函数的相应值sinθ由以下确定：

·首先，通过θ′＝ID*QP_θ确定以度为单位的θ′，

·其次，通过θ″＝MOD(θ′，360°)将θ′转换为θ″∈[0，360°)，其中，MOD(x，y)是模运算符，

·第三，由下式确定sinθ：

其中，

以及

表示

的整数部分。

应当注意，LUT[i]返回LUT的第i个条目的值，并且LUT(ID)使用ID作为查询来返回查询结果。

为了用信号发送该LUT，将Δθ、QP_θ和存储在LUT中的sinθ值在比特流中传送到解码器侧。另一个实施例是仅传送Δθ和QP_θ。解码器基于Δθ计算存储在LUT中的sinθ值。

均匀采样的查找表的缺点在于，由

确定的失真随着θ的增加而不断增加，如图5中所示。这导致编码伪像。为了实现准均匀失真，非均匀采样步长对于查找表的生成是优选的。注意，

表示

的整数部分。

根据第二实施例，使用非均匀采样步长Δθ来构建sinθ的LUT。非均匀采样步长的一个示例是

然后，sinθ的非均匀采样的LUT如下：

表2

然后，扩展该LUT以便加速确定表示三角值的整数，特别是当存在大量待编码的旋转矩阵时。

在该第二实施例中，对于任何整数ID’∈[0...90°*QP_θ]，使用LUT重构的正弦函数的对应值由ReconSine函数确定，如由下式定义：

其中，

·θ″′＝ID′*QP_θ

·

表示

的整数部分

·

对于任何ID’∈[0；90*QP_θ]，这些三角函数值仅被计算一次并存储。之后，可以取回这些三角函数值。

将Δθ₁、Δθ₂、θ_Seg、QP_θ以及LUT的sinθ值在比特流中传送到解码器侧。另一个实施例是仅传送Δθ₁、Δθ₂、θ_Seg和QP_θ。解码器基于Δθ₁、Δθ₂和θ_Seg计算存储在LUT中的sinθ值。

所得的失真

在图6中示出。与第一实施例的失真相比，该失真是减小的。

基于等式(1)，R可以用3对三角函数值

以及

来描述。注意，cOsθ_Y≥0，因为θY∈[-π/2，π/2]。

对于一对三角值(sinδ，cosδ)，用作上面为了重构(sinδ，cosδ)而构建的LUT的查询的整数ID_δ由下式确定：

如果LUT是通过均匀采样构建的，并且没有被扩展，则如下确定ID′δ：

其中，LUT[INDEX_Unif]≤|sinδ|且LUT[INDEX_Unif+1]≥|sin外

如果LUT是通过非均匀采样构建的，并且没有被扩展，则如下确定ID′_δ：

其中，LUT[INDEX_NonUnif]≤|sinδ|且LUT[INDEX_NonUnif+1]≥|sinδ|。

如果仅一个三角值待编码，诸如cosδ，则如下确定ID_δ。

首先，使用|cosδ|确定整数ID″_δ。如果扩展LUT，则将ID″_δ设置为使||cosδ|-ReconSine(ID)|，ID∈[0...90/QP_θ]最小的整数值。如果不扩展LUT，则使用等式(4)和等式(5)来确定ID″_δ，其中sinδ替换为cosδ。其次，ID_δ被确定为

然后，R可以通过由等式(3)确定的三个整数

知

来表示，其中，分别有δ＝θ_X、δ＝θ_Y和δ＝θ_Z。

所确定的整数值ID被编码到比特流F1中。在实施例中，对整数值ID进行熵编码。

根据第二实施例，旋转变换由单位四元数Quatern(qw，qx，qy，qz)表示，所述四元数由下式确定：

qx＝(r₂₁-r₁₂)/(4*qw)＝sinα/2 cosβ_x，

qy＝(r₀₂-r₂₀)/(4*qw)＝sinα/2 cosβ_y，

qz＝(r₁₀-r₀₁)/(4*qw)＝sinα/2 cosβ_z。

然后，可以通过下式根据Quatern(qw，qx，qy，qz)来重构R：

其中，Quatern(qw，qx，qy，qz)通过以弧度为单位的角度qw、以及作为单位向量的旋转轴(qx，qy，qz)来描述旋转。

因此，旋转矩阵R^3D可以通过一对余弦/正弦值和3个余弦值来描述：

-

-

-

以及

-

Quatern(qw，qx，qy，qz)进一步被转换为易于压缩的格式，如下所示：

-qw通过qw^Int＝Float2Integer((qw*180.0+0.5))被转换，

-qx和qy通过qx^Int＝Float2Integer(qx*QP^Quatern+0.5)和qy^Int＝Float2Integer(qy*QP^Quatern+0.5)被量化，其中，QP^Quatern是Quatern(qw，qx，qy，qz)的量化参数。由于(qx，qy，qz)是单位向量，因此仅qz的符号需要用信号发送，即输出到压缩的比特流。

通过上述的转换，由表示单位四元数的四个整数来描述旋转变换。

关于平移变换，原始平移数据T(t_x，t_y，t_z)的范围非常大，这可能会损害编解码器的速率失真(RD)性能。为了实现更好的性能，原始平移数据也需要被进一步转换。

平移和旋转操作的任何组合都可以通过3个连续的变换来近似。图4示出了2D示例。

假设我们要变换一个3D对象OBJ_Src，使其通过平移和旋转操作与另一个3D对象OBJ_Tar对准。首先，平移OBJ_Src，以将其质心(centroid)O_Src移至世界坐标系的原点O。其次，旋转平移后的OBJ′_Src，以使其对象坐标系的轴与OBJ_Tar的对象坐标系的轴对准。第三，再次将平移然后旋转后的OBJ″_Src平移，以将其质心移至OBJ_Tar的质心。至此，变换后的OBJ_Src与OBJ_Tar对准。以上三个变换分别称为T^orig、R和T^Center。

因此，可以重写变换矩阵Transf，如图5中所示，这意味着平移向量可以写为T＝R*T^orig+T^Center。

将落入候选参考3D块中的点的平均值表示为

其可以通过指向候选参考3D块的向量来确定。

还考虑将落入当前3D块的点的平均值估计为C^Cur(即当前3D块的中心)。然后，T^Orig＝-M_Ref且T^Center＝C^Cur。

在已经将R编码和解码为重构的旋转矩阵R^Rec的情况下，则可以通过下式确定T的估计：

T^*＝R^Rec*(-M^Ref)+C^Cur。

代替对T进行编码，根据本公开，对T的估计误差ΔT进行编码，ΔT可以通过ΔT＝T-T^*定义。

的范围大致是3D块的尺寸。例如，当3D块的尺寸为16×16×16时，ΔT的范围为

和

在编码之前被量化为整数。

然后，将T重构为T^Recons＝T^*+ΔT^Int，其中，ΔT^Int元素是量化的

和

通过该转换，由表示平移变换的估计误差的整数3D向量来表示平移变换。

之后，在步骤24，根据转换后的结果重构变换矩阵。然后，使用重构的变换矩阵Transf^Recons，根据下式确定参考帧8的落入候选参考块中的变换子集，记为

之后，在步骤26，通过将当前块4与

进行比较来确定标量预测误差。

根据实施例，使用以下两个因素的加权和来确定预测误差：

1)

当前块PC_Cur中相对于变换后的候选参考块

的均方几何误差(以下简称MSGE)，

2)

中相对于PC_Cur的均方几何误差(以下为MSGE)

根据示例，两个权重均选择为等于0.5。

根据另一个实施例，使用以下两个因素来确定预测误差：

1)

PC_Cur中相对于

的均方几何误差(以下为MSGE)，

2)

中的点相对于PC_Cur的平方几何误差之中最大的MAX_ERR_POINT_NUM个平方误差的平均值，

其中，MAX_ERR_POINT_NUM由

确定，其中，

是候选参考块PC_Ref中的点的数量，并且MAX_ERR_POINT_RATIO是预定义常数，例如等于0.1。

在该实施例中，

用来惩罚变换后的候选参考块

中远离当前块PC_Cur的点。

预测误差是以上两个因素的加权和，并由下式确定：

其中，例如，w_Cur，Ref＝w_Ref，Cur＝1/2。

在将所有候选参考块与当前块进行比较之后，如果所获得的最小预测误差在用户定义的阈值之内，则将使用帧间预测对当前块4进行编码，并在步骤28选择具有最小预测误差的参考3D块，作为匹配参考3D块。

根据实施例，在步骤29，通过霍夫曼编码进一步对3D运动信息进行编码。对于左下角为

的当前3D块，假设匹配参考3D块的左下角为

将指向匹配参考3D块的向量用信号发送，作为

和GOP中参考帧的索引。

然后，根据各种代码字的分布概率，分别针对

整数欧拉角或表示单位四元数的整数、以及表示平移向量估计误差的整数向量，设计不同的霍夫曼编码器。每个霍夫曼编码器是根据每种数据类型的不同代码字的出现概率而设计的。例如，表3中示出了针对

的所有代码字的出现概率和霍夫曼编码。

代码字	出现概率	霍夫曼编码
			0	40％	0
-2	20％	100
			+2	20％	101
-4	10％	110
			+4	10％	111

表3

然后，在步骤30，通过比较当前3D块4和在步骤28选择的匹配参考块，确定要被编码并输出到压缩比特流的预测残差。

有趣的是注意到，预测残差不同于在步骤26确定的预测误差。预测残差是解码器用来重构当前块4的一组3D向量。

实际上，对于匹配参考块PC_Ref中的每个点(表示为P^Ref)，其之后要编码的预测残差由P^Cur-P^TransfRef确定，其中P^TransfRef＝Tranf_Ref→_Cur*P^Ref，并且P^Cur是当前块PC_Cur中最接近变换后的参考块P^TransfRef的点。

然后根据匹配参考块中所有点的解码顺序对预测残差进行排序，并通过算术编码器进行熵编码。

图6是示出对通过参考图3描述的编码方法生成的比特流31进行帧间预测解码以便重构点云的当前3D块的步骤的框图。

第一比特流数据字段R包含编码后的旋转代表，即编码后的整数欧拉角或表示单位四元数的整数。

第二比特流数据字段T包含编码后的平移估计误差，即表示平移向量估计误差的编码后的整数向量。

第三比特流数据字段M包含指向匹配参考3D块的向量。

分别在步骤32、34和36对比特数据字段R、T和M进行熵解码。

然后，在步骤38，根据解码后的旋转代表来重构旋转矩阵。

当使用LUT时，解码方法包括以下步骤：

-根据比特流数据字段R，解码表示旋转矩阵的整数值ID；生成表示旋转矩阵的整数值ID，并可能生成LUT表；

-至少根据查找表，将整数值与N个三角函数值中的每个值相关联；在该步骤中，查找表LUT是重构的。可选地，对于任何整数ID′∈[0...90°/QP_θ]，预先计算重构的三角函数值ReconSine(ID′)；

-对于解码后的整数值ID，使用ID和查找表LUT来确定表示旋转矩阵的相应重构的sin和/或cos函数值ReconSine(ID)和ReconCosine(ID)。

如果没有预先计算，则当通过均匀采样构建LUT且需要确定ReconSine(ID)和ReconCosine(ID)两者时，ReconSine(ID)和ReconCosine(ID)由下式确定：

其中，

·θ″＝MOD(θ′，360°)且θ″∈[0，360°)，其中，MOD(x，y)是模运算符，并且θ′＝ID*QP_θ；

·

表示

的整数部分

·

以及

·

·

公式

是任意角度θ″′∈[0°；90°]的分段线性插值。并且sign(θ″)设置sinθ的符号。并且signcos(θ″)设置cosθ的符号。

如果没有预先计算，则当通过均匀采样构建LUT且仅需要确定ReconCosine(ID)时(当旋转矩阵通过转换为四元数来进行编码时)，ReconCosine(ID)由

来确定。

其中，

·

且θ″_Cos∈[0，180°]，其中，θ′_Cos＝ID*QP_θ；

·

代表

的整数部分

·

以及

·

如果没有预先计算，则当通过非均匀采样构建LUT且需要确定ReconSine(ID)和ReconCosine(ID)两者时，ReconSine(ID)和ReconCosine(ID)通过下式确定：

其中，

·θ″＝MOD(θ′，360°)且θ″∈[0，360°)，其中，MOD(x，y)是模运算符；

·

代表

的整数部分

·

·

以及

·

·

如果没有预先计算，则当通过非均匀采样构建LUT且仅需要确定ReconCosine(ID)时(当旋转矩阵通过转换为四元数来进行编码时)，ReconCosine(ID)由下式确定：

其中，

·

且θ″_Cos∈[0，180°]，其中，θ′_Cos＝ID*QP_θ；

·

表示

的整数部分，

·

·

以及

·

如果进行了预先计算并且需要确定ReconSine(ID)和ReconCosine(ID)两者，则ReconSine(ID)和ReconCosine(ID)由下式确定：

ReconSine(ID)＝sign(θ″)*ReconSine(ID″′)

其中，

·

·

以及

·

如果进行了预先计算并且仅需要确定ReconCosine(ID)(当旋转矩阵通过转换为四元数来进行编码时)，ReconCosine(ID)由ReconCosine(ID)＝signcos1(θ″_Cos)*ReconSine(ID″′_Cos)来确定。

其中，

·

并且θ″_Cos∈[0，180°]，其中，θ′_Cos＝ID*QP_θ；

·

以及

注意，如果进行了预先计算，即对于任何整数ID′∈[0...90°/QP_θ]预先计算ReconSine(ID′)，则使用相同的方法来确定ReconCosine(ID)和/或ReconSosine(ID)，以用于通过均匀采样或非均匀采样方法构建的两种LUT。

-根据所述至少一个重构的三角函数值确定所述旋转矩阵。

因此，根据ID_γ确定(sinγ，cosγ)，并根据(sinγ，cosγ)确定旋转矩阵。

在将旋转矩阵转换为3个欧拉角的实施例中，根据ID_X、ID_Y和ID_Z确定(sinθ_X，cosθ_X)、(sinθ_Y，cosθ_Y)和(sinθ_Z，cosθ_Z)，并根据(sinθ_X，cosθ_X)、(sinθ_Y，cosθ_Y)和(sinθ_Z，cosθ_Z)确定旋转矩阵。

在将旋转矩阵转换为四元数的实施例中，根据IDα/2、

和

确定(cosα/2，sinα/2)、cosβ_x、cosβ_y和cosβ_z，并根据(cosα/2，sinα/2)、cosβ_x、cosβ_y和cosβ_z确定旋转矩阵。

在步骤39，由指向匹配参考3D块的解码后的向量和重构的参考帧来确定解码后的匹配参考3D块。假设指向匹配参考3D块的解码后的向量为(Δx_Dec，Δy_Dec，Δz_Dec)，则在当前3D块的尺寸为16×16×16时，匹配参考3D块的左下角和右上角为(x_min+Δx_Dec，y_min+Δy_Dec，z_min+Δz_Dec)和(x_min+Δx_Dec+16，y_min+Δy_Dec+16，z_min+Δz_Dec+16)。然后，选择解码后的参考帧中落入匹配参考3D块中的所有重构点。

然后，在步骤40，首先，由在步骤38重构的旋转矩阵、当前3D块的中心POS以及在步骤39选择的所有重构点的平均位置来确定估计的平移向量T^*。其次，通过将在步骤34确定的解码后的平移估计误差与估计的平移向量T^*相加来重构平移向量。

在步骤42，根据图1，根据重构的旋转矩阵和重构的平移向量来重构变换矩阵。

然后，在步骤44，根据重构的变换矩阵和匹配3D块中的解码后的点来重构当前3D块的预测器。

在步骤46，重构预测残差。

所得到的预测残差用于在步骤48处根据当前3D块的重构的预测器来重构落入当前3D块中的点。

图7是实现本公开的编码方法的编码器50的示例性实施例的框图。

有利地，编码器50包括一个或多个处理器以及存储器52。

编码器50包括用于对包含几何变换的3D运动信息进行编码的编码模块54，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息由表示平移变换的估计误差的向量ΔT表示。

根据所表现的实施例，总线56提供了编码器50的各个元件之间的通信路径。其他点对点互连选项(例如，非总线架构)也是可行的。

图8是实现本公开的解码方法的解码器60的示例性实施例的框图。

有利地，解码器60包括一个或多个处理器以及存储器62。

解码器60包括用于对包含几何变换的3D运动信息进行解码的解码模块64，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息由表示平移变换的估计误差的向量ΔT表示。

根据所表现的实施例，总线66提供了解码器60的各个元件之间的通信路径。其他点对点互连选项(例如，非总线架构)也是可行的。

尽管已经示出和描述了目前被认为是本发明的优选实施例，但是本领域技术人员将理解，在不脱离本发明的真实范围的情况下，可以做出各种其他修改，并且可以替换等同物。另外，在不脱离本文描述的中心发明构思的情况下，可以做出许多修改以将特定情况适于本发明的教导。此外，本发明的实施例可以不包括上述所有特征。因此，意图是本发明并不限于所公开的特定实施例，而是本发明包括落入所附权利要求的范围内的所有实施例。

在解释本描述及其相关权利要求时，将以非排他性的方式解释诸如“包括”、“包含”、“合并”、“含有”、“是”和“具有”的表达，即解释为允许未明确定义的其他项目或组件也将存在。对单数的引用也应被解释为对复数的引用，反之亦然。

本领域技术人员将容易理解，可以修改本描述中公开的各种参数，并且可以组合所公开和/或要求保护的各种实施例，而不脱离本发明的范围。

例如，有趣的是注意到，以上作为帧间预测编码描述的编码方法也可以用于点云的基于帧内预测的压缩。也就是说，参考点云帧可以是待编码的当前点云帧。并且仅那些已经被编码和解码的3D块可以被用作用于对当前3D块进行编码的候选3D块。

Claims

1.一种用于将时变3D点云预测编码到至少一个比特流中的方法，所述时变3D点云包含一系列被分成3D块的连续3D帧，所述方法包括对包含几何变换的3D运动信息进行编码(20)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，所述平移信息包括表示所述平移变换的估计误差的向量ΔT。

2.一种用于将时变3D点云预测编码到至少一个比特流中的设备，所述时变3D点云包含一系列被分成3D块的连续3D帧，所述设备包括用于对包含几何变换的3D运动信息进行编码的部件(54)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，所述平移信息由表示所述平移变换的估计误差的向量ΔT表示。

3.如权利要求1所述的方法或如权利要求2所述的设备，其中，所述旋转变换由旋转矩阵R表示，并且编码方法包括用于以下的步骤，或者所述编码器包括用于以下的部件：

-对所述旋转矩阵R进行编码；

-将所述平移变换的估计确定(24)为所述重构的旋转矩阵R^rec的向量T^*函数。

4.如权利要求1或3所述的方法或如权利要求2或3所述的设备，其中，所述3D运动信息包含指向与当前点云帧的每个3D块相关联的匹配参考3D块的向量，所述匹配参考3D块在参考点云帧中。

5.如权利要求3和4所述的方法或设备，其中，所述平移信息的估计T^*是所述重构的旋转矩阵R^rec和指向所述匹配参考3D块的重构向量的函数。

6.如权利要求4或5所述的方法或设备，其中，从所述参考点云帧中的多个候选参考3D块中选择所述匹配参考3D块，作为提供最小预测误差的参考3D块，所述最小预测误差小于阈值。

7.如权利要求1或3至6中任一项所述的方法或如权利要求2至6中任一项所述的设备，其中，所述几何变换由使用迭代最近点ICP算法确定的4×4变换矩阵表示。

8.如权利要求1或3至7中任一项所述的方法或如权利要求1至7中任一项所述的设备，其中，所述旋转变换由三个欧拉角表示。

9.如权利要求1或3至7中任一项所述的方法或如权利要求1至7中任一项所述的设备，其中，所述旋转变换由单位四元数表示。

10.如权利要求8或9所述的方法或设备，其中，所述旋转信息的编码使用至少一个三角函数查找表LUT。

11.如权利要求10所述的方法或设备，其中，使用均匀采样步长来构建所述LUT。

12.如权利要求10所述的方法或设备，其中，使用非均匀采样步长来构建所述LUT。

13.一种用于从至少一个比特流对时变3D点云进行预测解码的方法，所述时变3D点云包含一系列被分成3D块的连续3D帧，所述方法包括对包含几何变换的3D运动信息进行解码(32)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，所述平移信息由表示所述平移变换的估计误差的向量ΔT表示。

14.一种用于从至少一个比特流对时变3D点云进行预测解码的设备(60)，所述时变3D点云包含一系列被分成3D块的连续3D帧，所述设备包括用于对包含几何变换的3D运动信息进行解码的部件(64)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，所述平移信息由表示所述平移变换的估计误差的向量ΔT表示。

15.如权利要求13所述的方法或如权利要求14所述的设备，其中，所述几何变换由使用迭代最近点ICP算法确定的4×4变换矩阵表示。

16.如权利要求13或15所述的方法或如权利要求14或15所述的设备，其中，所述旋转变换由三个欧拉角表示。

17.如权利要求13或15至16中任一项所述的方法或如权利要求14至16中任一项所述的设备，其中，所述旋转变换由单位四元数表示。

18.如权利要求16或17所述的方法或设备，其中，所述旋转信息的编码使用至少一个三角函数查找表LUT。

19.如权利要求18所述的方法或设备，其中，使用均匀采样步长来构建所述LUT。

20.如权利要求18所述的方法或设备，其中，使用非均匀采样步长来构建所述LUT。

21.一种计算机可读程序，包括使得计算机能够执行根据权利要求1或3至12中任一项所述的编码方法的计算机可执行指令。

22.一种计算机可读程序，包括使得计算机能够执行根据权利要求13或15至20中任一项所述的解码方法的计算机可执行指令。