CN112601082A - 一种基于视频的快速动态点云编码方法及系统 - Google Patents

Abstract

本发明公开了一种基于视频的快速动态点云编码方法及系统，包括：获取视频帧的编码树单元，通过计算编码树单元中的占用图，确定CU的块类型，CU表示编码单元；利用快速编码模式决策方案对编码树单元进行遍历，确定编码模式；所述快速编码决策方案用于利用不同块类型的率失真优化特性，以选择性的跳过块的方式确定编码模式。优点：相对于现有技术本发明通过研究不同块类型的率失真优化特性，以加快几何和属性视频的编码，极大地提升了编码的效率；本发明具有编码质量高、编码速度快等特点。

Description

一种基于视频的快速动态点云编码方法及系统

技术领域

本发明涉及一种基于视频的快速动态点云编码方法及系统，属于编码技术领域。

背景技术

随着3D捕捉技术的进步和3D设备的出现，人们越来越关注现实世界中的3D表示。点云定义为一组3D点，其中每个点都表示为3D坐标和特定属性，例如颜色，材质反射等。点云被用作表示物体(如人)和场景的3D表面的有效手段，因此它们可以用于许多3D应用场景，例如文化遗产保护、大规模3D动态地图、虚拟现实和沉浸式远程呈现。根据应用场景，点云可以分为静态对象和场景，动态对象和动态采集三类。本发明主要关注动态运动对象点云，称为动态点云(DPC)。DPC由许多静态点云(SPC)框架组成。每个SPC框架所描述的每个典型对象最多可以具有一百万个点。对于帧率为30fps的未压缩DPC，如果几何精度和属性精度分别为10位和8位，则位速率将达到180MB/s。因此，压缩大量点云数据成为这些新兴3D沉浸式系统的关键部分。

最近，包括运动图像专家组(MPEG)在内的许多研究人员和组织都在致力于高效的DPC压缩技术和标准化。由于DPC中的SPC帧表示连续移动的对象，因此连续的帧通常具有较强的时间冗余性。为了减少时间冗余，最近的工作尝试在3D空间或2D空间中执行运动估计(ME)和运动补偿(MC)。但是，连续SPC帧中的某些点可能没有明确的对应关系，因此3D ME和MC无法充分利用DPC的时间相关性。此外，基于2D ME的方法将3D点云作为立方体或圆柱体投影到2D空间，然后将投影的样本组织成2D视频，以使用视频压缩框架进行编码。在这些方法中，可以更好地利用时间相关性，但是由于遮挡可能会丢失许多点。

为了提高DPC的编码效率，采用了补丁投影方案，根据法线的相似性将输入的DPC分解为多个补丁。这些补丁分别组织成用于几何和属性组件的2D视频。除生成几何视频和属性视频外，还会生成占用图，以指示像素是否在点云内。也就是说，占用图是二进制图，其中值1对应于一个占用的单元格，而0是一个空单元格。然后，使用现有视频编码方法(例如，高效视频编码(HEVC))压缩占用图，几何视频和属性视频。这种方法称为基于视频的动态点云压缩(V-PCC)，并且可以在保持所得视频帧中的时间相关性的能力与投影点的数量之间取得更好的折衷，使其成为DPC压缩提案MPEG提案的获胜者。然而，在基于补丁投影的V-PCC中，生成视频的编码需要大量的计算。原因如下：(1)色块通常具有不规则的形状，因此每个色块通常包含大量的空像素，进而生成的几何和属性视频具有高分辨率，导致更多的计算；(2)将DPC的远端和近端分别投影并打包到2D帧中，从而使几何图形和属性视频的帧速率比DPC的帧速率翻倍；(3)将DPC分解为三个视频，包括占用地图视频，几何图形视频和属性视频。特别是，几何图形和属性视频的压缩比占用地图视频需要更广泛的计算。因此，快速视频编码方法对于将V-PCC应用于实时沉浸式系统至关重要。为了研究快速的HEVC编码方法，已经做出了许多努力。然而，这些作品主要集中在具有共同纹理的视频上，但是对补丁投影产生的视频编码缺乏研究。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于视频的快速动态点云编码方法及系统。

为解决上述技术问题，本发明提供一种基于视频的快速动态点云编码方法，包括：

获取视频帧的编码树单元，通过计算编码树单元中的占用图，确定CU的块类型，CU表示编码单元；

利用快速编码模式决策方案对编码树单元进行遍历，确定编码模式；所述快速编码决策方案用于利用不同块类型的率失真优化特性，以选择性的跳过块的方式确定编码模式。

进一步的，所述块类型包括非占用块、占用块和边界块；所述占用块为所有像素都被占用的块，所述非占用块为所有像素都为空的块，所述边界块为同时包括空的和已占用像素的块。

进一步的，所述快速编码决策方案用于利用不同块类型的率失真优化特性，以选择性的跳过块的方式确定编码模式的过程包括：

步骤1)，使用“跳过/合并”模式对当前CU进行编码，之后利用第三判断模块cond3进行判断，若cond3为真，则转到步骤6)，否则转到步骤2)；所述第三判断模块cond3为满足CU是一个非占用块，并且帧具有奇数POC；

步骤2)，使用Inter_2N×2N模式对CU进行编码，之后利用第一判断模块cond1进行判断，若cond1为真，则转到步骤4)，否则转到步骤3)；其中，所述第一判断模块cond1为满足CU是一个非占用块或一个深度大于1的属于几何视频的占用块，所述Inter_2N×2N模式表示帧间2Nx2N模式；

步骤3)，使用Inter_sym模式和Inter_asym模式对CU进行编码，然后转到步骤4)，所述Inter_sym模式和Inter_asym模式分别表示帧间内对称模式和帧间非对称模式；

步骤4)，利用第二判断模块cond2进行判断，若cond2为真，则使用Intra_2N×2N模式进行编码，然后转到步骤6)，否则转到步骤5)；其中，第二判断模块cond2为满足帧的POC是奇数，Intra_2N×2N模式表示帧内2Nx2N模式；

步骤5)，继续判断是否满足CU深度等于3且不是非占用块，若是则使用Intra_2N×2N模式进行编码，否则，转到步骤6)，Intra_2N×2N模式表示帧内2Nx2N模式；

步骤6)，利用第一判断模块cond1进行判断，若cond1为真，则转到步骤7，否则，将此时的CU编码为四个子CU；

步骤7)，在此时的CU深度上完成对CU的编码。

一种基于视频的快速动态点云编码系统，包括：

获取模块，用于获取视频帧的编码树单元，通过计算编码树单元中的占用图，确定CU的块类型，CU表示编码单元；

确定模块，用于利用快速编码模式决策方案对编码树单元进行遍历，确定编码模式；所述快速编码决策方案用于利用不同块类型的率失真优化特性，以选择性的跳过块的方式确定编码模式。

进一步的，所述获取模块包括类型确定模块，用于确定块类型为非占用块、占用块和边界块；所述占用块为所有像素都被占用的块，所述非占用块为所有像素都为空的块，所述边界块为同时包括空的和已占用像素的块。

进一步的，所述确定模块用于控制第一判断模块、第二判断模块以及第三判断模块进行如下操作：

步骤1)，使用“跳过/合并”模式对当前CU进行编码，之后利用第三判断模块cond3进行判断，若cond3为真，则转到步骤6)，否则转到步骤2)；所述第三判断模块cond3为满足CU是一个非占用块，并且帧具有奇数POC；

步骤2)，使用Inter_2N×2N模式对CU进行编码，之后利用第一判断模块cond1进行判断，若cond1为真，则转到步骤4)，否则转到步骤3)；其中，所述第一判断模块cond1为满足CU是一个非占用块或一个深度大于1的属于几何视频的占用块，所述Inter_2N×2N模式表示帧间2Nx2N模式；

步骤3)，使用Inter_sym模式和Inter_asym模式对CU进行编码，然后转到步骤4)，所述Inter_sym模式和Inter_asym模式分别表示帧间内对称模式和帧间非对称模式；

步骤4)，利用第二判断模块cond2进行判断，若cond2为真，则使用Intra_2N×2N模式进行编码，然后转到步骤6)，否则转到步骤5)；其中，第二判断模块cond2为满足帧的POC是奇数，Intra_2N×2N模式表示帧内2Nx2N模式；

步骤5)，继续判断是否满足CU深度等于3且不是非占用块，若是则使用Intra_2N×2N模式进行编码，否则，转到步骤6)，Intra_2N×2N模式表示帧内2Nx2N模式；

步骤6)，利用第一判断模块cond1进行判断，若cond1为真，则转到步骤7，否则，将此时的CU编码为四个子CU；

步骤7)，在此时的CU深度上完成对CU的编码。

本发明所达到的有益效果：

相对于现有技术本发明具有编码质量高、编码速度快等特点。发明的主要创新点在于，观察和分析表明，块的复杂度主要影响预测编码性能，不同类型的块具有不同的复杂度。除了已占用和边界属性块外，未占用的属性块和所有几何块的复杂度都非常小。通过研究不同块类型的率失真优化特性，提出了一种占用图引导的快速编码方法，以加快几何和属性视频的编码，极大地提升了编码的效率。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如何加快几何和属性视频的编码效率？使用HEVC编码方法压缩生成的几何和属性视频。众所周知，HEVC中的视频帧被分成编码树单元(CTU)的序列。每个CTU具有四叉树结构，其中该节点称为编码单元(CU)。此外，在预测编码中将预测单元(PU)作为基本单元引入。为了获得最佳的编码性能，采用率失真优化(RDO)选择最佳的CTU结构和最佳的预测模式。RDO是一个计算密集型过程，因为它需要迭代地执行服务模式并遍历CTU四叉树。因此，加速RDO处理是提高视频压缩计算效率的关键。

通过分析补丁投影策略，提出了一种快速的V-PCC编码方法。众所周知，补丁投影方法会产生大量的空像素，占用图是经过编码来表示被占用和空像素的。根据占用图索引，对于几何和属性内容，块被分为未被占用、被占用和边界块。不同类型的块通过不同的策略生成，因此它们在率失真优化(RDO)中具有不同的特性。众所周知，RDO消耗HEVC编码中的大部分计算。用适当的方案对每种类型的块进行编码有利于提高计算效率。因此，本发明研究了不同类型块的率失真特性，并提出了一种由占用图指导的快速V-PCC编码方法。

本发明基于局部线性图像梯度模型，分析了预测编码与块复杂度之间的关系；根据补丁投影和块生成的V-PCC策略，研究了不同类型块之间的RDO特性以及远近层之间的相关性；提出了一种占用图引导的快速编码方法来加速V-PCC。在这种方法中，提出了一种用于不同类型块的早期确定的快速编码单元(CU)决策方案，并提出了一种快速模式决策方案来提前跳过块的预测模式。

本方面技术方案包括以下几个部分：

1)快速编码单元决策方案

快速CU决策是尽早确定CU是整体编码还是4个子CU编码，即CU拆分标志。将CU整体编码的情况定义为未分割的方式,CU划分为子CU的情况定义为拆分方式。我们将非分割方式和分割方式的最优R-D代价(率失真代价)分别表示为J_u和J_s。在RDO中，通过比较两种成本来确定CTU的结构，即:

其中,SF表示分割标志，unsplit表示非分割方式，split表示分割方式。

基于局部线性图像梯度模型，我们知道块的复杂度主要影响预测编码的性能，分析得到，不同类型的块具有不同的复杂度，因此需要研究不同类型块之间的RDO特性，所以需要先将块进行分类。通过实验了解到，一方面，几何视频和属性视频的空块比例较高，需要采用不分割的编码方式进行编码。另一方面，对于较小尺寸的已占用和边界几何块，采用不分割方式进行编码的比例也较高。所以本方案通过计算对应的占用图的值来确定块类型，将其表示为O,将块类型表示为BT，其表示为：

CU大小为2N×2N,符号为U_noc，O_ccu，B_oun，分别表示未占用，已占用和边界的块。我们将视频类型表示为VT,术语VT＝G_eo.,表示视频属于几何视频。然后，如果满足以下条件，则CU将被编码为非拆分方式:

cond1:(VT＝G_eo.&BT＝O_ccu.&Depth＞1)|(BT＝U_noc.) (3)

其中，Depth表示CU深度。也就是说，最佳分割标志可推导为：

2)快速模式决策方案

在原始RDO中，预测模式包括帧间和帧内模式，即，M＝{M_Inter，M_Intra}，其中M_Inter和M_Intra分别表示帧间和帧内预测模式的集合。对于P和B切片中的CU，依次执行M中的模式以选择最佳模式。快速模式决策是尽早选择一个子集

这样在RDO中执行的模式就比较少，也就是说，

m^*表示为最优编码模式，J(m_i)表示请模式m_i下的率失真代价。

在帧间预测中采用了7种不同的PU分区模式，包括Inter_2N×2N，Inter_2N×N，Inter_N×2N，Inter_2N×nU，Inter_2N×nD，Inter_nL×2N，Inter_nR×2N，分别表示为帧间2Nx2N模式，帧间2NxN模式，帧间Nx2N模式，帧间2NxnU，帧间2NxnD，帧间nLx2N模式，其中N表示划分单元的尺寸，n＝N/2或3N/2，U、D、L和R分别表示非对称模式中的偏上，偏下，偏左和偏右划分，最后4种划分模式由非对称模式集组成，称为M_asym，以及对称模式集的PU划分模式Inter_N×2N，Inter_2N×N，表示为M_sym符号，此外，在帧间预测中还采用了跳过/合并模式，因此M_Inter表示为M_Inter＝{Inter_skip/merge，Inter_2N×2N，M_asym，M_sym}，然而帧内预测仅在2N×2N和N×N模式下执行，即M_Intra＝{Intra_2N×2N，Intra_N×N}。

在快速库决策模块中，复杂度小的块具有被编码为大尺寸CU的高概率。因此，预测模式可以分为两类，包括2N×2N大小的模式和非2N×2N大小的模式。我们将2N×2N大小的模式集表示为M_2N×2N，其中所有模式的分区大小均为2N×2N，即M_2N×2N＝{Inter_skip/merge，Inter_2N×2N，Intra_2N×2N}，其他模式属于非2N×2N大小的模式，其表示为M_non-2N×2N＝{Intra_N×N，M_asym，M_sy}。

通过实验还研究了以2N×2N大小模式编码的不同类型块的概率，从实验得知与CU的判决类似。因此，如果cond1(公式4)为真，那么CU将被编码为M_2N×2N模式，而不是M_non-2N×2N模式。此外，在V-PCC中，远层和近层共享相同的占用图，从而使这两层具有很强的相关性，尤其是对于未占用的块。在参考软件中，在视频中交替生成近层和远层，并且偶数层用作在随机访问设置中对奇数层进行编码的参考。研究帧间预测模式，尤其是奇数层的跳过/合并模式是合理的。通过计算奇数层的帧间预测模式的比例，得到奇数层的几乎所有块都用帧间预测模式编码。此外，由于相等的未占用块的比例明显接近100％，因此跳过/合并模式可以获得用于对奇数层的未占用块进行编码的高效性能。因此，在所提出的方法中，如果满足以下条件，

cond2：rem(POC，2)＝1 (5)

则仅使用M_Inter模式对块进行编码。其中POC表示图片顺序计数，函数rem()表示余数运算。此外，如果下列条件成立，则块仅使用跳过/合并模式进行编码。

cond3：BT＝U_noc.&rem(Poc，2)＝1 (6)

最后，最佳预测模式集M′可推导为：

在所提方法中，只有当Depth＝3且BT≠U_noc时，可以执行Intra_N×N模式。

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。本发明在TMC2-RD4.0和HEVC参考软件HM16.18-SCM8.7实验平台上进行实现，如图1所示主要包括几个步骤：加快几何和属性视频的编码效率。其中

步骤一：

首先，通过计算占用图，可以将当前CU分为三类，包括非占用块、占用块和边界块，如公式(2)所示。若是边界块则不进行选择性的跳过块的方式确定编码模式，采用现有技术进行编码；

步骤二：

使用“跳过/合并”模式对当前CU进行编码。如果当前CU是一个非占用块，并且当前帧具有奇数POC，即cond3为真(如公式(6)所示)，请转到步骤七，否则转到步骤三。

步骤三：

采用Inter2N×2Nmode对当前CU进行编码。如果当前CU是一个未被占用的块或一个深度大于1的已被占用的几何块，即cond1为真(如公式(3)所示)，则转到步骤五，否则转到步骤四。

步骤四：

使用，Intersym和Interasym模式对当前CU进行编码，然后转到步骤五。

步骤五：

如果当前帧的POC是奇数，即cond2为真(如公式(5)所示)，则将当前CU编码为Intra2N×2N模式，否则转到步骤六。

步骤六：

如果当前CU深度等于3并且不是非占用块，请使用IntraN×N模式对其进行编码，否则，请转到步骤七。

步骤七：

如果当前CU是一个未占用的块或深度大于1的占用的几何块，则cond1为真(如公式(3)中所示)，请转到步骤八。否则，将其编码为四个子CU。

步骤八：

在当前深度上完成当前CU的编码。

本发明的专利点在于步骤一、步骤二、步骤三、步骤四、步骤五、步骤六、步骤七、步骤八。任何对于步骤一、步骤二和步骤三、步骤四、步骤五、步骤六、步骤七、步骤八的使用，都在本发明的保护领域之内。凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于视频的快速动态点云编码方法，其特征在于，包括：

获取视频帧的编码树单元，通过计算编码树单元中的占用图，确定CU的块类型，CU表示编码单元；

利用快速编码模式决策方案对编码树单元进行遍历，确定编码模式；所述快速编码决策方案用于利用不同块类型的率失真优化特性，以选择性的跳过块的方式确定编码模式。

2.根据权利要求1所述的基于视频的快速动态点云编码方法，其特征在于，所述块类型包括非占用块、占用块和边界块；所述占用块为所有像素都被占用的块，所述非占用块为所有像素都为空的块，所述边界块为同时包括空的和已占用像素的块。

3.根据权利要求2所述的基于视频的快速动态点云编码方法，其特征在于，所述快速编码决策方案用于利用不同块类型的率失真优化特性，以选择性的跳过块的方式确定编码模式的过程包括：

步骤1)，使用“跳过/合并”模式对当前CU进行编码，之后利用第三判断模块cond3进行判断，若cond3为真，则转到步骤6)，否则转到步骤2)；所述第三判断模块cond3为满足CU是一个非占用块，并且帧具有奇数POC；

步骤2)，使用Inter_2N×2N模式对CU进行编码，之后利用第一判断模块cond1进行判断，若cond1为真，则转到步骤4)，否则转到步骤3)；其中，所述第一判断模块cond1为满足CU是一个非占用块或一个深度大于1的属于几何视频的占用块，所述Inter_2N×2N模式表示帧间2Nx2N模式；

步骤3)，使用Inter_sym模式和Inter_asym模式对CU进行编码，然后转到步骤4)，所述Inter_sym模式和Inter_asym模式分别表示帧间内对称模式和帧间非对称模式；

步骤4)，利用第二判断模块cond2进行判断，若cond2为真，则使用Intra_2N×2N模式进行编码，然后转到步骤6)，否则转到步骤5)；其中，第二判断模块cond2为满足帧的POC是奇数，Intra_2N×2N模式表示帧内2Nx2N模式；

步骤5)，继续判断是否满足CU深度等于3且不是非占用块，若是则使用Intra_2N×2N模式进行编码，否则，转到步骤6)，Intra_2N×2N模式表示帧内2Nx2N模式；

步骤6)，利用第一判断模块cond1进行判断，若cond1为真，则转到步骤7，否则，将此时的CU编码为四个子CU；

步骤7)，在此时的CU深度上完成对CU的编码。

4.一种基于视频的快速动态点云编码系统，其特征在于，包括：

获取模块，用于获取视频帧的编码树单元，通过计算编码树单元中的占用图，确定CU的块类型，CU表示编码单元；

确定模块，用于利用快速编码模式决策方案对编码树单元进行遍历，确定编码模式；所述快速编码决策方案用于利用不同块类型的率失真优化特性，以选择性的跳过块的方式确定编码模式。

5.根据权利要求4所述的基于视频的快速动态点云编码系统，其特征在于，所述获取模块包括类型确定模块，用于确定块类型为非占用块、占用块和边界块；所述占用块为所有像素都被占用的块，所述非占用块为所有像素都为空的块，所述边界块为同时包括空的和已占用像素的块。

6.根据权利要求5所述的基于视频的快速动态点云编码系统，其特征在于，所述确定模块用于控制第一判断模块、第二判断模块以及第三判断模块进行如下操作：

步骤1)，使用“跳过/合并”模式对当前CU进行编码，之后利用第三判断模块cond3进行判断，若cond3为真，则转到步骤6)，否则转到步骤2)；所述第三判断模块cond3为满足CU是一个非占用块，并且帧具有奇数POC；

步骤2)，使用Inter_2N×2N模式对CU进行编码，之后利用第一判断模块cond1进行判断，若cond1为真，则转到步骤4)，否则转到步骤3)；其中，所述第一判断模块cond1为满足CU是一个非占用块或一个深度大于1的属于几何视频的占用块，所述Inter_2N×2N模式表示帧间2Nx2N模式；

步骤3)，使用Inter_sym模式和Inter_asym模式对CU进行编码，然后转到步骤4)，所述Inter_sym模式和Inter_asym模式分别表示帧间内对称模式和帧间非对称模式；

步骤4)，利用第二判断模块cond2进行判断，若cond2为真，则使用Intra_2N×2N模式进行编码，然后转到步骤6)，否则转到步骤5)；其中，第二判断模块cond2为满足帧的POC是奇数，Intra_2N×2N模式表示帧内2Nx2N模式；

步骤5)，继续判断是否满足CU深度等于3且不是非占用块，若是则使用Intra_2N×2N模式进行编码，否则，转到步骤6)，Intra_2N×2N模式表示帧内2Nx2N模式；

步骤6)，利用第一判断模块cond1进行判断，若cond1为真，则转到步骤7，否则，将此时的CU编码为四个子CU；

步骤7)，在此时的CU深度上完成对CU的编码。

Images