CN109993839A - 一种自适应的点云条带划分方法 - Google Patents

Abstract

本发明公布了一种自适应的点云条带的划分方法，该方法首先对点云进行一定深度的空间划分，得到多个局部点云；然后统计各个局部点云内点数，将其与条带点数上下限进行比较，判断点数是否满足要求；经过一系列对局部点云再分割或再融合操作，调整各局部点云内的点数直至满足范围，从而得到最后的点云条带；点云条带的划分，获得多个可独立编解码的局部结构，支持并行处理，增强系统容错性，提高编码效率；同时，考虑到大尺度点云的传输带宽受限等现实因素，点云条带的尺寸往往也有限制范围，本发明公布的方法可以很好地满足这一需求，在支持并行处理的同时产生多个点数合理的点云条带。

Description

一种自适应的点云条带划分方法

技术领域

本发明属于点云数据处理技术领域，涉及点云数据分割方法，尤其涉及一种自适应的点云条带划分方法。

背景技术

三维点云是现实世界数字化的重要表现形式。随着三维扫描设备(激光、雷达等)的快速发展，点云的精度、分辨率更高。高精度点云广泛应用于地理信息系统、城市数字化地图的构建和自由视点广播等，在如智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，大型点云内的点数甚至高达千万，其中每个点包含几何信息和颜色、纹理等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来巨大挑战，所以为了支持点云的并行处理，并提升系统容错性，将大型点云划分成一系列可以独立处理的点云条带十分必要。

目前点云条带的划分技术并不常见，仍处于探索阶段。而传统视频编码中条带的划分，主要分为两种：

1)对视频图像的均匀条带划分：对单帧图像进行均匀划分，得到的条带几何尺寸相同。

2)对视频图像的不均匀条带划分：对单帧图像进行非均匀划分，得到的条带几何尺寸不相同。

发明内容

为了缓解点云传输和存储的压力，在考虑计算复杂度的条件下，本发明提供一种自适应的点云条带的划分方法。

本发明提供的技术方案，首先对点云进行一定深度的空间划分，得到多个局部点云；然后统计各个局部点云内点数，将其与条带点数上下限进行比较，判断点数是否满足要求；经过一系列对局部点云再分割或再融合操作，调整各局部点云内的点数直至满足范围，从而得到最后的点云条带。点云条带的划分，获得多个可独立编解码的局部结构，支持并行处理，增强系统容错性，提高编码效率。同时考虑到大尺度点云的传输带宽受限等现实因素，点云条带的尺寸往往也有限制范围，本发明公布的方法可以很好地满足这一需求，在支持并行处理的同时产生多个点数合理的点云条带。

本发明主要包括如下步骤：

1)点云初步划分获得局部点云：

读入待处理的点云，首先对点云的几何空间进行初步的划分，然后通过排序得到一组有先后顺序的局部点云。

2)局部点云的点数与限制范围的比较：

由于传输需求和带宽限制，支持并行处理的点云条带内点数需要符合一个限制范围(minSize,maxSize)，其中点数上下限分别为maxSize和minSize。

3)局部点云再划分或再融合获得最终点云条带：

在局部点云划分的基础上，对于超出点数上限的局部点云再划分，对于点数少于下限的局部点云进行融合，以得到点数满足限制范围的点云条带。对于点数超过上限的局部点云，以maxSize为间隔进行再划分，得到新的一组局部点云。遍历得到的所有局部点云，对于点数少于下限的局部点云，结合点云分布情况和莫顿码顺序，选择进行前向局部点云融合或者后向局部点云融合。

完成以上步骤则可得到点数满足限制范围的点云条带。

上述步骤1)中使用八叉树对点云空间进行划分，其中点云空间包围盒的计算过程是，先遍历点云中所有点的三维坐标，求出x轴最小坐标x_min和最大坐标x_max、y轴最小坐标y_min和最大坐标y_max及z轴最小坐标z_min和最大坐标z_max，求出在x，y和z轴中该点云分布最离散的边长max_edge：

max_edge＝max((x_max-x_min),(y_max-y_min),(z_max-z_min)). (式1)

该点云的包围盒大小通过式2计算得到：

B＝max_edge³. (式2)

上述步骤1)中点云条带的划分方法中使用八叉树划分得到局部点云，当前点云经过深度为d的八叉树划分，得到Num0＝8^d个局部点云；采用三维莫顿码对所有局部点云进行排序，可以将空间分布的局部点云组织成一组编号为b₁,b₂,…,b_i,…,的局部点云。

上述步骤2)中局部点云的点数与限制范围比较时，设置局部点云点数超标率ratio的阈值thres。遍历经过步骤1)得到的所有局部点云，比较各个局部点云内点数和范围上限maxSize的大小关系，局部点云点数超过maxSize时，计数器num将加1，遍历结束后计算其中点数超过maxSize的局部点云所占比例ratio。若比例ratio超过阈值thres，则对当前局部点云的结构再进行空间划分；若比例ratio不超过阈值thres，则完成初步空间划分，保留当前局部点云的结构，进行下一步的操作。

上述步骤3)中对局部点云再分割的方法，按照莫顿码的顺序，遍历所有的局部点云，其中点数超出maxSize的局部点云b_i需要进行再分割。再分割的技术细节包括：

(1)首先，计算该局部点云b_i沿着三维空间坐标轴的分布方差，分别为var_X(i)、var_Y(i)和var_Z(i)。以var_X(i)为例，其计算公式如下：

其中，i为当前局部点云在莫顿码顺序上的索引，N为当前局部点云b_i内的点数numSize(i)，X_i(n)为局部点云b_i内第n个点的X坐标值，为局部点云b_i内所有点的X坐标均值。

(2)在该局部点云中，选择方差最大max(var_X(i),var_Y(i),var_Z(i))的坐标轴作为再划分的方向，再划分的个数num的计算公式如下：

经过以上步骤，一帧完整的点云通过再分割得到一组新的局部点云，其总数为Num。

上述步骤3)中对再分割后的局部点云再融合的方法：按照莫顿码的顺序，遍历所有的局部点云，其中点数少于minSize的局部点云b_i需要进行再融合，融合的方向可以选择前向融合或后向融合。

假设前向融合后局部点云点数为b_i(mergeFront)，后向融合后局部点云点数为b_i(mergeNext)。则融合方向选择的原则为：

(1)若b_i(mergeFront)＞maxSize且b_i(mergeNext)＞maxSize，方向选择为max(b_i(mergeFront),b_i(mergeNext))；

(2)若b_i(mergeFront)＜maxSize且b_i(mergeNext)＜maxSize，方向选择max(b_i(mergeFront),b_i(mergeNext)；

(3)其他情况下，方向选择min(b_i(mergeFront),b_i(mergeNext))。

本发明提供一种自适应的点云条带的划分方法，具有以下技术优势：

(一)各条带之间独立编码，支持随机访问，提高编码效率，并防止编码错误的累积和扩散，增强系统的容错性。

(二)通过自适应的方案设计，结合再划分和再融合技术，可以使得各个条带满足点数限制范围，以适应点云传输的带宽要求。

附图说明

图1是本发明提供方法的流程框图。

图2a和b是点云egyptian_mask_vox12条带划分的示例图，其中，

图2a完整点云egyptian_mask_vox12.ply；

图2b该点云的10个条带，这些条带支持独立编解码和并行处理，其中不包含重复点。

图3a、b和c是点云citytunnel_q1mm条带划分各步骤的局部点云情况，其中，

图3a是点云citytunnel_q1mm完成步骤S2初步几何划分后得到的局部点云的点数分布，

图3b是经过步骤S3中局部点云再划分后获得点云条带的点数分布，

图3c是经过步骤S3中未达标条带再融合后获得的最终点云条带的点数分布，这些条带支持独立编解码和并行处理，其中不包含重复点。

图4是自适应条带划分前后测试集的压缩性能变化表。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的保护范围。

实例一：

以下针对MPEG点云压缩工作组中的官方点云数据集egyptian_mask_vox12.ply，采用本发明方法进行点云条带划分。图1是本发明方法的流程框图，如图1所示，具体实施步骤为：

(1)点云初步划分获得局部点云S1：

读入待处理的点云，首先对点云的几何空间进行初步的划分。设定空间划分深度值d，使用八叉树的方式对点云空间进行分割，将一帧完整的点云分成8^d个局部点云，然后通过排序得到一组有先后顺序的局部点云。以点云egyptian_mask_vox12.ply为例，共有272684个点，八叉树初始划分深度d设为1。

该点云经过划分后共有8^d＝8个局部点云，按照莫顿码的顺序对所有局部点云进行编号，得到的局部点云点数分别为：b₁＝14737,b₂＝38178,b₃＝21684,b₄＝61155,b₅＝21663,b₆＝39071,b₇＝12309和b₈＝63887。

(2)局部点云的点数与限制范围的比较S2：

由于传输需求和带宽限制，支持并行处理的点云条带内点数需要符合一个限制范围(minSize,maxSize)，其中点数上下限分别为maxSize和minSize。这里，条带最大点数值(maxSize)设为40000，最小点数值(minSize)设为20000，条带点数达标率阈值(threshold)设为50％。

遍历经过步骤1)得到的所有局部点云，将各局部点云点数与条带最大点数值比较，可以看到除了局部点云b₃与局部点云b₇，其余条带点数均未超过maxSize，得到局部点云点数达标率(ratio)为75％，大于条带点数达标阈值50％，则初步划分完成，保留当前的几何划分结果，进入下一阶段。

(3)局部点云再划分(split)获得点云条带S3：

遍历所有局部点云计算其中所包含的点数，将点数未超过maxSize的局部点云作为点云条带，将点数超过maxSize的局部点云进行再划分。由步骤(1)可知，局部点云b₄与局部点云b₈所含点数分别为61155和63887，需对其进行再划分：原局部点云b₄划分得到条带S₄和S₅，原局部点云b₈划分得到条带S₉和S₁₀。根据划分规则，将其分别划分为点数均匀的两个子条带，再划分后条带分布如下：S₁＝14737,S₂＝38178,S₃＝21684,S₄＝30577,S₅＝30578,S₆＝21663,S₇＝39071,S₈＝12309,S₉＝31943和S₁₀＝31944。

(4)未达标条带融合(merge)获得点云最终条带：

遍历所有点云条带，将点数小于minSize的点云条带进行融合。由步骤(3)可知，条带S₁和条带S₈需要进行前向或后向融合。融合方向选择的原则是：只有一个方向可用时，选择该方向。两个方向均可用时，若融合后点数均大于maxSize或均小于maxSize，则选择融合后条带点数更大的方向；反之，则选择融合后点数更小的方向。

所以，条带S₁只能选择后向融合，融合后点数为14737+38178＝52915，超过了maxSize，故再进行均匀split操作，得到52915/2＝26457.5，于是划分后得到两个点数分别为26457和26458的新条带S′₁和S′₂。原条带S₈点数为12309，与前向条带S₇或后向条带S₉＝融合后点数均超过maxSize，故选择与点数较大的条带S₇进行前向融合，融合后点数为12309+39071＝51380，再进行split操作，划分后得到两个点数均为51380/2＝25690的新条带S′₈和S′₉。

最终该点云划分为10个条带：S′₁＝26457,S′₂＝26458,S′₃＝21684,S′₄30577,S′₅＝30578,S′₆＝21663,S′₇＝25690,S′₈＝25690,S′₉＝31943和S′₁₀＝31944。

图2是点云条带划分的示例图，其中，图2a完整点云egyptian_mask_vox12.ply；图2b该点云的10个条带。这10个条带分别表示当前点云的局部信息，其中不包含重复点；同时这些条带支持独立编解码和并行处理，能有效地提升编解码效率。

实例二：

以下针对MPEG点云压缩工作组中的官方点云数据集citytunnel_q1mm.ply，采用本发明方法进行点云条带划分。具体实施步骤为：

(1)点云初步划分获得局部点云S1：

读入待处理的点云citytunnel_q1mm.ply，该点云共有19948121个点。首先对点云的几何空间进行初步的划分。设定空间划分深度值d为1，使用八叉树的方式对点云空间进行分割，将一帧完整的点云分成8个局部点云，然后通过排序得到一组有先后顺序的局部点云。

然后，在该点云的8个局部点云中去除不包含任何点的空条带，最后得到两个局部点云。按照莫顿码的顺序对所有局部点云进行编号，得到的局部点云点数分别为：b₁＝9362991,b₂＝10585130。

(2)局部点云的点数与限制范围的比较S2：

条带最大点数值(maxSize)设为1100000，最小点数值(minSize)设为550000，条带点数达标率阈值(threshold)设为50％。

遍历经过步骤1)得到的所有局部点云，将各局部点云点数与条带最大点数值比较，可以看到两个局部点云的点数都远超maxsize，得到局部点云点数达标率(ratio)为0％，小于条带点数达标阈值50％，故将八叉树划分深度加1，重复1)中的八叉树划分。最终当八叉树深度为4时，总共得到35个局部点云。图3a是点云citytunnel_q1mm完成步骤S2初步几何划分后得到的局部点云的点数分布，如图3a所示，点云citytunnel_q1mm完成步骤S2初步几何划分后得到的局部点云的点数分布中，可以看到除了b₉，b₂₀，b₂₂，b₂₅，b₂₆这五个局部点云外，其余条带点数均未超过maxSize，得到局部点云点数达标率(ratio)为85.7％，大于条带点数达标阈值50％，则初步划分完成，保留当前的几何划分结果，进入下一阶段。

(3)局部点云再划分(split)获得点云条带S3：

遍历所有局部点云计算其中所包含的点数，将点数未超过maxSize的局部点云作为点云条带，将点数超过maxSize的局部点云进行再划分。由步骤(1)可知，局部点云b₉，b₂₀，b₂₂，b₂₅，b₂₆所含点数分别为1196557，2374972，1894389，1244831和1714775，需对其进行再划分：根据划分规则，将其分别划分为点数均匀的两个或多个子条带，其中b₉，b₂₂，b₂₅，b₂₆划分为两个子条带，而由于b₂₀包含2374972个点，需将其均匀划分为3个子条带。

图3b是经过步骤S3中局部点云再划分后获得点云条带的点数分布，图3b展示了经过步骤S3局部点云再划分后获得的点云条带点数分布情况。

(4)未达标条带融合获得点云最终条带：

遍历该点云的所有条带，将点数小于minSize的点云条带进行融合。由步骤(3)可知，图3b中的条带S₂，S₅，S₆，S₈，S₁₁，S₁₂，S₁₅，S₁₆，S₁₉，S₂₀，S₂₄，S₂₇，S₂₈，S₃₃，S₃₄，S₃₈，S₃₉，S₄₀，S₄₁需要进行前向或后向融合。融合方向选择的原则是：只有一个方向可用时，选择该方向。两个方向均可用时，若融合后点数均大于maxSize或均小于maxSize，则选择融合后条带点数更大的方向；反之，则选择融合后点数更小的方向。

最终该点云划分为25个条带，各条带点数信息如图3c所示。图3c经过步骤S3中未达标条带再融合后获得的最终点云条带的点数分布，这些条带支持独立编解码和并行处理，其中不包含重复点。该点云的所有条带支持独立编解码和并行处理，其中不包含重复点。

该发明提出的自适应条带划分方法，不仅为当前点云压缩的方法提供了并行处理的解决方法，同时对一些数据集的压缩性能也有改善。在遵照MPEG的官方实验要求下，在几何无损压缩、属性近无损压缩的条件下，以第一类数据集Cat1-A、第二类数据集Cat3-fused和第三类数据集Cat3-frame为测试集，测试自适应条带划分前后测试集的压缩性能变化。图4显示自适应条带划分前后测试集的压缩性能变化，如图4所示，可以看出在第一类数据集和第二类数据集上获得了一定的性能增益，其中在第二类数据集Cat3-fused上性能最大能达到3.8％。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种自适应的点云条带的划分方法，具体包括如下步骤：

1)点云初步划分获得局部点云：

读入待处理的点云，首先对点云的几何空间进行初步的划分，然后通过排序得到一组有先后顺序的局部点云；

2)局部点云的点数与限制范围的比较：

由于传输需求和带宽限制，支持并行处理的点云条带内点数需要符合一个限制范围(minSize，maxSize)，其中点数上下限分别为maxSize和minSize；

3)局部点云再划分或再融合获得最终点云条带：

在局部点云划分的基础上，对于超出点数上限的局部点云再划分，对于点数少于下限的局部点云进行融合，以得到点数满足限制范围的点云条带，对于点数超过上限的局部点云，以maxSize为间隔进行再划分，得到新的一组局部点云，遍历得到的所有局部点云，对于点数少于下限的局部点云，结合点云分布情况和莫顿码顺序，选择进行前向局部点云融合或者后向局部点云融合；

4)得到点数满足限制范围的点云条带。

2.如权利要求1所述的点云条带的划分方法，其特征是：步骤1)中使用八叉树对点云空间进行划分，其中点云空间包围盒的计算过程是，先遍历点云中所有点的三维坐标，求出x轴最小坐标x_min和最大坐标x_max、y轴最小坐标y_min和最大坐标y_max及z轴最小坐标z_min和最大坐标z_max，求出在x，y和z轴中该点云分布最离散的边长max_edge：

max_edge＝max((x_max-x_min)，(y_max-y_min)，(z_max-z_min)). (式1)

该点云的包围盒大小通过式2计算得到：

B＝max_edge³. (式2)。

3.如权利要求1所述的点云条带的划分方法，其特征是，步骤1)中对八叉树划分后的局部点云进行排序的方法：当前点云经过深度为d的八叉树划分，得到Num0＝8^d个局部点云；采用三维莫顿码对所有局部点云进行排序，可以将空间分布的局部点云组织成一组编号为的局部点云。

4.如权利要求1所述点云属性压缩方法，其特征是，步骤2)局部点云的点数与限制范围比较时，设置局部点云点数超标率ratio的阈值thres。遍历经过步骤1)得到的所有局部点云，比较各个局部点云内点数和范围上限maxSize的大小关系，局部点云点数超过maxSize时，计数器num将加1，遍历结束后计算其中点数超过maxSize的局部点云所占比例ratio。若比例ratio超过阈值thres，则对当前局部点云的结构再进行空间划分；若比例ratio不超过阈值thres，则完成初步空间划分，保留当前局部点云的结构，进行下一步的操作。

5.如权利要求1所述点云属性压缩方法，其特征是，步骤3)中对局部点云再分割的方法，按照莫顿码的顺序，遍历所有的局部点云，其中点数超出maxSize的局部点云b_i需要进行再分割。再分割的技术细节包括：

(1)首先，计算该局部点云b_i沿着三维空间坐标轴的分布方差，分别为var_X(i)、var_Y(i)和var_Z(i)。以var_X(i)为例，其计算公式如下：

其中，i为当前局部点云在莫顿码顺序上的索引，N为当前局部点云b_i内的点数numSize(i)，X_i(n)为局部点云b_i内第n个点的x坐标值，为局部点云b_i内所有点的X坐标均值。

(2)在该局部点云中，选择方差最大max(var_X(i)，var_Y(i)，var_Z(i))的坐标轴作为再划分的方向，再划分的个数num的计算公式如下：

经过以上步骤，一帧完整的点云通过再分割得到一组新的局部点云，其总数为Num。

6.如权利要求1所述点云属性压缩方法，其特征是，步骤3)中对再分割后的局部点云再融合的方法：按照莫顿码的顺序，遍历所有的局部点云，其中点数少于minSize的局部点云b_i需要进行再融合，融合的方向可以选择前向融合或后向融合。

假设前向融合后局部点云点数为b_i(mergeFront)，后向融合后局部点云点数为b_i(mergeNext)。则融合方向选择的原则为：

(1)若b_i(mergeFront)＞maxSize且b_i(mergeNext)＞maxSize，方向选择为max(b_i(mergeFront)，b_i(mergeNext))；

(2)若b_i(mergeFront)＜maxSize且b_i(mergeNext)＜maxSize，方向选择max(b_i(mergeFront)，b_i(mergeNext)；

(3)其他情况下，方向选择min(b_i(mergeFront)，b_i(mergeNext))。