CN109166160A - 一种采用图形预测的三维点云压缩方法 - Google Patents

Abstract

本发明公开了一种采用图形预测的三维点云压缩方法，属于视频编码领域，方法包括：采用KD树对输入三维点云进行自适应分块；采用KNN算法计算编码单元内每个点的K邻近点；构建每个单元块的图并计算图形平移算子；对每个编码单元的块进行去均值，采用K‑means算法对编码单元进行自适应采样，通过求解优化问题对未采样点进行预测；利用基于KD树的块均值预测算法对每个编码单元块的均值进行预测编码；最后用算术编码器对所有量化的参数和残差进行熵编码。本发明采用图形预测，能够对庞大的三维点云数据进行有效压缩，极大地改善三维点云的传输和存储效率。

Description

一种采用图形预测的三维点云压缩方法

技术领域

本发明涉及视频编码领域，具体为一种采用图形预测的三维点云压缩方法。

背景技术

随着多媒体通信和3D采集技术的快速发展，三维点云作为一种新兴媒质被广泛应用于虚拟现实、增强现实、混合现实等多个领域。三维点云是由大量拥有具体三维位置信息的点集组成，其中每个点具备一个或多个特征(如：颜色、法线等)。作为新型空间数据类型，三维点云能够更有效地表示三维物体或场景信息，但是其数据量庞大。对于一般大小的三维点云，点的个数通常为百万的数量级。三维点云巨大的数据量给其存储和传输带来了极大的挑战。因此，如何构建高效稳定的三维点云压缩方法显得尤为重要。

与传统自然图像视频不同，三维点云的特征是不规则的，这种不规则性主要表现为三维点云的每个点并不是规则地落在标准的三维坐标空间上，这些都给三维点云的压缩带来了极大挑战。随着研究工作的进展，采用图形来表示三维点云不仅能够有效地规避三维点云的不规则性，而且可以利用点与点之间的欧式距离来表征点之间的相关性。但是如何构造图形，如何对基于图形表示的三维点云进行采样、预测、量化和熵编码仍然是有待解决的难题

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种采用图形预测的三维点云压缩方法。本发明方法充分考虑三维点云数据中相邻点的内在相关性，通过少量采样点来预测大量未采样点的颜色值，从而实现对庞大三维点云数据的有效压缩。

本发明采用如下技术方案：

一种采用图形预测的三维点云压缩方法，其特征在于，包括如下步骤：

1)输入三维点云数据；

2)采用KD树对三维点云数据进行自适应分割得到编码单元；

3)去除每个编码单元的均值，采用K-Means方法对编码单元的每个块进行自适应采样；

4)采用KNN算法将每个块内的点进行连接构成图形，计算归一化的图形平移算子；基于图形平滑原则进行预测优化，通过解优化问题可得未知采样点的预测值，计算预测残差；

5)每个块的均值采用基于KD树的预测模式，对已知采样点和预测残差进行量化，预测模式和量化后的参数均采用算术编码器进行熵编码。

优选的，所述步骤2)具体为：设置分割深度L，则三维点云数据包括L层待分割单元；对于每一层的待分割单元，计算该待分割单元内所有点X,Y,Z三个维度位置坐标的方差，选择方差最大的那一维度将待分割单元一分为二；重复这个分割过程，直到完成该分割深度L；对分割完的块，从左到右依次进行标注；分割完的三维点云数据将被分成2^L个编码单元，每个编码单元内的点的个数为：n≈S/2^L，其中S为原始输入的所述三维点云数据中点的个数。

优选的，所述步骤3)中，所述采用K-Means方法对编码单元的每个块进行自适应采样，其自适应采样点的个数通过如下公式获取：K＝0.1*n，其中n为每个编码单元内的点的个数。

优选的，所述步骤4)中，所述归一化的图形平移算子通过如下公式获取：

A_i，j＝P_i，j/Σ_iP_i，j

其中：A为图形平移算子，A_i，j则是矩阵A中位于(i,j)位置的元素，N为KNN算法中设置的连接参数，n_i和n_j为编码单元的块内第i和第j个点的三维坐标，||·||为求模算子。

优选的，所述步骤4)中，所述图形平滑原则通过如下公式获取：

其中，Z(x)为构建图形的信号变化函数，x为分割后每个编码单元输入的图形信号，x_M为已知采样点的颜色信息，x_U为未知采样点的信息。

优选的，所述步骤4)中，所述预测优化问题通过如下公式获取：

其中：x^*为每个块内点的预测颜色信息，为已知采样点的预测颜色信息，λ为权重参数。

优选的，所述步骤4)中，所述预测优化问题可通过如下公式求解：

其中，I_M、I均为单位矩阵。

优选的，所述步骤5)中，预测模式具体如下：对于当前编码单元，共有6个候选预测模式，包括五个角度模式和一个DC模式；该角度模式包括使用三个相邻块作为参考块及使用两个相邻宏块作为参考块，该DC模式则不参考相邻的块和宏块，直接对当前块的颜色均值进行量化；最佳的预测模式可由如下公式获取：

best mode＝argmin a_i，i∈{0，1，2，3，4，5}

其中，c是当前编码单元的均值，c_i是第i个预测模式下参考块的均值，a_i为第i个预测模式下的预测残差，Q为量化步长，|·|是绝对值符号。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、本发明方法采用KD树对三维点云进行自适应采样，不仅有效地保留了点与点之间的相关性，还可以让每个编码单元内的点个数保持近乎相同，避免了空编码单元；

2、本发明方法利用点与点之间存在较强的相关性，利用采样点，基于图形平滑的原则有效地对未采样的点进行预测，极大地提高三维点云的压缩效率。

附图说明

图1为本发明方法的主流程图

图2为本发明方法的KD树分割方法。

图3为本发明的基于KD树的编码单元均值预测方法。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参见图1，一种采用图形预测的三维点云压缩方法，对输入的三维点云进行KD树自适应分割并去除每个编码单元的均值，随后用K-Means算法对每个编码单元块进行自适应采样，计算图形平移算子，对未采样点进行预测，计算残差并量化。而对于每个编码单元块的均值，采用基于KD树的块均值预测方法进行预测编码并量化。最后所有的编码参数采用算术编码器进行熵编码具体实施步骤如下：

步骤1)，输入三维点云数据。

步骤2)，采用KD树自适应分割算法。

具体的，如图2所示。给定分割深度L，即三维点云数据包括L层待分割单元；对于每一层的待分割单元，计算该待分割单元内所有点X,Y,Z三个维度位置坐标的方差，选择方差最大的那一维度将待分割单元一分为二；重复这个分割过程，直到深度L。对分割完的块，从左到右依次进行标注。

分割完的三维点云将被分成2^L个编码单元，每个编码单元内的点的个数为：

n≈S/2^L

其中S为原始输入三维点云中点的个数。

步骤3)，采用K-Means算法对每个编码单元进行自适应采样，得到K个采样点。具体如下：

K＝0.1*n

其中n为每个编码单元内点的个数。

步骤4)，利用KNN算法将每个编码单元的所有点进行连接，生成图形，通过图形预测方法，基于K个采样点对编码单元的其他未采样点进行预测。图形平移算子计算具体如下：

A_i，j＝P_i，j/∑_iP_i，j

其中,A为图形平移算子，A_i，j则是矩阵A中位于(i,j)位置的元素，N＝8为KNN算法中设置的连接参数，n_i和n_j为编码单元块内第i和第j个点的三维坐标，||·||为求模算子。

根据图形平滑原则，可以将预测问题转化为解优化为题。具体如下：

图形平滑准则：

进一步变形可得：

图形信号：

其中：x为分割后每个编码单元输入的图形信号。Z(x)为构建图形的信号变化函数，即：图形信号差异比较小(也就是比较平滑)，则Z(x)的值就会比较小；如果图形信号差异比较大(也就是图形不平滑)，则Z(x)的值就会比较大。x_M为已知的采样信号，x_U为未知的待预测信号。

假定x是一个平滑的信号，则可以通过解下面的优化问题来恢复x_U。

其中ε为给定的预测误差。

将上述优化问题变形可得：

其中，x^*为每个块内点的预测颜色信息，为采样点的预测颜色信息，λ为权重参数，设为0.1。

求解这个问题可得：

其中，I为n*n单位矩阵、I_M为K*K单位矩阵，

步骤5)，每个编码块的均值采用基于KD树的预测方法进行编码，如图3所示，具体如下：

对于当前编码单元(图3中用灰色块表示，块标签为2i)，共有6个候选预测模式，包括5个角度模式(mode0-mode4)和DC模式。其中5个角度模式中，mode0,mode1和mode2是分别使用三个相邻块作为参考块的模式；mode3和mode4是分别使用两个相邻宏块作为参考块的模式。DC模式则不参考相邻的块和宏块，直接对当前块的颜色均值进行量化。则最佳预测模式可由如下公式获取：

best mode＝argmin a_i,i∈{0,1,2,3,4,5}

其中，c是当前编码单元的均值，c_i是第i个预测模式下参考块的均值，a_i为第i个预测模式下的预测残差，Q为量化步长，|·|是绝对值符号。

步骤6)，对采样点和预测残差进行量化，所有的量化参数、模式标签、残差等编码信息用算术编码器进行熵编码。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种采用图形预测的三维点云压缩方法，其特征在于，包括如下步骤：

1)输入三维点云数据；

2)采用KD树对三维点云数据进行自适应分割得到编码单元；

3)去除每个编码单元的均值，采用K-Means方法对编码单元的每个块进行自适应采样；

4)采用KNN算法将每个块内的点进行连接构成图形，计算归一化的图形平移算子；基于图形平滑原则进行预测优化，通过解优化问题可得未知采样点的预测值，计算预测残差；

5)每个块的均值采用基于KD树的预测模式，对已知采样点和预测残差进行量化，预测模式和量化后的参数均采用算术编码器进行熵编码。

2.如权利要求1所述的一种采用图形预测的三维点云压缩方法，其特征在于，所述步骤2)具体为：设置分割深度L，则三维点云数据包括L层待分割单元；对于每一层的待分割单元，计算该待分割单元内所有点X，Y，Z三个维度位置坐标的方差，选择方差最大的那一维度将待分割单元一分为二；重复这个分割过程，直到完成该分割深度L；对分割完的块，从左到右依次进行标注；分割完的三维点云数据将被分成2^L个编码单元，每个编码单元内的点的个数为：n≈S/2^L，其中S为原始输入的所述三维点云数据中点的个数。

3.如权利要求2所述的一种采用图形预测的三维点云压缩方法，其特征在于：所述步骤3)中，所述采用K-Means方法对编码单元的每个块进行自适应采样，其自适应采样点的个数通过如下公式获取：K＝0.1*n，其中n为每个编码单元内的点的个数。

4.如权利要求2所述的一种采用图形预测的三维点云压缩方法，其特征在于：所述步骤4)中，所述归一化的图形平移算子通过如下公式获取：

A_i，j＝P_i，j/∑_iP_i，j

其中：A为图形平移算子，A_i，j则是矩阵A中位于(i，j)位置的元素，N为KNN算法中设置的连接参数，n_i和n_j为编码单元的块内第i和第j个点的三维坐标，||·||为求模算子。

5.如权利要求4所述的一种采用图形预测的三维点云压缩方法，其特征在于：所述步骤4)中，所述图形平滑原则通过如下公式获取：

其中，Z(x)为构建图形的信号变化函数，x为分割后每个编码单元输入的图形信号，x_M为已知采样点的颜色信息，x_U为未知采样点的信息。

6.如权利要求5所述的一种采用图形预测的三维点云压缩方法，其特征在于：所述步骤4)中，所述预测优化问题通过如下公式获取：

其中：x^*为每个块内点的预测颜色信息，为已知采样点的预测颜色信息，λ为权重参数。

7.如权利要求6所述的一种采用图形预测的三维点云压缩方法，其特征在于：所述步骤4)中，所述预测优化问题可通过如下公式求解：

其中，I_M、I均为单位矩阵。

8.如权利要求6所述的一种采用图形预测的三维点云压缩方法，其特征在于：所述步骤5)中，预测模式具体如下：对于当前编码单元，共有6个候选预测模式，包括五个角度模式和一个DC模式；该角度模式包括使用三个相邻块作为参考块及使用两个相邻宏块作为参考块，该DC模式则不参考相邻的块和宏块，直接对当前块的颜色均值进行量化；最佳的预测模式可由如下公式获取：

best mode＝argmin a_i，i∈{0，1，2，3，4，5}

其中，c是当前编码单元的均值，c_i是第i个预测模式下参考块的均值，a_i为第i个预测模式下的预测残差，Q为量化步长，|·|是绝对值符号。