CN110691243A

CN110691243A - 一种基于深度卷积网络的点云几何压缩方法

Info

Publication number: CN110691243A
Application number: CN201910960421.1A
Authority: CN
Inventors: 胡强; 张迎梁
Original assignee: Overlapping Digital Technology (shanghai) Co Ltd
Current assignee: Overlapping Digital Technology (shanghai) Co Ltd; Plex VR Digital Technology Shanghai Co Ltd
Priority date: 2019-10-10
Filing date: 2019-10-10
Publication date: 2020-01-14

Abstract

本发明属于点云数据压缩领域，公开了一种基于深度卷积网络的点云几何压缩方法，通过训练一个深度自编码网络模型来对点云数据进行压缩与解压，训练过程包括将待压缩的初始点云进行降采样，得到数量固定的点集，然后对点集进行中心化处理，得到处理后点集；通过编码器将处理后点集进行编码压缩，得到维度固定的特征数据；通过量化器将特征数据进行量化，得到压缩数据；通过解码器将压缩数据解压重构，得到重构点云。通过深度自编码网络模型对点云数据进行几何压缩可以有效地提高点云几何压缩的压缩率并减少还原后的失真度，降低点云数据的存储和传输对硬件设备的要求，可以流畅地应用在移动设备上。

Description

一种基于深度卷积网络的点云几何压缩方法

技术领域

本发明涉及点云数据压缩领域，尤其涉及一种基于深度卷积网络的点云几何压缩方法。

背景技术

随着三维传感技术的发展，点云已经成为全息图的一种有用的表示形式，使人们可以自由地观看视点。它在虚拟/增强/混合现实(VR/AR/MR)、智能城市、机器人和自动化驾驶等领域得到了广泛的应用。点云通过点的形式离散地分布在三维空间内，每个点包含几何位置、颜色和纹理等信息。随着点云数据获取的效率越来越高，现可用较低的采集成本，获取高精度、高分辨率、大范围的点云，单次激光扫描得到的点云数据可达百万级，为了有效地处理和传输这类数据，点云压缩成为一项越来越重要的技术。它引起了研究人员和MPEG点云压缩(PCC)小组的广泛关注。

点云压缩任务主要分为属性压缩和几何压缩，三维物体最重要的特征信息是其几何形状特征，因此点云几何压缩是一个首要解决的问题。三维扫描设备采集的点云数据通常为散乱点云，散乱点云的点之间没有对应的拓扑关系，因此难以处理，目前存在的传统压缩方法有均匀网格算法、包围盒算法、平均点距离算法等，压缩率都较低且压缩效果不太理想。

因此，本领域的技术人员致力于开发一种高效的压缩方法来解决该问题

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于深度卷积网络的点云几何压缩方法，以解决现有技术中点云数据的高效高保真的几何压缩问题。

本发明所提供的基于深度卷积网络的点云几何压缩方法，通过训练一个深度自编码网络模型实现对点云数据进行压缩与解压，训练过程包括以下步骤：

步骤S1：将待压缩的初始点云进行降采样，得到数量固定为n的点集，然后对所述点集进行中心化处理，得到处理后点集；

步骤S2：通过能充分提取所述处理后点集的特征信息的编码器将所述处理后点集进行编码压缩，得到维度固定为k的特征数据；

步骤S3：通过量化器将所述特征数据进行量化，得到压缩数据；

步骤S4：通过解码器将所述压缩数据解压重构，所述解码器包括3层全连接层，前两层全连接层使用RELU函数进行激活，最后一层输出维度为n×3的向量，得到数量为n的重构点云。

进一步地，所述降采样方法采用最远点采样。

进一步地，所述中心化处理是将所述点集中的所有点坐标减去数据集的所有坐标平均值，再除以一个给定参数完成中心化操作，中心化处理公式如下：

式中X_mean为数据集的所有坐标平均值，q为给定的中心化参数，根据实际的坐标范围来给定，

则为中心化后的点坐标。

进一步地，步骤S2中所述编码器采用深度残差网络来构建特征提取卷积网络，所述深度残差网络包括若干提取特征的残差块和若干增加特征维度的卷积层；编码压缩过程是先用增加特征维度的卷积层对所述处理后点集进行卷积增加特征维度，再通过残差块进行卷积提取深层特征，依此类推若干次，最后对最后一层卷积层的输出进行最大池化，从而得到维度为k的特征数据；其中每个所述卷积层使用卷积核为1×1的1D卷积并用RELU函数进行激活，每层卷积后都使用一层批归一化层。

进一步地，所述残差块有5块，所述增加维度的卷积层有5层，每个所述残差块中每层卷积的卷积核数量都与输入的特征层数相同。

进一步地，步骤S3中，对得到的所述压缩数据进行算术编码以进一步压缩。

进一步地，在训练所述深度自编码网络模型时，在步骤S3中，正向传播使用量化函数进行计算，反向传播时，使用一个光滑的逼近函数r代替所述量化函数来计算导数，得到所述量化函数的导数为：

其中y表示编码器所拟合的函数，r为y的光滑近似函数。

进一步地，所述深度自编码网络模型训练过程还包括如下步骤：

步骤S01：建立一个先验概率模型来对所述特征数据的真实边缘分布进行估计，再计算所述真实边缘分布和所述先验概率模型的香农交叉熵；

步骤S02：通过计算所述重构点云与降采样得到的所述点集之间的倒角距离来度量所述重构点云的失真度；

步骤S03：将所述香农交叉熵和所述失真度按一定权重比例来构建损失函数，通过所述损失函数进行反向传播计算梯度来进行梯度下降，对所述编码器、所述解码器和所述先验概率模型进行训练。

进一步地，所述真实边缘分布和所述先验概率模型的香农交叉熵：

其中，

表示真实边缘分布，

表示先验概率模型。

进一步地，所述先验概率模型可由熵瓶颈层通过一个非参数的完全因式分解概率密度模型建立得到，所述非参数的完全因式分解概率密度模型为：

其中φ⁽ⁱ⁾为每个单变量分布

的参数，且式中每个非参数概率密度与一个标准的均匀概率密度u进行了卷积。

进一步地，所述倒角距离计算所述重构点云中的每个点在所述点集中与其距离最近点的欧式距离，计算公式为：

其中S₁为所述初始点云，S₂为所述重构点云，(x,y,z)为点云矩阵的每一行数据的一个3D坐标点。

进一步地，所述损失函数是将所述香农交叉熵和所述倒角距离进行加权求和得到，计算公式为：

通过本方法对点云数据进行几何压缩可以有效地提高点云几何压缩的压缩率并减少还原后的失真度，降低点云数据的存储和传输对硬件设备的要求，可以流畅地应用在移动设备上。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是一个深度自编码网络模型较佳实施例示意图；

图2是编码器的较佳实施例示意图。

具体实施方式

以下通过具体实例结合附图来说明本申请的实施方式。本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

目前对点云数据的几何压缩主要为均匀网格算法、包围盒算法、平均点距离算法等传统方法，这些算法的压缩率低且压缩效果并不理想。针对这个问题，本发明提供了一种基于深度卷积网络的点云几何压缩方法，以提高点云数据的压缩率和保真度，降低点云数据的存储与传输对硬件和带宽的要求。如图1所示，所述方法包括：

步骤S1：通过最远点采样(FPS)方法对待压缩的点云数据进行降采样，去除大量信息量少的冗余点，得到数量固定为n的点集，并对点集进行中心化。

本发明属于点云的有损几何压缩，压缩率较高，必然会有一定的信息丢失，需要尽量减少信息丢失。

对于点云数据的降采样，目前已有不少常用算法，如迭代法、粒子仿真法、聚类法等。迭代法不断精简点云，直至精简结果与原来点云相计算后的误差在一定限度内，该方法能保证较好的误差精度，但随着迭代次数的增加，所花费时间较多。粒子仿真是Turk引入的一种用于重采样多边形面的方法，该方法可根据曲率等属性的变化自适应重采样密度，能很好的控制采样结果，但速度相对较慢。聚类法是把点云划分成一些小的子集，再对子集采用简单的方法进行精简，该算法对内存的利用率较高，但对精度和简度稍有欠缺。

在密集的点云数据中，空间中的很多点位置十分接近，在用户用肉眼观察时，这些点缺失几个对观察的效果影响并不大，因此在同一个位置的多个点所包含的信息量很少，在不影响观察的情况下去掉一部分点可以在信息丢失很少的情况下大大降低点的数量，完成初步的点云数据压缩。

最远点采样方法是先随机选择点云中的一个点，然后以该点为起点寻找与起点欧式距离最远的点，然后再以找到的点作为新的起点，继续寻找最远点，反复迭代直到一共选择了n个点，将这n个点作为点云降采样后的点集，由于最远点采用方法采集的点之间距离都相对较远，因此在实现数据压缩的前提下，所保留下来的信息量接近原始点云数据的信息量。降采样的比例不能过大也不能过小，假设本实例中的点云为2000个左右的点，则降采样得到的点的数量n可设为1024。

为使后面神经网络能进行有效训练，点集还需要进行中心化处理,即将点集中的所有点坐标减去数据集的所有坐标平均值，再除以一个给定参数完成中心化操作，中心化处理公式如下：

则为中心化后的点坐标。

步骤S2：中心化后的点集通过编码器进行编码，得到维度固定为k的特征数据。

编码器能够充分提取点集的特征信息对其进行编码压缩，编码器的模型结构如图2所示，为了更好地提取点集数据特征，本编码器采用深度残差网络来构建主要的特征提取卷积网络，残差网络主要由若干残差块构成，每个残差块中每层卷积的卷积核数量都与输入的特征层数相同。除残差块外，为了提取更多的特征，卷积网络还有若干层增加特征维度的卷积层，卷积网络首先对点集进行卷积以提升维度，维度提升后通过残差块进行卷积以提取深层特征，再对特征进行卷积提升维度，再通过残差块进行卷积，依此类推。如本实施例中，降采样后的1024×3的点数据经过第一次卷积后得到的特征数据形状为1024×16，则有16层特征数据输入后面的残差块，则残差块中每一层卷积的卷积核数量都为16，残差块中每一层卷积的输出也是1024×16，再经过一层增加特征维度的卷积层后，得到的特征数据形状为1024×32，则后面的残差块中每一层卷积的卷积核数量都为32，以此类推。最后一层卷积层后连接一个最大池化层，其中每个卷积层使用卷积核为1×1的1D卷积并用RELU函数进行激活，每层卷积后都有一层批归一化层。

使用卷积核为1×1的1D卷积能使每个点的坐标独立进行特征提取，对每层卷积层后使用RELU函数进行激活是为了使网络可以逼近任意函数而不是输入的线性组合，激活后使用批归一化层可以将特征统一量纲，提高模型的收敛速度和最终精度。使用残差结构能够使网络模型更深，提取更高级的特征。使用最大池化是为了产生所有点特征的联合表示，并降低特征数量，达到较高的压缩率。池化方法为在最后一层卷积层的输出上取n维上的最大值，从而得到维度为k的特征数据。在设计网络时，最后一层卷积层的卷积核数量越少，压缩率就越高，但压缩率越高往往会导致解压缩后失真越大，因此在压缩率和压缩损失之间需要进行仔细地权衡，选择合适的网络参数，在本实例中，优选设置5层增加维度的卷积层，卷积核的数量从前到后分别为16,32,64,128,256，每个增加维度的卷积层后所附带的残差块的卷积层数分别为5,5,3,3,2，卷积层最后一层的输出特征形状为1024×256，通过最大池化后得到的特征数据形状为1×256。

待压缩的初始点云数量为m，点云数据中的点越密集，信息量与点数量的比率越小，则可以去除更多的点来保留大部分信息，降采样的比例是根据所需压缩实际点云数据的特点来设置的；而n越大的时候信息量也越大，对应的k也应该更大来防止损失更多信息，这些参数都需要根据实际数据来进行判断。本实施例中，n取1024时，k取256。

步骤S3：特征数据通过量化器进行量化后得到压缩数据，压缩数据可进行算术编码进一步压缩数据。

量化是多媒体信息压缩的一种重要方式，特征数据还可通过量化编码进一步压缩，通常采用均匀量化方法，即把输入数据的取值域按照等距离分割成2^t分，其中t为量化位数，量化函数其实就是舍入函数，例如对y量化得到值z，量化函数为z＝[y]，“[]”为舍入操作，与四舍五入类似，只是将y值舍入到已经划分好的t个值中的一个。但是在实际中由于量化函数的特性，除非量化的值为整数否则其导数为0，导数为0则网络模型无法通过反向传播进行训练参数。本实例采用一个光滑且近似量化函数的函数r来代替量化函数计算导数，则量化函数的导数为：

其中y表示编码器所拟合的函数，r为y的光滑近似函数，在本实例中，令r(y)＝y来计算导数进行反向传播可以表现得很好。

模型中解码器的目的是为了对量化后的数值进行解码得到准确的重构点云，因此在训练模型时的前向传播过程中使用的还是量化函数，只在模型的反向传播时用函数r来计算梯度。特征数据通过量化后得到形状为1×256的离散压缩数据，压缩数据可按照一定的规律，用例如二进制的数字进行编码进一步压缩信息。

步骤S4：压缩数据通过解码器得到重构的数量为n的点集，完成点云数据解压还原。

本发明的解码器采用3层全连接层对步骤S3中得到的压缩数据进行解码得到重构的点云数据，前两层全连接层使用RELU函数进行激活，最后一层输出维度为n×3的向量，得到数量为n的重构点云。全连接层可以充分地利用压缩数据的值转换为所需的高维度特征，因此可以将低维度的压缩数据准确地映射到高维度重构点云。在本实例中，每个全连接层的输出形状都为1024×3，且前两层的输出使用RELU函数进行激活，最后一层全连接层的输出为1024×3的向量，可重构为1024个点的坐标，即完成点云数据的解码操作。

整个基于深度卷积网络的点云几何压缩模型的结构如图1所示，点云几何压缩模型的好坏主要由两个因素构成，一个是点云数据压缩后得到的特征数据的真实边缘分布与先验分布的香农交叉熵，另一个是重构后的点云数据与初始点云数据的差异。特征数据的真实边缘分布我们并不确定，因此通过一些先验知识来建立一个先验概率模型进行估计，假设估计得到的先验概率模型为

则真实边缘分布与先验概率模型的香农交叉熵为：

若估计得到的先验概率模型和实际的边缘分布相同，则香农交叉熵最小且模型最准确。在本实例中采用熵瓶颈层通过非参数的完全因式分解概率密度模型来构造先验概率模型，熵瓶颈层模型在谷歌的TensorFlow框架中已完整实现，其中非参数的完全因式分解概率密度模型为：

其中φ⁽ⁱ⁾为每个单变量分布

重构点云的失真程度可以通过计算倒角距离来判断，待压缩的初始点云数量为m，则可以用一个m×3的矩阵来表示初始点云S₁，本发明为有损几何压缩，解码器输出的点云数量固定为1024比初始点云少，可以用一个1024×3的矩阵表示为S₂，其中矩阵的每一行数据为一个3D坐标点(x,y,z)，则其倒角距离的计算公式为：

倒角距离计算了在重构的点云中的每个点在另一个点集中与其距离最近点的欧式距离，倒角距离越小说明重构点云中的点越接近初始点云的几何位置，失真程度越低。

整个点云几何压缩模型的损失可表示为特征数据的真实边缘分布与先验概率模型的交叉熵和倒角距离的加权求和，损失函数计算公式为

通过该损失函数进行反向传播计算梯度来进行梯度下降，可以同时对编码器、解码器和先验概率模型进行训练。

本申请提出了一种新的高效方法来进行点云几何压缩而具有高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims

1.一种基于深度卷积网络的点云几何压缩方法，其特征在于，通过训练一个深度自编码网络模型实现对点云数据进行压缩与解压，训练过程包括以下步骤：

步骤S1：将待压缩的初始点云进行降采样，得到数量为n的点集，然后对所述点集进行中心化处理，得到处理后点集；

步骤S2：通过能充分提取所述处理后点集的特征信息的编码器将所述处理后点集进行编码压缩，得到维度为k的特征数据；

2.如权利要求1所述的基于深度卷积网络的点云几何压缩方法，其特征在于，所述降采样方法采用最远点采样。

3.如权利要求1所述的基于深度卷积网络的点云几何压缩方法，其特征在于，所述中心化处理是将所述点集中的所有点坐标减去数据集的所有坐标平均值，再除以一个给定参数完成中心化操作，中心化处理公式如下：

则为中心化后的点坐标。

4.如权利要求1所述的基于深度卷积网络的点云几何压缩方法，其特征在于，步骤S2中所述编码器采用深度残差网络来构建特征提取卷积网络，所述深度残差网络包括若干提取特征的残差块和若干增加特征维度的卷积层；编码压缩过程是先用增加特征维度的卷积层对所述处理后点集进行卷积增加特征维度，再通过残差块进行卷积提取深层特征，依此类推若干次，最后对最后一层卷积层的输出进行最大池化，从而得到维度为k的特征数据；其中每个所述卷积层使用卷积核为1×1的1D卷积并用RELU函数进行激活，每层卷积后都使用一层批归一化层。

5.如权利要求1所述的基于深度卷积网络的点云几何压缩方法，其特征在于，步骤S3中，对得到的所述压缩数据进行算术编码以进一步压缩。

6.如权利要求5所述的基于深度卷积网络的点云几何压缩方法，其特征在于，在训练所述深度自编码网络模型时，在步骤S3中，正向传播使用量化函数进行计算，反向传播时，使用一个光滑的逼近函数r代替所述量化函数来计算导数，得到所述量化函数的导数为：

其中y表示编码器所拟合的函数，r为y的光滑近似函数。

7.如权利要求1至6任一所述的基于深度卷积网络的点云几何压缩方法，其特征在于，所述深度自编码网络模型训练过程还包括如下步骤：

8.如权利要求7所述的基于深度卷积网络的点云几何压缩方法，其特征在于，所述先验概率模型可由熵瓶颈层通过一个非参数的完全因式分解概率密度模型建立得到，所述非参数的完全因式分解概率密度模型为：

其中φ⁽ⁱ⁾为每个单变量分布

9.如权利要求7所述的基于深度卷积网络的点云几何压缩方法，其特征在于，所述倒角距离计算所述重构点云中的每个点在所述点集中与其距离最近点的欧式距离，计算公式为：

10.如权利要求7所述的基于深度卷积网络的点云几何压缩方法，其特征在于，所述损失函数是将所述香农交叉熵和所述倒角距离进行加权求和得到，计算公式为：