CN115661275A - 一种基于通道增益的可变速率稀疏点云压缩方法 - Google Patents

Abstract

本发明公开了一种基于通道增益的可变速率稀疏点云压缩方法，首先获取数据集，并进行预处理。其次将训练集输入编码端，编码端有三层下采样模块，每层下采样模块由下采样、卷积网络MLPs和注意力模块组成，得到稀疏点云坐标信息和对应的特征信息，并对编码端输出的坐标信息和特征信息分开进行编码压缩。然后将通道增益单元对处理后的坐标信息和特征信息作为解码端的输入，解码端有三层上采样模块，上采样模块主要由子点卷积模块组成，得到重构的点云。最后对于原始点云和重构点云，使用标准的RD损失函数来训练整个网络模型。本发明能够很好地提升压缩效果，而且能够极大地减小计算量和网络参数量。

Description

一种基于通道增益的可变速率稀疏点云压缩方法

技术领域

本发明属于点云压缩领域，具体涉及一种基于通道增益的可变速率稀疏点云压缩方法。

背景技术

点云是许多应用中3d数据的一种表示方法，比如虚拟现实、混合现实和自动驾驶等领域。点云通过大量的点来表示各种任意形状的3d物体的几何形状，因此，为了实现数据存储和传输的目标，点云压缩成为了一个热门领域。传统的点云压缩方法一般基于图像压缩框架，随着近年来深度学习的兴起，基于深度学习的点云压缩方法也有了很大突破。

现有的基于深度学习的点云压缩方法大都基于变分编码器框架，编码端将原始点云变换为隐空间的隐变量，再通过熵模型学习隐变量的概率分布，通过算术编码达到压缩目的。现有的点云压缩方法可根据输入结构分为两类：一种是基于体素的压缩方法，另一种是基于点的压缩方法。基于体素的方法主要用3d卷积对量化后的点云进行处理，而基于点的方法直接将原始点云作为输入，不需要对输入进行量化，直接学习原始点云的空间特征。然而，现有的基于体素和基于点的压缩方法大多都是用RD损失来控制压缩率，要想得到不同的压缩率，就需要再通过不同的系数重新训练新的模型。这种方式有明显的缺陷，就是需为不同的比特率单独存储额外的参数，导致时间和空间资源的浪费。因此，需要一种可以得到可变速率的模型训练方法，解决现有点云压缩中的问题。

发明内容

本发明针对现有基于点的点云压缩方法的不足，提出一种基于通道增益的可变速率稀疏点云压缩方法。本发明提出了一种基于通道增益的多尺度压缩框架，能够再同一个模型参数下调整得到不同的比特率。由于特征通道的冗余特性，本发明采用了一种通道增益单元模块，通过与中间隐变量的相乘，通道增益模块能够学习到不同通道上的重要程度，从而控制不同通道的缩放过程，通过不同的通道增益向量实现不同的压缩率。此外，在编码端，本发明引入了注意力机制，能够更好地捕获到点云的全局特征。在解码端，引入了子点卷积模块，进一步提高上采样过程中重构精确度。同时，本发明是基于点的压缩网络模块，网络直接接收原始的点云信息作为输入，无需点云体素化等标准化过程。

本发明包括以下步骤：

步骤1：选择ShapeNet数据集，并根据固定比例划分为训练集和测试集，并在数据集上均匀采样，作为原始输入点云。

步骤2：编码端有三层下采样模块，每层下采样模块由下采样、卷积网络MLPs和注意力模块组成。把原始输入点云P输入到编码端，对原始输入进行下采样，通过卷积网络MLPs将采样后的点云编码到高维空间，再将高维空间中特征的局部信息和全局信息通过注意力模块编码到特征空间，得到最终的采样后的稀疏点云坐标信息x和对应的特征信息y。

步骤3：编码端输出的坐标信息x和特征信息y会分开进行编码压缩。坐标信息经过坐标编码器编码提取特征，再与通道增益单元Gain和逆增益单元InverseGain相乘，每个通道与对应的增益向量相关联，之后通过全分解熵模型学习出特征的概率分布，再通过坐标解码器还原坐标信息。

同样，特征信息也会与一对通道增益单元相乘，再通过超先验熵模型进一步压缩，超先验熵模型中也有一对通道增益单元。通道增益单元对能够学习出不同通道的不同冗余度，不同的通道增益单元通过不同的增益单元可以实现可变速率的压缩。

步骤4：将编码压缩后的坐标信息x和特征信息y作为解码端的输入，解码端有三层上采样模块，上采样模块主要由子点卷积模块组成，每层上采样模块根据上一层的坐标信息和特征信息，得到上采样后的坐标信息和特征信息，逐步还原原始点云坐标信息和特征信息，最后一层输出与原始输入点云相同点数的坐标信息，得到重构的点云。

步骤5：对于原始点云和重构点云，使用标准的RD损失函数来训练整个网络模型，由于有三个对应的上采样模块和下采样模块，为了避免误差的累积，计算每个中间对应阶段对应采样点之间的倒角距离，作为额外的多尺度阶段损失。此外，坐标编码器和坐标解码器之间也会有对应的倒角距离损失和比特率损失，最终的损失函数为各个部分损失函数的总和。

步骤6：在测试阶段，选择不同的索引对应的通道增益单元和测试集的点云作为原始输入点云，得到不同比特率下的点云压缩结果。

本发明的有益效果：本发明引入了注意力机制模块和子点卷积模块，能够很好地提升压缩效果，而且能够在同一个网络模型参数下实现可变比特率下的点云压缩效果，能够极大地减小计算量和网络参数量。

附图说明

图1为本发明的整体网络框架图；

图2为本发明的注意力机制模块图；

图3为本发明的子点卷积模块图。

具体实施方式

以下结合附图，对本发明进一步说明。

一种基于通道增益的可变速率稀疏点云压缩方法网络框架如图1所示，具体步骤如下：

步骤1：选择ShapeNetCorev2数据集并根据固定比例划分为训练集和测试集，在数据集上均匀采样2048个点作为原始输入点云。同时，通道增益单元的拉格朗日系数设置为{10，50，100，500，1000，4000}，对应索引为1到6，在训练过程的每次迭代中，随机选择对应1到6的系数索引s，从增益矩阵M和逆增益矩阵M'中获得相应的通道增益向量v_s和逆增益向量v_s'，和整个框架的网络参数共同训练。

步骤2：把原始输入点云P输入到编码端，编码端有三层下采样模块，每层下采样模块由下采样、卷积网络MLPs和注意力模块组成，编码段将输入经过三层下采样模块得到最终下采样后的稀疏点云坐标信息x和对应的特征信息y。其中的下采样模块通过最远点采样(FPS)方法对输入点云进行下采样，并通过卷积神经网络MLPs采样后的点云编码到高维空间，注意力模块对高维的特征信息进行处理，注意力模块的原理如图2所示。输入是点云的特征信息，N代表点的个数，C代表点的特征通道维度。输入首先通过一维卷积将线性变换作用到输入特征上，得到query、key和value矩阵分别用Q、K和V表示，T表示矩阵转置操作，为了节省内存，query和key的维度C_a设置为

再将query和key矩阵相乘，并经过softmax缩放函数缩放得到特征权重矩阵，表示为A：

将特征权重矩阵A与value矩阵相乘聚合全局信息，得到注意力特征后，为了融合输入特征和注意力特征的不同，将输入特征和注意力特征逐元素相减，经过LBR模块标准化处理后再与原始输入特征相加，得到最终的维度相同的输出特征。注意力模块能够捕捉到空间中无规则的点之间的关联性，有利于点云特征信息的聚合效果。

步骤3：编码端输出的坐标信息x和对应的特征信息y会分开进行压缩。如图1所示，压缩部分主要由通道增益单元对实现可变速率调整。通道增益单元Gain由增益矩阵M∈R^c×n构成，n表示增益向量的个数，c表示特征通道数，R表示实数域。增益向量v_s＝{α_s(0),α_s(1),...,α_s(c-1)},α_s(i)∈R，其中的s代表增益矩阵中的增益向量索引。x和y在训练过程中通过与增益向量相乘实现缩放通道来获得不同的比特率：

经过增益单元Gain对通道缩放处理后，在解码端，会由逆增益单元InverseGain进行逆缩放处理，逆增益单元由增益矩阵M'∈R^c×n组成，逆增益向量v_s'＝{α'_s(0),α'_s(1),...,α'_s(c-1)},α'_s(i)∈R表示，逆增益调整的公式如下：

增益单元Gain和逆增益单元InverseGain都是成对出现。在压缩y时，为了更精确地得到y的概率分布，用超先验熵模型对其进行处理。如图1所示。y经由增益单元进行处理得到

之后分为两个分支，一条分支将

输入到超先验编码器进行进一步特征提取，再经过增益单元进行缩放处理得到z，z通过量化器进行量化操作，之后通过全分解熵模型学习出量化后的z的概率分布，并通过算术编码器AE、算术解码器AD和相应的概率分布值对z进行压缩处理，得到

通过逆增益单元Inverse Gain、超先验解码器得到高斯熵模型的输入参数μ，高斯熵模型通过输入参数μ估计出

的概率分布。同时，另一条分支将

通过量化器进行量化，之后通过算术编码器AE、算术解码器AD和高斯熵模型学习得到的概率分布对量化后的

进形压缩，得到

最后通过逆增益单元Inverse Gain得到

坐标信息x则依次通过坐标编码器、增益单元Gain、算术编码器AE、全分解熵模型、算术解码器AD、逆增益单元Inverse Gain和坐标解码器得到x'。

步骤4：解码端将步骤3处理得到的x'和

作为输入，解码端有三层上采样模块，每层上采样模块主要由子点卷积模块组成。x'和

通过子点卷积模块进行上采样操作。子点卷积模块原理如图3所示，输入维度为N×d_in，N代表点数，d_in代表输入的维度，d_out表示输出的维度，U表示上采样率，二维卷积采用的是深度学习中通用的二维卷积模块。与一般的卷积直接作用在整个输入的通道域上不同，每层上采样模块中的子点卷积模块将输入在维度上根据上采样率划分为n组，每个组的通道分别用单独的二维卷积对特征通道进行升维，将输入通道扩展为N×Ud_out，最后，使用重塑把输出的形状变为UN×d_out。将特征通道分组进行卷积的操作能够避免直接复制特征通道时产生的点局部聚集的问题，同时也能减小计算量。在解码端通过三层子点卷积模块后，得到重构后的点云

步骤5：对于网络的原始点云输入P和重构点云输出

使用标准的RD损失函数来训练整个网络模型：

L＝D+λR

其中，D表示点之间的重构损失，R是比特率损失，λ是系数。由于有步骤2中的三层下采样过程和步骤4中的三层上采样过程，为了避免误差的累计，将上采样和下采样对应的中间对应阶段的采样点之间的倒角距离，作为额外的多尺度阶段损失，用D_multi表示。此外，坐标编码器和坐标解码器之间也会有对应的倒角距离损失和比特率损失，用D_xyz和R_xyz表示，整个网络的输入和输出之间的倒角距离用最终的损失函数公式为：

L_total＝D_c+D_xyz+D_multi+λ(R_xyz+R_c)

其中，D_c是输入P和输出

之间的倒角距离损失，R_c是压缩特征信息y的比特率损失。

步骤6：在测试阶段，不需要针对每个单独的λ系数单独训练新的网络模型，只要通过索引选择对应的通道增益单元v_s和测试集的点云作为输入，由于每个增益单元的网络模型参数是共享的，所以通过不同的增益向量就可以得到不同比特率下的压缩结果。

实施例：

实验结果如表1所示，具体包括：

使用ShapeNet数据集中的训练集作为实验数据，实验中使用学习率为0.0001的ADAM优化器进行参数优化，batch_size设置为32，训练了100个epoch。

用同样的测试集测试，与单独训练每个比特率下的非可变速率的压缩结果相比，非可变速率的模型参数量为128kb，浮点数运算量为273M，而本发明的模型参数量为25.6kb，浮点数运算量为54.6M。从实验数据可以看出，本发明的模型测试的压缩结果可以有效地减小模型参数和计算量。

表1

方法	模型参数大小	浮点数运算量
			非可变速率	128k	273M
可变速率	25.6k	54.6M

Claims (5)

1.一种基于通道增益的可变速率稀疏点云压缩方法，其特征在于包括以下步骤：

步骤1：选择ShapeNet数据集，划分为训练集和测试集；

在数据集上进行均匀采样，得到原始输入点云；

步骤2：原始输入点云输入编码端，得到经过编码端后的稀疏点云坐标信息和对应的特征信息；

编码端有三层下采样模块，每层下采样模块由下采样、卷积网络MLPs和注意力模块组成；

步骤3：将编码端输出的坐标信息和对应的特征信息分开进行编码压缩；

坐标信息首先经过坐标编码器编码提取特征，其次与通道增益单元和逆增益单元相乘，并通过全分解熵模型学习特征的概率分布，最后通过坐标解码器还原坐标信息；

同样，特征信息也与一对通道增益单元相乘，并通过超先验熵模型进一步压缩；

步骤4：将编码压缩后的坐标信息和特征信息作为解码端的输入；

解码端有三层上采样模块，上采样模块由子点卷积模块组成，每层上采样模块根据上一层的输出得到上采样后的坐标信息和特征信息，逐步还原原始输入点云坐标信息和特征信息，最后一层输出与原始输入点云相同点数的坐标信息，得到重构点云；

步骤5：对于原始点云和重构点云，使用标准的RD损失函数训练整个网络模型；

计算每个中间对应阶段对应采样点之间的倒角距离，作为额外的多尺度阶段损失；

坐标编码器和坐标解码器之间也有对应的倒角距离损失和比特率损失，完整的损失函数为各个部分损失函数的总和；

步骤6：在测试阶段，选择不同索引对应的通道增益单元和测试集的点云作为原始输入点云，得到不同比特率下的点云压缩结果。

2.根据权利要求1所述一种基于通道增益的可变速率稀疏点云压缩方法，其特征在于：步骤2中采用最远点采样FPS方法对输入点云进行下采样。

3.根据权利要求1所述一种基于通道增益的可变速率稀疏点云压缩方法，其特征在于：步骤3中所述超先验熵模型包括超先验编码器、超先验解码器和高斯熵模型；

超先验熵模型中含有一对通道增益单元，并通过全分解熵模型学习特征的概率分布。

4.根据权利要求1所述一种基于通道增益的可变速率稀疏点云压缩方法，其特征在于：步骤3中对坐标信息x进行编码压缩时，增益单元之后还包括算术编码器和算术解码器对坐标信息进行处理；

对特征信息y进行编码压缩时，增益单元之后还包括量化器、算术编码器和算术解码器对特征信息进行处理，并且加入了高斯熵模型估计量化后概率分布函数。

5.根据权利要求1所述一种基于通道增益的可变速率稀疏点云压缩方法，其特征在于：步骤4中每层上采样模块中的子点卷积模块，将输入在维度上根据上采样率划分为n组，每个组的通道分别用单独的二维卷积对特征通道进行升维。

Images