CN112672168A - 基于图卷积的点云压缩方法及装置 - Google Patents

Abstract

本发明提供了一种基于图卷积的点云压缩方法及装置，所述方法包括，使用基于图卷积的全局特征提取器，对原始的点云数据进行全局特征提取，得到粗略的三维模型的关键全局特征；使用基于图卷积的局部特征编码器，根据关键全局特征对点云数据进行局部特征提取并编码，得到潜在表示数据；对基于图卷积的局部特征编码器进行训练；对潜在表示数据进行量化熵编码以比特流的形式进行传输；根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估。本发明的有益效果在于：提高了处理大数据量的点云数据的处理效率。

Description

基于图卷积的点云压缩方法及装置

技术领域

本发明涉及一种点云压缩方法及装置，尤其是指一种基于图卷积的点云压缩方法及装置。

背景技术

点云压缩的目的是将原始点云数据压缩编码，减少传输的带宽或者存储的容量。原始的点云数据量庞大，随着点云获取设备的普及和3D应用的兴起，需要对原始的点云数据进行压缩来满足传输的带宽或者存储的限制。深度学习在点云数据的分割、分类和识别中已经取得了较好的效果，深度学习在较高压缩率的几何点云压缩中具有较好的效果，目前直接消耗点云的深度学习网络较少，主要因为原始的点云数据具有不规则和无序的特性。

目前，基于点云的深度学习的点云压缩，主要使用全连接的网络结构消耗点云，相比于其他基于体素和基于二维矩阵的方式，消耗点云的深度学习点云压缩方式具有的优势是可以直接利用原始的点云数据，大大的减少了数据的预处理，并且传输之后直接恢复点云数据不需要进行二次的转换。基于体素的深度学习压缩在细节方面由于体素的分辨率限制难以重建原始点云细节部分。并且，相比于基于体素数据的深度学习方法的压缩直接消耗点云的网络结构一次能够输入较多的点云数据。

点云压缩的应用场景主要为大量数据的点云模型和现实场景的点云信息传输，目前消耗点云的压缩网络一次性输入的点云数据较少，需要解决对于大型点云数据的处理能力。点云采集的三维数据主要为物体的表面，点云数据高度集中在物体的表面平面，目前直接消耗点云的网络在重建点云表面的性能方面较弱。

发明内容

本发明所要解决的技术问题是：提供一种基于图卷积的点云压缩方法及装置，旨在解决大型点云数据的处理效率问题。

为了解决上述技术问题，本发明采用的技术方案为：一种基于图卷积的点云压缩方法，包括以下步骤，

S10、使用基于图卷积的全局特征提取器，对原始的点云数据进行全局特征提取，得到粗略的三维模型的关键全局特征；

S20、使用基于图卷积的局部特征编码器，根据关键全局特征对点云数据进行局部特征提取并编码，得到潜在表示数据；

S30、对基于图卷积的局部特征编码器进行训练；

S40、对潜在表示数据进行量化熵编码以比特流的形式进行传输；

S50、根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估。

进一步的，步骤S10具体包括，

S11、使用两层全感知层，初步提取特征点；

S12、将提取的全局特征进行解码为粗点云；

S13、将粗点云通过三层图卷积网络提取全局特征值；

S14、将全局特征值进行池化，提取全局特征的关键点，保留关键点特征。

进一步的，所述三层图卷积网络由图卷积层和激活函数层组成，激活函数层使用LeakSigmoid函数，用于将数值差距较大的图卷积层结果进行映射到合理的范围，对于负值返回较小的值避免无法激活神经元，LeakSigmoid函数为，

其中，u₁ u₂ u₃ a为函数参数，x为输入激活函数的数值。

进一步的，步骤S20具体包括，

S21、从全局特征中将原始的点云数据划分为一个个局部的点云数据；

S22、对局部的点云数据构建云点图，对局部的点云数据进行三层图卷积网络；

S23、将图卷积网络后的点云数据通过多层感知层并池化，得到潜在表示数据。

进一步的，步骤S21中，根据全局特征点对原始的点云数据进行球形划分，每个全局特征点的划分半径由函数进行计算，所采用的函数为：

其中，D_f为图卷积函数矩阵，mean(d)为全局特征点之间的平均距离，u_i为参数，m为该点以mean(d)为半径内的点，n_f(i)为该点的全局特征。

进一步的，步骤S30中，训练损失函数Loss_final综合两部分进行计算，一部分Loss_coarse使用粗点云作为标准点云计算损失，另一部分Loss_original使用原始点云作为标准点云计算损失，计算公式分别为：

Loss_final＝u₁×Loss_coarse+u₂×ln(Loss_original+1)

其中，u_i为可变常数参数，P_coarse为粗点云点，P_original为原始点云点，S_i为点P_i为球心的以d_i为半径的空间内点云P_k的数量，d_i为由局部特征控制的距离。

进一步的，步骤S40中，评价重建点云质量的公式为：

其中，u_i为可变常数参数，P_i为重建点云，M为重建点云最大数量，Y_i为重建点云S_i为点P_i为球心的以d为半径的空间内点云Y_k的数量，YK_i为原始点云在该点曲率，PK_i为重建点云该点曲率。

本发明还提供了一种基于图卷积的点云压缩装置，包括，

全局特征提取模块，用于使用基于图卷积的全局特征提取器，对原始的点云数据进行全局特征提取，得到粗略的三维模型的关键全局特征；

局部特征提取模块，用于使用基于图卷积的局部特征编码器，根据关键全局特征对点云数据进行局部特征提取并编码，得到潜在表示数据；

编码器训练模块，用于对基于图卷积的局部特征编码器进行训练；

量化熵编码模块，用于对潜在表示数据进行量化熵编码以比特流的形式进行传输；

质量评估模块，用于根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估。

进一步的，所述全局特征提取模块包括，

特征点提取单元，用于使用两层全感知层，初步提取特征点；

特征点解码单元，用于将提取的全局特征进行解码为粗点云；

全局特征值提取单元，用于将粗点云通过三层图卷积网络提取全局特征值；

特征关键点提取单元，用于将全局特征值进行池化，提取全局特征的关键点，保留关键点特征。

进一步的，所述局部特征提取模块包括，

点云数据划分单元，用于从全局特征中将原始的点云数据划分为一个个局部的点云数据；

云点图构建单元，用于对局部的点云数据构建云点图，对局部的点云数据进行三层图卷积网络；

点云数据池化单元，用于将图卷积网络后的点云数据通过多层感知层并池化，得到潜在表示数据。

本发明的有益效果在于：通过图卷积的方式压缩点云数据，可直接消耗点云数据而不需要对点云进行预处理。对于点云数据进行全局特征提取，可以有效地对点云数据根据特征进行划分，通过图卷积区域进行压缩，提高了处理大数据量的点云数据的处理效率。针对图卷积重建的特征值函数能够很好地提高重建数据的质量，对于原始三维点云模型的还原更加准确。根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估，能够获得整体的点云数据的还原质量。

附图说明

下面结合附图详述本发明的具体结构。

图1为本发明实施例的基于图卷积的点云压缩方法流程图；

图2为本发明实施例的基于图卷积的点云压缩装置框图；

图3为本发明实施例的基于图卷积的全局特征提取器的框图；

图4为本发明实施例的基于图卷积的局部特征编码器的框图；

图5为本发明具体实施例的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如图1所示，本发明第一实施例为：一种基于图卷积的点云压缩方法，包括以下步骤，

S10、使用基于图卷积的全局特征提取器，对原始的点云数据进行全局特征提取，得到粗略的三维模型的关键全局特征；具体的基于图卷积的全局特征提取器的框图如图3所示。

S20、使用基于图卷积的局部特征编码器，根据关键全局特征对点云数据进行局部特征提取并编码，得到潜在表示数据；具体的基于图卷积的局部特征编码器的框图如图4所示。

S30、对基于图卷积的局部特征编码器进行训练；

S40、对潜在表示数据进行量化熵编码以比特流的形式进行传输；

S50、根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估。

进一步的，步骤S10具体包括，

S11、使用两层全感知层，初步提取特征点；每一层全感知层由多层感知层和池化层组成，使用ReLU激活每一层的点云特征；

S12、将提取的全局特征进行解码为粗点云；粗点云是对原始的点云数据进行特征值的强弱精简；并根据粗点云构建粗点云图。其中，构建粗点云图主要为对粗点云构建每个点的领域，每个点的卷积范围为其领域连接的点和点之间的距离。

S13、将粗点云通过三层图卷积网络提取全局特征值；

S14、将全局特征值进行池化，提取全局特征的关键点，保留关键点特征{n_f×m}。

进一步的，所述三层图卷积网络由图卷积层和激活函数层组成，激活函数层使用LeakSigmoid函数，用于将数值差距较大的图卷积层结果进行映射到合理的范围，对于负值返回较小的值避免无法激活神经元，LeakSigmoid函数为，

其中，u₁ u₂ u₃ a为函数参数，x为输入激活函数的数值。

进一步的，步骤S20具体包括，

S21、从全局特征{n_f×m}中将原始的点云数据划分为一个个局部的点云数据；从全局特征中提取出合理的划分空间，对划分空间内的点云数据进行图卷积提取局部特征完成对点云数据的压缩。对全局特征点的特征进行处理得到每个全局特征点对应的划分空间的半径

S22、对局部的点云数据构建云点图，对局部的点云数据进行三层图卷积网络；每层图卷积网络由图卷积层、归一化层和激活函数层组成；使用归一化层对图卷积数据进行归一化，使用ReLU进行训练，不同于粗点云，此处图卷积数据量较大，使用ReLU激活函数能够很好地提高训练速度和增加非线性。

S23、将图卷积网络后的点云数据通过多层感知层并池化，得到潜在表示数据。潜在表示数据用于重建点云数据。

进一步的，步骤S21中，根据全局特征点对原始的点云数据进行球形划分，每个全局特征点的划分半径由函数进行计算，所采用的函数为：

其中，D_f为图卷积函数矩阵，mean(d)为全局特征点之间的平均距离，u_i为参数，m为该点以mean(d)为半径内的点，n_f(i)为该点的全局特征。

进一步的，步骤S30中，训练损失函数Loss_final综合两部分进行计算，一部分Loss_coarse使用粗点云作为标准点云计算损失，另一部分Loss_original使用原始点云作为标准点云计算损失，计算公式分别为：

Loss_final＝u₁×Loss_coarse+u₂×ln(Loss_original+1)

其中，u_i为可变常数参数，P_coarse为粗点云点，P_original为原始点云点，S_i为点P_i为球心的以d_i为半径的空间内点云P_k的数量，d_i为由局部特征控制的距离。

进一步的，步骤S40中，评价重建点云质量的公式为：

其中，u_i为可变常数参数，P_i为重建点云，M为重建点云最大数量，Y_i为重建点云S_i为点P_i为球心的以d为半径的空间内点云Y_k的数量，YK_i为原始点云在该点曲率，PK_i为重建点云该点曲率。

本实施例中，通过图卷积的方式压缩点云数据，可直接消耗点云数据而不需要对点云进行预处理。对于点云数据进行全局特征提取，可以有效地对点云数据根据特征进行划分，通过图卷积区域进行压缩，提高了处理大数据量的点云数据的处理效率。针对图卷积重建的特征值函数能够很好地提高重建数据的质量，对于原始三维点云模型的还原更加准确。根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估，能够获得整体的点云数据的还原质量。

如图2所示，本发明的另一实施例为一种基于图卷积的点云压缩装置，包括，

全局特征提取模块10，用于使用基于图卷积的全局特征提取器，对原始的点云数据进行全局特征提取，得到粗略的三维模型和关键全局特征；

局部特征提取模块20，用于使用基于图卷积的局部特征编码器，根据关键全局特征对点云数据进行局部特征提取并编码，得到潜在表示数据；

编码器训练模块30，用于对基于图卷积的局部特征编码器进行训练；

量化熵编码模块40，用于对潜在表示数据进行量化熵编码以比特流的形式进行传输；

质量评估模块50，用于根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估。

进一步的，所述全局特征提取模块10包括，

特征点提取单元，用于使用两层全感知层，初步提取特征点；

特征点解码单元，用于将提取的全局特征进行解码为粗点云；

全局特征值提取单元，用于将粗点云通过三层图卷积网络提取全局特征值；

特征关键点提取单元，用于将全局特征值进行池化，提取全局特征的关键点，保留关键点特征。

进一步的，所述局部特征提取模块20包括，

点云数据划分单元，用于从全局特征中将原始的点云数据划分为一个个局部的点云数据；

云点图构建单元，用于对局部的点云数据构建云点图，对局部的点云数据进行三层图卷积网络；

点云数据池化单元，用于将图卷积网络后的点云数据通过多层感知层并池化，得到潜在表示数据。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述一种基于图卷积的点云压缩装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述一种基于图卷积的点云压缩装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。

请参阅图5，图5是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于图卷积的点云压缩方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种基于图卷积的点云压缩方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如上基于图卷积的点云压缩方法。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上基于图卷积的点云压缩方法。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于图卷积的点云压缩方法，其特征在于：包括以下步骤，

S10、使用基于图卷积的全局特征提取器，对原始的点云数据进行全局特征提取，得到粗略的三维模型的关键全局特征；

S20、使用基于图卷积的局部特征编码器，根据关键全局特征对点云数据进行局部特征提取并编码，得到潜在表示数据；

S30、对基于图卷积的局部特征编码器进行训练；

S40、对潜在表示数据进行量化熵编码以比特流的形式进行传输；

S50、根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估。

2.如权利要求1所述的基于图卷积的点云压缩方法，其特征在于：步骤S10具体包括，

S11、使用两层全感知层，初步提取特征点；

S12、将提取的全局特征进行解码为粗点云；

S13、将粗点云通过三层图卷积网络提取全局特征值；

S14、将全局特征值进行池化，提取全局特征的关键点，保留关键点特征。

3.如权利要求2所述的基于图卷积的点云压缩方法，其特征在于：所述三层图卷积网络由图卷积层和激活函数层组成，激活函数层使用LeakSigmoid函数，用于将数值差距较大的图卷积层结果进行映射到合理的范围，对于负值返回较小的值避免无法激活神经元，LeakSigmoid函数为，

其中，u₁ u₂ u₃ a为函数参数，x为输入激活函数的数值。

4.如权利要求3所述的基于图卷积的点云压缩方法，其特征在于：步骤S20具体包括，

S21、从全局特征中将原始的点云数据划分为一个个局部的点云数据；

S22、对局部的点云数据构建云点图，对局部的点云数据进行三层图卷积网络；

S23、将图卷积网络后的点云数据通过多层感知层并池化，得到潜在表示数据。

5.如权利要求4所述的基于图卷积的点云压缩方法，其特征在于：步骤S21中，根据全局特征点对原始的点云数据进行球形划分，每个全局特征点的划分半径由函数进行计算，所采用的函数为：

其中，D_f为图卷积函数矩阵，mean(d)为全局特征点之间的平均距离，u_i为参数，m为该点以mean(d)为半径内的点，n_f(i)为该点的全局特征。

6.如权利要求5所述的基于图卷积的点云压缩方法，其特征在于：步骤S30中，训练损失函数Loss_final综合两部分进行计算，一部分Loss_coarse使用粗点云作为标准点云计算损失，另一部分Loss_original使用原始点云作为标准点云计算损失，计算公式分别为：

Loss_final＝u₁×Loss_coarse+u₂×ln(Loss_original+1)

其中，u_i为可变常数参数，P_coarse为粗点云点，P_original为原始点云点，S_i为点P_i为球心的以d_i为半径的空间内点云P_k的数量，d_i为由局部特征控制的距离。

7.如权利要求6所述的基于图卷积的点云压缩方法，其特征在于：所述步骤S40中，评价重建点云质量的公式为：

其中，u_i为可变常数参数，P_i为重建点云，M为重建点云最大数量，Y_i为重建点云S_i为点P_i为球心的以d为半径的空间内点云Y_k的数量，YK_i为原始点云在该点曲率，PK_i为重建点云该点曲率。

8.一种基于图卷积的点云压缩装置，其特征在于：包括，

全局特征提取模块，用于使用基于图卷积的全局特征提取器，对原始的点云数据进行全局特征提取，得到粗略的三维模型的关键全局特征；

局部特征提取模块，用于使用基于图卷积的局部特征编码器，根据关键全局特征对整体点云数据进行区域划分，对划分后的区域进行特征提取并编码，得到潜在表示数据；

编码器训练模块，用于对基于图卷积的局部特征编码器进行训练；

量化熵编码模块，用于对潜在表示数据进行量化和熵编码，并以比特流的形式进行传输；

质量评估模块，用于根据点云数据每个点之间的误差和曲率的误差对基于特征值重建的点云数据进行质量评估。

9.如权利要求8所述的基于图卷积的点云压缩装置，其特征在于：所述全局特征提取模块包括，

特征点提取单元，用于使用两层全感知层，从整体的点云数据中初步提取特征点；

特征点解码单元，用于将提取的全局特征进行解码为粗点云；

全局特征值提取单元，用于将粗点云通过三层图卷积网络提取全局特征值；

特征关键点提取单元，用于将全局特征值进行池化，提取全局特征的关键点，保留关键点特征。

10.如权利要求9所述的基于图卷积的点云压缩装置，其特征在于：所述局部特征提取模块包括，

点云数据划分单元，用于从全局特征中将原始的点云数据划分为一个个局部的点云数据；

云点图构建单元，用于对局部的点云数据构建云点图，对局部的点云数据进行三层图卷积网络；

点云数据池化单元，用于将图卷积网络后的点云数据通过多层感知层并池化，得到潜在表示数据。

Images