CN112581552B - 自适应分块的基于体素的点云压缩方法及装置 - Google Patents

自适应分块的基于体素的点云压缩方法及装置 Download PDF

Info

Publication number
CN112581552B
CN112581552B CN202011474122.6A CN202011474122A CN112581552B CN 112581552 B CN112581552 B CN 112581552B CN 202011474122 A CN202011474122 A CN 202011474122A CN 112581552 B CN112581552 B CN 112581552B
Authority
CN
China
Prior art keywords
point cloud
voxel
blocks
adaptive
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011474122.6A
Other languages
English (en)
Other versions
CN112581552A (zh
Inventor
王妙辉
董恒进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011474122.6A priority Critical patent/CN112581552B/zh
Publication of CN112581552A publication Critical patent/CN112581552A/zh
Application granted granted Critical
Publication of CN112581552B publication Critical patent/CN112581552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了自适应分块的基于体素的点云压缩方法及装置，所述方法包括，对原始的点云数据进行自适应分块；对自适应分块后的点云块进行编码；使用改进后的wBCE损失函数对压缩编码器进行训练；将训练完成的压缩编码器对自适应分块后的点云块进行编码。本发明的有益效果在于：能够有效的提升点云压缩的压缩率和速度，同时能够在较高压缩率时明显地提高点云压缩的质量。

Description

自适应分块的基于体素的点云压缩方法及装置
技术领域
本发明涉及一种压缩方法及装置，尤其是指一种自适应分块的基于体素的点云压缩方法及装置。
背景技术
点云压缩目的是将原始点云数据压缩编码，减少传输的带宽或者存储的容量。原始点云数据量庞大，随着点云获取设备的普及和3D应用的兴起，需要对原始点云数据进行压缩来满足传输的带宽或者存储的限制。点云压缩主要可以分为视频点云压缩和几何点云压缩，随着深度学习的发展，目前已经有许多深度学习框架应用在几何点云压缩中。基于深度学习的点云压缩，根据点云压缩中对于原始点云数据的处理，可以分为三类：基于体素的点云压缩、基于原始点云的点云压缩和基于二维矩阵的点云压缩。
基于体素的点云压缩是目前比较主流的使用深度学习的点云压缩方式，并且相比其他点云压缩其适应于较大的数据量和各类点云场景。点云数据具有不规则性和数据量大的特点，点云的体素化可以很好的将不规则点云转化为规则的体素，并且体素化的过程中将距离近的点云合并为同一体素，减少了点云需要压缩的庞大的数据量。基于体素的点云压缩的深度学习方法主要为使用三维的自动编码器进行压缩数据。由于三维数据相比二维数据分辨率的提升导致数据量增长过快，所以过高的体素分辨率会大大降低三维卷积的速度，因此目前点云压缩主要针对64×64×64或者32×32×32三维数据作为压缩输入。
基于体素的点云压缩都采取均匀切割原始点云数据为块，再对均匀的块内的点云进行体素化，并对每一个块进行压缩。由于三维点云数据的特点，三维点云数据量大，并且点云在空间中分布非常的稀疏并且点云是对物体表面的平面进行采集，对原始点云数据进行均匀的分块的方法导致对于一些极为稀疏的点云压缩率不佳，对于点云聚集的分块体素化压缩可能会较大的损失点云的细节。
发明内容
本发明所要解决的技术问题是：提供一种自适应分块的基于体素的点云压缩方法及装置，旨在保持较高压缩率的同时，提高点云压缩的质量。
为了解决上述技术问题，本发明采用的技术方案为：一种自适应分块的基于体素的点云压缩方法，包括以下步骤，
步骤S10、对原始的点云数据进行自适应分块；
步骤10具体包括，
S11、将原始的点云数据进行八叉树体素划分，得到划分的点云块；
S12、使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；
S13、对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；
S14、根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；
步骤S20、对自适应分块后的点云块进行编码；
步骤S20具体包括，
S21、对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，体素保留体素内点云数量通过三维卷积网络进行体素强化，保留特征强化后体素训练集；
S22、对特征强化后的体素进行编码，得到编码后的潜在表示数据；
S23、对编码后的潜在表示数据进行解码，对解码结果计算改进后的wBCE损失函数，迭代网络；
步骤S30、使用改进后的wBCE损失函数循环执行步骤S21-S23，分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；
步骤S40、将训练完成的压缩编码器对自适应分块后的点云块进行编码。
进一步的，步骤S11具体为，
将原始的点云数据进行八叉树体素划分，划分到最大深度，并统计最大深度的点云块的点云数量。
进一步的，步骤S12具体为，
将划分的点云数据块分别使用三维卷积网络进行卷积得到主要反应点云周围数量的特征值和主要反映周围点云变化的特征值，加上点云块内的点云数量组成点云块的特征向量。
进一步的，步骤S13中，对稠密程度和细节重要程度进行计算的公式分别为：
Figure BDA0002834589650000031
Figure BDA0002834589650000032
其中，{b1,b2,b3,b4,b5}为步骤S12得到的点云特征向量，D1主要表现该点云块以及附近的稠密程度，u1u2u3为公式参数，Mb1为b1的众数，
Figure BDA0002834589650000033
为b1的平均值，
Figure BDA0002834589650000034
为b2的方差，
Figure BDA0002834589650000035
为b1的方差，
Figure BDA0002834589650000036
为b2的方差，
Figure BDA0002834589650000037
为b3的方差。
D2主要表现该点云块在空间中细节重要程度。u1u2u3u4为公式参数，
Figure BDA0002834589650000038
为b4的平均值，
Figure BDA0002834589650000039
为b5的平均值，Mb4为b4的众数，Mb5为b5的众数，
Figure BDA00028345896500000310
为b4的方差，
Figure BDA00028345896500000311
为b5的方差，D1min和D1max分别为D1(i)的最小值和最大值。
进一步的，步骤S14具体为，对所有最小点云块进行合并判断，判断依据为其点云块的稠密程度和细节重要程度，若判断函数小于0则合并该8个点云块为大的点云块，判断函数如下所示：
Figure BDA00028345896500000312
其中，D1(i)和D2(i)由步骤S13计算得出，u1为函数参数，σD1为D1(i)的标准差。
进一步的，步骤S21具体为，
通过三维卷积网络强化体素特征，输入体素向量{c1,c2}，体素向量分别为体素是否为空和体素内点云数量，点云数据体素化分辨率大小为{32×32×32}，对该点云数据进行三维卷积得到体素向量{c1,c2,c3,c4}，进行公式变换为加强特征值：
Figure BDA00028345896500000313
其中，{c1,c2,c3,c4}为体素向量，u2u3u4为函数参数表示为体素向量的权重。
进一步的，步骤S22具体包括，
根据D1(i)函数确定对该点云块使用稠密点云块自动编码器是稀疏点云块自动编码器编码，自动编码器卷积层使用{3×3×3}的卷积核，卷积核的步进为{2×2×2}，激活函数为sigmoid，使用三层卷积层进行编解码。
进一步的，步骤S30中，改进后wBCE损失函数为：
Figure BDA0002834589650000041
其中，y(i)为原始体素值，p(i)为预测体素值，w1(i)主要为对原本为1的体素预测为0的权重，w2(i)为对原本为0的体素预测为1的权重。
进一步的，w1(i)及w2(i)的计算公式为：
Figure BDA0002834589650000042
Figure BDA0002834589650000043
其中，w1(i)主要为对原本为1的体素预测为0的权重，u1u2u3u4为函数参数，{c1,c2,c3,c4}为体素向量。w2(i)为对原本为0的体素预测为1的权重，u1u2u3u4为函数参数，{c1,c2,c3,c4}为体素向量。
本发明还提供了一种自适应分块的基于体素的点云压缩装置，包括，
自适应分块模块，用于对原始的点云数据进行自适应分块，
所述自适应分块模块具体包括，
划分单元，用于将原始的点云数据进行八叉树体素划分，得到划分的点云块；
分布探测单元，用于使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；
点云块分类单元，用于对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；
自适应合并单元，用于根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；
编码模块，用于对自适应分块后的点云块进行编码；
所述编码模块包括，
特征强化单元，用于对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，体素保留体素内点云数量通过三维卷积网络进行体素强化，保留特征强化后体素训练集；
第一编码单元，用于对特征强化后的体素进行编码，得到编码后的潜在表示数据；
第二编码单元，用于对编码后的潜在表示数据进行解码，对解码结果计算改进后的wBCE损失函数，迭代网络；
训练模块，用于使用改进后的wBCE损失函数循环执行编码过程，分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；
压缩模块，用于将训练完成的压缩编码器对自适应分块后的点云块进行编码，以完成点云数据的压缩。
本发明的有益效果在于：通过自适应划分能够有效的提升点云压缩的压缩率和速度，避免对点云空间中稀疏的点云块进行细致的压缩。通过判断点云块的细节重要程度，将不同细节程度的点云块通过稠密编码器和稀疏编码器进行编码，能够有效地提升对于体素压缩的压缩率和压缩质量。对于体素的特征加强，能够在较高压缩率时明显地提高点云压缩的质量，能够较好地保存点云数据的重要细节。损失函数对于不同特征强度的点采用不同的权重，加强了编码器对空体素重建中的保持，在高压缩率中加强了对于重要体素的重建。
附图说明
下面结合附图详述本发明的具体结构。
图1为本发明实施例的自适应分块的基于体素的点云压缩方法流程图；
图2为本发明实施例的自适应分块的基于体素的点云压缩装置框图；
图3为本发明实施例的三维卷积网络框架图；
图4为本发明实施例的对体素进行特征强化的流程图；
图5为本发明实施例的编码器训练框架图；
图6为本发明实施例的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如图1所示，本发明第一实施例为：一种自适应分块的基于体素的点云压缩方法，包括以下步骤，
步骤S10、对原始的点云数据进行自适应分块；
步骤10具体包括，
S11、将原始的点云数据进行八叉树体素划分，得到划分的点云块；
S12、使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；
S13、对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；
S14、根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；
步骤S20、对自适应分块后的点云块进行编码；
步骤S20具体包括，
S21、对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，体素保留体素内点云数量通过三维卷积网络进行体素强化，保留特征强化后体素训练集；流程如图4所示。
S22、对特征强化后的体素进行编码，得到编码后的潜在表示数据；
S23、对编码后的潜在表示数据进行解码，对解码结果计算改进后的wBCE损失函数，迭代网络；
步骤S30、使用改进后的wBCE损失函数循环执行步骤S21-S23，分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；
步骤S40、将训练完成的压缩编码器对自适应分块后的点云块进行编码。
进一步的，步骤S11具体为，
将原始的点云数据进行八叉树体素划分，划分到最大深度MaxDepth，并统计最大深度的点云块的点云数量。通过数组SumBlockCount统计点云在最大深度点云块的数量分布统计，避免重复遍历八叉树。
进一步的，步骤S12具体为，
将划分的点云数据块分别使用三维卷积网络进行卷积得到主要反应点云周围数量的特征值b2,b3和主要反映周围点云变化的特征值b4,b5，加上点云块内的点云数量b1组成点云块的特征向量{b1,b2,b3,b4,b5}，三维卷积网络的框架如图3所示。
进一步的，步骤S13中，对稠密程度和细节重要程度进行计算的公式分别为：
Figure BDA0002834589650000071
Figure BDA0002834589650000072
其中，{b1,b2,b3,b4,b5}为步骤S12得到的点云特征向量，D1主要表现该点云块以及附近的稠密程度，u1u2u3为公式参数，Mb1为b1的众数，
Figure BDA0002834589650000081
为b1的平均值，
Figure BDA0002834589650000082
为b2的方差，
Figure BDA0002834589650000083
为b1的方差，
Figure BDA0002834589650000084
为b2的方差，
Figure BDA0002834589650000085
为b3的方差。
D2主要表现该点云块在空间中细节重要程度。u1u2u3u4为公式参数，
Figure BDA0002834589650000086
为b4的平均值，
Figure BDA0002834589650000087
为b5的平均值，Mb4为b4的众数，Mb5为b5的众数，
Figure BDA0002834589650000088
为b4的方差，
Figure BDA0002834589650000089
为b5的方差，D1min和D1max分别为D1(i)的最小值和最大值。
进一步的，步骤S14具体为，对所有最小点云块进行合并判断，判断依据为其点云块的稠密程度和细节重要程度，若判断函数小于0则合并该8个点云块为大的点云块，判断函数如下所示：
Figure BDA00028345896500000810
其中，D1(i)和D2(i)由步骤S13计算得出，u1为函数参数，σD1为D1(i)的标准差。
进一步的，步骤S21具体为，
通过三维卷积网络强化体素特征，输入体素向量{c1,c2}，体素向量分别为体素是否为空和体素内点云数量，点云数据体素化分辨率大小为{32×32×32}，对该点云数据进行三维卷积得到体素向量{c1,c2,c3,c4}，进行公式变换为加强特征值：
Figure BDA00028345896500000811
其中，{c1,c2,c3,c4}为体素向量，u2u3u4为函数参数表示为体素向量的权重。
进一步的，步骤S22具体包括，
根据D1(i)函数确定对该点云块使用稠密点云块自动编码器是稀疏点云块自动编码器编码，自动编码器卷积层使用{3×3×3}的卷积核，卷积核的步进为{2×2×2}，激活函数为sigmoid，使用三层卷积层进行编解码。D1(i)但针对不同点云块分别进行训练，可以提高对稠密点云和稀疏点云的编码效果，主要网络如图5所示。
进一步的，步骤S30中，改进后wBCE损失函数为：
Figure BDA00028345896500000812
其中，y(i)为原始体素值，p(i)为预测体素值，w1(i)主要为对原本为1的体素预测为0的权重，w2(i)为对原本为0的体素预测为1的权重。
进一步的，w1(i)及w2(i)的计算公式为：
Figure BDA0002834589650000091
Figure BDA0002834589650000092
其中，w1(i)主要为对原本为1的体素预测为0的权重，u1u2u3u4为函数参数，{c1,c2,c3,c4}为体素向量。w2(i)为对原本为0的体素预测为1的权重，u1u2u3u4为函数参数，{c1,c2,c3,c4}为体素向量。
本实施例中，通过自适应划分能够有效的提升点云压缩的压缩率和速度，避免对点云空间中稀疏的点云块进行细致的压缩。通过判断点云块的细节重要程度，将不同细节程度的点云块通过稠密编码器和稀疏编码器进行编码，能够有效地提升对于体素压缩的压缩率和压缩质量。对于体素的特征加强，能够在较高压缩率时明显地提高点云压缩的质量，能够较好地保存点云数据的重要细节。损失函数对于不同特征强度的点采用不同的权重，加强了编码器对空体素重建中的保持，在高压缩率中加强了对于重要体素的重建。
如图2所示，本发明的第二实施例为：一种自适应分块的基于体素的点云压缩装置，包括，
自适应分块模块10，用于对原始的点云数据进行自适应分块，
所述自适应分块模块10具体包括，
划分单元，用于将原始的点云数据进行八叉树体素划分，得到划分的点云块；
分布探测单元，用于使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；
点云块分类单元，用于对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；
自适应合并单元，用于根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；
编码模块，用于对自适应分块后的点云块进行编码；
所述编码模块20包括，
特征强化单元，用于对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，体素保留体素内点云数量通过三维卷积网络进行体素强化，保留特征强化后体素训练集；
第一编码单元，用于对特征强化后的体素进行编码，得到编码后的潜在表示数据；
第二编码单元，用于对编码后的潜在表示数据进行解码，对解码结果计算改进后的wBCE损失函数，迭代网络；
训练模块30，用于使用改进后的wBCE损失函数循环执行编码过程，分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；
压缩模块40，用于将训练完成的压缩编码器对自适应分块后的点云块进行编码，以完成点云数据的压缩。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述自适应分块的基于体素的点云压缩装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述自适应分块的基于体素的点云压缩装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种自适应分块的基于体素的点云压缩方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种自适应分块的基于体素的点云压缩方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如上所述的自适应分块的基于体素的点云压缩方法。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上所述的自适应分块的基于体素的点云压缩方法。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种自适应分块的基于体素的点云压缩方法，其特征在于：包括以下步骤，
步骤S10、对原始的点云数据进行自适应分块；
步骤S 10具体包括，
S11、将原始的点云数据进行八叉树体素划分，得到划分的点云块；
S12、使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；
S13、对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；
S14、根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；
步骤S20、对自适应分块后的点云块进行编码；
步骤S20具体包括，
S21、对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，然后保留体素化后的体素内点云数量，最后通过三维卷积网络对体素进行特征强化，保留特征强化后的体素训练集；
S22、对特征强化后的体素进行编码，得到编码后的潜在表示数据；
S23、对编码后的潜在表示数据进行解码，对解码结果计算改进的wBCE损失函数，迭代网络；
步骤S30、使用针对体素化点云压缩模型改进的wBCE损失函数循环执行步骤S21-S23，分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；
其中，改进的wBCE损失函数为：
Figure FDA0003865479210000011
其中，i为体素向量下标，y(i)为原始体素值，p(i)为预测体素值，w1(i)为对原本为1的体素预测为0的权重，w2(i)为对原本为0的体素预测为1的权重；
步骤S40、将训练完成的稠密点云压缩编码器和稀疏点云压缩编码器对自适应分块后的点云块进行编码。
2.如权利要求1所述的自适应分块的基于体素的点云压缩方法，其特征在于：步骤S11具体为，
将原始的点云数据进行八叉树体素划分，划分到最大深度，并统计最大深度的点云块的点云数量。
3.如权利要求2所述的自适应分块的基于体素的点云压缩方法，其特征在于：步骤S12具体为，
将划分的点云数据块分别使用三维卷积网络进行卷积，得到反应周围点云数量的特征值和反映周围点云变化的特征值，再加上点云块内的点云数量组成点云块的特征向量。
4.如权利要求3所述的自适应分块的基于体素的点云压缩方法，其特征在于：步骤S13中，对稠密程度和细节重要程度进行计算的公式分别为：
Figure FDA0003865479210000021
Figure FDA0003865479210000022
其中，{b1,b2,b3,b4,b5}为步骤S12得到的点云特征向量，D1为表现该点云块以及附近的稠密程度，u1、u2、u3分别为b1,b2,b3的权重，Mb1为b1的众数，
Figure FDA0003865479210000023
为b1的平均值，
Figure FDA0003865479210000024
为b1的方差，
Figure FDA0003865479210000025
为b2的方差，
Figure FDA0003865479210000026
为b3的方差；
D2为表现该点云块在空间中细节重要程度，u1、u2、u3、u4分别为b1,b2,b3,b4的权重，
Figure FDA0003865479210000027
为b4的平均值，
Figure FDA0003865479210000028
为b5的平均值，Mb4为b4的众数，Mb5为b5的众数，
Figure FDA0003865479210000029
为b4的方差，
Figure FDA00038654792100000210
为b5的方差，D1min和D1max分别为D1(i)的最小值和最大值。
5.如权利要求4所述的自适应分块的基于体素的点云压缩方法，其特征在于：步骤S14具体为，对所有最小点云块进行合并判断，判断依据为其点云块的稠密程度和细节重要程度，若判断函数小于0则合并8个点云块为大的点云块，判断函数如下所示：
Figure FDA00038654792100000211
其中，D1(i)和D2(i)由步骤S13计算得出，u1为权重参数，σD1为D1(i)的标准差。
6.如权利要求5所述的自适应分块的基于体素的点云压缩方法，其特征在于：步骤S21具体为，
通过三维卷积网络强化体素特征，输入体素向量{C1,C2}，体素向量分别为体素是否为空和体素内点云数量，点云数据体素化分辨率大小为{32×32×32}，对该点云数据进行三维卷积得到体素向量{C1,C2,C3,C4}，进行公式变换为加强特征值：
Figure FDA0003865479210000031
其中，i为体素向量下标，{C1,C2,C3,C4}为体素向量，u2、u3、u4为函数参数表示为体素向量{C2,C3,C4}的权重。
7.如权利要求6所述的自适应分块的基于体素的点云压缩方法，其特征在于：步骤S22具体包括，
根据D1(i)函数结果确定自动编码器，使用稠密点云块自动编码器或者稀疏点云块自动编码器编码，自动编码器卷积层使用{3×3×3}的卷积核，卷积核的步进为{2×2×2}，激活函数为sigmoid，使用三层卷积层进行编解码。
8.如权利要求1所述的自适应分块的基于体素的点云压缩方法，其特征在于：w1(i)及w2(i)的计算公式为：
Figure FDA0003865479210000032
Figure FDA0003865479210000033
其中，{C1,C2,C3,C4}为体素向量,u1、u2、u3、u4分别为对应体素向量{C1,C2,C3,C4}的权重。
9.一种自适应分块的基于体素的点云压缩装置，其特征在于：包括，
自适应分块模块，用于对原始的点云数据进行自适应分块，
所述自适应分块模块具体包括，
划分单元，用于将原始的点云数据进行八叉树体素划分，得到划分的点云块；
分布探测单元，用于使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；
点云块分类单元，用于对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；
自适应合并单元，用于根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；
编码模块，用于对自适应分块后的点云块进行编码；
所述编码模块包括，
特征强化单元，用于对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，然后保留体素化后的体素内点云数量，最后通过三维卷积网络对体素进行特征强化，保留特征强化后的体素训练集；
第一编码单元，用于对特征强化后的体素进行编码，得到编码后的潜在表示数据；
第二编码单元，用于对编码后的潜在表示数据进行解码，对解码结果计算改进的wBCE损失函数，迭代网络；
训练模块，用于使用针对体素化点云压缩模型改进的wBCE损失函数循环执行编码过程，分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；
其中，改进的wBCE损失函数为：
Figure FDA0003865479210000041
其中，i为体素向量下标，y(i)为原始体素值，p(i)为预测体素值，w1(i)为对原本为1的体素预测为0的权重，w2(i)为对原本为0的体素预测为1的权重；
压缩模块，用于将训练完成的稠密点云压缩编码器和稀疏点云压缩编码器对自适应分块后的点云块进行编码，以完成点云数据的压缩。
CN202011474122.6A 2020-12-14 2020-12-14 自适应分块的基于体素的点云压缩方法及装置 Active CN112581552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011474122.6A CN112581552B (zh) 2020-12-14 2020-12-14 自适应分块的基于体素的点云压缩方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011474122.6A CN112581552B (zh) 2020-12-14 2020-12-14 自适应分块的基于体素的点云压缩方法及装置

Publications (2)

Publication Number Publication Date
CN112581552A CN112581552A (zh) 2021-03-30
CN112581552B true CN112581552B (zh) 2023-04-07

Family

ID=75135339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011474122.6A Active CN112581552B (zh) 2020-12-14 2020-12-14 自适应分块的基于体素的点云压缩方法及装置

Country Status (1)

Country Link
CN (1) CN112581552B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249033A (zh) * 2021-04-09 2022-10-28 华为技术有限公司 一种数据处理方法及装置
CN113284203B (zh) * 2021-05-04 2022-07-12 北京航空航天大学 基于八叉树编码和体素上下文的点云压缩及解压缩方法
CN113573060B (zh) * 2021-07-28 2022-12-23 福州大学 一种深度学习自适应特征维度的点云几何编码方法及系统
CN113808224A (zh) * 2021-08-18 2021-12-17 南京航空航天大学 一种基于块划分和深度学习的点云几何压缩方法
CN113487691B (zh) * 2021-09-08 2022-01-28 北京医百科技有限公司 一种点云编码方法、系统及存储介质
CN116095181B (zh) * 2022-12-30 2024-06-07 天翼云科技有限公司 一种基于对象存储的点云压缩存储方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012187A1 (en) * 2018-07-13 2020-01-16 Vividq Limited Method and system for compressing and decompressing digital three-dimensional point cloud data

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734595B2 (en) * 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
CN108632621B (zh) * 2018-05-09 2019-07-02 北京大学深圳研究生院 一种基于层次划分的点云属性压缩方法
CN111684808A (zh) * 2019-05-31 2020-09-18 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置
CN110677652A (zh) * 2019-09-26 2020-01-10 叠境数字科技（上海）有限公司 一种基于体素卷积的点云几何有损压缩方法
CN110691243A (zh) * 2019-10-10 2020-01-14 叠境数字科技（上海）有限公司 一种基于深度卷积网络的点云几何压缩方法
CN111866518B (zh) * 2020-07-29 2022-05-27 西安邮电大学 基于特征提取的自适应三维点云压缩方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012187A1 (en) * 2018-07-13 2020-01-16 Vividq Limited Method and system for compressing and decompressing digital three-dimensional point cloud data

Also Published As

Publication number Publication date
CN112581552A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112581552B (zh) 自适应分块的基于体素的点云压缩方法及装置
US10599935B2 (en) Processing artificial neural network weights
KR100969764B1 (ko) 메쉬 모델로 구현된 3차원 데이터의 부호화 및 복호화 방법
CN112672168B (zh) 基于图卷积的点云压缩方法及装置
WO2020068498A1 (en) Data compression using integer neural networks
WO2022121649A1 (zh) 点云数据编码方法、解码方法、点云数据处理方法及装置、电子设备、计算机程序产品及计算机可读存储介质
US20230237705A1 (en) Methods for level partition of point cloud, and decoder
CN113284248A (zh) 一种点云有损压缩的编解码方法、装置和系统
JP2005332028A (ja) ３次元グラフィックスデータ作成方法、テクスチャ画像作成方法、多次元データ符号化方法、多次元データ復号方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム
CN113194312B (zh) 结合视觉显著性的行星科学探测图像自适应量化编码系统
JP7394980B2 (ja) ブロック分割を伴うニューラルネットワークを復号する方法、装置及びプログラム
CN115393452A (zh) 一种基于非对称自编码器结构的点云几何压缩方法
CN115065822A (zh) 点云几何信息压缩系统、方法及计算机系统
CN113810058A (zh) 数据压缩方法、数据解压缩方法、装置及电子设备
US20240087176A1 (en) Point cloud decoding method and apparatus, point cloud encoding method and apparatus, computer device, computer-readable storage medium
WO2023155045A1 (zh) 预测的方法和装置、编码器、解码器和编解码系统
GB2571818A (en) Selecting encoding options
Dong et al. 3D model progressive compression algorithm using attributes
Gao et al. Lossy LiDAR Point Cloud Compression via Cylindrical 3D Convolution Networks
CN111316326A (zh) 图像编码方法、设备及计算机可读存储介质
WO2023133710A1 (zh) 编码方法、解码方法、编码器、解码器和编解码系统
WO2024074121A1 (en) Method, apparatus, and medium for point cloud coding
Yu et al. A Multi-layer Residual Architecture for Point Cloud Geometry Compression
US20240161345A1 (en) Method and apparatus for adaptive quantization for uv attribute in symmetry mesh
WO2024074122A1 (en) Method, apparatus, and medium for point cloud coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant