CN115065822A - 点云几何信息压缩系统、方法及计算机系统 - Google Patents

点云几何信息压缩系统、方法及计算机系统 Download PDF

Info

Publication number
CN115065822A
CN115065822A CN202210625378.5A CN202210625378A CN115065822A CN 115065822 A CN115065822 A CN 115065822A CN 202210625378 A CN202210625378 A CN 202210625378A CN 115065822 A CN115065822 A CN 115065822A
Authority
CN
China
Prior art keywords
point cloud
point
block
feature vector
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210625378.5A
Other languages
English (en)
Inventor
张华音
陈诚
张旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AutoCore Intelligence Technology Nanjing Co Ltd
Original Assignee
AutoCore Intelligence Technology Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AutoCore Intelligence Technology Nanjing Co Ltd filed Critical AutoCore Intelligence Technology Nanjing Co Ltd
Priority to CN202210625378.5A priority Critical patent/CN115065822A/zh
Publication of CN115065822A publication Critical patent/CN115065822A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明公开一种点云几何信息压缩系统；包括点云数据预处理模块、编码模块、解码模块和点云重建模块；点云数据预处理模块用于将点云进行分块，并对每一个点云块进行归一化；编码模块通过八叉树对点云块的原始中心点坐标进行编码，形成八叉树码流；同时对归一化后的点云块进行特征提取，再通过上下文熵模型根据每个点云块的原始中心点进行对应特征向量的编码概率预测，特征向量通过预测出的概率值进行算数编码；解码模块基于编码模块进行解码；点云重建模块对接收到的解码数据进行处理得到最终的点云重建结果。本发还提供了一种点云几何信息压缩方法。本发明不仅减少了信息冗余，还有效提升了编码效率。

Description

点云几何信息压缩系统、方法及计算机系统
技术领域
本发明涉及多媒体压缩技术领域，具体涉及点云几何信息压缩系统、方法及计算机系统。
背景技术
点云是由诸如激光雷达之类的传感器获得的原始数据，其作为三维物体的一种重要表示形式，已被广泛应用于许多领域中。随着虚拟现实(VR)和混合现实(MR)的兴起，点云正在受到越来越多的关注。
具体来讲，一个点云是三维空间中的一组点的集合，每个点由(x，y，z)坐标和可选属性(如：颜色、法向量等)指定。随着点云数据获取方法和计算机仿真技术的进步，点云数据的精度越来越高，其数据大小也越来越大，这使得点云压缩算法的重要性日渐提高。
传统的有损点云压缩方法在低比特率的环境下的性能通常很差。G-PCC是MPEG组织提出的点云几何信息压缩标准，其包含包括八叉树和其他嵌套分割算法在内的压缩算法。但这种方法的压缩性能并不是很高，在比特率较低时还会产生类似于马赛克的块状效应。
自编码器是一种基于深度学习的、数据驱动的压缩模型，其可以学习数据的分析变换和合成变换。其中，分析变换相当于编码器，用来提取点云的特征；合成变换相当于解码器，用来对点云进行重建。现有的用于点云几何信息压缩的自编码器大多是基于体素化和三维卷积的，这种方法在更常见的非体素化的点云上的表现可能比较差。
最近提出的PointNet和PointNet++等深度学习模型可以直接以点云的点集作为输入并提取点云特征，不必进行体素化操作。目前，使用PointNet对点云进行分块压缩的方法取得了最先进的性能。然而，目前存在的方法没有考虑点云的全局信息，只考虑了块到块的重建，即使用局部重建的最优化来逼近全局重建的最优化。这种方法使得压缩模型过度考虑了块和块的边缘信息，导致了信息冗余。同时，这种方法对所有块的特征都使用同一种概率分布进行编码，并不能达到最优的编码效率。
发明内容
发明目的：本发明针对现有技术存在的问题，提出了一种压缩效果好，减少了信息冗余的点云几何信息压缩系统。
技术方案：为实现上述目的，本发明提供了一种点云几何信息压缩系统；包括点云数据预处理模块、编码模块、解码模块和点云重建模块；点云数据预处理模块将预处理后的数据分别发送到编码模块、解码模块和点云重建模块进行处理；编码模块将编码后码流发送到解码模块进行解码；解码模块将解码后的数据发送到点云重建模块；
其中，点云数据预处理模块用于将点云进行分块，并对每一个点云块进行归一化；
编码模块包括点云块原始中心点编码子模块和点云块编码子模块；
所述点云块原始中心点编码子模块通过八叉树对点云块的原始中心点坐标进行编码，形成八叉树码流；
所述点云块编码子模块通过自编码器的编码器对每一个归一化后的点云块进行特征提取，得到对应数量的特征向量；同时采用上下文熵模型根据每个点云块的原始中心点进行对应特征向量的编码概率预测，得到每个特征向量在每个维度上取值的、针对量化等级的概率分布；特征向量通过预测出的概率值进行算数编码，形成特征向量比特流；
解码模块分别将八叉树码流解压为每个点云块的原始中心点坐标；并使用与编码模块中参数共享的上下文熵模型对特征向量比特流进行解压，得到重建的特征向量集合；使用自编码器中的解码器对重建的特征向量集合进行解码，得到解压后的点云块；
点云重建模块对接收到的数据进行处理得到最终的点云重建结果。
进一步，所述自编码器的编码器对每个点使用局部特征提取操作；然后使用PointNet来提取整个块的高维特征向量。
进一步，所述自编码器的解码器使用多层感知机对点云块的特征向量进行升维，然后使用变形操作将升维后的点云块特征向量变形，在隐藏层维度上分割出每个点，最后使用共享多层感知机将每个点的特征重建为坐标。这种结构提升了解码器的解码能力，使解码器能更好的重建出点云块的原始形状。
进一步，所述上下文熵模型首先对由每个点云块的原始中心点组成的点云进行PointNet操作，提取由每个点云块的原始中心点组成的点云的全局形状，将每个点云块的原始中心点的坐标与全局形状拼接后，使用共享多层感知机计算每个点云块的特征向量的概率分数，得到每个点云块的特征向量的概率分数矩阵；最后用Softmax操作得到特征向量在每个维度上取值的、针对量化等级的概率分布矩阵。更好的提升了编码效率。
进一步，所述归一化为将每个点云块缩放到一个单位空间，并将每个点云块的原始中心点移动到三维坐标的中心。提升了基于块的点云压缩方法在不同点云数据集上的通用性。
本发明还提供了一种点云几何信息压缩方法，包括以下步骤：
步骤1：点云数据预处理，将点云进行分块，并对每一个点云块进行归一化；
步骤2：采用自编码器中的编码器对步骤1中得到的归一化后的点云块进行特征提取操作，得到所有点云块的特征向量组成的特征向量矩阵；并对特征向量矩阵中每个特征向量分别进行量化；
步骤3：将所有点云块原始的中心点输入到上下文熵模型中，获得步骤2中得到的特征向量在每个维度上取值的、针对量化等级的概率分布矩阵；
步骤4：将所有点云块原始的中心点坐标进行八叉树编码，形成八叉树码流；同时利用步骤3中得到的熵编码概率预测结果对步骤2中得到的特征向量矩阵进行算数编码；形成的特征向量比特流；八叉树码流和特征向量比特流分别传输到解码端；
步骤5：解码端分别将八叉树码流解压为每个点云块的原始中心点坐标；并使用与步骤3中参数共享的上下文熵模型对特征向量比特流进行解压，得到重建的特征向量集合；
步骤6：使用自编码器中的解码器对步骤5得到的重建的特征向量集合进行解码，得到解压后的点云块；
步骤7：使用每个点云块的原中心点坐标和缩放尺度对步骤6得到的解压后的点云块进行逆归一化及合并操作，得到最终的点云重建结果。
其中，还包括通过衡量重建点云与原始点云之间的重建误差，结合比特率R构建的损失函数：Loss＝D0+λR；中D0是输入点云和重建点云之间的Wasserstein距离；λ为损失函数拉格朗日乘子；R表示比特率；根据公式：
Figure BDA0003677046550000031
计算获得比特率，其中，n表原始点云中点的总数，m表示表示分块操作后点云块的总数，i表示点云块的编号，d表示每个点云块的特征向量的维度数，j表示每个点云块的特征向量的维度数的编号，
Figure BDA0003677046550000032
表示第i个点云块的特征向量上的第j个元素取值为
Figure BDA0003677046550000033
的概率，
Figure BDA0003677046550000034
表示对第i个点云块的特征向量上的第j个元素量化的结果。这种整体的重建误差衡量可以使系统更少的关注点云块的冗余边缘信息，进一步减少信息冗余。
本发明还提供了一种计算机系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如前述点云几何信息压缩方法的流程。
有益效果：与现有技术相比，本发明使用了块归一化和逆归一化操作，提升了基于块的点云压缩方法在不同点云数据集上的通用性；在分块重建的思想上应用了全局重建优化的损失函数，进一步减少了信息冗余；使用八叉树对点云块原始的中心点坐标进行了熵编码，提升了编码效率；同时，本发明提出了一种针对点云分块压缩的上下文熵模型，该熵模型以每个点的坐标信息与其他点构成的全局形状信息作为上下文，推断出每个点的局部形状信息，从而对每个块的概率分布进行独立预测，进一步提升了编码效率。本发明显著的提升了点云压缩和重建性能。
附图说明
图1为本发明的压缩过程示意图；
图2为本发明中自编码器中编码器的结构示意图；
图3为本发明的上下文熵模型结构示意图；
图4为本发明中自编码器中解码器的结构示意图；
图5为本发明输入的“座椅”点云示意图；
图6为本发明重建的“座椅”点云示意图；
图7为其他方法重建的“座椅”点云示意图；
图8为本发明输入的“水杯”点云示意图；
图9为本发明重建的“水杯”点云示意图；
图10为其他方法重建的“水杯”点云示意图。
具体实施方式
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供了一种点云几何信息压缩方法，包括如下步骤：
步骤1：点云数据预处理。预处理主要包括分块操作和归一化操作。
其中，分块操作采使用最远点采样FPS对含有n个点的点云进行下采样，得到一个含有m个点的稀疏点云。依照稀疏点云使用KNN对原点云进行分块；得到m个点云块，每个块含有K个点。n表示处理的点云中点的总数，m表示分块操作后点云块的总数，K表示每个点云块中包括的点的总数。
由于每个点云块都分布在一个点云的不同位置上，点云块的大小和位置比较复杂。所以本实施例增加了归一化操作对每个点云块进行大小和位置上的统一。归一化操作是将每个点云块缩放到一个单位空间的大小，并将每个点云块的原始中心点移动到三维坐标的中心。同时，记录每个点云块原始的中心点的坐标和缩放比例。其中，第i个点云块原始的中心点的坐标为(x0i，y0i，z0i)，i表示点云块的编号，x0i表示第i个点云块原始的中心点的x轴坐标值，y0i表示第i个点云块原始的中心点的y轴坐标值，z0i表示第i个点云块原始的中心点的z轴坐标值。所有点云块原始的中心点坐标以形状为(m，3)的稀疏点云的形式给出；所有点云块的缩放比例以大小为(m，1)的矩阵的形式给出。
步骤2：采用自编码器中的编码器对步骤1中得到的m个归一化后的点云块进行特征提取操作，得到m个特征向量，每个特征向量有d维，即可得到大小为(m，d)特征向量矩阵。并对大小为(m，d)特征向量矩阵进行量化。
如图2所示，本实施例中采用的编码器中，首先对每个点使用局部特征提取(SetAbstraction)操作，以在更小的范围内捕捉每个点云块的细节特征。然后，使用PointNet来提取整个块的高维特征向量。其中，D表示编码器中隐藏层特征的维度。
其中，量化是将每个特征向量中的每个元素值映射到(0，L-1)的整数范围内。具体根据公式：
Figure BDA0003677046550000051
进行量化过程。其中，yi,j表示第i个点云块的特征向量上的第j个元素(1≤i≤m且1≤j≤d)，L表示量化等级，
Figure BDA0003677046550000052
表示对yi,j的量化结果，σ表示Sigmoid函数。
由于量化过程会导致深度学习方法无法进行反向传播，本实施例使用一个恒等函数以计算梯度：
Figure BDA0003677046550000053
该梯度用于后续神经网络的梯度下降过程。
步骤3：将步骤1中得到的所有点云块原始的中心点坐标组成的稀疏点云(m，3)输入到上下文熵模型中，获得步骤2中得到的特征向量在每个维度上取值的、针对量化等级的概率分布矩阵。
上下文熵模型根据每个点云块的原始中心点进行对应特征向量的编码概率预测，主要利用每个中心点相对于整体形状的位置，推断出对应点云块的特征向量的取值分布。如图3所示，本实施例采用的上下文熵模型首先对形状为(m，3)的稀疏点云进行一个PointNet操作，以提取该稀疏点云的全局形状，得到(1，C)的全局特征向量，其中C表示全局特征向量维度。将全局特征向量(1，C)复制m份后与稀疏点云(m，3)进行拼接。将点云坐标与全局形状拼接后，使用共享多层感知机计算每个点云块的特征向量的概率分数，得到每个点云块的特征向量的概率分数矩阵(m，d×L)。其中，m表示点云块的总个数，d表示每个点云块的特征向量的维度数，L表示量化等级即每个维度上可能取值的范围。最后，我们在最后一维使用Softmax操作得到步骤2中得到的特征向量在每个维度上取值的、针对量化等级的概率分布矩阵(m，d，L)
其中，上下文熵模型预测的概率分布可以表示为：
Figure BDA0003677046550000061
其中，pi,j(l)表示第i个点云块的特征向量上的第j个元素取值为l的概率，满足
Figure BDA0003677046550000062
l＝0、1、2、…、L-1。每个特征向量在每个维度上取值的概率分布都对应着一个分布律，每个分布律分别表示对应特征向量的对应维度在量化等级L下的概率分布。
步骤4：将步骤1中得到所有点云块原始的中心点坐标进行八叉树编码，形成八叉树码流；同时利用步骤3中得到的熵编码概率预测结果对步骤2中得到的m个特征向量进行算数编码；形成特征向量比特流；八叉树码流和特征向量比特流分别传输到解码端。
步骤5：解码端分别将八叉树码流解压为每个点云块的原始中心点坐标；并使用与步骤3中参数共享的上下文熵模型对特征向量比特流进行解压，得到重建的特征向量集合。
步骤6：使用自编码器中的解码器对步骤5得到的重建的特征向量集合进行解码，得到解压后的点云块。
自编码器的解码器将m个特征向量重建为m个点云块，每个点云块含有k个点。如图4所示，本实施例中采用的解码器中，首先使用多层感知机对块特征向量进行升维，然后使用变形操作将升维后的块特征向量变形为(k，D’)的形式，以在隐藏层维度上分割出每个点。最后使用共享多层感知机将每个点的特征重建为坐标。其中，D’表示解码器中隐藏层特征的维度。
步骤7：使用每个点云块的原中心点坐标和缩放尺度对步骤6得到的压缩后点云块进行逆归一化及合并操作，得到最终的点云重建结果。
本实施例提供的一种点云几何信息压缩方法在对点云进行压缩前，需要对其进行训练，通过不断的训练，使损失函数最小。本实施例中通过衡量重建点云与原始点云之间的重建误差，并且结合比特率R构建损失函数：Loss＝D0+λR。其中D0是输入点云和重建点云之间的Wasserstein距离；λ为损失函数拉格朗日乘子；R表示比特率。根据公式：
Figure BDA0003677046550000071
计算获得比特率。这种整体的重建误差衡量可以使系统更少的关注点云块的冗余边缘信息，进一步减少信息冗余。
本实例通过设置点云分块时每个块的大小(K)和对稀疏点云编码的八叉树树深(Loc)来控制对点云的压缩比率，即对不同的压缩比率，分别训练出不同的模型。在测试时，通过指定K和Loc即可完成对点云在不同压缩比率下的压缩。
实施例
下面结合一个具体的实施方式对本发明作进一步的详细说明。为便于说明，且不失一般性，做如下假定：
本发明提出的方法拟用ModelNet40数据集进行训练和测试。ModelNet40是点云分析中使用最广泛的基准，因其种类繁多、形状清晰、构造良好的数据而广受欢迎。原始ModelNet40由40个类别(如飞机、汽车、工厂、灯具)的12311个CAD生成的网格组成，其中9843个用于培训，其余2468个用于测试。本发明所使用的点云是从ModelNet40网格曲面上均匀采样得到的点云数据，然后通过移动到原点并缩放到单位球体进行进一步预处理。
本实例通过Python3.9和Pytorch1.9对神经网络和压缩过程进行编码实现。
本实例的其他参数设置如下：
特征向量量化等级L＝7；块特征向量维度d＝16；损失函数拉格朗日乘子λ＝10-6。另外，点云分割的块数m由点云点数n和块大小K决定，具体为：m＝2×n÷K；解码器重建的点云块的点数k由输入块的点数K决定，具体为：k＝K÷2。
以一种中等比特率下的8192个点的点云压缩为例，设置K＝256，即将每个点云块的大小设置为256。从而得到了64个点云块，每个块包含256个点。点云块经过块归一化后，得到64个点云块的大小为(64，3)的原中心点集合以及大小为(64，1)的缩放尺度集合。归一化后的点云块经过自编码器的编码器后，被映射到64个16维的特征向量。点云块的原中心点集合经过上下文熵模型后，得到一个64个(16，7)的矩阵，其中矩阵的每行表示对应块的特征向量在每个维度上的概率分布。
本实施例中所实施的编码器的参数如下所示：
对于集合特征提取层，我们设置分组的点数＝16，多层共享感知机大小＝(32，64，128)；对于PointNet，设置多层共享感知机大小＝(128，256，512，16)。
本实施例中所实施的上下文熵模型的参数如下所示：
对于PointNet，设置多层共享感知机大小＝(64，128，256)；对于接下来的多层共享感知机，设置其大小为(256，512，16×7)。
使用上下文熵模型所预测出的概率分布对64个16维的特征向量进行算数编码，使用八叉树对点云块原始的中心点坐标进行编码。
在解码端，我们首先使用与编码端参数共享的上下文熵模型，依据解码出的点云块中心点坐标集合对特征向量再次进行概率分布的预测，以完成对特征向量的解码。在算数解码重新得到64个16维的特征向量后，我们使用解码器根据特征向量进行点云块的重建。
本实施例中所实施的解码器的参数如下所示：
对于多层感知机，设置其大小为(256，1024，k×128)；对于接下来的多层共享感知机，设置其大小为(128，256，512，3)。
在解码器解码得到64个点数为128的重建的点云块之后，我们对点云块进行逆归一化。具体为，使用八叉树解码出的原点云块中心点坐标将重建点云块的中心移动至原中心点位置，使用传来的缩放系数将重建点云块缩放至原来的尺度大小。最后，我们将64个形状为(128，3)的逆归一化后的点云块合并为(64×128，3)的点云，即得到了最终的点云重建结果。
三维点云压缩重建结果的例子如图5～图10所示。其中图7和图10表示现有的基于块和深度学习的点云压缩方法的重建结果，图6和图9表示本发明的实施例所得到的重建结果。其中，两种方法均是在近似的比特率下得到的结果。可以看到，本发明比起现有的基于块和深度学习的方法具有显著的压缩性能上的提升。
本发明还提供了一种计算机系统，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如前述点云几何信息压缩方法的流程。
应当理解，本发明的前述点云几何信息压缩方法的示例可以在任何包含具有数据存储和数据处理的计算机系统中，前述的计算机系统可以是至少一个包括处理器和存储器的电子处理系统或者电子设备，例如PC电脑，不论是个人用PC电脑、商用PC电脑，或者图形处理用PC电脑、服务器级PC电脑。这些PC电脑通过具有数据接口和/或网络接口，实现有线和/或无线的数据传输，尤其是图像数据。
在另一些实施例，该计算机系统还可以是服务器，尤其是云服务器，具有数据存储、处理以及网络通讯功能。
作为示例的计算机系统通常包括由系统总线连接的至少一个处理器、存储器和网络接口。网络接口用于与其他设备/系统进行通信。
处理器用于提供系统的计算和控制。
存储器包括非易失性存储器和缓存。
非易失性存储器通常具有海量存储能力，可以存储操作系统以及计算机程序，这些计算机程序可以包括可被操作的指令，这些指令在通过一个或多个处理器执行时使得一个或多个处理器能够执行本发明前述实施例的点云几何信息压缩方法的过程。
在需要或者合理的实现方式中，前述计算机系统，不论是PC设备或者服务器，还可以包括比图示中更多或者更少的部件，或者组合，或者采用不同的硬件、软件等不同部件或者不同的部署方式。

Claims (10)

1.一种点云几何信息压缩系统；其特征在于：包括点云数据预处理模块、编码模块、解码模块和点云重建模块；点云数据预处理模块将预处理后的数据分别发送到编码模块、解码模块和点云重建模块进行处理；编码模块将编码后码流发送到解码模块进行解码；解码模块将解码后的数据发送到点云重建模块；
其中，点云数据预处理模块用于将点云进行分块，并对每一个点云块进行归一化；
编码模块包括点云块原始中心点编码子模块和点云块编码子模块；
所述点云块原始中心点编码子模块通过八叉树对点云块的原始中心点坐标进行编码，形成八叉树码流；
所述点云块编码子模块通过自编码器的编码器对每一个归一化后的点云块进行特征提取，得到对应数量的特征向量；同时采用上下文熵模型根据每个点云块的原始中心点进行对应特征向量的编码概率预测，得到每个特征向量在每个维度上取值的、针对量化等级的概率分布；特征向量通过预测出的概率值进行算数编码，形成特征向量比特流；
解码模块分别将八叉树码流解压为每个点云块的原始中心点坐标；并使用与编码模块中参数共享的上下文熵模型对特征向量比特流进行解压，得到重建的特征向量集合；使用自编码器中的解码器对重建的特征向量集合进行解码，得到解压后的点云块；
点云重建模块对接收到的数据进行处理得到最终的点云重建结果。
2.根据权利要求1所述的点云几何信息压缩系统；其特征在于：所述自编码器的编码器对每个点使用局部特征提取操作；然后使用PointNet来提取整个块的高维特征向量。
3.根据权利要求1所述的点云几何信息压缩系统；其特征在于：所述自编码器的解码器使用多层感知机对点云块的特征向量进行升维，然后使用变形操作将升维后的点云块特征向量变形，在隐藏层维度上分割出每个点，最后使用共享多层感知机将每个点的特征重建为坐标。
4.根据权利要求1所述的点云几何信息压缩系统；其特征在于：所述上下文熵模型首先对由每个点云块的原始中心点组成的点云进行PointNet操作，提取由每个点云块的原始中心点组成的点云的全局形状，将每个点云块的原始中心点的坐标与全局形状拼接后，使用共享多层感知机计算每个点云块的特征向量的概率分数，得到每个点云块的特征向量的概率分数矩阵；最后用Softmax操作得到特征向量在每个维度上取值的、针对量化等级的概率分布矩阵。
5.根据权利要求1所述的点云几何信息压缩系统；其特征在于：所述归一化为将每个点云块缩放到一个单位空间，并将每个点云块的原始中心点移动到三维坐标的中心。
6.一种点云几何信息压缩方法，其特征在于：包括以下步骤：
步骤1：点云数据预处理，将点云进行分块，并对每一个点云块进行归一化；
步骤2：采用自编码器中的编码器对步骤1中得到的归一化后的点云块进行特征提取操作，得到所有点云块的特征向量组成的特征向量矩阵；并对特征向量矩阵中每个特征向量分别进行量化；
步骤3：将所有点云块原始的中心点输入到上下文熵模型中，获得步骤2中得到的特征向量在每个维度上取值的、针对量化等级的概率分布矩阵；
步骤4：将所有点云块原始的中心点坐标进行八叉树编码，形成八叉树码流；同时利用步骤3中得到的熵编码概率预测结果对步骤2中得到的特征向量矩阵进行算数编码；形成的特征向量比特流；八叉树码流和特征向量比特流分别传输到解码端；
步骤5：解码端分别将八叉树码流解压为每个点云块的原始中心点坐标；并使用与步骤3中参数共享的上下文熵模型对特征向量比特流进行解压，得到重建的特征向量集合；
步骤6：使用自编码器中的解码器对步骤5得到的重建的特征向量集合进行解码，得到解压后的点云块；
步骤7：使用每个点云块的原中心点坐标和缩放尺度对步骤6得到的解压后的点云块进行逆归一化及合并操作，得到最终的点云重建结果。
7.根据权利要6所述的点云几何信息压缩方法，其特征在于：还包括通过衡量重建点云与原始点云之间的重建误差，结合比特率R构建的损失函数：Loss＝D0+λR；中D0是输入点云和重建点云之间的Wasserstein距离；λ为损失函数拉格朗日乘子；R表示比特率；根据公式：
Figure FDA0003677046540000021
计算获得比特率，其中，n表原始点云中点的总数，m表示表示分块操作后点云块的总数，i表示点云块的编号，d表示每个点云块的特征向量的维度数，j表示每个点云块的特征向量的维度数的编号，
Figure FDA0003677046540000022
表示第i个点云块的特征向量上的第j个元素取值为
Figure FDA0003677046540000023
的概率，
Figure FDA0003677046540000024
表示对第i个点云块的特征向量上的第j个元素量化的结果。
8.根据权利要6所述的点云几何信息压缩方法，其特征在于：所述步骤1中的归一化为将每个点云块缩放到一个单位空间，并将每个点云块的原始中心点移动到三维坐标的中心。
9.根据权利要6所述的点云几何信息压缩方法，其特征在于：所述上下文熵模型首先对由每个点云块的原始中心点组成的点云进行PointNet操作，提取由每个点云块的原始中心点组成的点云的全局形状，将每个点云块的原始中心点的坐标与全局形状拼接后，使用共享多层感知机计算每个点云块的特征向量的概率分数，得到每个点云块的特征向量的概率分数矩阵；最后用Softmax操作得到特征向量在每个维度上取值的、针对量化等级的概率分布矩阵。
10.一种计算机系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如权利要求6-9中任意一项所述的点云几何信息压缩方法的流程。
CN202210625378.5A 2022-06-02 2022-06-02 点云几何信息压缩系统、方法及计算机系统 Pending CN115065822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210625378.5A CN115065822A (zh) 2022-06-02 2022-06-02 点云几何信息压缩系统、方法及计算机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210625378.5A CN115065822A (zh) 2022-06-02 2022-06-02 点云几何信息压缩系统、方法及计算机系统

Publications (1)

Publication Number Publication Date
CN115065822A true CN115065822A (zh) 2022-09-16

Family

ID=83198031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210625378.5A Pending CN115065822A (zh) 2022-06-02 2022-06-02 点云几何信息压缩系统、方法及计算机系统

Country Status (1)

Country Link
CN (1) CN115065822A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014633A (zh) * 2023-10-07 2023-11-07 深圳大学 一种跨模态数据压缩方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014633A (zh) * 2023-10-07 2023-11-07 深圳大学 一种跨模态数据压缩方法、装置、设备及介质
CN117014633B (zh) * 2023-10-07 2024-04-05 深圳大学 一种跨模态数据压缩方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Wang et al. Multiscale point cloud geometry compression
Huang et al. 3d point cloud geometry compression on deep learning
US6573890B1 (en) Compression of animated geometry using geometric transform coding
CN111787323B (zh) 一种基于对抗学习的可变比特率生成式压缩方法
Yan et al. Deep autoencoder-based lossy geometry compression for point clouds
US11836954B2 (en) 3D point cloud compression system based on multi-scale structured dictionary learning
Golla et al. Real-time point cloud compression
CN113259665B (zh) 一种图像处理方法以及相关设备
Rodríguez et al. A Survey of Compressed GPU-Based Direct Volume Rendering.
CN112672168B (zh) 基于图卷积的点云压缩方法及装置
You et al. Patch-based deep autoencoder for point cloud geometry compression
WO2024001311A1 (zh) 三维网格模型的特征提取网络的训练方法、装置和系统
CN115065822A (zh) 点云几何信息压缩系统、方法及计算机系统
CN113763539B (zh) 一种基于图像和三维输入的隐式函数三维重建方法
CN114386595B (zh) 一种基于超先验架构的sar图像压缩方法
Hajizadeh et al. Predictive compression of animated 3D models by optimized weighted blending of key‐frames
CN114708343A (zh) 基于图字典学习的三维点云编解码方法、压缩方法及装置
Dhibi et al. Multi-layer compression algorithm for 3D deformed mesh based on multi library wavelet neural network architecture
US20230274465A1 (en) Information compression system and information compression method
US20230260197A1 (en) Learned Volumetric Attribute Compression Using Coordinate-Based Networks
WO2024012381A1 (en) Method, apparatus, and medium for point cloud coding
US20230154051A1 (en) Systems and Methods for Compression of Three-Dimensional Volumetric Representations
CN113808224A (zh) 一种基于块划分和深度学习的点云几何压缩方法
You et al. Pointsoup: High-Performance and Extremely Low-Decoding-Latency Learned Geometry Codec for Large-Scale Point Cloud Scenes
Curilă et al. Geometry Compression of 3D Mesh Utilising Robust Second Order Blind Identification Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination