CN116016953A - 一种基于深度熵编码的动态点云属性压缩方法 - Google Patents
一种基于深度熵编码的动态点云属性压缩方法 Download PDFInfo
- Publication number
- CN116016953A CN116016953A CN202211681168.4A CN202211681168A CN116016953A CN 116016953 A CN116016953 A CN 116016953A CN 202211681168 A CN202211681168 A CN 202211681168A CN 116016953 A CN116016953 A CN 116016953A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- attribute
- information
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000006835 compression Effects 0.000 title claims abstract description 38
- 238000007906 compression Methods 0.000 title claims abstract description 38
- 230000009466 transformation Effects 0.000 claims abstract description 61
- 239000013598 vector Substances 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000007499 fusion processing Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于深度熵编码的动态点云属性压缩方法，方法包括：对获取的第一点云数据和第二点云数据进行运动估计，得到第二点云数据的各个点的运动向量；对运动向量进行运动补偿，得到属性残差值；对属性残差值进行变换编码得到变换系数；根据变换系数，对第一点云数据和第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息；将显式时序信息和隐式时序信息进行信息融合处理，得到融合后的特征信息；根据特征信息生成变换系数的预测概率；根据变换系数以及预测概率进行熵编码处理，生成第二点云数据的压缩文件。本发明提高了准确性以及拓广了适用性，可广泛应用于点云数据处理技术领域。
Description
技术领域
本发明涉及点云数据处理技术领域，尤其是一种基于深度熵编码的动态点云属性压缩方法。
背景技术
点云作为一种常见的三维数据结构，被广泛应用于包括虚拟现实、自动驾驶以及高精度建图等实际应用中。近年来三维数据采集技术的发展，使点云获取量日益增大，相应的，点云数据压缩成为点云存储与传输的关键，也是众多三维视觉应用的必要基础。点云几何压缩算法对点云几何信息(点云中各点空间位置xyz)进行压缩编码，点云属性压缩算法对点云属性信息(点云中各点属性，如颜色、反射率等)进行压缩编码。动态点云属性压缩算法，则是对点云序列的属性信息进行压缩编码。
现有动态点云属性压缩算法主要由运动估计、运动补偿、变换编码与熵编码四部分组成。通常，给定已编码点云与一帧待编码点云，首先对待编码点云进行运动估计，获得各点的运动向量，然后进行运动补偿，通过运动向量与前一帧点云，预测待编码点云属性，并获得属性残差值，然后，对残差值进行变换编码，将属性信息从信号域转换至频域，再对变换后所得变换系数进行量化及熵编码。通常，熵编码算法包括熵模型与熵编码器两部分，熵模型用以估计输入符号的概率分布，熵编码器根据预测概率，对输入符号进行编码。
现有技术存在以下缺点：
(1)现有技术无法实现高效的点云运动估计与运动补偿。受传统点云运动估计算法的性能限制，这些方法并没有在点云压缩算法中得以广泛应用。
(2)现有技术无法利用点云的时序信息。现有方法将输入符号视为序列化数据，仅仅根据之前编码符号，在熵模型中实现概率预测，无法利用动态点云的时序信息，准确性较低。
发明内容
有鉴于此，本发明实施例提供一种准确性高且适用性广的，基于深度熵编码的动态点云属性压缩方法。
本发明实施例的一方面提供了一种基于深度熵编码的动态点云属性压缩方法，包括：
对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量；其中，第一点云数据为第二点云数据的前一帧点云数据；第二点云数据为待压缩的点云数据；
对所述运动向量进行运动补偿，得到属性残差值；
对所述属性残差值进行变换编码得到变换系数；
根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息；
将所述显式时序信息和所述隐式时序信息进行信息融合处理，得到融合后的特征信息；
根据所述特征信息生成变换系数的预测概率；
根据所述变换系数以及所述预测概率进行熵编码处理，生成第二点云数据的压缩文件。
可选地，所述对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量，包括：
获取相邻两帧的第一点云数据和第二点云数据；
根据所述第一点云数据中各点的几何坐标和属性信息，以及第二点云数据的几何坐标，获取所述第一点云数据的几何坐标的最近邻，得到初始化属性值；
将所述第一点云数据和所述第二点云数据分别输入三维卷积神经网络，分别得到对应的稀疏点的三维特征；
将所述第一点云数据的稀疏点的三维特征输入到流嵌入模块，提取到所述第二点云数据对应的稀疏点的三维特征上，得到第一目标特征；
对所述第一目标特征进行三维卷积和三维反卷积处理，得到所述第二点云数据的各个点的运动向量。
可选地，所述对所述运动向量进行运动补偿，得到属性残差值，包括：
根据第一点云数据的各点的几何坐标、属性信息以及第二点云数据的几何坐标和运动向量，得到变形后的第二点云数据；
获取所述变形后的第二点云数据的前一帧的点云最近邻，得到初始化属性值；
将所述变形后的第二点云数据的前一帧的点云数据分别输入三维卷积神经网络，得到稀疏点的三维特征；
将前一帧的点云数据的三维特征通过属性嵌入的方式提取到变形后的第二点云数据的三维特征上，得到第二目标特征；
对所述第二目标特征进行三维卷积和三维反卷积处理，得到第二点元数据的逐点属性预测值；
将所述属性预测值与所述初始化属性值做差，得到属性残差值。
可选地，所述对所述属性残差值进行变换编码得到变换系数，包括：
对第二点云数据的属性残差值进行预处理；
对于预处理后的所述属性残差值进行变换编码，得到变换系数；
其中，所述预处理包括去噪处理、切块处理、色彩空间变换处理；所述变换编码包括三维小波变换处理或使用深度神经网络构造的自编码器结构进行变换处理。
可选地，所述根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息，包括：
通过显式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息；
通过隐式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到隐式时序信息。
可选地，所述通过显式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息，包括：
获取前一帧点云数据的各点几何坐标和属性信息，获取当前点云数据的几何坐标和属性残差值，将各帧点云数据的数据结构转换成RAHT树结构，得到RAHT树对应的变换系数；
根据所述变换系数，在RAHT树的各个节点子空间中计算逐点的运动向量的和，得到RAHT树节点的运动向量；
将所述RAHT树节点的运动向量进行变形得到RAHT树；
采用空间聚合算法对所述RAHT树进行处理，得到显式时序特征。
可选地，所述通过隐式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到隐式时序信息，包括：
获取当前点云数据的几何坐标和属性残差值，将点云数据结构转换至RAHT树结构，得到RAHT树对应的变换系数；
根据所述变换系数，采用多层神经网络MLPs提取对应预测值作为残差值的上下文特征；
根据所述变换系数，采用空间聚合算法，获得时空特征；
将所述上下文特征和所述时空特征融合得到隐式时序信息。
本发明实施例的另一方面还提供了一种基于深度熵编码的动态点云属性压缩装置，包括：
第一模块，用于对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量；其中，第一点云数据为第二点云数据的前一帧点云数据；第二点云数据为待压缩的点云数据；
第二模块，用于对所述运动向量进行运动补偿，得到属性残差值；
第三模块，用于对所述属性残差值进行变换编码得到变换系数；
第四模块，用于根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息；
第五模块，用于将所述显式时序信息和所述隐式时序信息进行信息融合处理，得到融合后的特征信息；
第六模块，用于根据所述特征信息生成变换系数的预测概率；
第七模块，用于根据所述变换系数以及所述预测概率进行熵编码处理，生成第二点云数据的压缩文件。
本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量；对所述运动向量进行运动补偿，得到属性残差值；对所述属性残差值进行变换编码得到变换系数；根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息；将所述显式时序信息和所述隐式时序信息进行信息融合处理，得到融合后的特征信息；根据所述特征信息生成变换系数的预测概率；根据所述变换系数以及所述预测概率进行熵编码处理，生成第二点云数据的压缩文件。本发明提高了准确性以及拓广了适用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的整体步骤流程图；
图2为本发明实施例提供的对点云进行运动估计的流程图；
图3为本发明实施例提供的对运动向量进行运动补偿的流程图；
图4为本发明实施例提供的对点云属性残差值进行变换编码的流程图；
图5为本发明实施例提供的显式时序信息提取过程的流程图；
图6为本发明实施例提供的隐式时序信息提取过程的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先对本发明实施例中可能出现的相关技术名词进行解释：
点云：三维空间中的点的集合，包含几何信息(空间位置坐标x,y,z)，通常包含属性信息(颜色、反射率等)。
动态点云：由点云组成的序列，类似于由图像组成的视频。
点云属性压缩：对点云属性信息进行压缩编码。
点云属性压缩流程：首先对点云属性进行变换编码，将属性信息从信号域转换至频域，对变换后所得变换系数进行量化及熵编码。整体流程类似于图像压缩。
变换编码：利用信号处理技术，对信号进行变换。类似于图像中的傅里叶变换与小波变换等。
熵编码：对输入符号(变换编码所得系数)进行无损编码，去除数据内部的冗余，如霍夫曼编码。通常，熵编码算法包括熵模型与熵编码器两部分，熵模型用以估计输入符号的概率分布，熵模型根据预测概率，对输入符号进行编码(直观而言，对出现概率高的符号，用较短长度编码，对出现概率低的符号，用较长长度编码)。
运动估计：给定两帧连续的点云，估计其中一帧点云中各点，到另一帧点云的运动向量。
运动补偿：给定两帧连续的点云与获得的运动向量，预测待压缩点云属性，并根据真实点云属性，获得属性残差。
针对现有技术存在的问题，本发明实施例的一方面提供了一种基于深度熵编码的动态点云属性压缩方法，包括：
对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量；其中，第一点云数据为第二点云数据的前一帧点云数据；第二点云数据为待压缩的点云数据；
对所述运动向量进行运动补偿，得到属性残差值；
对所述属性残差值进行变换编码得到变换系数；
根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息；
将所述显式时序信息和所述隐式时序信息进行信息融合处理，得到融合后的特征信息；
根据所述特征信息生成变换系数的预测概率；
根据所述变换系数以及所述预测概率进行熵编码处理，生成第二点云数据的压缩文件。
可选地，所述对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量，包括：
获取相邻两帧的第一点云数据和第二点云数据；
根据所述第一点云数据中各点的几何坐标和属性信息，以及第二点云数据的几何坐标，获取所述第一点云数据的几何坐标的最近邻，得到初始化属性值；
将所述第一点云数据和所述第二点云数据分别输入三维卷积神经网络，分别得到对应的稀疏点的三维特征；
将所述第一点云数据的稀疏点的三维特征输入到流嵌入模块，提取到所述第二点云数据对应的稀疏点的三维特征上，得到第一目标特征；
对所述第一目标特征进行三维卷积和三维反卷积处理，得到所述第二点云数据的各个点的运动向量。
可选地，所述对所述运动向量进行运动补偿，得到属性残差值，包括：
根据第一点云数据的各点的几何坐标、属性信息以及第二点云数据的几何坐标和运动向量，得到变形后的第二点云数据；
获取所述变形后的第二点云数据的前一帧的点云最近邻，得到初始化属性值；
将所述变形后的第二点云数据的前一帧的点云数据分别输入三维卷积神经网络，得到稀疏点的三维特征；
将前一帧的点云数据的三维特征通过属性嵌入的方式提取到变形后的第二点云数据的三维特征上，得到第二目标特征；
对所述第二目标特征进行三维卷积和三维反卷积处理，得到第二点元数据的逐点属性预测值；
将所述属性预测值与所述初始化属性值做差，得到属性残差值。
可选地，所述对所述属性残差值进行变换编码得到变换系数，包括：
对第二点云数据的属性残差值进行预处理；
对于预处理后的所述属性残差值进行变换编码，得到变换系数；
其中，所述预处理包括去噪处理、切块处理、色彩空间变换处理；所述变换编码包括三维小波变换处理或使用深度神经网络构造的自编码器结构进行变换处理。
可选地，所述根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息，包括：
通过显式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息；
通过隐式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到隐式时序信息。
可选地，所述通过显式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息，包括：
获取前一帧点云数据的各点几何坐标和属性信息，获取当前点云数据的几何坐标和属性残差值，将各帧点云数据的数据结构转换成RAHT树结构，得到RAHT树对应的变换系数；
根据所述变换系数，在RAHT树的各个节点子空间中计算逐点的运动向量的和，得到RAHT树节点的运动向量；
将所述RAHT树节点的运动向量进行变形得到RAHT树；
采用空间聚合算法对所述RAHT树进行处理，得到显式时序特征。
可选地，所述通过隐式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到隐式时序信息，包括：
获取当前点云数据的几何坐标和属性残差值，将点云数据结构转换至RAHT树结构，得到RAHT树对应的变换系数；
根据所述变换系数，采用多层神经网络MLPs提取对应预测值作为残差值的上下文特征；
根据所述变换系数，采用空间聚合算法，获得时空特征；
将所述上下文特征和所述时空特征融合得到隐式时序信息。
本发明实施例的另一方面还提供了一种基于深度熵编码的动态点云属性压缩装置，包括：
第一模块，用于对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量；其中，第一点云数据为第二点云数据的前一帧点云数据；第二点云数据为待压缩的点云数据；
第二模块，用于对所述运动向量进行运动补偿，得到属性残差值；
第三模块，用于对所述属性残差值进行变换编码得到变换系数；
第四模块，用于根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息；
第五模块，用于将所述显式时序信息和所述隐式时序信息进行信息融合处理，得到融合后的特征信息；
第六模块，用于根据所述特征信息生成变换系数的预测概率；
第七模块，用于根据所述变换系数以及所述预测概率进行熵编码处理，生成第二点云数据的压缩文件。
本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
下面结合说明书附图，对本发明的具体实现过程进行详细描述：
针对现有技术无法实现高效的点云运动估计与运动补偿，受传统点云运动估计算法的性能限制，这些方法并没有在点云压缩算法中得以广泛应用的问题，本发明提出一种基于深度学习的运动估计与运动补偿算法，通过在动态点云数据集上进行训练，进而学习到相应的运动估计与运动补偿模块。
针对现有技术无法利用点云的时序信息，将输入符号视为序列化数据，仅仅根据之前编码符号，在熵模型中实现概率预测，无法利用动态点云的时序信息的问题，本发明提取点云的时序信息，预测符号(即变换编码所得系数)概率分布。
具体地，如图1所示，本发明提出了基于深度熵编码的动态点云属性压缩方法，该方法对应的整体系统包括变换运动估计、运动补偿、编码模块、深度熵模型模块和熵编码器模块，共五部分(深度熵模型与熵编码器共同构成深度熵模型算法)。对于输入的点云数据，通常假定其几何信息独立编码，即已完成传输，并对点云属性压缩编码方法可见。该系统仅对点云属性信息进行压缩编码。
给定输入点云1与点云2，点云1为已编码点云，点云2为待编码点云，系统首先对两帧点云进行运动估计，获得运动向量，然后进行运动补偿，获得属性残差值。随后，系统对属性残差值进行变换编码，以获得变换系数，并提取点云时序信息，包括显式时序信息(两帧点云间的直接关联)以及隐式时序信息(属性预测值与残差值之间的关联)，并将其输入深度熵模型。深度熵模型使用显式时序信息提取模块与隐式时序信息提取模块分别处理相应信息，并使用信息融合模块，获得融合后的特征信息，用以概率预测。最终，将变换系数与对应概率分布输入熵编码器，生成压缩文件。
具体地，对于运动估计的过程，如图2所示：
本发明实施例对两帧点云进行运动估计，获得待压缩点云的运动向量。给定前一帧已编码点云各点几何坐标为G(t-1)，属性为A(t-1)，当前待压缩点云几何坐标为G(t)，通过从t时刻几何坐标G(t)取t-1时刻几何坐标G(t-1)最近邻(NN)，可得初始化属性值
将t-1时刻点云(G(t-1),A(t-1))与t时刻点云
分别输入三维卷积神经网络，获得稀疏点的三维特征
与
再将特征
通过流嵌入模块，提取至特征
对应的稀疏点上，得特征
其中，g为各点坐标，MLPs为多层全连接神经网络，r为预设半径。继续使用三维卷积3DConv与三维反卷积3DDeConv，最终获得待压缩点云的逐点运动向量
在场景流数据集上进行训练，最终获得运动估计模块。
对于运动补偿过程，如图3所示：
本发明实施例对待压缩点云进行运动补偿，获得待压缩点云的属性预测值。给定前一帧点云各点几何坐标为G(t-1)，属性为A(t-1)，当前点云几何坐标为G(t)，当前点云对应的运动向量V(t)，可获得变形后的当前点云
通过从所得点云
取t-1时刻点云G(t-1)最近邻，可得初始化属性值
与运动估计模块结构类似，将两组点云(G(t-1),A(t-1))与
分别输入三维卷积神经网络，获得稀疏点的三维特征
与
再将特征
通过属性嵌入模块，提取至特征
对应的稀疏点上，得特征
其中，g为各点坐标，MLPs为多层全连接神经网络，r为预设半径。继续使用三维卷积3DConv与三维反卷积3DDeConv，获得待压缩点云的逐点属性预测值
将属性预测值与真实值做差，最终获得属性残差值
对于变换编码过程，如图4所示：
本发明实施例对点云属性残差值进行变换编码。变换编码模块首先对输入点云进行预处理，包括但不限于去噪、切块、色彩空间变换等操作，然后对预处理后点云进行变换编码。变换编码部分可直接采用现有变换编码算法，如三维小波变换(RAHT)，或使用深度神经网络构造的自编码器结构实现变换。随后，根据具体的变换编码方法，可对变换所得系数进行结构化处理，将无序的点云数据，按照一定规则，组织成结构化数据，以利于后续的变换编码信息提取。
以RAHT为例，RAHT在变换过程中，可将点云按RAHT的空间划分关系，构造为二叉树。为了易于展示，图4用简单的二维示例体现了RAHT与其对应二叉树构造方式，该方法同样适应于三维情况。如图4中的(a)，RAHT首先将输入点云体素化，获得量化后点云属性l1、l2与l3，然后分别沿x、y、z方向(图4中为x与y方向)进行变换，如果存在相邻点，则生成低频与高频分量，若无相邻点，则将低频分量直接传至于下一级，如图4中的(b)，第一级变换沿x方向进行，l1无相邻点，则直接传至下一级，l2与l3相邻，生成低频分量l4与高频分量h1。第二级变换沿y方向进行，l1与l4相邻，生成低频分量l5与高频分量h2。相应的，如图4的(b)所示，可按照层次变换的结构，构造二叉树，若存在相邻点，则节点聚合并生成父节点，若无相邻点，则直接生成父节点。按各方向逐级变换，直至所有点聚合，生成根节点。具体变换可采用公式，
其中，l与h分别代表低频与高频分量，下角标d,x,y,z分别表示变换级数，xyz方向空间位置。w1与w2，对应ld,2x,y,z与ld,2x+1,y,z的二叉树节点的权重(叶子节点数目)。
对于显式时序信息提取，如图5所示：
本发明实施例的显式时序信息提取模块用于提取点云显式时序信息。给定前一帧点云各点几何坐标为G(t-1)，属性为A(t-1)，当前点云几何坐标为G(t)，属性残差值
采用变换编码部分所提及的RAHT算法，可将点云数据结构转换至RAHT树结构，可得RAHT树与对应变换系数
在RAHT树的各个节点子空间中，求得逐点运动向量V(t)之和，作为RAHT树节点的运动向量
变形得RAHT树
进而采用空间聚合算法，获得显式时序特征
其中MLPs为多层神经网络，c为各点属性，x为RAHT树节点坐标，N(i)为以RAHT树
的节点
为中心的近邻。相较于现有技术，该模块使本发明实现了对点云时序信息的提取与利用。
对于隐式时序信息提取，如图6所示：
本发明实施例的隐式时序信息提取模块用于提取点云隐式时序信息。当前点云几何坐标为G(t)，属性残差值
属性残差值
采用变换编码部分所提及的RAHT算法，可将点云数据结构转换至RAHT树结构，可得RAHT树与对应变换系数
采用多层神经网络MLPs提取对应预测值作为残差值的上下文特征，
采用空间聚合算法，获得时空特征
其中cp为各点属性预测值，x为RAHT树节点坐标，N(i)为以RAHT树X(t)的节点x(t)(i)为中心的近邻。最终，使用多层神经网络融合得隐式时序特征Ii＝MLPs(Ni,Si)。
对于信息融合过程：
本发明实施例的信息融合模块用于融合显式时序信息与隐式时序信息，并预测对应符号概率分布。具体可将时序特征Ei与Ii拼接，或采用多层全连接神经网络进行融合，得时序特征fi＝MLPs(Ei,Ii)。然后，将融合所得特征f输入概率预测网络进行概率预测。具体概率预测网络包括但不限于采用多层全连接神经网络，直接回归符号的概率分布，或是采用神经网络，回归符号的概率密度函数。具体可使用多层全连接神经网络MLPs，对有限个输入符号，即变换系数h，可直接回归其概率值P，得P＝MLPs(f)。
最后，本发明实施例通过深度学习，实现对符号概率分布的拟合。对应于不同的测试场景，如稠密人体点云或稀疏LiDAR点云等动态点云数据，在训练阶段，应设计并采集相应数据集，进行训练。举例而言，对于稠密人体点云，应首先构建相应的人体点云训练集，对于稀疏LiDAR点云，应首先构建LiDAR点云训练集。训练过程中，因为训练集中的变换系数(输入符号)的概率分布已知，即可使用包括但不限于交叉熵等损失函数，拟合预测概率分布与真实概率分布。相较于现有技术，该策略使本发明能够对复杂多样的点云数据进行处理。
综上所述，本发明具有以下优点：
(1)本发明提供了基于深度学习的，面向点云压缩的运动估计与运动补偿算法。本发明通过深度学习的方式，实现了面向点云属性压缩的运动估计与运动补偿。相较于现有技术，本发明更好地利用了点云数据的几何与属性信息，可以获得更准确的估计与补偿结果，从而有利于压缩。
(2)本发明提供了基于深度学习的，提取时序点云信息的熵模型方法。本发明通过深度学习的方式，通用提取显式与隐式的点云时序信息，建模上下文关系，拟合符号概率分布，而现有技术，采用基于手工规则的方式，通常难以利用时序信息。相较于现有技术，本发明更好地利用点云时序信息，可以有效地去除数据隐含的时空冗余，提高了压缩性能。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于深度熵编码的动态点云属性压缩方法，其特征在于，包括：
对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量；其中，第一点云数据为第二点云数据的前一帧点云数据；第二点云数据为待压缩的点云数据；
对所述运动向量进行运动补偿，得到属性残差值；
对所述属性残差值进行变换编码得到变换系数；
根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息；
将所述显式时序信息和所述隐式时序信息进行信息融合处理，得到融合后的特征信息；
根据所述特征信息生成变换系数的预测概率；
根据所述变换系数以及所述预测概率进行熵编码处理，生成第二点云数据的压缩文件。
2.根据权利要求1所述的一种基于深度熵编码的动态点云属性压缩方法，其特征在于，所述对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量，包括：
获取相邻两帧的第一点云数据和第二点云数据；
根据所述第一点云数据中各点的几何坐标和属性信息，以及第二点云数据的几何坐标，获取所述第一点云数据的几何坐标的最近邻，得到初始化属性值；
将所述第一点云数据和所述第二点云数据分别输入三维卷积神经网络，分别得到对应的稀疏点的三维特征；
将所述第一点云数据的稀疏点的三维特征输入到流嵌入模块，提取到所述第二点云数据对应的稀疏点的三维特征上，得到第一目标特征；
对所述第一目标特征进行三维卷积和三维反卷积处理，得到所述第二点云数据的各个点的运动向量。
3.根据权利要求1所述的一种基于深度熵编码的动态点云属性压缩方法，其特征在于，所述对所述运动向量进行运动补偿，得到属性残差值，包括：
根据第一点云数据的各点的几何坐标、属性信息以及第二点云数据的几何坐标和运动向量，得到变形后的第二点云数据；
获取所述变形后的第二点云数据的前一帧的点云最近邻，得到初始化属性值；
将所述变形后的第二点云数据的前一帧的点云数据分别输入三维卷积神经网络，得到稀疏点的三维特征；
将前一帧的点云数据的三维特征通过属性嵌入的方式提取到变形后的第二点云数据的三维特征上，得到第二目标特征；
对所述第二目标特征进行三维卷积和三维反卷积处理，得到第二点元数据的逐点属性预测值；
将所述属性预测值与所述初始化属性值做差，得到属性残差值。
4.根据权利要求1所述的一种基于深度熵编码的动态点云属性压缩方法，其特征在于，所述对所述属性残差值进行变换编码得到变换系数，包括：
对第二点云数据的属性残差值进行预处理；
对于预处理后的所述属性残差值进行变换编码，得到变换系数；
其中，所述预处理包括去噪处理、切块处理、色彩空间变换处理；所述变换编码包括三维小波变换处理或使用深度神经网络构造的自编码器结构进行变换处理。
5.根据权利要求1所述的一种基于深度熵编码的动态点云属性压缩方法，其特征在于，所述根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息，包括：
通过显式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息；
通过隐式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到隐式时序信息。
6.根据权利要求5所述的一种基于深度熵编码的动态点云属性压缩方法，其特征在于，所述通过显式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息，包括：
获取前一帧点云数据的各点几何坐标和属性信息，获取当前点云数据的几何坐标和属性残差值，将各帧点云数据的数据结构转换成RAHT树结构，得到RAHT树对应的变换系数；
根据所述变换系数，在RAHT树的各个节点子空间中计算逐点的运动向量的和，得到RAHT树节点的运动向量；
将所述RAHT树节点的运动向量进行变形得到RAHT树；
采用空间聚合算法对所述RAHT树进行处理，得到显式时序特征。
7.根据权利要求5所述的一种基于深度熵编码的动态点云属性压缩方法，其特征在于，所述通过隐式时序信息提取模块对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到隐式时序信息，包括：
获取当前点云数据的几何坐标和属性残差值，将点云数据结构转换至RAHT树结构，得到RAHT树对应的变换系数；
根据所述变换系数，采用多层神经网络MLPs提取对应预测值作为残差值的上下文特征；
根据所述变换系数，采用空间聚合算法，获得时空特征；
将所述上下文特征和所述时空特征融合得到隐式时序信息。
8.一种基于深度熵编码的动态点云属性压缩装置，其特征在于，包括：
第一模块，用于对获取的第一点云数据和第二点云数据进行运动估计，得到所述第二点云数据的各个点的运动向量；其中，第一点云数据为第二点云数据的前一帧点云数据；第二点云数据为待压缩的点云数据；
第二模块，用于对所述运动向量进行运动补偿，得到属性残差值；
第三模块，用于对所述属性残差值进行变换编码得到变换系数；
第四模块，用于根据所述变换系数，对所述第一点云数据和所述第二点云数据进行点云时序信息的提取，得到显式时序信息和隐式时序信息；
第五模块，用于将所述显式时序信息和所述隐式时序信息进行信息融合处理，得到融合后的特征信息；
第六模块，用于根据所述特征信息生成变换系数的预测概率；
第七模块，用于根据所述变换系数以及所述预测概率进行熵编码处理，生成第二点云数据的压缩文件。
9.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211681168.4A CN116016953A (zh) | 2022-12-27 | 2022-12-27 | 一种基于深度熵编码的动态点云属性压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211681168.4A CN116016953A (zh) | 2022-12-27 | 2022-12-27 | 一种基于深度熵编码的动态点云属性压缩方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116016953A true CN116016953A (zh) | 2023-04-25 |
Family
ID=86028172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211681168.4A Pending CN116016953A (zh) | 2022-12-27 | 2022-12-27 | 一种基于深度熵编码的动态点云属性压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116016953A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117014633A (zh) * | 2023-10-07 | 2023-11-07 | 深圳大学 | 一种跨模态数据压缩方法、装置、设备及介质 |
-
2022
- 2022-12-27 CN CN202211681168.4A patent/CN116016953A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117014633A (zh) * | 2023-10-07 | 2023-11-07 | 深圳大学 | 一种跨模态数据压缩方法、装置、设备及介质 |
| CN117014633B (zh) * | 2023-10-07 | 2024-04-05 | 深圳大学 | 一种跨模态数据压缩方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Image compressed sensing using convolutional neural network | |
| EP3298576B1 (en) | Training a neural network | |
| Thakur et al. | Image de-noising with machine learning: A review | |
| Genova et al. | Deep structured implicit functions | |
| Kavitha et al. | Multimodal medical image fusion based on integer wavelet transform and neuro-fuzzy | |
| CN111630570A (zh) | 图像处理方法、设备及计算机可读存储介质 | |
| CN116664450A (zh) | 基于扩散模型的图像增强方法、装置、设备及存储介质 | |
| Uddin et al. | A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss | |
| CN116016953A (zh) | 一种基于深度熵编码的动态点云属性压缩方法 | |
| CN117499711A (zh) | 视频生成模型的训练方法、装置、设备及存储介质 | |
| CN116128985A (zh) | 基于双分支神经网络的大规模点云几何压缩方法 | |
| Hou | Permuted sparse representation for 3D point clouds | |
| CN114708353B (zh) | 图像重建方法、装置、电子设备与存储介质 | |
| US20230254230A1 (en) | Processing a time-varying signal | |
| CN116095183A (zh) | 一种数据压缩方法以及相关设备 | |
| CN116452930A (zh) | 降质环境下基于频域增强的多光谱图像融合方法与系统 | |
| Yang et al. | Remote sensing image super‐resolution based on convolutional blind denoising adaptive dense connection | |
| CN116309679A (zh) | 一种适用于多种模态的类mlp医学影像分割方法 | |
| Wu et al. | Non‐uniform image blind deblurring by two‐stage fully convolution network | |
| CN117014633B (zh) | 一种跨模态数据压缩方法、装置、设备及介质 | |
| Wu et al. | General generative model‐based image compression method using an optimisation encoder | |
| CN117853340B (zh) | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 | |
| Xu | Learning in Compressed Domains | |
| Cheng et al. | K-SVD based point cloud coding for RGB-D video compression using 3D super-point clustering | |
| Mehrpooya et al. | Fast multidimensional dictionary learning algorithms and their application in 3D inverse synthetic aperture radar image restoration and noise reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240131 Address after: 518107 Room 501, building 3, Herun Jiayuan, Huaxia Road, Guangming Street, Guangming New District, Shenzhen City, Guangdong Province Applicant after: Shenzhen, Zhongshan University Country or region after: China Applicant after: SUN YAT-SEN University Applicant after: National University of Defense Technology Address before: 518107 Room 501, building 3, Herun Jiayuan, Huaxia Road, Guangming Street, Guangming New District, Shenzhen City, Guangdong Province Applicant before: Shenzhen, Zhongshan University Country or region before: China Applicant before: SUN YAT-SEN University |