CN114092631A - 基于加权三维哈尔变换的点云属性编码方法及解码方法 - Google Patents

Abstract

本发明公开了基于加权三维哈尔变换的点云属性编码方法及解码方法，其中，所述点云属性编码方法包括步骤：将点云进行八叉树划分，构建N层八叉树结构；针对八叉树的N‑1层，将当前层节点的8个子节点属性值作为变换输入系数进行加权三维哈尔变换，计算相应的N‑1层变换输出系数，至少包括一个低频系数；从八叉树的N‑2层开始直到根节点，将前一层变换输出的低频系数作为当前层节点的子节点变换输入系数进行加权三维哈尔变换，得到变换输出系数；将根节点变换输出系数及其它层变换输出高频系数作为所述点云变换输出系数。本发明提供的点云属性编码方法和解码方法能够提升子节点之间属性相关性地利用，从而有效提高点云属性压缩性能。

Description

基于加权三维哈尔变换的点云属性编码方法及解码方法

技术领域

本发明涉及点云处理技术领域，特别涉及一种基于加权三维哈尔变换的点云属性编码方法及解码方法。

背景技术

三维点云是现实世界数字化的重要表现形式。随着三维扫描设备(如激光、雷达等)的快速发展，点云的精度和分辨率变得更高。高精度点云广泛应用于城市数字化地图的构建，在智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、反射率等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来了巨大挑战，因此对点云进行压缩变得十分重要。

点云压缩主要分为几何压缩和属性压缩。目前由中国AVS(Audio Video codingStandard)点云压缩工作组所提供的测试平台PCEM中描述的点云属性压缩框架主要是通过近邻点预测。但是，上述相关技术没有很好的利用点云属性的相关性，导致压缩性能降低。

因此，现有技术还有待于改进和发展。

发明内容

本发明提供一种基于加权三维哈尔变换的点云属性编码方法及解码方法，旨在解决现有点云属性编码及解码方法不能有效利用子节点之间的属性相关性，导致点云属性压缩性能较差的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种基于加权三维哈尔变换的点云属性编码方法，其中，包括步骤：

将点云进行八叉树划分，构建N层八叉树结构；

针对所述N层八叉树结构的N-1层，将当前层节点的8个子节点属性值作为变换输入系数进行加权三维哈尔变换，将加权三维哈尔变换分解为三个方向的加权一维哈尔变换，在第二方向及第三方向变换中根据设定的计算规则计算相应的N-1层变换输出系数，至少包括一个低频系数，变换输出系数个数与当前层节点的非空子节点个数相同；

从所述N层八叉树结构的N-2层开始到根节点，将前一层变换输出的低频系数作为当前层节点的子节点变换输入系数进行加权三维哈尔变换，得到变换输出系数；

将根节点变换输出系数以及其它层变换输出高频系数作为所述点云变换输出系数。

所述基于加权三维哈尔变换的点云属性编码方法，其中，所述对当前节点的子节点属性值进行加权三维哈尔变换，得到N-1层变换输出系数的步骤包括：

进行第一方向变换：根据子节点对应空间范围内的点的个数设置子节点权值W0，当子节点对应空间范围内没有点时，即为空子节点，设定其权值W0为0，对应属性值为0；沿第一方向计算2个子节点的属性值的加权和值作为第一方向输出低频系数DC1，其计算公式为

其中a₁,a₂表示2个子节点的属性值，w0₁，w0₂表示2个子节点的权值，沿第一方向计算2个子节点的属性值的加权差值作为第一方向输出高频系数AC1，其计算公式为

计算2个子节点的权值的和作为DC1及AC1的权值W1；四对分组进行变换，输出四对不同的低频系数DC1、高频系数AC1及权值W1；

进行第二方向变换：将第一方向变换得到的输出系数DC1及AC1作为第二方向变换的输入系数，当变换的两个输入系数均不是来自空子节点，根据权值W1沿第二方向分别计算两个输入系数的加权和值与差值，得到输出系数DC2与AC2，计算两个输入系数的权值的和值作为DC2及AC2的权值W2；当变换的两个输入系数有一个来自空子节点，同时其权值不为0，则计算对应的输出系数DC2，并计算2个输入系数的权值的和作为DC2的权值W2；当两个输入系数都来自空子节点，同时其权值都不为0，则不计算输出任何系数；四对分组进行变换，输出低频系数DC2、高频系数AC2及权值W2；

进行第三方向变换：将第二方向变换得到的输出系数DC2及AC2作为第三方向变换的输入系数，沿第三方向分成四对分别进行变换，当变换的两个输入系数均不是来自空子节点，根据权值W2进行加权一维哈尔变换，得到一个低频系数及一个高频系数；当变换的两个输入系数有一个来自空子节点，则根据权值W2进行加权一维哈尔变换计算输出低频系数；当变换的两个系数都来自空子节点，则不计算输出任何系数；当仅有一个输入变换系数且不是来自空子节点，则将所述输入系数作为输出低频系数；当没有输入系数时，则不计算输出任何系数；四对分组进行变换，输出低频系数DC3及高频系数AC3，所述输出系数个数与当前节点的非空子节点个数相同；将第三方向变换输出系数作为当前层节点的变换输出系数。

将N-1层变换输出的低通系数作为N-2层节点的变换输入系数进行上述相同的加权三维哈尔变换，得到N-2层变换输出低频系数和高频系数；将N-2层变换输出的低频系数作为N-3层节点的变换输入系数；以此类推，将前一层变换输出的低频系数作为当前层节点的子节点变换输入系数进行加权三维哈尔变换，得到变换输出系数，直到根节点完成变换；次过程将得到一个根节点的低频系数和多个来自不同层的高频系数。

所述基于加权三维哈尔变换的点云属性编码方法，其中，所述完成N-1次层间变换之后还包括步骤：

直接对所述点云变换输出系数进行熵编码，得到变换系数码流；

或者，对所述点云变换输出系数进行量化得到量化变换系数；对量化变换系数进行熵编码，得到量化变换系数码流。

所述基于加权三维哈尔变换的点云属性编码方法，其中，在进行加权三维哈尔变换之前，还包括步骤：

将RGB颜色空间的属性值转换为YUV空间的属性值。

所述基于加权三维哈尔变换的点云属性编码方法，其中，所述将根节点变换输出系数以及其它层变换输出高频系数作为所述点云变换输出系数之后，还包括步骤：

计算原始点云属性值与重建点云属性值的差值作为属性残差值，对所述属性残差值进行熵编码，得到残差点云码流；

或者，计算原始点云属性值与重建点云属性值的差值作为属性残差值；对所述属性残差值进行量化得到属性量化残差系数；对所述属性量化残差系数进行编码得到残差点云码流；

或者，计算原始点云属性值与重建点云属性值的差值作为属性残差值；对所述属性残差值进行量化得到属性量化残差系数；对所述属性量化残差系数进行编码得到残差点云码流；对属性量化残差余数进行编码。

一种基于加权三维哈尔变换的点云属性编码设备，其中，包括处理器、存储器、编码模块和总线；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述总线实现处理器和存储器之间的连接通信；

所述处理器用于调用所述编码模块从而执行所述计算机可读程序时实现本发明所述方法中的步骤。

一种基于加权三维哈尔变换的点云属性解码方法，其中，包括步骤：

将点云进行八叉树划分，构建N层八叉树结构；

对点云码流进行解码，得到点云变换系数；

针对所述N层八叉树结构的第一层，将从码流中解码得到的变换系数，作为逆变换输入系数进行加权三维哈尔逆变换，将加权三维哈尔变换分解为三个方向的加权一维哈尔逆变换，在第二方向及第三方向变换中根据设定的计算规则计算相应的变换输出系数，将第一方向逆变换得到的非空子节点对应的逆变换输出系数作为所述当前层的逆变换输出系数；

从所述N层八叉树结构的第二层开始直到第N-1层，将从上一层父节点逆变换得到的重建输出系数和从码流中解码得到的变换系数，作为当前层节点的子节点逆变换输入系数进行加权三维哈尔逆变换，得到逆变换输出系数；

将N-1层的逆变换输出系数作为点云属性变换重建值。

所述基于加权三维哈尔变换的点云属性解码方法，其中，所述将每一个非空子节点对应的变换系数作为逆变换输入系数进行加权三维哈尔逆变换的步骤包括：

依次计算三个方向逆变换的权值：设定8个子节点第一方向逆变换的权值，统一称为W0，根据子节点对应空间范围内的点的个数设置该子节点权值W0，当子节点对应空间范围内没有点时，即为空子节点，设定其权值W0为0，对应有8个不同W0值；将8个子节点权值W0沿第一方向分成四对，依次计算每对权值W0的和作为对应的第二个方向逆变换的高频系数和低频系数的权值，统一称为W1，四对权值进行如上计算，输出四对不同的权值W1；将第二个方向逆变换的权值W1，沿第二方向分成四对，依次计算第三个方向逆变换的权值，统一称为W2，当参与计算的2个权值均不是来自空子节点，将两个权值W1的和值作为第三个方向逆变换的高频系数和低频系数的权值W2；当参与计算的2个权值有一个来自空子节点，同时其数值不为0，将两个权值W1的和值作为第三个方向逆变换高频系数的权值W2；当参与计算的2个权值都来自空子节点，同时其数值都不为0，则不计算输出权值，四对权值W1做了如上变换处理，输出最多8个第三方向的权值W2；

进行第三方向逆变换：将所述点云码流解码得到的变换系数作为第三方向变换的输入系数，沿第三方向分组，当变换的一组有两个输入系数，根据权值W2沿第三方向进行加权一维哈尔逆变换，得到重建输出系数RDC2和RAC2；当变换的一组仅有一个输入变换系数且有两个权值W2，则设定重建输出系数RAC2为0，根据权值W2进行加权一维哈尔逆变换得到重建输出系数RDC2；当变换的一组仅有一个输入变换系数且只有一个权值W2，则设定重建输出系数RDC2等于该输入变换系数，最多有四次如上处理的逆变换，最多输出八个重建输出系数，

进行第二方向逆变换：将第三方向逆变换得到的重建输出系数RDC2及RAC2作为第二方向变换的输入系数，沿第二方向分组,当变换的一组有两个输入系数，根据权值W1沿第二方向分别计算两个输入系数的加权差值与和值，得到重建输出系数RDC1和RAC1；当变换的一组仅有一个输入变换系数，则设定重建输出系数RAC1为0，根据权值W1进行加权一维哈尔逆变换得到重建输出系数RDC1；最多有四次如上处理的逆变换，输出八个重建输出系数，

进行第一方向逆变换：将第二方向逆变换得到的输出重建系数RDC1及RAC1作为第一方向逆变换的输入系数，沿第一方向分成四组，每组有两个输入系数，分别根据权值W0沿第一方向进行加权一维哈尔逆变换，得到对应两个子节点的重建输出系数；有四次如上处理的逆变换，将第一方向逆变换得到的非空子节点对应的逆变换输出系数作为所述当前层的逆变换输出系数。

所述基于加权三维哈尔变换的点云属性解码方法，其中，所述对点云码流进行解码，得到点云变换系数的步骤包括：

对所述点云码流进行熵解码，得到所述点云变换系数；

或者，对所述点云码流进行熵解码，得到量化变换系数；对所述量化变换系数进行逆量化得到所述点云变换系数。

所述基于加权三维哈尔变换的点云属性解码方法，其中，在进行加权三维哈尔逆变换之后还包括步骤：

将YUV颜色空间的重建属性值转换为RGB空间的重建属性值。

所述基于加权三维哈尔变换的点云属性解码方法，其中，所述将N-1层的输出变换系数作为点云属性变换重建值之后，还包括步骤：

对点云码流进行熵解码得到属性残差值；计算所述属性残差值与所述变换重建点云属性值的和值作为点云属性重建值；

或者，对点云码流进行熵解码得到属性量化残差系数；对所述属性量化残差系数进行逆量化得到逆量化属性残差值；计算所述逆量化属性残差值、所述变换重建点云属性值的和值作为点云属性重建值；

或者，对点云码流进行熵解码得到属性量化残差系数及属性量化残差余数；对所述属性量化残差系数进行逆量化得到逆量化属性残差值；计算所述属性量化残差余数、所述逆量化属性残差值、所述变换重建点云属性值的和值作为点云属性重建值。

一种基于加权三维哈尔变换的点云属性解码设备，其中，包括处理器、存储器、编码模块和总线；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述总线实现处理器和存储器之间的连接通信；

所述处理器用于调用所述编码模块从而执行所述计算机可读程序时实现本发明所述方法中的步骤。

有益效果：与现有技术相比，本发明针对点云数据的稀疏特性，提供了一种基于加权三维哈尔变换的点云属性编码方法及解码方法，根据三维哈尔变换的可拆分性，转化为对于三个方向的一维变换(A1，A2,A3)，每次变换的中间结果，可看作频域上的表达，因此设定频域上每一位的权值是相等的，即DC的权值等于AC的权值，本发明除了初始权值设定，不考虑未被数据点占据的位置对后续权值的影响，所述权值设定方法，需要计算更少次数的变换矩阵，可提升点云属性压缩的计算效率；本发明通过加权三维哈尔变换得到的高频系数利用了8个位置点的空间信息，去除8个位置上对应属性值的相关性，实现更有效的压缩。本发明将三维小波变换应用于点云的属性压缩中，本发明提供的基于加权三维哈尔变换的点云属性编码方法和解码方法解决了点云数据稀疏特性的问题，能够提升子节点之间属性相关性地利用，从而有效提高点云属性压缩性能。

附图说明

图1为本发明提供的一种基于加权三维哈尔变换的点云属性编码方法较佳实施例的流程图。

图2为本发明构建N层八叉树结构的示意图。

图3为本发明提供的一种基于加权三维哈尔变换的点云属性编码方法具体示意图。

图4为节点内的正变换系数计算示意图。

图5为本发明提供的加权三维哈尔变换终止规则具体示意图。

图6为本发明提供的一种基于加权三维哈尔变换的点云属性编码设备结构原理图。

图7为本发明提供的一种基于加权三维哈尔变换的点云属性解码方法较佳实施例的流程图。

图8为本发明提供的一种基于加权三维哈尔变换的点云属性解码方法示意性流程图。

图9为本发明提供的一种基于加权三维哈尔变换的点云属性解码方法具体示意图。

图10为节点内的逆变换系数计算示意图。

具体实施方式

本发明提供一种基于加权三维哈尔变换的点云属性编码方法及解码方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参阅图1，图1为本发明提供的一种基于加权三维哈尔变换的点云属性编码方法较佳实施例的流程图，如图所示，其包括步骤：

S10、将点云进行八叉树划分，构建N层八叉树结构；

S20、针对所述N层八叉树结构的N-1层，将当前层节点的8个子节点属性值作为变换输入系数进行加权三维哈尔变换，将加权三维哈尔变换分解为三个方向的加权一维哈尔变换，在第二方向及第三方向变换中根据设定的计算规则计算相应的N-1层变换输出系数，至少包括一个低频系数，变换输出系数个数与当前层节点的非空子节点个数相同；

S30、从所述N层八叉树结构的N-2层开始到根节点，将前一层变换输出的低频系数作为当前层节点的子节点变换输入系数进行加权三维哈尔变换，得到变换输出系数；

S40、将根节点变换输出系数以及其它层变换输出高频系数作为所述点云变换输出系数。

具体来讲，在本实施例中，在编码端执行所述步骤S10-S40的步骤，实现所述点云的属性变换编码。本实施例将加权三维哈尔变换应用于点云的属性编码中，去除了点云属性间的相关性，提升了属性压缩性能。为了更好的说明本发明实施例，图2为点云八叉树结构示意图，点云中点的几何位置用三维笛卡尔坐标(X,Y,Z)表示，将包围所有点云所有点的立方体作为根节点，每个节点划分为8个子节点，逐层划分，可以一直划分到子节点只包含一个点。

在一些实施方式中，首先对点云进行八叉树分解，如图2所示，得到N层的八叉树结构，基于此八叉树结构进行加权三维哈尔变换。如图3所示，由N-1层开始，对每一个节点内八个位置处信号进行加权三维哈尔变换。针对2*2*2空间尺度的加权三维哈尔变换，本实施例设每个节点内的信号为F∈R^2×2×2，变换后的系数为C∈R^2×2×2，根据三维哈尔变换的可拆分性，可转化为三个方向的变换，变换矩阵分别为A₁∈R^2×2，A₂∈R^2×2，A₃∈R^2×2。三维哈尔变换的公式可表示为：C＝F×₁A₁×₂A₂×₃A₃。

本实施例中，假设M维张量

它的每个元素表示为b(i₁,…,i_m,…,i_M)，二维矩阵

它的每个元素表示为t(j_m,i_m)。

对于非加权的哈尔变换矩阵，我们有

由于点云的特殊性，节点内会出现未被数据点占据的情况，所以需要使用加权的哈尔变换，变换矩阵如下：

其中，w_a，w_b计算方法如图3和图4所示。设权值为W∈R^2×2×2，初始时，W(i,j,k)的值为节点内(i,j,k)位置处对应空间范围内的点云数据点的个数(i,j,k＝0或1)。作为举例，所述对当前节点的子节点属性值进行加权三维哈尔变换，得到N-1层变换输出系数的步骤包括：

进行第一方向变换：根据子节点对应空间范围内的点的个数设置子节点权值W0，当子节点对应空间范围内没有点时，即为空子节点，设定其权值W0为0，对应属性值为0；沿第一方向计算2个子节点的属性值的加权和值作为第一方向输出低频系数DC1，沿第一方向计算2个子节点的属性值的加权差值作为第一方向输出高频系数AC1，计算2个子节点的权值的和作为DC1及AC1的权值W1；四对分组进行变换，输出四对不同的低频系数DC1、高频系数AC1及权值W1；

进行第二方向变换：将第一方向变换得到的输出系数DC1及AC1作为第二方向变换的输入系数，当变换的两个输入系数均不是来自空子节点，根据权值W1沿第二方向分别计算两个输入系数的加权和值与差值，得到输出系数DC2与AC2，计算两个输入系数的权值的和值作为DC2及AC2的权值W2；当变换的两个输入系数有一个来自空子节点，同时其权值不为0，则计算对应的输出系数DC2，并计算2个输入系数的权值的和作为DC2的权值W2；当两个输入系数都来自空子节点，同时其权值都不为0，则不计算输出任何系数；四对分组进行变换，输出低频系数DC2、高频系数AC2及权值W2；

进行第三方向变换：将第二方向变换得到的输出系数DC2及AC2作为第三方向变换的输入系数，沿第三方向分成四对分别进行变换，当变换的两个输入系数均不是来自空子节点，根据权值W2进行加权一维哈尔变换，得到一个低频系数及一个高频系数；当变换的两个输入系数有一个来自空子节点，则根据权值W2进行加权一维哈尔变换计算输出低频系数；当变换的两个系数都来自空子节点，则不计算输出任何系数；当仅有一个输入变换系数且不是来自空子节点，则将所述输入系数作为输出低频系数；当没有输入系数时，则不计算输出任何系数；四对分组进行变换，输出低频系数DC3及高频系数AC3，所述输出系数个数与当前节点的非空子节点个数相同；将第三方向变换输出系数作为当前层节点的变换输出系数。

在一些实施方式中，针对点云分布的稀疏特性，本实施例将按照以下两种情况进行处理：当八个变换位置均含有数据点时，则使用上述介绍的通用的加权三维哈尔变换方式，最终经过变换，可以得到一个低频系数(DC3DC2DC1)和七个高频系数(DC3DC2AC1，DC3AC2DC1，DC3AC2AC1，AC3DC2DC1，AC3DC2AC1，AC3AC2DC1，AC3AC2AC1)；当八个变换位置含有空的数据点时，假设含有数据点的位置个数为N(0<N<8)，则针对节点内没有点云数据点的位置，设定其初始权值为0，初始变换输入信号值为0。按照图4中的权值计算方法，可以得到A1，A2，A3变换是的对应权值。同时，本实施例为了保证变换前后，有效输入信号值的个数等于输出变换系数的个数，即N个，(例如，初始八个位置中，含数据点的位置有5个，那么输出变换系数的个数也是5个)设定了如图5所示变换提前终止的规则：

1)、当某次变换的一项，来自空数据点输入信号的频域系数，同时它的权值不为0，将停止对其高频变换系数的再次变换。

2)、当某次变换的两项，都来自空数据点输入信号的频域系数，同时它们的权值都不为0，则停止此次变换，且不再继续变换。

如图5所示，所述变换终止规则示例如下所述：根据3D变换的可拆分性，3D变换可转化为对于三个方向的1D变换(A1，A2,A3)。图中从上至下第一个表为一次3D变换的位置表示(第一行)，初始信号值(第二行)，初始权值(第三行)。经过第一个方向的变换，得到中间变换系数，如第二个表中所示。第一行为A1变换后得到的变换系数，第二行为A2变换中将用到的权值。经过第二个方向的变换，得到中间变换系数，如第三个表中所示。第一行为A2变换后得到的变换系数，第二行为A3变换中将用到的权值。其中被标横线划掉的数据，表示根据变换终止规则，将不会被继续变换的无用系数。经过第三个方向的变换，得到最终变换系数，如第四个表中所示。第一项为低频系数，将在上一层的八叉树节点中，被继续变换。其余为高频系数，将被保留编码。

在一些实施方式中，结束一层三维变换后，低频系数(DC3DC2DC1)将在上一层的节点中，被继续变换。由此逐层向上，直到根节点停止。变换结束后，会得到一组变换系数，其中包括一个来自根节点的低频系数和多个来自不同八叉树层级的高频系数。最后根据需求可以直接对所述点云变换输出系数进行熵编码，得到变换系数码流；或者，对所述点云变换输出系数进行量化得到量化变换系数；对量化变换系数进行熵编码，得到量化变换系数码流。

在一些实施方式中，由于现有变换方法普遍无法实现无损的属性编码，所以本实施例设计了编码残差处理模块来解决这个问题，所述编码残差处理模块在编码时，采用以下三种方式：计算原始点云属性值与重建点云属性值的差值作为属性残差值，对所述属性残差值进行熵编码，得到残差点云码流；或者，计算原始点云属性值与重建点云属性值的差值作为属性残差值；对所述属性残差值进行量化得到属性量化残差系数；对所述属性量化残差系数进行编码得到残差点云码流；或者，计算原始点云属性值与重建点云属性值的差值作为属性残差值；对所述属性残差值进行量化得到属性量化残差系数；对所述属性量化残差系数进行编码得到残差点云码流；对属性量化残差余数进行编码。

具体来讲，本实施例首先利用变换方法对点云进行变换得到变换系数，再对其量化得到量化变换系数，接着进行逆量化得到重建变换系数，最后进行逆变换得到重建点云属性值。将重建点云和原始点云作为输入数据传入编码残差处理模块。模块内，首先求得重建点云与原始点云在每一个空间点的属性残差值，然后根据需求对属性残差值进行量化得到属性量化残差系数，最后对属性量化残差系数进行编码。

对于近无损条件(limited-lossy)，针对属性残差值，需要根据给定的量化步长进行量化编码，可实现对Hausdorff误差的控制。对于无损条件(lossless)，可以用以下两种方法处理：方法一：针对属性残差值，无需使用量化处理，即量化步长为1，直接对属性残差值进行编码；方法二：针对属性残差值，对属性量化残差余数和属性量化残差系数进行编码。

在一些实施方式中，对于颜色的编码，属性残差值的计算需要在原始点云的颜色空间中进行。如果逆变换产生的点云重建属性值与原始点云的属性值位于不同的颜色空间，例如，原始点云具有RGB颜色空间的属性值，而逆变换产生的为YUV颜色空间的属性值。则需要对逆变换产生的点云重建属性值进行颜色空间转换，转换到和原始点云相同的颜色空间中。

基于上述点云属性解码方法，本发明还提供一种基于加权三维哈尔变换的点云属性解码设备，如图6所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及点云属性编码设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

在一些实施方式中，还提供一种基于加权三维哈尔变换的点云属性解码方法，如图7所示，其包括步骤：

S100、将点云进行八叉树划分，构建N层八叉树结构；

S200、对点云码流进行解码，得到点云变换系数；

S300、针对所述N层八叉树结构的第一层，将从码流中解码得到的变换系数，作为逆变换输入系数进行加权三维哈尔逆变换，将加权三维哈尔变换分解为三个方向的加权一维哈尔逆变换，在第二方向及第三方向变换中根据设定的计算规则计算相应的变换输出系数，将第一方向逆变换得到的非空子节点对应的逆变换输出系数作为所述当前层的逆变换输出系数；

S400、从所述N层八叉树结构的第二层开始直到第N-1层，将从上一层父节点逆变换得到的重建输出系数和从码流中解码得到的变换系数，作为当前层节点的子节点逆变换输入系数进行加权三维哈尔逆变换，得到逆变换输出系数；

S500、将N-1层的逆变换输出系数作为点云属性变换重建值。

具体来讲，首先将点云模型进行八叉树划分，构建N层八叉树结构，从八叉树的第一层(根节点)开始，逐层对每一个非空节点进行加权三维哈尔逆变换，如图8所示。针对2x2x2空间尺度的加权三维哈尔变换，本实施例设每个节点内的信号为F∈R^2×2×2，变换后的系数为C∈R^2×2×2，根据三维哈尔变换的可拆分性，可转化为三个方向的变换，变换矩阵分别为A₁∈R^2×2，A₂∈R^2×2，A₃∈R^2×2。具体加权三维哈尔逆变换的数学表达式为：

在一些实施方式中，如图9和图10所示，所述将每一个非空子节点对应的变换系数作为逆变换输入系数进行加权三维哈尔逆变换的步骤包括：依次计算三个方向逆变换的权值：设定8个子节点第一方向逆变换的权值，统一称为W0，根据子节点对应空间范围内的点的个数设置该子节点权值W0，当子节点对应空间范围内没有点时，即为空子节点，设定其权值W0为0，对应有8个不同W0值；将8个子节点权值W0沿第一方向分成四对，依次计算每对权值W0的和作为对应的第二个方向逆变换的高频系数和低频系数的权值，统一称为W1，四对权值进行如上计算，输出四对不同的权值W1；将第二个方向逆变换的权值W1，沿第二方向分成四对，依次计算第三个方向逆变换的权值，统一称为W2，当参与计算的2个权值均不是来自空子节点，将两个权值W1的和值作为第三个方向逆变换的高频系数和低频系数的权值W2；当参与计算的2个权值有一个来自空子节点，同时其数值不为0，将两个权值W1的和值作为第三个方向逆变换高频系数的权值W2；当参与计算的2个权值都来自空子节点，同时其数值都不为0，则不计算输出权值，四对权值W1做了如上变换处理，输出最多8个第三方向的权值W2；进行第三方向逆变换：将所述点云码流解码得到的变换系数作为第三方向变换的输入系数，沿第三方向分组，当变换的一组有两个输入系数，根据权值W2沿第三方向进行加权一维哈尔逆变换，得到重建输出系数RDC2和RAC2；当变换的一组仅有一个输入变换系数且有两个权值W2，则设定重建输出系数RAC2为0，根据权值W2进行加权一维哈尔逆变换得到重建输出系数RDC2；当变换的一组仅有一个输入变换系数且只有一个权值W2，则设定重建输出系数RDC2等于该输入变换系数，最多有四次如上处理的逆变换，最多输出八个重建输出系数；进行第二方向逆变换：将第三方向逆变换得到的重建输出系数RDC2及RAC2作为第二方向变换的输入系数，沿第二方向分组,当变换的一组有两个输入系数，根据权值W1沿第二方向分别计算两个输入系数的加权差值与和值，得到重建输出系数RDC1和RAC1；当变换的一组仅有一个输入变换系数，则设定重建输出系数RAC1为0，根据权值W1进行加权一维哈尔逆变换得到重建输出系数RDC1；最多有四次如上处理的逆变换，输出八个重建输出系数，进行第一方向逆变换：将第二方向逆变换得到的输出重建系数RDC1及RAC1作为第一方向逆变换的输入系数，沿第一方向分成四组，每组有两个输入系数，分别根据权值W0沿第一方向进行加权一维哈尔逆变换，得到对应两个子节点的重建输出系数；有四次如上处理的逆变换，将第一方向逆变换得到的非空子节点对应的逆变换输出系数作为所述当前层的逆变换输出系数。

在一些实施方式中，节点内每个位置对应一个权值，权值为该位置处对应空间范围内的点云数据点的个数决定。针对点云分布的稀疏特性，本实施例将按照一下两种情况处理：情况一：八个变换位置，全部都含有数据点。我们可直接使用逆变换，将一个低频系数(DC3DC2DC1)和七个高频系数，逆变换为重建输入信号；情况二：八个变换位置，含有空的数据点，假设含有数据点的位置个数为N(0<N<8)。针对节点内没有点云数据点的位置，设定其初始权值为0，初始变换输入信号值为0。按照图4中的权值计算方法，可以得到A1，A2，A3变换是的对应权值。逆变换的权值与正变换是完全相同。同时，对于提前终止的变换系数，本实施例可以直接由其对应的低频系数重建输入信号值。

对于根节点内的逆变换，本实施例可以从码流中解码得到其对应的低频系数和多个高频系数，作为输入信号值。逆变换后，输入信号值会变换为第二层内每个非空节点的低频变换系数，被向下传递。

对于第二层内非空节点的逆变换，其输入信号值为从码流中解码得到的对应高频系数和根节点传递而来的低频系数。第二层内非空节点逆变换产生的输出信号值，会被传递到第三层，作为其对应非空子节点的低频变换系数。由此逐层向下，直到N-1层内所有非空节点变换结束停止。变换结束后，会得到一组点云属性值，即为重建点云属性值。

在一些实施方式中，所述对点云码流进行解码，得到点云变换系数的步骤包括：对所述点云码流进行熵解码，得到所述点云变换系数；或者，对所述点云码流进行熵解码，得到量化变换系数；对所述量化变换系数进行逆量化得到所述点云变换系数。

在一些实施方式中，针对颜色属性，本实施例的变换在YUV空间中有更高的性能，因此如果原始点云的颜色属性位于RGB空间中，则可以首先对属性值进行颜色空间转换，随后在YUV颜色空间中进行变换。相应的，在解码过程中，逆变换会产生YUV空间中的重建颜色属性值，所有需要逆颜色空间转换，得到在原始点云颜色空间(RGB颜色空间)的重建颜色属性值。

在一些实施方式中，由于现有变换方法普遍无法实现无损的属性解码，所以本实施例设计了解码残差处理模块来解决这个问题，所述解码残差处理模块在解码时，采用以下三种方式：对点云码流进行熵解码得到属性残差值；计算所述属性残差值与所述变换重建点云属性值的和值作为点云属性重建值；或者，对点云码流进行熵解码得到属性量化残差系数；对所述属性量化残差系数进行逆量化得到逆量化属性残差值；计算所述逆量化属性残差值、所述变换重建点云属性值的和值作为点云属性重建值；或者，对点云码流进行熵解码得到属性量化残差系数及属性量化残差余数；对所述属性量化残差系数进行逆量化得到逆量化属性残差值；计算所述属性量化残差余数、所述逆量化属性残差值、所述变换重建点云属性值的和值作为点云属性重建值。

具体来讲，如图9所示，本实施例首先利用逆变换方法对点云进行重建得到重建点云属性值，将重建点云属性值和量化残差系数码流作为输入数据传入解码残差处理模块。模块内，首先对量化残差系数码流进行熵解码，得到属性量化残差系数。接着对属性量化残差系数进行逆量化得到重建属性残差值，最后将重建属性残差值与重建点云属性值相加得到最终的点云属性解码结果。

对于无损条件(lossless)，可以用以下两种方法处理：方法一：针对已有的属性残差值码流，首先对其进行熵解码得到属性残差值，无需使用逆量化处理，直接将属性残差值与重建点云属性值相加得到最终的点云属性解码结果；方法二：针对已有的属性量化残差余数码流和属性量化残差系数码流，首先分别进行熵解码，得到属性量化残差余数和属性量化残差系数。接着对他们分别进行逆量化，得到重建属性残差余数和重建属性残差系数。最后将重建属性残差余数，重建属性残差系数和重建点云属性值相加得到最终的点云属性解码结果。

在一些实施方式中，对于颜色的解码，解码残差处理模块需要在原始点云的颜色空间中进行。如果逆变换产生的点云重建属性值与原始点云的属性值位于不同的颜色空间，例如，原始点云具有RGB颜色空间的属性值，而逆变换产生的为YUV颜色空间的属性值。则需要对逆变换产生的点云重建属性值进行颜色空间转换，转换到和原始点云相同的颜色空间中。

在一些实施方式中，还提供一种基于加权三维哈尔变换的点云属性解码设备，其中，包括处理器、存储器、编码模块和总线；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述总线实现处理器和存储器之间的连接通信；

所述处理器用于调用所述编码模块从而执行所述计算机可读程序时实现如本发明所述方法中的步骤。

进一步地，本发明基于PCEM软件v0.5版本，测试了本实施例方法与anchor对比的实验结果，结果如表1-表4所示。

表1为在有限有损几何、有损属性条件下的亮度、色度以及反射率的率失真数据对比表

表2为在无损几何、有损属性条件下的亮度、色度以及反射率的率失真数据对比表

表3为在无损几何、有限有损属性条件下的红(R)、绿(G)、蓝(B)三个颜色通道的颜色属性以及反射率的率失真数据对比表

表4为在无损几何、无损属性条件下的颜色及反射率的比特率数据对比表

从表1-4中的数据显示，相比测试平台PCEM的基准结果，在有限有损几何、有损属性条件，在无损几何、有损属性条件下，对于反射率属性，本发明的端到端属性率失真分别减少了2.2％，5.8％；对于亮度属性，本发明的端到端属性率失真分别减少了39.9％，51.9％；对于色度Cb属性，本发明的端到端属性率失真分别减少了78.5％，63.1％；对于色度Cr属性，本发明的端到端属性率失真分别减少了79.8％，68.8％；在无损几何、有限有损属性条件下，对于反射率属性，本发明的端到端豪斯多夫属性率失真减少了3.4％；对于红(R)、绿(G)、蓝(B)三个颜色通道的颜色属性，本发明的端到端豪斯多夫属性率失真都减少了29.9％；在无损几何、无损属性条件下，对于反射率属性，本发明的反射率比特率是基准结果的85.3％；对于颜色属性，本发明的颜色比特率是基准结果的92.5％。

综上所述，本发明针对点云数据的稀疏特性，提供了一种基于加权三维哈尔变换的点云属性编码方法及解码方法，根据三维哈尔变换的可拆分性，转化为对于三个方向的一维变换(A1，A2,A3)，每次变换的中间结果，可看作频域上的表达，因此设定频域上每一位的权值是相等的，即DC的权值等于AC的权值，本发明除了初始权值设定，不考虑未被数据点占据的位置对后续权值的影响，所述权值设定方法，需要计算更少次数的变换矩阵，可提升点云属性压缩的计算效率；本发明通过加权三维哈尔变换得到的高频系数利用了8个位置点的空间信息，去除8个位置上对应属性值的相关性，实现更有效的压缩。本发明将三维小波变换应用于点云的属性压缩中，本发明提供的基于加权三维哈尔变换的点云属性编码方法和解码方法解决了点云数据稀疏特性的问题，能够提升子节点之间属性相关性地利用，从而有效提高点云属性压缩性能。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种基于加权三维哈尔变换的点云属性编码方法，其特征在于，包括步骤：

将点云进行八叉树划分，构建N层八叉树结构；

针对所述N层八叉树结构的N-1层，将当前层节点的8个子节点属性值作为变换输入系数进行加权三维哈尔变换，将加权三维哈尔变换分解为三个方向的加权一维哈尔变换，在第二方向及第三方向变换中根据设定的计算规则计算相应的N-1层变换输出系数，至少包括一个低频系数，变换输出系数个数与当前层节点的非空子节点个数相同；

从所述N层八叉树结构的N-2层开始到根节点，将前一层变换输出的低频系数作为当前层节点的子节点变换输入系数进行加权三维哈尔变换，得到变换输出系数；

将根节点变换输出系数以及其它层变换输出高频系数作为所述点云变换输出系数。

2.根据权利要求1所述基于加权三维哈尔变换的点云属性编码方法，其特征在于，所述对当前节点的子节点属性值进行加权三维哈尔变换，得到N-1层变换输出系数的步骤包括：

进行第一方向变换：根据子节点对应空间范围内的点的个数设置子节点权值W0，当子节点对应空间范围内没有点时，即为空子节点，设定其权值W0为0，对应属性值为0；沿第一方向计算2个子节点的属性值的加权和值作为第一方向输出低频系数DC1，其计算公式为

其中a₁,a₂表示2个子节点的属性值，w0₁，w0₂表示2个子节点的权值，沿第一方向计算2个子节点的属性值的加权差值作为第一方向输出高频系数AC1，其计算公式为

计算2个子节点的权值的和作为DC1及AC1的权值W1；四对分组进行变换，输出四对不同的低频系数DC1、高频系数AC1及权值W1；

进行第二方向变换：将第一方向变换得到的输出系数DC1及AC1作为第二方向变换的输入系数，当变换的两个输入系数均不是来自空子节点，根据权值W1沿第二方向分别计算两个输入系数的加权和值与差值，得到输出系数DC2与AC2，计算两个输入系数的权值的和值作为DC2及AC2的权值W2；当变换的两个输入系数有一个来自空子节点，同时其权值不为0，则计算对应的输出系数DC2，并计算2个输入系数的权值的和作为DC2的权值W2；当两个输入系数都来自空子节点，同时其权值都不为0，则不计算输出任何系数；四对分组进行变换，输出低频系数DC2、高频系数AC2及权值W2；

进行第三方向变换：将第二方向变换得到的输出系数DC2及AC2作为第三方向变换的输入系数，沿第三方向分成四对分别进行变换，当变换的两个输入系数均不是来自空子节点，根据权值W2进行加权一维哈尔变换，得到一个低频系数及一个高频系数；当变换的两个输入系数有一个来自空子节点，则根据权值W2进行加权一维哈尔变换计算输出低频系数；当变换的两个系数都来自空子节点，则不计算输出任何系数；当仅有一个输入变换系数且不是来自空子节点，则将所述输入系数作为输出低频系数；当没有输入系数时，则不计算输出任何系数；四对分组进行变换，输出低频系数DC3及高频系数AC3，所述输出系数个数与当前节点的非空子节点个数相同；将第三方向变换输出系数作为当前层节点的变换输出系数。

3.根据权利要求1所述基于加权三维哈尔变换的点云属性编码方法，其特征在于，所述将根节点变换输出系数以及其它层变换输出高频系数作为所述点云变换输出系数之后，还包括步骤：

直接对所述点云变换输出系数进行熵编码，得到变换系数码流；

或者，对所述点云变换输出系数进行量化得到量化变换系数；对量化变换系数进行熵编码，得到量化变换系数码流。

4.根据权利要求1所述基于加权三维哈尔变换的点云属性编码方法，其特征在于，在进行加权三维哈尔变换之前，还包括步骤：

将RGB颜色空间的属性值转换为YUV空间的属性值。

5.根据权利要求1所述基于加权三维哈尔变换的点云属性编码方法，其特征在于，所述将根节点变换输出系数以及其它层变换输出高频系数作为所述点云变换输出系数之后，还包括步骤：

计算原始点云属性值与重建点云属性值的差值作为属性残差值，对所述属性残差值进行熵编码，得到残差点云码流；

或者，计算原始点云属性值与重建点云属性值的差值作为属性残差值；对所述属性残差值进行量化得到属性量化残差系数；对所述属性量化残差系数进行编码得到残差点云码流；

或者，计算原始点云属性值与重建点云属性值的差值作为属性残差值；对所述属性残差值进行量化得到属性量化残差系数；对所述属性量化残差系数进行编码得到残差点云码流；对属性量化残差余数进行编码。

6.一种基于加权三维哈尔变换的点云属性编码设备，其特征在于，包括处理器、存储器、编码模块和总线；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述总线实现处理器和存储器之间的连接通信；

所述处理器用于调用所述编码模块从而执行所述计算机可读程序时实现如权利要求1-5任意一项所述方法中的步骤。

7.一种基于加权三维哈尔变换的点云属性解码方法，其特征在于，包括步骤：

将点云进行八叉树划分，构建N层八叉树结构；

对点云码流进行解码，得到点云变换系数；

针对所述N层八叉树结构的第一层，将从码流中解码得到的变换系数，作为逆变换输入系数进行加权三维哈尔逆变换，将加权三维哈尔变换分解为三个方向的加权一维哈尔逆变换，在第二方向及第三方向变换中根据设定的计算规则计算相应的变换输出系数，将第一方向逆变换得到的非空子节点对应的逆变换输出系数作为所述当前层的逆变换输出系数；

从所述N层八叉树结构的第二层开始直到第N-1层，将从上一层父节点逆变换得到的重建输出系数和从码流中解码得到的变换系数，作为当前层节点的子节点逆变换输入系数进行加权三维哈尔逆变换，得到逆变换输出系数；

将N-1层的逆变换输出系数作为点云属性变换重建值。

8.根据权利要求7所述基于加权三维哈尔变换的点云属性解码方法，其特征在于，所述将每一个非空子节点对应的变换系数作为逆变换输入系数进行加权三维哈尔逆变换的步骤包括：

依次计算三个方向逆变换的权值：设定8个子节点第一方向逆变换的权值，统一称为W0，根据子节点对应空间范围内的点的个数设置该子节点权值W0，当子节点对应空间范围内没有点时，即为空子节点，设定其权值W0为0，对应有8个不同W0值；将8个子节点权值W0沿第一方向分成四对，依次计算每对权值W0的和作为对应的第二个方向逆变换的高频系数和低频系数的权值，统一称为W1，四对权值进行如上计算，输出四对不同的权值W1；将第二个方向逆变换的权值W1，沿第二方向分成四对，依次计算第三个方向逆变换的权值，统一称为W2，当参与计算的2个权值均不是来自空子节点，将两个权值W1的和值作为第三个方向逆变换的高频系数和低频系数的权值W2；当参与计算的2个权值有一个来自空子节点，同时其数值不为0，将两个权值W1的和值作为第三个方向逆变换高频系数的权值W2；当参与计算的2个权值都来自空子节点，同时其数值都不为0，则不计算输出权值，四对权值W1做了如上变换处理，输出最多8个第三方向的权值W2；

进行第三方向逆变换：将所述点云码流解码得到的变换系数作为第三方向变换的输入系数，沿第三方向分组，当变换的一组有两个输入系数，根据权值W2沿第三方向进行加权一维哈尔逆变换，得到重建输出系数RDC2和RAC2；当变换的一组仅有一个输入变换系数且有两个权值W2，则设定重建输出系数RAC2为0，根据权值W2进行加权一维哈尔逆变换得到重建输出系数RDC2；当变换的一组仅有一个输入变换系数且只有一个权值W2，则设定重建输出系数RDC2等于该输入变换系数，最多有四次如上处理的逆变换，最多输出八个重建输出系数，

进行第二方向逆变换：将第三方向逆变换得到的重建输出系数RDC2及RAC2作为第二方向变换的输入系数，沿第二方向分组,当变换的一组有两个输入系数，根据权值W1沿第二方向分别计算两个输入系数的加权差值与和值，得到重建输出系数RDC1和RAC1；当变换的一组仅有一个输入变换系数，则设定重建输出系数RAC1为0，根据权值W1进行加权一维哈尔逆变换得到重建输出系数RDC1；最多有四次如上处理的逆变换，输出八个重建输出系数，

进行第一方向逆变换：将第二方向逆变换得到的输出重建系数RDC1及RAC1作为第一方向逆变换的输入系数，沿第一方向分成四组，每组有两个输入系数，分别根据权值W0沿第一方向进行加权一维哈尔逆变换，得到对应两个子节点的重建输出系数；有四次如上处理的逆变换，将第一方向逆变换得到的非空子节点对应的逆变换输出系数作为所述当前层的逆变换输出系数。

9.根据权利要求7所述基于加权三维哈尔变换的点云属性解码方法，其特征在于，所述对点云码流进行解码，得到点云变换系数的步骤包括：

对所述点云码流进行熵解码，得到所述点云变换系数；

或者，对所述点云码流进行熵解码，得到量化变换系数；对所述量化变换系数进行逆量化得到所述点云变换系数。

10.根据权利要求7所述基于加权三维哈尔变换的点云属性解码方法，其特征在于，在进行加权三维哈尔逆变换之后还包括步骤：将YUV颜色空间的重建属性值转换为RGB空间的重建属性值。

11.根据权利要求7所述基于加权三维哈尔变换的点云属性解码方法，其特征在于，所述将N-1层的输出变换系数作为点云属性变换重建值之后，还包括步骤：

对点云码流进行熵解码得到属性残差值；计算所述属性残差值与所述变换重建点云属性值的和值作为点云属性重建值；

或者，对点云码流进行熵解码得到属性量化残差系数；对所述属性量化残差系数进行逆量化得到逆量化属性残差值；计算所述逆量化属性残差值、所述变换重建点云属性值的和值作为点云属性重建值；

或者，对点云码流进行熵解码得到属性量化残差系数及属性量化残差余数；对所述属性量化残差系数进行逆量化得到逆量化属性残差值；计算所述属性量化残差余数、所述逆量化属性残差值、所述变换重建点云属性值的和值作为点云属性重建值。

12.一种基于加权三维哈尔变换的点云属性解码设备，其特征在于，包括处理器、存储器、编码模块和总线；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述总线实现处理器和存储器之间的连接通信；

所述处理器用于调用所述编码模块从而执行所述计算机可读程序时实现如权利要求7-11任意一项所述方法中的步骤。

Images