CN111242997B - 一种基于滤波器的点云属性预测方法及设备 - Google Patents

Abstract

本发明提供了一种点云的属性预测方法及预测设备，包括编码和解码的方法、编码设备和解码设备。该方法包括：确定当前点的K个最近邻点；确定滤波器矩阵；根据所述滤波器矩阵确定所述当前点的属性预测值。由此，能够通过选取合适的滤波器，提高了点云属性的压缩性能。

Description

一种基于滤波器的点云属性预测方法及设备

技术领域

本发明涉及点云处理领域，尤其涉及一种基于滤波器的点云属性预测方法及设备。

背景技术

三维点云是现实世界数字化的重要表现形式。随着三维扫描设备(激光、雷达等)的快速发展，点云的精度、分辨率更高。高精度点云广泛应用于城市数字化地图的构建，在如智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、反射率等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来巨大挑战，所以点云压缩十分必要。

点云压缩主要分为几何压缩和属性压缩，目前由国际标准组织(Moving PictureExperts Group，MPEG)所提供的测试平台TMC13v8(Test Model for Category 1&3version8)中描述的点云属性压缩框架主要有：

一、基于渐近层次表达(Level of Detail，简称为LOD)的升降变换(LiftingTransform)策略：该方法首先用已按照莫顿码排序的点云构建LOD，即根据预设好的LOD层数，对已经排好序的点进行下采样，每采样一次后已经得到的点构成一层LOD，采样距离由大到小，直至整个LOD构建完成。然后以LOD顺序对点云中的点寻找近邻点，以所有近邻点属性值的加权平均作为属性预测值，其中每个近邻点的权重是当前点与该当前点的近邻点的几何坐标欧氏距离平方的倒数，最后用当前点的实际属性值减去属性预测值得到属性残差值。

二、基于LOD的预测变换(Predicting Transform)策略：本方法构建LOD的过程同上面，构建完LOD之后，按照K最近邻(K-NearestNeighbor，KNN)算法为每一个点寻找最多K个最近邻点，则共有K+1种预测模式，分别是：以第一个、第二个、……、第K个最近邻点的属性值作为预测参考值，以及以K个最近邻点的属性加权平均值作为预测参考值，其中每个最近邻点的权重是当前点与该当前点的最近邻点的几何坐标欧氏距离平方的倒数，然后对此K+1个预测参考值及对应模式计算率失真优化(RDO)代价值，将其中最小代价值的对应属性预测值作为当前点的属性预测值。

同时也有目前由中国AVS(Audio Video coding Standard)点云压缩工作组所提供的测试平台PCEM v0.1中描述的点云属性压缩方法主要采用基于莫顿顺序的点云预测方法，即将当前点云按照点云的位置信息进行莫顿排序，选取当前点莫顿顺序的前一个点的属性值作为当前点的属性预测值，最后用当前点的实际属性值减去属性预测值得到属性残差值。

但是，以上相关技术在找到邻点之后进行属性预测，没有考虑到邻点之间的点与点之前的位置关系，原始技术只是考虑到了邻居点与当前点的位置关系，所以我们提出了一种滤波器，不仅考虑到了邻居点与当前点的位置关系，也加入了邻点之间的点与点之前的位置关系。对于传统规则的二维图像压缩而言，其参考点一般是左上的像素点，利用已经编码好的某个像素值或者某个像素值的平均来做预测，但考虑到点云中点的分布是不规律且无序的，当pred模式选取最近邻居点的时候，我们无法保证在KNN选取最近点的时候，所有的邻居点都均匀的分布在当前点的周围(理想情况，如图1右图)。

如图1左图所示，当在这种情况下，利用average模式进行预测的时候，P1与P2点之前的属性相近，在利用空间距离进行加权求和得到预测值的时候，这两个点会占据主导的预测值，从而削弱了P1点的属性对当前点的影响，即当前点的预测值比较接近于P2与P3的值，而这样就没有充分利用各个邻居点的属性值来提高预测的准确性。

考虑到如上的情况，我们提出了一种基于邻居点之间的快速重上色的方法，该方法不仅考虑到了邻居点与当前点之前的几何关系，也考虑到了邻居点与邻居点之前的几何关系，使得我们的预测方案更加的有效

发明内容

本发明提出了一种基于滤波器的点云属性预测方法及设备，提高了点云属性的压缩性能。

本发明提供的技术方案描述如下：

根据本发明的一个方面，提供了一种点云属性预测方法，包括：确定当前点的K个最近邻点；确定滤波器矩阵；根据滤波器矩阵确定当前点的属性预测值。

根据本发明的再又另一方面，一种点云属性预测设备，包括处理器、存储器及通信总线；存储器上存储有可被处理器执行的计算机可读程序；通信总线实现处理器和存储器之间的连接通信；处理器执行计算机可读程序时实现如权利要求如上述一种点云属性预测方法的步骤。

与现有技术相比，本发明的有益效果是：

本发明的基于滤波器的点云属性预测方法及设备，提高了属性帧内预测的准确性，更好的利用点云序列的邻点对当前点的属性预测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是近邻点分布示意图。

图2是本发明提供的一种点云属性预测方法实施例的流程图。

图3是莫顿顺序排序示意图。

图4是测底线距离示意图。

图5是本发明的点云属性预测设备的示意图。

图6是本发明提供的另一种解码侧点云属性预测方法实施例的流程图。

图7是本发明提供的另一种编码侧点云属性预测方法实施例的流程图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

为了提高属性帧内预测的准确性，更好地利用点云序列的邻点对当前点的属性预测，本发明提出了一种基于滤波器的点云属性预测方法及设备，提高了点云属性的压缩性能。

本发明的点云属性预测方法，如图2所示，包括：步骤1，确定当前点的K个最近邻点；步骤2，确定滤波器矩阵；以及步骤3，根据滤波器矩阵确定当前点的属性预测值。

在步骤1中，使用方法一、或方法二、或方法三或方法四确定当前点的K个最近邻点。其中，

方法一：选取距离当前点L2范数条件下欧式距离最近的K个点作为当前点的K个最近邻点；

方法二：选取距离当前点L1范数条件下曼哈顿距离最近的K个点作为当前点的K个最近邻点；

方法三：选取距离当前点莫顿排序之后最近的K个点作为当前点的K个最近邻点；具体的，如图3所示，其中莫顿顺序具体表示为：设第k个点的坐标为(Xk,Yk,Zk)并表示成

第k个点对应的莫顿码可以表示如下：

用八进制数表示每三个比特，n＝0,1,…,N-1则第k个点对应的莫顿码可以表示成

寻找当前点莫顿排序之后的前K个点作为当前点的K个最近邻点。莫顿顺序的排序示意图如图1所示。

方法四：选取距离当前点测底线距离最近的K个点作为当前点的K个最近邻点；具体的，如图4所示，它沿着弯曲空间中最接近于直线的称之为测地线的轨迹运动，该距离称之为测底线距离，选取距离当前点最近的K个点作为当前点的K个最近邻点，测底线距离示意图如图2所示。

步骤2中，具体地，可以使用方法一、或方法二，或方法三确定滤波器矩阵，其中，

方法一：根据点云种类或者属性种类确定滤波器矩阵；

方法二：根据K个最近邻点之间的几何距离的加权计算，得到滤波器矩阵；

根据K个最近邻居之间的几何关系自动计算出当前点的滤波器。即设滤波器为预测公式为：/> 为当前点属性的预测值，为其3个最近邻点组成的属性矩阵，/>为其最近邻三个点的权重矩阵，计算公式为/>其中(δ_j)j∈N_i代表第j个邻居到当前点的距离，Ni代表近邻的个数，在这里假设为3。

令a＝f＝n为一设定的定值(0-1之间的数)，

或者/>

或者/>

或者/>

或者/>

或者/>

或者/>

其中，dist13＝dist31，dist12＝dist21，dist23＝dist32，distij代表第i个近邻点到第j个近邻点的距离。利用几何关系求得当前点云中当前点的滤波器。最终确定滤波器

方法三：根据K个最近邻点之间的几何距离的大小关系，确定滤波器矩阵。即设滤波器为预测公式为：/> 为当前点属性的预测值，/>为其3个最近邻点组成的属性矩阵，/>为其最近邻三个点的权重矩阵，计算公式为/>其中(δ_j)j∈N_i代表第j个邻居到当前点的距离，Ni代表近邻的个数，在这里假设为3。

令a＝f＝n为一设定的定值(0-1之间的数)，其中dist13＝dist31，dist12＝dist21，dist23＝dist32，dist_ij代表第i个近邻点到第j个近邻点的距离。根据距离的大小关系来选择参数，假设a＝f＝n＝F(F可以是0-1中的任意数)，比较距离的大小，

如果dist12＜dist13，设定b＝O(属于0-1之间)，c＝1-a-b，反之设定c＝O，b＝1-a-c。最终有a+b+c＝1。

同理如果dist21＜dist23，设定e＝P(属于0-1之间)，g＝1-f-e，反之设定g＝P，e＝1-f-g。最终有e+f+g＝1。

同理如果dist31＜dist32，设定l＝Q(属于0-1之间)，m＝1-n-l，反之设定设定m＝Q(属于0-1之间)，l＝1-n-m。最终有l+m+n＝1。

利用几何关系求得当前点云中当前点的滤波器。最终确定滤波器

在确定滤波器矩阵中，在编码侧，还包括，在设定的滤波器矩阵参数取值范围内依次选取滤波器矩阵参数数值，根据滤波器参数数值依次计算对应的码流大小和失真值，根据码流大小和失真值计算率失真值，选择最小率失真值对应的滤波器矩阵。在编码侧，还包括，方法一、或方法二、或方法三。

其中，方法一：直接将滤波器矩阵参数的值编入码流；

方法二：将滤波器矩阵参数的值减去一个固定值后编入码流；例如减去固定值0.125则有/>

方法三：将滤波器的索引值编入码流。

在确定滤波器矩阵中，如图5所示，在解码侧，包括使用方法一、或方法二、或方法三根据码流确定当前点的滤波器矩阵，其中，

方法一：根据点云属性码流，将直接解码出的滤波器矩阵作为当前点的滤波器矩阵；

方法二：根据点云属性码流，将直接解码出的滤波器矩阵参数加上一个固定值作为当前点的滤波器矩阵；例如加上固定值0.125则有

方法三：根据点云属性码流，根据解码出的滤波器索引值查找索引表获取的滤波器矩阵作为当前点的滤波器矩阵。

步骤3中，根据滤波器矩阵确定当前点的属性预测值，包括：

计算滤波器矩阵与当前点的K个最近邻点的属性值的乘积，得到K个最近邻点更新的属性值；计算K个最近邻点更新的属性值与加权向量相乘得到的加权和，作为当前点的属性预测值；或者

计算滤波矩阵与加权向量相乘得到的加权和，作为更新的加权向量；计算K个最近邻点的属性值与更新的加权向量相乘得到的加权和，作为当前点的属性预测值。

二者的计算公式如下：

当K取3时，

其中，为当前点的属性预测值，/>为滤波器矩阵，/>为当前点的3个最近邻点组成的属性矩阵，/>为当前点最近邻三个点的权重矩阵，计算公式为其中(δ_j)j∈N_i代表第j个邻居到当前点的距离，Ni代表近邻的个数，在这里假设为3。

以及根据滤波器矩阵确定当前点的属性预测值，在编码侧，如图6所示，还包括：

1)确定当前点的K个最近邻点的信息与当前点的信息的偏差值；具体地，使用包括方法一、或方法二、或方法三确定当前点的K个最近邻点的信息与当前点的信息的偏差值，其中，

方法一：计算当前点的K个最近邻点的质心坐标值，记为P_质心；P_当前点代表当前点的坐标值，计算当前点坐标值与质心坐标值之间的欧式距离，记为偏差值Y：

偏差值Y＝d|P_当前点-P_质心|

方法二：计算当前点的K个最近邻点两两之间的位置坐标P在各个方向上偏差的最大值或平均值，作为偏差值Y：

偏差值Y＝max(P_i-P_j)

or

偏差值Y＝average(P_i-P_j)

其中，1≤i≤K，1≤j≤K，i≠j。

方法三：计算当前点的K个最近邻点两两之间的属性C的偏差的最大值或平均值，作为偏差值Y：

偏差值Y＝max(C_i-C_j)

or

偏差值Y＝average(C_i-C_j)

其中，1≤i≤K，1≤j≤K，i≠j。

2)确定偏差阈值；包括使用方法一、或方法二确定偏差阈值，其中，

方法一：根据点云种类或者属性种类不同，对于一类特定的点云序列采用特定的阈值；

方法二：改变偏差阈值参数，在偏差阈值设定的范围内选取不同的阈值参数，计算不同阈值参数下的码流大小与失真值的和得到率失真值，选择最小率失真值对应的阈值参数作为偏差阈值。

3)在偏差值大于或等于偏差阈值时：将K个最近邻点的属性值分别作为属性预测值，及根据滤波器矩阵确定当前点的属性预测值，共K+1个属性预测值；根据K+1个属性预测值分别计算对应的K+1个残差值；根据K+1个残差值分别计算对应的K+1个码流大小和失真值；根据K+1个码流大小和失真值分别计算对应的K+1个率失真值；根据K+1个率失真值选择最小率失真值对应的属性预测值作为当前点的属性预测值；

或，在偏差值小于偏差阈值时，根据滤波器矩阵确定当前点的属性预测值。

根据滤波器矩阵确定当前点的属性预测值，还包括将当前点的属性预测值对应的属性预测模式编入码流。

以及根据滤波器矩阵确定当前点的属性预测值，在解码侧，还包括：根据点云属性码流，解出属性预测模式；根据属性预测模式确定当前点的属性预测值。

本发明的点云属性预测设备，如图7所示，包括处理器20、显示屏21、存储器22、通信接口23以及通信总线24；存储器22上存储有可被处理器执行的计算机可读程序；通信总线24实现处理器20和存储器22之间的连接通信；处理器20执行计算机可读程序时实现上述点云属性预测方法中的步骤，附图如图3所示。

为了验证本发明的效果，将本发明方法的实施例与测试平台TMC13v8的基准结果的性能进行对比。

实施例一：该方案采用的是基于KNN欧式距离找到最近邻居的三个点，对于颜色属性，采用的滤波器矩阵为阈值的选取采用近邻点属性信息的偏差，阈值选取为64，对于反射率属性，采用的滤波器矩阵为/>阈值的选取采用近邻点属性信息的偏差，阈值选取为64。

结果如表1和表2所示，其中，表1是在无损几何、无损属性条件(采用基于LOD的预测变换)下，本发明方法的实施例与MPEG(Moving Picture Experts Group)当下最新的基础平台TMC13v8的基准结果的性能对比图；表2是在有损几何、有损属性条件(采用基于LOD的预测变换)下，本发明方法的实施例与测试平台TMC13v8的基准结果的性能对比图；

表1无损几何，无损属性测试表格(对比当下最新的基础平台TMC13v8)

表2无损几何，有限损属性测试表格(对比当下最新的基础平台TMC13v8)

在无损几何、无损属性条件下，本发明的颜色码率只需要99.9％，本发明的反射率码率只需要99.9％(如表1所示)

对于亮度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了0.7％(如表2所示)；

对于色度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了0.7％(如表2所示)；

对于色度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了0.7％(如表2所示)；

对于反射率属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了0.4％(如表2所示)。

实施例二：该方案采用的是基于KNN欧式距离找到最近邻居的三个点，对于颜色属性，根据K个最近邻居之间的几何关系自动计算出当前点的滤波器。即设滤波器为令a＝f＝n＝0.6，其中dist13＝dist31，dist12＝dist21，dist23＝dist32，distij代表第i个近邻点到第j个近邻点的距离。根据距离的大小关系来选择参数，假设a＝f＝n＝F(F可以是0-1中的任意数)，比较距离的大小，

如果dist12＜dist13，设定b＝0.1，c＝0.3，反之设定c＝0.1，b＝0.3。

同理如果dist21＜dist23，设定e＝0.1，g＝0.3，反之设定g＝0.1，e＝0.3。

同理如果dist31＜dist32，设定l＝0.1，m＝0.3，反之设定m＝0.1，l＝0.3。阈值的选取采用近邻点属性信息的偏差，阈值选取为64。

表3无损几何，无损属性测试表格(对比当下最新的基础平台TMC13v8)

表4无损几何，有限损属性测试表格(对比当下最新的基础平台TMC13v8)

在无损几何、无损属性条件下，本发明的颜色码率只需要99.6％(如表3所示)。

对于亮度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了2.0％(如表4所示)；

对于色度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了2.0％(如表4所示)；

对于色度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了2.0％(如表4所示)；

以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种点云属性预测方法，其特征在于，包括：

确定当前点的K个最近邻点；

确定滤波器矩阵；

根据所述滤波器矩阵确定所述当前点的属性预测值；

其中，所述确定滤波器矩阵具体为：

根据所述K个最近邻点之间的几何距离的加权计算，得到所述滤波器矩阵，其中，K＝3时，包括：

根据所述K个最近邻点之间的几何距离的和值，计算得到所述滤波器矩阵，其中，K＝3时，包括

或者/>

或者/>

或者/>

或者/>

或者/>

或者/>

其中，dist_ij代表第i个近邻点到第j个近邻点的距离，a、b、c、e、f、g、l、m、n为滤波器矩阵中的矩阵元素；

或者，根据所述K个最近邻点之间的几何距离的大小关系，确定滤波器矩阵，其中，K＝3时，包括；

如果dist₁₂<dist₁₃，设定b＝O，c＝1-a-b，反之设定c＝O，b＝1-a-c；

如果dist₂₁<dist₂₃，设定e＝P，g＝1-f-e，反之设定g＝P，e＝1-f-g；

如果dist₃₁<dist₃₂，设定l＝Q，m＝1-n-l，反之设定m＝Q，l＝1-n-m；

其中，dist_ij代表第i个近邻点到第j个近邻点的距离，a、b、c、e、f、g、l、m、n为滤波器矩阵中的矩阵元素；

其中：O、P、Q是0-1任意数字或者正整数；i和j范围都为0-K，K为正整数。

2.根据权利要求1所述的点云属性预测方法，其特征在于，所述确定当前点的K个最近邻点，包括：

选取距离所述当前点L2范数条件下欧式距离最近的K个点作为所述当前点的K个最近邻点；

或者，选取距离所述当前点L1范数条件下曼哈顿距离最近的K个点作为所述当前点的K个最近邻点；

或者，选取距离所述当前点莫顿排序之后最近的K个点作为所述当前点的K个最近邻点；

或者，选取距离所述当前点测底线距离最近的K个点作为所述当前点的K个最近邻点。

3.根据权利要求1所述的点云属性预测方法，其特征在于，所述确定滤波器矩阵，在编码侧，包括，

在设定的滤波器矩阵参数取值范围内依次选取滤波器矩阵参数数值，根据所述滤波器参数数值依次计算对应的码流大小和失真值，根据所述码流大小和失真值计算率失真值，选择最小率失真值对应的滤波器矩阵。

4.根据权利要求3所述的点云属性预测方法，其特征在于，在编码侧，将滤波器矩阵编入码流，包括：

直接将所述滤波器矩阵参数的值编入码流；

或者，将所述滤波器矩阵参数的值减去一个固定值后编入码流；

或者，将所述滤波器的索引值编入码流。

5.根据权利要求1所述的点云属性预测方法，其特征在于，在解码侧，根据码流确定所述当前点的滤波器矩阵，包括：

根据点云属性码流，将直接解码出的滤波器矩阵作为所述当前点的滤波器矩阵；

或者，根据点云属性码流，将直接解码出的滤波器矩阵参数加上一个固定值作为所述当前点的滤波器矩阵；

或者，根据点云属性码流，根据解码出的滤波器索引值查找索引表获取的滤波器矩阵作为所述当前点的滤波器矩阵。

6.根据权利要求1所述的点云属性预测方法，其特征在于，所述根据所述滤波器矩阵确定所述当前点的属性预测值，在解码侧，还包括：

根据点云属性码流，解出属性预测模式；

根据所述属性预测模式确定所述当前点的属性预测值。

7.根据权利要求1所述的点云属性预测方法，其特征在于，所述根据所述滤波器矩阵确定所述当前点的属性预测值，包括：

计算所述滤波器矩阵与所述当前点的K个最近邻点的属性值的乘积，得到所述K个最近邻点更新的属性值；计算所述K个最近邻点更新的属性值与加权向量相乘得到的加权和，作为所述当前点的属性预测值；或者

计算所述滤波器矩阵与加权向量相乘得到的加权和，作为更新的加权向量；计算所述K个最近邻点的属性值与所述更新的加权向量相乘得到的加权和，作为所述当前点的属性预测值。

8.根据权利要求1所述的点云属性预测方法，其特征在于，所述根据所述滤波器矩阵确定所述当前点的属性预测值，在编码侧，包括：

确定所述当前点的K个最近邻点的信息与所述当前点的信息的偏差值；

确定偏差阈值；

在所述偏差值大于或等于所述偏差阈值时：将所述K个最近邻点的属性值分别作为属性预测值，及根据所述滤波器矩阵确定所述当前点的属性预测值，共K+1个属性预测值；根据所述K+1个属性预测值分别计算对应的K+1个残差值；根据所述K+1个残差值分别计算对应的K+1个码流大小和失真值；根据所述K+1个码流大小和失真值分别计算对应的K+1个率失真值；根据所述K+1个率失真值选择最小率失真值对应的属性预测值作为所述当前点的属性预测值；

或，

在所述偏差值小于所述偏差阈值时，根据所述滤波器矩阵确定所述当前点的属性预测值。

9.根据权利要求8所述的点云属性预测方法，其特征在于，确定所述当前点的K个最近邻点的信息与所述当前点的信息的偏差值，包括：

计算所述当前点的K个最近邻点的质心坐标值，计算所述当前点坐标值与所述质心坐标值之间的欧式距离，作为偏差值；

或者，计算所述当前点的K个最近邻点两两之间的位置坐标各个方向偏差的最大值或平均值，作为偏差值；

或者，计算所述当前点的K个最近邻点两两之间的属性偏差的最大值或平均值，作为偏差值。

10.根据权利要求8所述的点云属性预测方法，其特征在于，确定偏差阈值，包括：

根据点云种类或者属性种类不同，对于一类特定的点云序列采用特定的偏差阈值；

或者，改变偏差阈值参数，在偏差阈值设定的范围内选取不同的阈值参数，计算不同阈值参数下的码流大小与失真值的和得到率失真值，选择最小率失真值对应的阈值参数作为偏差阈值。

11.根据权利要求8所述的点云属性预测方法，其特征在于，所述根据所述滤波器矩阵确定所述当前点的属性预测值，还包括：

将所述当前点的属性预测值对应的属性预测模式编入码流。

12.一种点云属性预测设备，其特征在于，包括处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-11任一项所述的点云属性预测方法。