CN111242997A - 一种基于滤波器的点云属性预测方法及设备 - Google Patents

一种基于滤波器的点云属性预测方法及设备 Download PDF

Info

Publication number
CN111242997A
CN111242997A CN202010034025.9A CN202010034025A CN111242997A CN 111242997 A CN111242997 A CN 111242997A CN 202010034025 A CN202010034025 A CN 202010034025A CN 111242997 A CN111242997 A CN 111242997A
Authority
CN
China
Prior art keywords
attribute
value
current point
filter matrix
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010034025.9A
Other languages
English (en)
Other versions
CN111242997B (zh
Inventor
李革
马闯
王静
邵薏婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202010034025.9A priority Critical patent/CN111242997B/zh
Priority to US17/622,268 priority patent/US20220254057A1/en
Priority to PCT/CN2020/089592 priority patent/WO2021142985A1/zh
Publication of CN111242997A publication Critical patent/CN111242997A/zh
Application granted granted Critical
Publication of CN111242997B publication Critical patent/CN111242997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种点云的属性预测方法及预测设备，包括编码和解码的方法、编码设备和解码设备。该方法包括：确定当前点的K个最近邻点；确定滤波器矩阵；根据所述滤波器矩阵确定所述当前点的属性预测值。由此，能够通过选取合适的滤波器，提高了点云属性的压缩性能。

Description

一种基于滤波器的点云属性预测方法及设备
技术领域
本发明涉及点云处理领域，尤其涉及一种基于滤波器的点云属性预测方法及设备。
背景技术
三维点云是现实世界数字化的重要表现形式。随着三维扫描设备(激光、雷达等)的快速发展，点云的精度、分辨率更高。高精度点云广泛应用于城市数字化地图的构建，在如智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、反射率等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来巨大挑战，所以点云压缩十分必要。
点云压缩主要分为几何压缩和属性压缩，目前由国际标准组织(Moving PictureExperts Group，MPEG)所提供的测试平台TMC13v8(Test Model for Category 1&3version8)中描述的点云属性压缩框架主要有：
一、基于渐近层次表达(Level of Detail，简称为LOD)的升降变换(LiftingTransform)策略：该方法首先用已按照莫顿码排序的点云构建LOD，即根据预设好的LOD层数，对已经排好序的点进行下采样，每采样一次后已经得到的点构成一层LOD，采样距离由大到小，直至整个LOD构建完成。然后以LOD顺序对点云中的点寻找近邻点，以所有近邻点属性值的加权平均作为属性预测值，其中每个近邻点的权重是当前点与该当前点的近邻点的几何坐标欧氏距离平方的倒数，最后用当前点的实际属性值减去属性预测值得到属性残差值。
二、基于LOD的预测变换(Predicting Transform)策略：本方法构建LOD的过程同上面，构建完LOD之后，按照K最近邻(K-NearestNeighbor，KNN)算法为每一个点寻找最多K个最近邻点，则共有K+1种预测模式，分别是：以第一个、第二个、……、第K个最近邻点的属性值作为预测参考值，以及以K个最近邻点的属性加权平均值作为预测参考值，其中每个最近邻点的权重是当前点与该当前点的最近邻点的几何坐标欧氏距离平方的倒数，然后对此K+1个预测参考值及对应模式计算率失真优化(RDO)代价值，将其中最小代价值的对应属性预测值作为当前点的属性预测值。
同时也有目前由中国AVS(Audio Video coding Standard)点云压缩工作组所提供的测试平台PCEM v0.1中描述的点云属性压缩方法主要采用基于莫顿顺序的点云预测方法，即将当前点云按照点云的位置信息进行莫顿排序，选取当前点莫顿顺序的前一个点的属性值作为当前点的属性预测值，最后用当前点的实际属性值减去属性预测值得到属性残差值。
但是，以上相关技术在找到邻点之后进行属性预测，没有考虑到邻点之间的点与点之前的位置关系，原始技术只是考虑到了邻居点与当前点的位置关系，所以我们提出了一种滤波器，不仅考虑到了邻居点与当前点的位置关系，也加入了邻点之间的点与点之前的位置关系。对于传统规则的二维图像压缩而言，其参考点一般是左上的像素点，利用已经编码好的某个像素值或者某个像素值的平均来做预测，但考虑到点云中点的分布是不规律且无序的，当pred模式选取最近邻居点的时候，我们无法保证在KNN选取最近点的时候，所有的邻居点都均匀的分布在当前点的周围(理想情况，如图1右图)。
如图1左图所示，当在这种情况下，利用average模式进行预测的时候，P1与P2点之前的属性相近，在利用空间距离进行加权求和得到预测值的时候，这两个点会占据主导的预测值，从而削弱了P1点的属性对当前点的影响，即当前点的预测值比较接近于P2与P3的值，而这样就没有充分利用各个邻居点的属性值来提高预测的准确性。
考虑到如上的情况，我们提出了一种基于邻居点之间的快速重上色的方法，该方法不仅考虑到了邻居点与当前点之前的几何关系，也考虑到了邻居点与邻居点之前的几何关系，使得我们的预测方案更加的有效
发明内容
本发明提出了一种基于滤波器的点云属性预测方法及设备，提高了点云属性的压缩性能。
本发明提供的技术方案描述如下：
根据本发明的一个方面，提供了一种点云属性预测方法，包括：确定当前点的K个最近邻点；确定滤波器矩阵；根据滤波器矩阵确定当前点的属性预测值。
根据本发明的再又另一方面，一种点云属性预测设备，包括处理器、存储器及通信总线；存储器上存储有可被处理器执行的计算机可读程序；通信总线实现处理器和存储器之间的连接通信；处理器执行计算机可读程序时实现如权利要求如上述一种点云属性预测方法的步骤。
与现有技术相比，本发明的有益效果是：
本发明的基于滤波器的点云属性预测方法及设备，提高了属性帧内预测的准确性，更好的利用点云序列的邻点对当前点的属性预测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是近邻点分布示意图。
图2是本发明提供的一种点云属性预测方法实施例的流程图。
图3是莫顿顺序排序示意图。
图4是测底线距离示意图。
图5是本发明的点云属性预测设备的示意图。
图6是本发明提供的另一种解码侧点云属性预测方法实施例的流程图。
图7是本发明提供的另一种编码侧点云属性预测方法实施例的流程图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
为了提高属性帧内预测的准确性，更好地利用点云序列的邻点对当前点的属性预测，本发明提出了一种基于滤波器的点云属性预测方法及设备，提高了点云属性的压缩性能。
本发明的点云属性预测方法，如图2所示，包括：步骤1，确定当前点的K个最近邻点；步骤2，确定滤波器矩阵；以及步骤3，根据滤波器矩阵确定当前点的属性预测值。
在步骤1中，使用方法一、或方法二、或方法三或方法四确定当前点的K个最近邻点。其中，
方法一：选取距离当前点L2范数条件下欧式距离最近的K个点作为当前点的K个最近邻点；
方法二：选取距离当前点L1范数条件下曼哈顿距离最近的K个点作为当前点的K个最近邻点；
方法三：选取距离当前点莫顿排序之后最近的K个点作为当前点的K个最近邻点；具体的，如图3所示，其中莫顿顺序具体表示为：设第k个点的坐标为(Xk,Yk,Zk)并表示成
Figure BDA0002365384590000041
Figure BDA0002365384590000042
Figure BDA0002365384590000043
第k个点对应的莫顿码可以表示如下：
Figure BDA0002365384590000044
用八进制数表示每三个比特，
Figure BDA0002365384590000045
则第k个点对应的莫顿码可以表示成
Figure BDA0002365384590000046
寻找当前点莫顿排序之后的前K个点作为当前点的K个最近邻点。莫顿顺序的排序示意图如图1所示。
方法四：选取距离当前点测底线距离最近的K个点作为当前点的K个最近邻点；具体的，如图4所示，它沿着弯曲空间中最接近于直线的称之为测地线的轨迹运动，该距离称之为测底线距离，选取距离当前点最近的K个点作为当前点的K个最近邻点，测底线距离示意图如图2所示。
步骤2中，具体地，可以使用方法一、或方法二，或方法三确定滤波器矩阵，其中，
方法一：根据点云种类或者属性种类确定滤波器矩阵；
方法二：根据K个最近邻点之间的几何距离的加权计算，得到滤波器矩阵；
根据K个最近邻居之间的几何关系自动计算出当前点的滤波器。即设滤波器为
Figure BDA0002365384590000051
预测公式为：
Figure BDA0002365384590000052
为当前点属性的预测值，
Figure BDA0002365384590000053
为其3个最近邻点组成的属性矩阵，
Figure BDA0002365384590000054
为其最近邻三个点的权重矩阵，计算公式为
Figure BDA0002365384590000055
其中
Figure BDA0002365384590000056
代表第j个邻居到当前点的距离，Ni代表近邻的个数，在这里假设为3。
令a＝f＝n为一设定的定值(0-1之间的数)，
Figure BDA0002365384590000057
或者
Figure BDA0002365384590000058
Figure BDA0002365384590000059
或者
Figure BDA00023653845900000510
Figure BDA00023653845900000511
或者
Figure BDA00023653845900000512
Figure BDA00023653845900000513
或者
Figure BDA00023653845900000514
Figure BDA00023653845900000515
或者
Figure BDA00023653845900000516
Figure BDA00023653845900000517
或者
Figure BDA00023653845900000518
其中，dist13＝dist31，dist12＝dist21，dist23＝dist32，distij代表第i个近邻点到第j个近邻点的距离。利用几何关系求得当前点云中当前点的滤波器。最终确定滤波器
Figure BDA0002365384590000061
方法三：根据K个最近邻点之间的几何距离的大小关系，确定滤波器矩阵。
即设滤波器为
Figure BDA0002365384590000062
预测公式为：
Figure BDA0002365384590000063
Figure BDA0002365384590000064
为当前点属性的预测值，
Figure BDA0002365384590000065
为其3个最近邻点组成的属性矩阵，
Figure BDA0002365384590000066
为其最近邻三个点的权重矩阵，计算公式为
Figure BDA0002365384590000067
其中
Figure BDA0002365384590000068
代表第j个邻居到当前点的距离，Ni代表近邻的个数，在这里假设为3。
令a＝f＝n为一设定的定值(0-1之间的数)，其中dist13＝dist31，dist12＝dist21，dist23＝dist32，distij代表第i个近邻点到第j个近邻点的距离。根据距离的大小关系来选择参数，假设a＝f＝m＝F(F可以是0-1中的任意数)，比较距离的大小，
如果dist12＜dist13，设定b＝O(属于0-1之间)，c＝1-a-b，反之设定c＝O，b＝1-a-c。最终有a+b+c＝1。
同理如果dist21＜dist23，设定e＝P(属于0-1之间)，g＝1-f-e，反之设定g＝P，e＝1-f-g。最终有e+f+g＝1。
同理如果dist31＜dist32，设定l＝Q(属于0-1之间)，m＝1-n-1，反之设定设定m＝Q(属于0-1之间)，1＝1-n-m。最终有l+m+n＝1。
利用几何关系求得当前点云中当前点的滤波器。最终确定滤波器
Figure BDA0002365384590000069
在确定滤波器矩阵中，在编码侧，还包括，在设定的滤波器矩阵参数取值范围内依次选取滤波器矩阵参数数值，根据滤波器参数数值依次计算对应的码流大小和失真值，根据码流大小和失真值计算率失真值，选择最小率失真值对应的滤波器矩阵。在编码侧，还包括，方法一、或方法二、或方法三。
其中，方法一：直接将滤波器矩阵参数的值编入码流；
方法二：将滤波器矩阵参数的值减去一个固定值后编入码流；例如
Figure BDA0002365384590000071
减去固定值0.125则有
Figure BDA0002365384590000072
方法三：将滤波器的索引值编入码流。
在确定滤波器矩阵中，如图5所示，在解码侧，包括使用方法一、或方法二、或方法三根据码流确定当前点的滤波器矩阵，其中，
方法一：根据点云属性码流，将直接解码出的滤波器矩阵作为当前点的滤波器矩阵；
方法二：根据点云属性码流，将直接解码出的滤波器矩阵参数加上一个固定值作为当前点的滤波器矩阵；例如
Figure BDA0002365384590000073
加上固定值0.125则有
Figure BDA0002365384590000074
方法三：根据点云属性码流，根据解码出的滤波器索引值查找索引表获取的滤波器矩阵作为当前点的滤波器矩阵。
步骤3中，根据滤波器矩阵确定当前点的属性预测值，包括：
计算滤波器矩阵与当前点的K个最近邻点的属性值的乘积，得到K个最近邻点更新的属性值；计算K个最近邻点更新的属性值与加权向量相乘得到的加权和，作为当前点的属性预测值；或者
计算滤波矩阵与加权向量相乘得到的加权和，作为更新的加权向量；计算K个最近邻点的属性值与更新的加权向量相乘得到的加权和，作为当前点的属性预测值。
二者的计算公式如下：
当K取3时，
Figure BDA0002365384590000081
其中，
Figure BDA0002365384590000082
为当前点的属性预测值，
Figure BDA0002365384590000083
为滤波器矩阵，
Figure BDA0002365384590000084
为当前点的3个最近邻点组成的属性矩阵，
Figure BDA0002365384590000085
为当前点最近邻三个点的权重矩阵，计算公式为
Figure BDA0002365384590000086
其中
Figure BDA0002365384590000087
代表第j个邻居到当前点的距离，Ni代表近邻的个数，在这里假设为3。
以及根据滤波器矩阵确定当前点的属性预测值，在编码侧，如图6所示，还包括：
1)确定当前点的K个最近邻点的信息与当前点的信息的偏差值；具体地，使用包括方法一、或方法二、或方法三确定当前点的K个最近邻点的信息与当前点的信息的偏差值，其中，
方法一：计算当前点的K个最近邻点的质心坐标值，记为P质心；P当前点代表当前点的坐标值，计算当前点坐标值与质心坐标值之间的欧式距离，记为偏差值Y：
偏差值Y＝d|P当前点-P质心|
方法二：计算当前点的K个最近邻点两两之间的位置坐标P在各个方向上偏差的最大值或平均值，作为偏差值Y：
偏差值Y＝max(Pi-Pj)
or
偏差值Y＝average(Pi-Pj)
其中，1≤i≤K，1≤j≤K，i≠j。
方法三：计算当前点的K个最近邻点两两之间的属性C的偏差的最大值或平均值，作为偏差值Y：
偏差值Y＝max(Ci-Cj)
or
偏差值Y＝average(Ci-Cj)
其中，1≤i≤K，1≤j≤K，i≠j。
2)确定偏差阈值；包括使用方法一、或方法二确定偏差阈值，其中，
方法一：根据点云种类或者属性种类不同，对于一类特定的点云序列采用特定的阈值；
方法二：改变偏差阈值参数，在偏差阈值设定的范围内选取不同的阈值参数，计算不同阈值参数下的码流大小与失真值的和得到率失真值，选择最小率失真值对应的阈值参数作为偏差阈值。
3)在偏差值大于或等于偏差阈值时：将K个最近邻点的属性值分别作为属性预测值，及根据滤波器矩阵确定当前点的属性预测值，共K+1个属性预测值；根据K+1个属性预测值分别计算对应的K+1个残差值；根据K+1个残差值分别计算对应的K+1个码流大小和失真值；根据K+1个码流大小和失真值分别计算对应的K+1个率失真值；根据K+1个率失真值选择最小率失真值对应的属性预测值作为当前点的属性预测值；
或，在偏差值小于偏差阈值时，根据滤波器矩阵确定当前点的属性预测值。
根据滤波器矩阵确定当前点的属性预测值，还包括将当前点的属性预测值对应的属性预测模式编入码流。
以及根据滤波器矩阵确定当前点的属性预测值，在解码侧，还包括：根据点云属性码流，解出属性预测模式；根据属性预测模式确定当前点的属性预测值。
本发明的点云属性预测设备，如图7所示，包括处理器20、显示屏21、存储器22、通信接口23以及通信总线24；存储器22上存储有可被处理器执行的计算机可读程序；通信总线24实现处理器20和存储器22之间的连接通信；处理器20执行计算机可读程序时实现上述点云属性预测方法中的步骤，附图如图3所示。
为了验证本发明的效果，将本发明方法的实施例与测试平台TMC13v8的基准结果的性能进行对比。
实施例一：该方案采用的是基于KNN欧式距离找到最近邻居的三个点，对于颜色属性，采用的滤波器矩阵为
Figure BDA0002365384590000101
阈值的选取采用近邻点属性信息的偏差，阈值选取为64，对于反射率属性，采用的滤波器矩阵为
Figure BDA0002365384590000102
阈值的选取采用近邻点属性信息的偏差，阈值选取为64。
结果如表1和表2所示，其中，表1是在无损几何、无损属性条件(采用基于LOD的预测变换)下，本发明方法的实施例与MPEG(Moving Picture Experts Group)当下最新的基础平台TMC13v8的基准结果的性能对比图；表2是在有损几何、有损属性条件(采用基于LOD的预测变换)下，本发明方法的实施例与测试平台TMC13v8的基准结果的性能对比图；
表1无损几何，无损属性测试表格(对比当下最新的基础平台TMC13v8)
Figure BDA0002365384590000103
表2无损几何，有限损属性测试表格(对比当下最新的基础平台TMC13v8)
Figure BDA0002365384590000104
在无损几何、无损属性条件下，本发明的颜色码率只需要99.9％，本发明的反射率码率只需要99.9％(如表1所示)
对于亮度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了0.7％(如表2所示)；
对于色度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了0.7％(如表2所示)；
对于色度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了0.7％(如表2所示)；
对于反射率属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了0.4％(如表2所示)。
实施例二：该方案采用的是基于KNN欧式距离找到最近邻居的三个点，对于颜色属性，根据K个最近邻居之间的几何关系自动计算出当前点的滤波器。即设滤波器为
Figure BDA0002365384590000111
令a＝f＝n＝0.6，其中dist13＝dist31，
dist12＝dist21，dist23＝dist32，distij代表第i个近邻点到第j个近邻点的距离。根据距离的大小关系来选择参数，假设a＝f＝m＝F(F可以是0-1中的任意数)，比较距离的大小，
如果dist12＜dist13，设定b＝0.1，c＝0.3，反之设定c＝0.1，b＝0.3。
同理如果dist21＜dist23，设定e＝0.1，g＝0.3，反之设定g＝0.1，e＝0.3。
同理如果dist31＜dist32，设定l＝0.1，m＝0.3，反之设定设定m＝0.1，1＝0.3。阈值的选取采用近邻点属性信息的偏差，阈值选取为64。
表3无损几何，无损属性测试表格(对比当下最新的基础平台TMC13v8)
Figure BDA0002365384590000112
表4无损几何，有限损属性测试表格(对比当下最新的基础平台TMC13v8)
Figure BDA0002365384590000113
在无损几何、无损属性条件下，本发明的颜色码率只需要99.6％(如表3所示)。
对于亮度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了2.0％(如表4所示)；
对于色度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了2.0％(如表4所示)；
对于色度属性，在无损几何、有限损属性条件下，本发明的端到端率失真节约了2.0％(如表4所示)；
以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种点云属性预测方法，其特征在于，包括：
确定当前点的K个最近邻点；
确定滤波器矩阵；
根据所述滤波器矩阵确定所述当前点的属性预测值。
2.根据权利要求1所述的点云属性预测方法，其特征在于，使用方法一、或方法二、或方法三或方法四确定当前点的K个最近邻点，其中，
方法一：选取距离所述当前点L2范数条件下欧式距离最近的K个点作为所述当前点的K个最近邻点；
方法二：选取距离所述当前点L1范数条件下曼哈顿距离最近的K个点作为所述当前点的K个最近邻点；
方法三：选取距离所述当前点莫顿排序之后最近的K个点作为所述当前点的K个最近邻点；
方法四：选取距离所述当前点测底线距离最近的K个点作为所述当前点的K个最近邻点。
3.根据权利要求1所述的点云属性预测方法，其特征在于，使用方法一、或方法二、或方法三确定滤波器矩阵，其中，
方法一：根据所述点云种类或者属性种类确定滤波器矩阵；
方法二：根据所述K个最近邻点之间的几何距离的加权计算，得到所述滤波器矩阵；
方法三：根据所述K个最近邻点之间的几何距离的大小关系，确定滤波器矩阵。
4.根据权利要求1所述的点云属性预测方法，其特征在于，所述确定滤波器矩阵，在编码侧，包括，
在设定的滤波器矩阵参数取值范围内依次选取滤波器矩阵参数数值，根据所述滤波器参数数值依次计算对应的码流大小和失真值，根据所述码流大小和失真值计算率失真值，选择最小率失真值对应的滤波器矩阵。
5.根据权利要求4所述的点云属性预测方法，其特征在于，在编码侧，还包括通过方法一、或方法二、或方法三将滤波器矩阵编入码流，其中，
方法一：直接将所述滤波器矩阵参数的值编入码流；
方法二：将所述滤波器矩阵参数的值减去一个固定值后编入码流；
方法三：将所述滤波器的索引值编入码流。
6.根据权利要求1所述的点云属性预测方法，其特征在于，在解码侧，包括通过方法一、或方法二、或方法三，根据码流确定所述当前点的滤波器矩阵，其中，
方法一：根据点云属性码流，将直接解码出的滤波器矩阵作为所述当前点的滤波器矩阵；
方法二：根据点云属性码流，将直接解码出的滤波器矩阵参数加上一个固定值作为所述当前点的滤波器矩阵；
方法三：根据点云属性码流，根据解码出的滤波器索引值查找索引表获取的滤波器矩阵作为所述当前点的滤波器矩阵。
7.根据权利要求1所述的点云属性预测方法，其特征在于，所述根据所述滤波器矩阵确定所述当前点的属性预测值，包括：
计算所述滤波器矩阵与所述当前点的K个最近邻点的属性值的乘积，得到所述K个最近邻点更新的属性值；计算所述K个最近邻点更新的属性值与加权向量相乘得到的加权和，作为所述当前点的属性预测值；或者
计算所述滤波矩阵与加权向量相乘得到的加权和，作为更新的加权向量；计算所述K个最近邻点的属性值与所述更新的加权向量相乘得到的加权和，作为所述当前点的属性预测值。
8.根据权利要求1所述的点云属性预测方法，其特征在于，所述根据所述滤波器矩阵确定所述当前点的属性预测值，在编码侧，包括：
确定所述当前点的K个最近邻点的信息与所述当前点的信息的偏差值；
确定偏差阈值；
在所述偏差值大于或等于所述偏差阈值时：将所述K个最近邻点的属性值分别作为属性预测值，及根据所述滤波器矩阵确定所述当前点的属性预测值，共K+1个属性预测值；根据所述K+1个属性预测值分别计算对应的K+1个残差值；根据所述K+1个残差值分别计算对应的K+1个码流大小和失真值；根据所述K+1个码流大小和失真值分别计算对应的K+1个率失真值；根据所述K+1个率失真值选择最小率失真值对应的属性预测值作为所述当前点的属性预测值；
或，
在所述偏差值小于所述偏差阈值时，根据所述滤波器矩阵确定所述当前点的属性预测值。
9.根据权利要求8所述的点云属性预测方法，其特征在于，通过方法一、或方法二、或方法三确定所述当前点的K个最近邻点的信息与所述当前点的信息的偏差值，其中，
方法一：计算所述当前点的K个最近邻点的质心坐标值，计算所述当前点坐标值与所述质心坐标值之间的欧式距离，作为偏差值；
方法二：计算所述当前点的K个最近邻点两两之间的位置坐标各个方向偏差的最大值或平均值，作为偏差值；
方法三：计算所述当前点的K个最近邻点两两之间的属性偏差的最大值或平均值，作为偏差值。
10.根据权利要求8所述的点云属性预测方法，其特征在于，使用方法一或方法二确定偏差阈值，其中，
方法一：根据点云种类或者属性种类不同，对于一类特定的点云序列采用特定的偏差阈值；
方法二：改变偏差阈值参数，在偏差阈值设定的范围内选取不同的阈值参数，计算不同阈值参数下的码流大小与失真值的和得到率失真值，选择最小率失真值对应的阈值参数作为偏差阈值。
11.根据权利要求8所述的点云属性预测方法，其特征在于，所述根据所述滤波器矩阵确定所述当前点的属性预测值，还包括：
将所述当前点的属性预测值对应的属性预测模式编入码流。
12.根据权利要求6所述的点云属性预测方法，其特征在于，所述根据所述滤波器矩阵确定所述当前点的属性预测值，在解码侧，还包括：
根据点云属性码流，解出属性预测模式；
根据所述属性预测模式确定所述当前点的属性预测值。
13.一种点云属性预测设备，其特征在于，包括处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-12任一项所述的点云属性预测方法中的步骤。
CN202010034025.9A 2020-01-13 2020-01-13 一种基于滤波器的点云属性预测方法及设备 Active CN111242997B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010034025.9A CN111242997B (zh) 2020-01-13 2020-01-13 一种基于滤波器的点云属性预测方法及设备
US17/622,268 US20220254057A1 (en) 2020-01-13 2020-05-11 Point cloud attribute prediction method and device based on filter
PCT/CN2020/089592 WO2021142985A1 (zh) 2020-01-13 2020-05-11 一种基于滤波器的点云属性预测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010034025.9A CN111242997B (zh) 2020-01-13 2020-01-13 一种基于滤波器的点云属性预测方法及设备

Publications (2)

Publication Number Publication Date
CN111242997A true CN111242997A (zh) 2020-06-05
CN111242997B CN111242997B (zh) 2023-11-10

Family

ID=70874544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010034025.9A Active CN111242997B (zh) 2020-01-13 2020-01-13 一种基于滤波器的点云属性预测方法及设备

Country Status (3)

Country Link
US (1) US20220254057A1 (zh)
CN (1) CN111242997B (zh)
WO (1) WO2021142985A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953998A (zh) * 2020-08-16 2020-11-17 西安电子科技大学 基于dct变换的点云属性编码及解码方法、装置及系统
CN113096198A (zh) * 2021-03-01 2021-07-09 中山大学 一种双向点云属性预测压缩方法，装置，设备及介质
CN113784125A (zh) * 2021-08-19 2021-12-10 北京易智能科技有限公司 一种点云属性预测方法及其设备
WO2022061786A1 (zh) * 2020-09-25 2022-03-31 Oppo广东移动通信有限公司 点云编码方法及相关装置
WO2022067775A1 (zh) * 2020-09-30 2022-04-07 Oppo广东移动通信有限公司 点云的编码、解码方法、编码器、解码器以及编解码系统
CN114598892A (zh) * 2020-12-07 2022-06-07 腾讯科技（深圳）有限公司 点云数据编码方法、解码方法、装置、设备及存储介质
WO2022120594A1 (zh) * 2020-12-08 2022-06-16 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机存储介质
WO2022133755A1 (zh) * 2020-12-22 2022-06-30 Oppo广东移动通信有限公司 点云的解码方法、编码方法、解码器以及编码器
CN115086716A (zh) * 2021-03-12 2022-09-20 腾讯科技（深圳）有限公司 点云中邻居点的选择方法、装置及编解码器
WO2022257528A1 (zh) * 2021-06-11 2022-12-15 腾讯科技（深圳）有限公司 点云属性的预测方法、装置及相关设备
WO2023015530A1 (zh) * 2021-08-12 2023-02-16 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机可读存储介质
WO2023093785A1 (en) * 2021-11-24 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
WO2023123471A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2024077548A1 (zh) * 2022-10-13 2024-04-18 Oppo广东移动通信有限公司 点云解码方法、点云编码方法、解码器和编码器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548460A (zh) * 2016-10-20 2017-03-29 天津大学 拉普拉斯检测与局部相似性彩色图像脉冲噪声滤波方法
CN107038717A (zh) * 2017-04-14 2017-08-11 东南大学 一种基于立体栅格自动分析3d点云配准误差的方法
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
US20170347100A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US20190313110A1 (en) * 2018-04-10 2019-10-10 Apple Inc. Point cloud compression
CN110418135A (zh) * 2019-08-05 2019-11-05 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
CN110572655A (zh) * 2019-09-30 2019-12-13 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3393126A4 (en) * 2016-02-16 2019-04-17 Samsung Electronics Co., Ltd. INTRA PREDICTION METHOD FOR REDUCING INTRA PREDICTION ERRORS AND DEVICE THEREFOR
US10229533B2 (en) * 2016-11-03 2019-03-12 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for fast resampling method and apparatus for point cloud data
US10897269B2 (en) * 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10699444B2 (en) * 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
CN109859114B (zh) * 2018-12-27 2020-10-16 北京大学 基于局域平滑性和非局域相似性的三维点云修复方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347100A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
CN106548460A (zh) * 2016-10-20 2017-03-29 天津大学 拉普拉斯检测与局部相似性彩色图像脉冲噪声滤波方法
CN107038717A (zh) * 2017-04-14 2017-08-11 东南大学 一种基于立体栅格自动分析3d点云配准误差的方法
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
US20190313110A1 (en) * 2018-04-10 2019-10-10 Apple Inc. Point cloud compression
CN110418135A (zh) * 2019-08-05 2019-11-05 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
CN110572655A (zh) * 2019-09-30 2019-12-13 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEBASTIAN SCHWARZ ET AL: "Emerging MPEG Standards for Point Cloud Compression", pages 133 - 136 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953998A (zh) * 2020-08-16 2020-11-17 西安电子科技大学 基于dct变换的点云属性编码及解码方法、装置及系统
WO2022061786A1 (zh) * 2020-09-25 2022-03-31 Oppo广东移动通信有限公司 点云编码方法及相关装置
WO2022067775A1 (zh) * 2020-09-30 2022-04-07 Oppo广东移动通信有限公司 点云的编码、解码方法、编码器、解码器以及编解码系统
CN114598892B (zh) * 2020-12-07 2024-01-30 腾讯科技（深圳）有限公司 点云数据编码方法、解码方法、装置、设备及存储介质
CN114598892A (zh) * 2020-12-07 2022-06-07 腾讯科技（深圳）有限公司 点云数据编码方法、解码方法、装置、设备及存储介质
EP4262201A4 (en) * 2020-12-08 2024-02-14 Guangdong Oppo Mobile Telecommunications Corp Ltd POINT CLOUD ENCODING METHOD, POINT CLOUD DECODING METHOD, ENCODER, DECODER AND COMPUTER STORAGE MEDIUM
WO2022120594A1 (zh) * 2020-12-08 2022-06-16 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机存储介质
WO2022133755A1 (zh) * 2020-12-22 2022-06-30 Oppo广东移动通信有限公司 点云的解码方法、编码方法、解码器以及编码器
CN113096198B (zh) * 2021-03-01 2022-08-30 中山大学 一种双向点云属性预测压缩方法，装置，设备及介质
CN113096198A (zh) * 2021-03-01 2021-07-09 中山大学 一种双向点云属性预测压缩方法，装置，设备及介质
CN115086716A (zh) * 2021-03-12 2022-09-20 腾讯科技（深圳）有限公司 点云中邻居点的选择方法、装置及编解码器
CN115086716B (zh) * 2021-03-12 2023-09-08 腾讯科技（深圳）有限公司 点云中邻居点的选择方法、装置及编解码器
WO2022257528A1 (zh) * 2021-06-11 2022-12-15 腾讯科技（深圳）有限公司 点云属性的预测方法、装置及相关设备
WO2023015530A1 (zh) * 2021-08-12 2023-02-16 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机可读存储介质
CN113784125A (zh) * 2021-08-19 2021-12-10 北京易智能科技有限公司 一种点云属性预测方法及其设备
WO2023093785A1 (en) * 2021-11-24 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
WO2023123471A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2024077548A1 (zh) * 2022-10-13 2024-04-18 Oppo广东移动通信有限公司 点云解码方法、点云编码方法、解码器和编码器

Also Published As

Publication number Publication date
CN111242997B (zh) 2023-11-10
US20220254057A1 (en) 2022-08-11
WO2021142985A1 (zh) 2021-07-22

Similar Documents

Publication Publication Date Title
CN111242997A (zh) 一种基于滤波器的点云属性预测方法及设备
CN110572655B (zh) 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN110418135B (zh) 一种基于邻居的权重优化的点云帧内预测方法及设备
US20210258617A1 (en) Hierarchical Point Cloud Compression
CN111145090B (zh) 一种点云属性编码方法、解码方法、编码设备及解码设备
US20210082152A1 (en) Point Cloud Compression Using Fixed-Point Numbers
CN104244007B (zh) 一种图像编码方法和装置及解码方法和装置
CN111405281A (zh) 一种点云属性信息的编码方法、解码方法、存储介质及终端设备
WO2018010492A1 (zh) 视频编码中帧内预测模式的快速决策方法
CN113272866A (zh) 使用用于细节级别生成的空间填充曲线的点云压缩
KR20200039757A (ko) 포인트 클라우드 압축
WO2014190468A1 (en) Video encoder for images
US20230247191A1 (en) Method and apparatus for encoding/decoding images
US11838499B2 (en) Encoding/decoding method and apparatus for coding unit partitioning
KR20210016054A (ko) 영상 부호화/복호화 방법 및 장치
CN115118977B (zh) 针对360度视频的帧内预测编码方法、系统及介质
CN111741297A (zh) 帧间预测方法、视频编码方法及其相关装置
CN111988605B (zh) 模式选择方法、装置、计算机可读存储介质及电子设备
CN113473153B (zh) 一种点云属性预测方法、编码方法、解码方法及其设备
CN109982079B (zh) 一种结合纹理空间相关性的帧内预测模式选择方法
JP7453236B2 (ja) 画像符号化／復号化方法及び装置
CN112689145B (zh) 一种vvc帧内编码的快速帧内模式选择方法
Yao et al. A fast wedgelet partitioning for depth map prediction in 3D-HEVC
Mao et al. A fast intra prediction algorithm based on wmse for 360-degree video
CN116074537A (zh) 编码方法、解码方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant