CN110418135B - 一种基于邻居的权重优化的点云帧内预测方法及设备 - Google Patents
一种基于邻居的权重优化的点云帧内预测方法及设备 Download PDFInfo
- Publication number
- CN110418135B CN110418135B CN201910717002.5A CN201910717002A CN110418135B CN 110418135 B CN110418135 B CN 110418135B CN 201910717002 A CN201910717002 A CN 201910717002A CN 110418135 B CN110418135 B CN 110418135B
- Authority
- CN
- China
- Prior art keywords
- point
- current point
- nearest neighbor
- attribute
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000013139 quantization Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 abstract description 22
- 230000006835 compression Effects 0.000 abstract description 22
- 238000005070 sampling Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 210000005266 circulating tumour cell Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供了一种基于邻居的权重优化的点云帧内预测及设备，该方法是在点云的属性压缩做帧内预测时，基于点云在x、y、z三个方向上分布的密集程度差异，对点云中的点所参考的邻居的权重进行优化的方案，具体是在计算邻居的权重时对距离在x、y、z三个方向上的分量的系数进行优化。本发明能够通过加强对点云整体几何信息的利用，提高帧内预测的准确性，然后再对预测残差进行变换、量化和熵编码处理，以达到更好的点云属性压缩性能。
Description
技术领域
本发明属于点云压缩领域，涉及点云数据压缩方法，尤其涉及一种基于邻居的权重优化的点云帧内预测方法及设备。
背景技术
三维点云是现实世界数字化的重要表现形式。随着三维扫描设备(激光、雷达等)的快速发展，点云的精度、分辨率更高。高精度点云广泛应用于城市数字化地图的构建，在如智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、反射率等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来巨大挑战，所以点云压缩十分必要。
点云压缩主要分为几何压缩和属性压缩，目前由国际标准组织(Moving PictureExperts Group，简称为MPEG)所提供的测试平台TMC13v6(Test Model for Category 1&3version 6)中描述的点云属性压缩框架主要有：
一、基于渐近层次表达(Level of Detail，简称为LOD)的升降变换(LiftingTransform)策略：该方法首先用已按照莫顿码排序的点云构建LOD，即根据预设好的LOD层数，对已经排好序的点进行下采样，每采样一次后已经得到的点构成一层LOD，采样距离由大到小，直至整个LOD构建完成。然后以LOD顺序对点云中的点寻找邻居，以所有邻居的加权平均作为预测值，其中每个邻居的权重是欧氏距离平方的倒数，最后并用当前点的实际值减去预测值得到残差值，用本层LOD点的残差值更新下一层LOD的点的权重，完成了Lifting操作。
二、基于LOD的帧内预测模式决策方法：本方法构建LOD的过程同上面所述，构建完LOD之后，按照K最近邻(K-NearestNeighbor，KNN)算法为每一个点寻找最多K个邻居，则共有K+1种预测模式，分别是：以第一个、第二个、……、第K个邻居作为预测参考值，以及以K个邻居的加权平均作为预测参考值。然后做率失真优化(RDO)，确定最终选择哪种预测模式作为当前点的帧内预测参考值。
三、基于区域自适应层次变换RAHT(Region-Adaptive Hierarchical Transform)的点云属性压缩方法：此方法主要在于使用了一种新的变换算法。不同于传统的离散余弦变换DCT(Discrete Cosine Transform)，RAHT对由八叉树生成的块内属性值进行三个维度(x、y、z)上的合并操作，每合并一次生成一组高频系数和一组低频系数，直至合并至根节点为止，最终需要编码和传输的信号为所有高频系数和最后在根节点处生成的一个低频系数。
发明内容
针对上述基于渐近层次表达(Level of Detail，简称为LOD)的升降变化策略(Lifting Transform)的属性编码方案，为了提高属性帧内预测的准确性，更好地利用空间位置关系所反映在属性上的相关度，根据点云中的点在x、y、z三个方向上分布的密集程度，本发明提出一种基于帧内预测模式，在计算邻居的权重时对距离在x、y、z三个方向上的分量的系数进行优化的方法，从而提高点云属性的压缩性能。
本发明提供的技术方案描述如下：
根据本发明的一方面，本发明提供了一种基于邻居的权重优化的点云帧内预测方法，包括：在编码端执行步骤1)至5)，其中：步骤1)：遍历点云中的点，将它们分别加入所属LOD中；步骤2)：确定当前点的K个最近邻点；步骤3)：根据所述当前点的坐标和所述K个最近邻点的坐标，计算所述当前点的每个最近邻点的优化权重；步骤4)：利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值；步骤5)：根据所述当前点的属性预测值进行编码处理；以及在解码端执行步骤6)至步骤10)，其中：步骤6)～步骤9)同步骤1)～步骤4)；步骤10)：重建点云属性，根据所述当前点的属性预测值进行解码处理。
优选的，在上述方法中，所述步骤2)包括：根据点云中的点到所述当前点的空间欧式距离大小确定所述当前点的K个最近邻点。
优选的，在上述方法中，所述步骤3)中对于获取所述K个最近邻点中的一个的优化权重的方法，包括：计算所述当前点与该最近邻点在x、y、z三个坐标分量上的差值，并分别求平方，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差，分别乘上相应的系数α、β、γ，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，其中α、β、γ均为常数，默认值为1、1、1；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，三者求和得到所述当前点与该最近邻点的加权距离平方；对于所述当前点与该最近邻点的加权距离平方求倒数，得到该最近邻点的优化权重。
优选的，在上述方法中，所述步骤4)，包括：获得所述当前点的K个最近邻点中的每个最近邻点的优化权重和属性重构值；对于所述当前点的K个最近邻点中的每个最近邻点的优化权重，都除以K个最近邻点的优化权重的和，得到所述当前点的K个最近邻点的相对权重；对于所述当前点的K个最近邻点中的每个最近邻点的相对权重和属性重构值，一一对应相乘，K个乘积再求和，得到所述当前点的属性预测值。
优选的，在上述方法中，其中所述步骤5)根据所述当前点的属性预测值进行编码处理，包括：计算所述当前点的属性值与属性预测值之间的差值确定当前点的预测残差值；对所述预测残差值进行编码，经过变换、量化、熵编码，得到码流。
优选的，在上述方法中，所述步骤10)根据所述当前点的属性预测值进行解码处理，包括：对码流进行熵解码、反量化、反变换，得到所述当前点的预测残差值；根据所述当前点的属性预测值与预测残差值的和确定所述当前点的属性值。
根据本发明的另一方面，还提供了一种用于点云帧内预测的设备，包括点云编码设备和点云解码设备，其中，所述点云编码设备包括：第一确定模块，用于根据点云中的点到所述当前点的空间欧式距离大小确定当前点的K个最近邻点；第二确定模块，用于根据所述当前点的坐标和所述K个最近邻点的坐标，计算所述当前点的每个最近邻点的优化权重；第三确定模块，用于利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值；编码模块，用于根据所述当前点的属性预测值进行编码处理；以及所述点云解码设备，包括：第一确定模块，用于确定当前点的K个最近邻点；第二确定模块，用于根据所述当前点的坐标和所述K个最近邻点的坐标，计算所述当前点的每个最近邻点的优化权重；第三确定模块，用于利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值；解码模块，用于根据所述当前点的属性预测值进行解码处理。
优选的，在上述设备中，所述第二确定模块具体用于对所述当前点的所有K个最近邻点求优化权重，其中，对于获取所述K个最近邻点中的一个的优化权重，包括：计算所述当前点与该最近邻点在x、y、z三个坐标分量上的差值，并分别求平方，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差，分别乘上相应的系数α、β、γ，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，其中α、β、γ均为常数，默认值为1、1、1，可以人为修改设定；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，三者求和得到所述当前点与该最近邻点的加权距离平方；对于所述当前点与该最近邻点的加权距离平方求倒数，得到该最近邻点的优化权重。
优选的，在上述设备中，所述第三确定模块具体用于：获得所述当前点的K个最近邻点中的每个最近邻点的优化权重和属性重构值；对于所述当前点的K个最近邻点中的每个最近邻点的优化权重，都除以K个最近邻点的优化权重的和，得到所述当前点的K个最近邻点的相对权重；对于所述当前点的K个最近邻点中的每个最近邻点的相对权重和属性重构值，一一对应相乘，K个乘积再求和，得到所述当前点的属性预测值。
优选的，在上述设备中，其中，所述编码模块具体用于：计算所述当前点的属性值与属性预测值之间的差值确定当前点的预测残差值和对所述预测残差值进行编码，经过变换、量化、熵编码，得到码流；以及所述解码模块具体用于：对码流进行熵解码、反量化、反变换，得到所述当前点的预测残差值；根据所述当前点的属性预测值与预测残差值的和确定所述当前点的属性值。
本发明的有益效果：
本发明提供了一种基于邻居的权重优化的点云帧内预测及设备，该方法是在点云的属性压缩做帧内预测时，基于点云在x、y、z三个方向上分布的密集程度差异，对点云中的点所参考的邻居的权重进行优化的方案，具体是在计算邻居的权重时对距离在x、y、z三个方向上的分量的系数进行优化。本发明能够通过加强对点云整体几何信息的利用，提高帧内预测的准确性，然后再对预测残差进行变换、量化和熵编码处理，以达到更好的点云属性压缩性能。
附图说明
图1是实施例的属性压缩编码端的流程示意图。
图2是实施例的属性压缩解码端的流程示意图。
图3A是在无损几何、有损属性条件下，实施例与测试平台TMC13v6的基准结果的性能对比图。
图3B是在有损几何、有损属性条件下，实施例与测试平台TMC13v6的基准结果的性能对比图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明的基于邻居的权重优化的点云帧内预测方法，在点云属性压缩模块中在计算邻居的权重时对x、y、z三个方向上的分量的系数进行优化，基于点云的帧内预测，更好地捕捉点云整体的几何信息，使得帧内预测更加准确，提高点云属性的压缩性能。
本发明的基于邻居的权重优化的点云帧内预测方法包括以下步骤A和B：
A.在编码端执行步骤(1)至(5)，包括：
(1)构建LOD：遍历点云(PointCloud)中的点，将它们分别加入所属LOD中。具体构建过程为：按照莫顿码顺序点云中所有的点进行排序，即根据预设好的LOD层数，对已经排好序的点进行下采样，每采样一次后已经得到的点构成一层LOD，采样距离由大到小，直至整个LOD构建完成，得到LOD排序后的点云，表示为点云LOD。
(2)寻找邻居：确定当前点的K个最近邻点，其包括根据点云中的点到所述当前点的空间欧式距离大小确定所述当前点的K个最近邻点。具体地，按照点云LOD中点的顺序，遍历整个点云空间，处理当前点时，为当前点O在其之前已处理的点集中根据欧氏距离寻找K个最近邻点(邻居)。
(3)计算邻居的权重：根据所述当前点的坐标和所述K个最近邻点的坐标，计算所述当前点的每个最近邻点的优化权重，具体地，设定当前点的几何位置是(x，y，z)，K个邻居中的每个邻居的几何位置为(xi，yi，zi)i＝1，2，...K，则每个邻居的权重为
其中α、β、γ是x、y、z三个方向上的系数，需要根据数据集本身的特点人为设定。
以一个最近邻点为例，计算所述当前点与该最近邻点在x、y、z三个坐标分量上的差值，并分别求平方，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差，分别乘上相应的系数α、β、γ，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，其中α、β、γ均为常数，默认值为1、1、1，可以人为修改设定；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，三者求和得到所述当前点与该最近邻点的加权距离平方；对于所述当前点与该最近邻点的加权距离平方求倒数，得到该最近邻点的优化权重；对于所述当前点的所有K个最近邻点求上述的优化权重。
(4)计算属性预测值：利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值，包括：获得所述当前点的K个最近邻点中的每个最近邻点的优化权重和属性重构值；对于所述当前点的K个最近邻点中的每个最近邻点的优化权重，都除以K个最近邻点的优化权重的和，得到所述当前点的K个最近邻点的相对权重；对于所述当前点的K个最近邻点中的每个最近邻点的相对权重和属性重构值，一一对应相乘，K个乘积再求和，得到所述当前点的属性预测值。
具体地，每个邻居的重构后的属性值为
每个邻居的权重为wi，则当前点的属性预测值
(5)点云属性压缩码流的生成：根据所述当前点的属性预测值进行编码处理，包括：计算所述当前点的属性值与属性预测值之间的差值确定当前点的预测残差值；对所述预测残差值进行编码，经过变换、量化、熵编码，得到码流。
具体地，计算点云属性残差值，然后对残差进行变换、量化和熵编码，得到点云属性码流，即点云属性的压缩码流。
B.在解码端执行步骤(6)至(10)，包括：
(6)构建LOD：同步骤(1)；
(7)寻找邻居：同步骤(2)；
(8)计算邻居的权重：同步骤(3)；
(9)计算属性预测值：同步骤(4)；
(10)重建点云属性：根据所述当前点的属性预测值进行解码处理，包括对码流进行熵解码、反量化、反变换，得到所述当前点的预测残差值；根据所述当前点的属性预测值与预测残差值的和确定所述当前点的属性值。
本发明方法涉及的设备，包括点云编码设备和点云解码设备：
其中，点云编码设备包括：
第一确定模块，用于确定当前点的K个最近邻点，具体用于：根据点云中的点到所述当前点的空间欧式距离大小确定所述当前点的K个最近邻点。
第二确定模块，用于根据所述当前点的坐标和所述K个最近邻点的坐标，计算所述当前点的每个最近邻点的优化权重；具体用于：以一个最近邻点为例，计算所述当前点与该最近邻点在x、y、z三个坐标分量上的差值，并分别求平方，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差，分别乘上相应的系数α、β、γ，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，其中α、β、γ均为常数，默认值为1、1、1，可以人为修改设定；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，三者求和得到所述当前点与该最近邻点的加权距离平方；对于所述当前点与该最近邻点的加权距离平方求倒数，得到该最近邻点的优化权重；对于所述当前点的所有K个最近邻点求上述的优化权重。
第三确定模块，用于利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值；具体用于：获得所述当前点的K个最近邻点中的每个最近邻点的优化权重和属性重构值；对于所述当前点的K个最近邻点中的每个最近邻点的优化权重，都除以K个最近邻点的优化权重的和，得到所述当前点的K个最近邻点的相对权重；对于所述当前点的K个最近邻点中的每个最近邻点的相对权重和属性重构值，一一对应相乘，K个乘积再求和，得到所述当前点的属性预测值。
编码模块，用于根据所述当前点的属性预测值进行编码处理。具体用于：计算所述当前点的属性值与属性预测值之间的差值确定当前点的预测残差值；对所述预测残差值进行编码，经过变换、量化、熵编码，得到码流。
其中，点云解码设备，包括：
第一确定模块，用于确定当前点的K个最近邻点；具体用于：根据点云中的点到所述当前点的空间欧式距离大小确定所述当前点的K个最近邻点。
第二确定模块，用于根据所述当前点的坐标和所述K个最近邻点的坐标，计算所述当前点的每个最近邻点的优化权重；所述第二确定模块具体用于：以一个最近邻点为例，计算所述当前点与该最近邻点在x、y、z三个坐标分量上的差值，并分别求平方，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差，分别乘上相应的系数α、β、γ，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，其中α、β、γ均为常数，默认值为1、1、1，可以人为修改设定；对于所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，三者求和得到所述当前点与该最近邻点的加权距离平方；对于所述当前点与该最近邻点的加权距离平方求倒数，得到该最近邻点的优化权重
第三确定模块，用于利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值；所述第三确定模块具体用于：获得所述当前点的K个最近邻点中的每个最近邻点的优化权重和属性重构值；对于所述当前点的K个最近邻点中的每个最近邻点的优化权重，都除以K个最近邻点的优化权重的和，得到所述当前点的K个最近邻点的相对权重；对于所述当前点的K个最近邻点中的每个最近邻点的相对权重和属性重构值，一一对应相乘，K个乘积再求和，得到所述当前点的属性预测值。
解码模块，用于根据所述当前点的属性预测值进行解码处理。具体用于：对码流进行熵解码、反量化、反变换，得到所述当前点的预测残差值；根据所述当前点的属性预测值与预测残差值的和确定所述当前点的属性值。
具体实施步骤描述如下：
在编码端执行步骤(1)至(5)，如图1所示为实施例的属性压缩编码器的结构示意图：
(1)构建LOD：配置文件中规定名称为Ford_01_vox1mm-0100.ply的点云文件的LOD层数为8。
第一次遍历时，对整个点云进行下采样，构成集合O0，则LOD0＝O0，剩余的点被放入R0中；
第二次遍历时，对R0进行下采样得到的点构成集合O1，则LOD1＝LOD0∪O1，剩余的点被放入R1中；
……
第七次遍历时，从R5进行下采样得到的点构成集合O6，则LOD6＝LOD5∪O6，剩余的点构成O7，LOD7＝LOD6∪O7。
这样，就完成了点云Ford_01_vox1mm-0100.ply的8层LOD构建，生成LOD排序后的点云，表示为点云LOD。
(2)寻找邻居：对于点云LOD中的每个点，配置文件中规定点云Ford_01_vox1mm-0100.ply的K近邻数量最多为3。在当前点之前的点中寻找邻居，以欧氏距离最近的3个点作为当前点的邻居。
如果当前点是点云LOD中的第一个点，则它没有邻居；如果当前点是点云LOD中的第二个点，则它最多找到一个邻居；同理第三个点最多找到两个邻居，第四个点最多找到三个邻居及之后的点均能找全三个邻居。
(3)计算每个邻居的权重：引入α、β、γ，计算邻居的权重，当前点的几何位置是(x，y，z)，三邻居中的每个邻居的几何位置为(xi，yi，zi)i＝1，2，3，人为设定x、y、z三个方向上的系数为α＝1、β＝1、γ＝3则每个邻居的权重为
(4)计算属性预测值：每个邻居的重构后的属性值为
每个邻居的权重为wi，则当前点的属性预测值
其中重构属性是通过已经计算得到的属性预测值进行反量化、反变换得到的。
(5)点云属性压缩码流的生成：计算点云属性残差值，然后对残差进行变换、量化和熵编码，得到点云属性的压缩码流。
在解码端执行步骤(6)至(10)，如图2所示为实施例的属性压缩解码器的结构示意图：
(6)构建LOD：同步骤(1)；
(7)寻找邻居：同步骤(2)；
(8)计算邻居的权重：同步骤(3)；
(9)计算属性预测值:同步骤(4)；
(10)重建点云属性：解析点云属性码流，得到当前点的属性值，随后进行反量化、反变换操作，得到当前点的残差，将残差值与预测值相加，得到点云属性重建值。
为了验证本发明的效果，本发明按照TMC13v6提供的标准测试条件(Common TestCondition，简称为CTC)在第三类数据集上测试了在点云属性压缩模块中在计算邻居的权重时对距离在x、y、z三个方向上的分量的系数进行优化之后的效果，结果如图3所示。
图3A和图3B是适用于“基于LOD的升降变化策略(Lifting Transform)”的在实验结果，图3A的实验条件是无损几何、有损属性，图3B的实验条件是有损几何、有损属性。
从图3A和图3B可以看出，在两种CTC下，本发明的方法均能取得增益：对于反射率属性，在无损几何，有损属和有损几何，有损属性两个条件下分别获得了5.8％和5.5％的率失真增益；对于颜色属性，在无损几何，有损属条件下获得了0.4％到1.3％的率失真增益，在有损几何，有损属性条件下获得了1.9％到3.0％的率失真增益。
本发明提供了一种在点云的属性压缩做帧内预测时，基于点云在x、y、z三个方向上分布的密集程度差异，对点云中的点所参考的邻居的权重进行优化的方案，根据点云中的点在x、y、z三个方向上分布的密集程度这一数据集自身特点，人为设定系数，进而得到更好帧内属性预测值，提高压缩性能。具体是在计算邻居的权重时对距离在x、y、z三个方向上的分量的系数进行优化。本发明能够通过加强对点云整体几何信息的利用，提高帧内预测的准确性，然后再对预测残差进行变换、量化和熵编码处理，以达到更好的点云属性压缩性能。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (9)
1.一种基于邻居的权重优化的点云帧内预测方法，其特征在于，包括：
确定当前点的K个最近邻点；
根据所述当前点的坐标和所述K个最近邻点的坐标，在计算邻居的权重时对距离在x、y、z三个方向上的分量的系数进行优化，分别乘上相应的系数α、β、γ，计算所述当前点的每个最近邻点的优化权重；
利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值；
所述根据所述当前点的坐标和所述K个最近邻点的坐标，在计算邻居的权重时对距离在x、y、z三个方向上的分量的系数进行优化，分别乘上相应的系数α、β、γ，计算所述当前点的每个最近邻点的优化权重，包括：
计算所述当前点与该最近邻点在x、y、z三个坐标分量上的差值，并分别求平方，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差；
对于所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差，分别乘上相应的系数α、β、γ，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差；
对于所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，三者求和得到所述当前点与该最近邻点的加权距离平方；
对于所述当前点与该最近邻点的加权距离平方求倒数，得到该最近邻点的优化权重。
2.根据权利要求1所述的方法，其特征在于，所述确定当前点的K个最近邻点，包括：
根据点云中的点到所述当前点的空间欧式距离大小确定所述当前点的K个最近邻点。
3.根据权利要求1所述的方法，其特征在于，所述利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值，包括：
获得所述当前点的K个最近邻点中的每个最近邻点的优化权重和属性重构值；
对于所述当前点的K个最近邻点中的每个最近邻点的优化权重，都除以K个最近邻点的优化权重的和，得到所述当前点的K个最近邻点的相对权重；
对于所述当前点的K个最近邻点中的每个最近邻点的相对权重和属性重构值，一一对应相乘，K个乘积再求和，得到所述当前点的属性预测值。
4.根据权利要求1所述的方法，其特征在于，还包括：根据所述当前点的属性预测值进行编码处理，具体是：
计算所述当前点的属性值与属性预测值之间的差值确定当前点的预测残差值；
对所述预测残差值进行编码，经过变换、量化、熵编码，得到码流。
5.根据权利要求1所述的方法，其特征在于，还包括：根据所述当前点的属性预测值进行解码处理，具体是：
对码流进行熵解码、反量化、反变换，得到所述当前点的预测残差值；
根据所述当前点的属性预测值与预测残差值的和确定所述当前点的属性值。
6.一种用于点云帧内预测的设备，其特征在于，包括：
第一确定模块，用于确定当前点的K个最近邻点；
第二确定模块，用于根据所述当前点的坐标和所述K个最近邻点的坐标，在计算邻居的权重时对距离在x、y、z三个方向上的分量的系数进行优化，分别乘上相应的系数α、β、γ，计算所述当前点的每个最近邻点的优化权重；
第三确定模块，用于利用所述当前点的K个最近邻点的优化权重，对K个最近邻点的重构属性值进行加权求和，计算所述当前点的属性预测值；
所述第二确定模块具体用于对所述当前点的所有K个最近邻点求优化权重，其中，对于获取所述K个最近邻点中的一个的优化权重，包括：
计算所述当前点与该最近邻点在x、y、z三个坐标分量上的差值，并分别求平方，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差；
对于所述当前点与该最近邻点在x、y、z三个坐标分量上的平方差，分别乘上相应的系数α、β、γ，得到所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差；
对于所述当前点与该最近邻点在x、y、z三个坐标分量上的加权平方差，三者求和得到所述当前点与该最近邻点的加权距离平方；对于所述当前点与该最近邻点的加权距离平方求倒数，得到该最近邻点的优化权重。
7.根据权利要求6所述的设备，其特征在于，所述第三确定模块具体用于：
获得所述当前点的K个最近邻点中的每个最近邻点的优化权重和属性重构值；
对于所述当前点的K个最近邻点中的每个最近邻点的优化权重，都除以K个最近邻点的优化权重的和，得到所述当前点的K个最近邻点的相对权重；
对于所述当前点的K个最近邻点中的每个最近邻点的相对权重和属性重构值，一一对应相乘，K个乘积再求和，得到所述当前点的属性预测值。
8.根据权利要求6所述的设备，其特征在于，还包括编码模块，所述编码模块具体用于：
计算所述当前点的属性值与属性预测值之间的差值确定当前点的预测残差值；
对所述预测残差值进行编码，经过变换、量化、熵编码，得到码流。
9.根据权利要求6所述的设备，其特征在于，还包括解码模块，所述解码模块具体用于：
对码流进行熵解码、反量化、反变换，得到所述当前点的预测残差值；
根据所述当前点的属性预测值与预测残差值的和确定所述当前点的属性值。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910717002.5A CN110418135B (zh) | 2019-08-05 | 2019-08-05 | 一种基于邻居的权重优化的点云帧内预测方法及设备 |
| US17/631,333 US20230196625A1 (en) | 2019-08-05 | 2019-09-11 | Point cloud intra prediction method and device based on weights optimization of neighbors |
| PCT/CN2019/105308 WO2021022621A1 (zh) | 2019-08-05 | 2019-09-11 | 一种基于邻居的权重优化的点云帧内预测方法及设备 |
| PCT/CN2020/107021 WO2021023206A1 (zh) | 2019-08-05 | 2020-08-05 | 基于邻居权重优化的点云属性预测、编码和解码方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910717002.5A CN110418135B (zh) | 2019-08-05 | 2019-08-05 | 一种基于邻居的权重优化的点云帧内预测方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110418135A CN110418135A (zh) | 2019-11-05 |
| CN110418135B true CN110418135B (zh) | 2022-05-27 |
Family
ID=68365801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910717002.5A Active CN110418135B (zh) | 2019-08-05 | 2019-08-05 | 一种基于邻居的权重优化的点云帧内预测方法及设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230196625A1 (zh) |
| CN (1) | CN110418135B (zh) |
| WO (1) | WO2021022621A1 (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021023206A1 (zh) * | 2019-08-05 | 2021-02-11 | 北京大学深圳研究生院 | 基于邻居权重优化的点云属性预测、编码和解码方法及设备 |
| WO2021108969A1 (zh) * | 2019-12-02 | 2021-06-10 | Oppo广东移动通信有限公司 | 属性信息的预测方法、编码器、解码器、及存储介质 |
| CN112995758B (zh) * | 2019-12-13 | 2024-02-06 | 鹏城实验室 | 点云数据的编码方法、解码方法、存储介质及设备 |
| WO2021138788A1 (zh) * | 2020-01-06 | 2021-07-15 | Oppo广东移动通信有限公司 | 帧内预测方法、装置、编码器、解码器、及存储介质 |
| WO2021138787A1 (zh) * | 2020-01-06 | 2021-07-15 | Oppo广东移动通信有限公司 | 一种帧内预测方法、编码器、解码器及存储介质 |
| KR20220123655A (ko) * | 2020-01-06 | 2022-09-08 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 분할 방법, 인코더, 디코더 및 컴퓨터 저장 매체 |
| WO2021138786A1 (zh) * | 2020-01-06 | 2021-07-15 | Oppo广东移动通信有限公司 | 一种最近邻搜索方法及装置、设备、存储介质 |
| CN111242997B (zh) * | 2020-01-13 | 2023-11-10 | 北京大学深圳研究生院 | 一种基于滤波器的点云属性预测方法及设备 |
| CN111340899B (zh) * | 2020-02-14 | 2022-09-06 | 福州大学 | 一种彩色点云的压缩采样及重构方法 |
| JP2023525207A (ja) | 2020-03-24 | 2023-06-15 | オッポ広東移動通信有限公司 | イントラ予測方法、装置、エンコーダ、デコーダ、及び記憶媒体 |
| CN111405281A (zh) * | 2020-03-30 | 2020-07-10 | 北京大学深圳研究生院 | 一种点云属性信息的编码方法、解码方法、存储介质及终端设备 |
| CN111405284B (zh) * | 2020-03-30 | 2022-05-31 | 北京大学深圳研究生院 | 一种基于点云密度的属性预测方法及设备 |
| CN113473127B (zh) * | 2020-03-30 | 2022-09-23 | 鹏城实验室 | 一种点云几何编码方法、解码方法、编码设备及解码设备 |
| CN113473153B (zh) * | 2020-03-30 | 2023-04-25 | 鹏城实验室 | 一种点云属性预测方法、编码方法、解码方法及其设备 |
| US20230154052A1 (en) * | 2020-04-24 | 2023-05-18 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method |
| WO2021258374A1 (en) * | 2020-06-24 | 2021-12-30 | Beijing Xiaomi Mobile Software Co., Ltd. | Method for encoding and decoding a point cloud |
| CN111953998B (zh) * | 2020-08-16 | 2022-11-11 | 西安电子科技大学 | 基于dct变换的点云属性编码及解码方法、装置及系统 |
| WO2022067790A1 (zh) * | 2020-09-30 | 2022-04-07 | Oppo广东移动通信有限公司 | 一种点云分层方法及解码器、编码器、存储介质 |
| CN112565794B (zh) * | 2020-12-03 | 2022-10-04 | 西安电子科技大学 | 一种点云孤立点编码、解码方法及装置 |
| WO2022116122A1 (zh) * | 2020-12-03 | 2022-06-09 | Oppo广东移动通信有限公司 | 帧内预测方法及装置、编解码器、设备、存储介质 |
| CN114598883A (zh) | 2020-12-07 | 2022-06-07 | 腾讯科技（深圳）有限公司 | 点云属性的预测方法、编码器、解码器及存储介质 |
| CN116601947A (zh) * | 2020-12-22 | 2023-08-15 | Oppo广东移动通信有限公司 | 点云的解码方法、编码方法、解码器以及编码器 |
| WO2022170521A1 (zh) * | 2021-02-09 | 2022-08-18 | Oppo广东移动通信有限公司 | 几何重构方法、解码器以及计算机存储介质 |
| WO2022183611A1 (zh) * | 2021-03-04 | 2022-09-09 | Oppo广东移动通信有限公司 | 帧内预测方法及装置、编解码器、设备、存储介质 |
| CN118042192A (zh) * | 2021-03-12 | 2024-05-14 | 腾讯科技（深圳）有限公司 | 点云编码、解码的方法、装置及设备 |
| CN117121489A (zh) * | 2021-04-13 | 2023-11-24 | Oppo广东移动通信有限公司 | 点云编解码方法、编码器、解码器及计算机可读存储介质 |
| WO2022217611A1 (zh) * | 2021-04-16 | 2022-10-20 | Oppo广东移动通信有限公司 | 编解码方法及相关设备、存储介质 |
| CN115412716A (zh) * | 2021-05-26 | 2022-11-29 | 荣耀终端有限公司 | 一种点云坐标转换残差的编解码方法及装置 |
| WO2022257145A1 (zh) * | 2021-06-11 | 2022-12-15 | Oppo广东移动通信有限公司 | 点云属性的预测方法、装置及编解码器 |
| CN115484462A (zh) * | 2021-06-15 | 2022-12-16 | 中兴通讯股份有限公司 | 一种数据处理方法、装置、电子设备和存储介质 |
| CN113534454A (zh) * | 2021-07-12 | 2021-10-22 | 北京邮电大学 | 一种多芯光纤信道损伤均衡方法及系统 |
| WO2023023918A1 (zh) * | 2021-08-23 | 2023-03-02 | Oppo广东移动通信有限公司 | 解码方法、编码方法、解码器以及编码器 |
| CN113766229B (zh) * | 2021-09-30 | 2023-04-28 | 咪咕文化科技有限公司 | 一种编码方法、解码方法、装置、设备及可读存储介质 |
| WO2023097694A1 (zh) * | 2021-12-03 | 2023-06-08 | Oppo广东移动通信有限公司 | 解码方法、编码方法、解码器以及编码器 |
| CN116781908A (zh) * | 2022-03-11 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 点云预测处理方法、装置、计算机、存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101650838A (zh) * | 2009-09-04 | 2010-02-17 | 浙江工业大学 | 基于重采样方法和仿射聚类算法的点云简化处理方法 |
| US20170214943A1 (en) * | 2016-01-22 | 2017-07-27 | Mitsubishi Electric Research Laboratories, Inc. | Point Cloud Compression using Prediction and Shape-Adaptive Transforms |
| US20180053324A1 (en) * | 2016-08-19 | 2018-02-22 | Mitsubishi Electric Research Laboratories, Inc. | Method for Predictive Coding of Point Cloud Geometries |
| US10861196B2 (en) * | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
| CN108322742B (zh) * | 2018-02-11 | 2019-08-16 | 北京大学深圳研究生院 | 一种基于帧内预测的点云属性压缩方法 |
| CN109257604B (zh) * | 2018-11-20 | 2020-11-27 | 山东大学 | 一种基于tmc3点云编码器的颜色属性编码方法 |
| CN109889840B (zh) * | 2019-03-20 | 2022-11-22 | 北京大学深圳研究生院 | 点云编码和解码的方法、编码设备和解码设备 |
-
2019
- 2019-08-05 CN CN201910717002.5A patent/CN110418135B/zh active Active
- 2019-09-11 WO PCT/CN2019/105308 patent/WO2021022621A1/zh active Application Filing
- 2019-09-11 US US17/631,333 patent/US20230196625A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN110418135A (zh) | 2019-11-05 |
| US20230196625A1 (en) | 2023-06-22 |
| WO2021022621A1 (zh) | 2021-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110418135B (zh) | 一种基于邻居的权重优化的点云帧内预测方法及设备 | |
| CN110572655B (zh) | 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备 | |
| US11004240B2 (en) | Hierarchical division-based point cloud attribute compression method | |
| US10939123B2 (en) | Multi-angle adaptive intra-frame prediction-based point cloud attribute compression method | |
| CN109257604B (zh) | 一种基于tmc3点云编码器的颜色属性编码方法 | |
| US11122293B2 (en) | Intra-frame prediction-based point cloud attribute compression method | |
| CN109889840B (zh) | 点云编码和解码的方法、编码设备和解码设备 | |
| Huang et al. | Octree-Based Progressive Geometry Coding of Point Clouds. | |
| JP7330306B2 (ja) | 変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体 | |
| CN111242997B (zh) | 一种基于滤波器的点云属性预测方法及设备 | |
| WO2019210531A1 (zh) | 一种基于删除量化矩阵中0元素的点云属性压缩方法 | |
| WO2021023206A1 (zh) | 基于邻居权重优化的点云属性预测、编码和解码方法及设备 | |
| CN111953998A (zh) | 基于dct变换的点云属性编码及解码方法、装置及系统 | |
| JP7386337B2 (ja) | 分割方法、符号器、復号器及びコンピュータ記憶媒体 | |
| WO2021062743A1 (zh) | 占位信息的预测方法、编码器、解码器、及存储介质 | |
| CN113518226A (zh) | 一种基于地面分割的g-pcc点云编码改进方法 | |
| CN104581158A (zh) | 量化表、图像压缩处理方法、装置、终端及图像搜索系统 | |
| CN114095735A (zh) | 一种基于块运动估计和运动补偿的点云几何帧间预测方法 | |
| WO2021108969A1 (zh) | 属性信息的预测方法、编码器、解码器、及存储介质 | |
| WO2021062771A1 (zh) | 颜色分量预测方法、编码器、解码器及计算机存储介质 | |
| CN114402621A (zh) | 变换方法、逆变换方法、编码器、解码器及存储介质 | |
| WO2022120594A1 (zh) | 点云编解码方法、编码器、解码器及计算机存储介质 | |
| CN110349228B (zh) | 一种数据驱动最小二乘预测的三角网格压缩方法 | |
| WO2023123471A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 | |
| Mao et al. | A fast intra prediction algorithm based on wmse for 360-degree video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |