CN116781927A - 一种点云处理方法及相关设备 - Google Patents
一种点云处理方法及相关设备 Download PDFInfo
- Publication number
- CN116781927A CN116781927A CN202210241816.8A CN202210241816A CN116781927A CN 116781927 A CN116781927 A CN 116781927A CN 202210241816 A CN202210241816 A CN 202210241816A CN 116781927 A CN116781927 A CN 116781927A
- Authority
- CN
- China
- Prior art keywords
- points
- point
- decoded
- encoded
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 223
- 238000000034 method Methods 0.000 claims description 127
- 230000009466 transformation Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 14
- 230000000875 corresponding effect Effects 0.000 description 40
- 230000006870 function Effects 0.000 description 14
- 238000013139 quantization Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 108091026890 Coding region Proteins 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000001131 transforming effect Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 108010028773 Complement C5 Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请实施例提供了一种点云处理方法及相关设备,该点云处理方法在点云解码阶段中,确定点云中的待解码点,点云包含M个已解码点,基于点云的空间分布情况,从M个已解码点中选取备选点集合,从备选点集合中选取参考点,基于参考点的重建属性信息,对待解码点进行解码处理,可以提高点云属性的解码效率。该点云处理方法在点云编码阶段中,确定点云中的待编码点,点云包含M个已编码点,基于点云的空间分布情况,从M个已编码点中选取备选点集合,从备选点集合中选取参考点,基于参考点的真实属性信息,对待编码点进行编码处理,可以提高点云属性的编码效率。
Description
技术领域
本申请涉及计算机技术领域,具体涉及编解码技术领域,尤其涉及一种点云处理方法、一种点云处理装置、一种计算机设备及一种计算机可读存储介质。
背景技术
随着科学技术的不断发展,目前已经能够以较低的成本、在较短的时间周期内获得大量高精度的点云,点云中可以包括多个点,点云中的每个点具备几何信息和属性信息。为了提升点云的传输效率,在对点云进行传输之前,通常需要对点云进行编码处理;具体来说,编码端对点云中各点的几何信息和属性信息进行编码后,可以将编码后的点云传输至解码端,解码端可以对编码后的点云进行解码,以重建点云中各点的几何信息和属性信息。通常情况下,点云中各点的属性信息的数据量较大,大量的属性信息造成了编解码过程中的压力,使得点云属性的编解码效率不高。
发明内容
本申请实施例提供了一种点云处理方法及相关设备,可以提高点云属性的编解码效率。
一方面,本申请实施例提供了一种点云处理方法,该点云处理方法包括:
确定点云中的待解码点,点云包含M个已解码点,M为整数;基于点云的空间分布情况,从M个已解码点中选取备选点集合;空间分布情况用于反映点云中各点的空间特征关系;从备选点集合中选取参考点;基于参考点的重建属性信息,对待解码点进行解码处理。
本申请实施例中,当需要对点云中的待解码点进行解码处理时,可以获取点云中的M个已解码点,并可以基于点云的空间分布情况,从M个已解码点中选取备选点集合,以及可以从备选点集合中选取参考点,然后便可以基于参考点的重建属性信息,对待解码点进行解码处理。本申请实施例基于点云的空间分布情况选取备选点集合,可以提高从备选点集合中选取的参考点与待解码点之间的相似性,从而可以提高基于参考点的重建属性信息对待解码点进行属性解码的效率,提升点云属性的解码效率。
一方面,本申请实施例提供了另一种点云处理方法,该点云处理方法包括:
确定点云中的待编码点,点云包含M个已编码点,M为整数;基于点云的空间分布情况,从M个已编码点中选取备选点集合;空间分布情况用于反映点云中各点的空间特征关系;从备选点集合中选取参考点;基于参考点的真实属性信息,对待编码点进行编码处理。
在一种实现方式中,空间分布情况包括以下任一种或多种:
特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;待编码点分别与M个已编码点之间的空间偏移情况;待编码点与M个已编码点的空间归属情况;待编码点与M个已编码点的排序关系情况;M个已编码点的编码依赖关系情况;M个已编码点之间的空间位置关系情况。
在一种实现方式中,空间分布情况包括特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式包括平面模式;基于点云的空间分布情况,从M个已编码点中选取备选点集合,包括:
若空间分布情况满足平面模式条件,则确定待编码点在待编码点所属的父节点中所处的目标层级;从M个已编码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已编码点添加至备选点集合中。
在一种实现方式中,同层关联节点是指M个已编码点中,与父节点处于相同层级的已编码点;若同层关联节点的数量大于1,则将同层关联节点中处于目标层级的已编码点添加至备选点集合中,包括:
将属于同一个同层关联节点且处于目标层级的已编码点添加至同一个备选点集合中;以及,将属于不同的同层关联节点且处于目标层级的已编码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;特定空间模式包括平面模式;特定方向包括平面方向;基于点云的空间分布情况,从M个已编码点中选取备选点集合,包括:
若空间分布情况满足平面模式条件,则确定平面方向;将M个已编码点中,在平面方向上与待编码点的距离小于或等于距离阈值的已编码点添加至备选点集合中。
在一种实现方式中,方法还包括:
在M个已编码点中确定待编码点的目标邻居点,待编码点的目标邻居点包括M个已编码点中与待编码点属于同一父节点的已编码点;若待编码点与待编码点的目标邻居点处于同一个平面,则判定空间分布情况满足平面模式条件。
在一种实现方式中,方法还包括:
获取M个已编码点中处于相同层级的已编码点数量;若处于相同层级的已编码点数量大于第一数量阈值,则判定空间分布情况满足平面模式条件。
在一种实现方式中,方法还包括:
从M个已编码点中筛选待编码点所属的父节点的邻居点;若待编码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则判定空间分布情况满足平面模式条件;其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。
在一种实现方式中,空间分布情况包括待编码点分别与M个已编码点之间的空间偏移情况;基于点云的空间分布情况,从M个已编码点中选取备选点集合,包括:
基于点云的空间分布情况确定偏移条件;根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中。
在一种实现方式中,待编码点的空间坐标表示为(x0,y0,z0);设M个已编码点中的任一个已编码点的空间坐标表示为(x,y,z);偏移条件包括沿偏移方向的偏移阈值;根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中,包括:
若已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则将已编码点(x,y,z)添加至备选点集合中。
在一种实现方式中,偏移条件包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;
已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。
在一种实现方式中,偏移条件包括沿偏移方向的偏移阈值;偏移方向包括至少一个方向;根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中,包括:
将基于同一偏移方向选取得到的满足偏移条件的已编码点添加至同一个备选点集合中;以及,将基于不同的偏移方向选取得到的满足偏移条件的已编码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括待编码点与M个已编码点的空间归属情况;基于点云的空间分布情况,从M个已编码点中选取备选点集合,包括:
从M个已编码点中筛选待编码点所属的父节点的邻居点;将父节点的邻居点添加至备选点集合中;其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。
在一种实现方式中,空间分布情况包括待编码点与M个已编码点的排序关系情况;M个已编码点具备排序顺序;基于点云的空间分布情况,从M个已编码点中选取备选点集合,包括:
按照M个已编码点的排序顺序,从M个已编码点中选取待编码点的前序m个已编码点添加至备选点集合中,m小于或等于M。
在一种实现方式中,空间分布情况包括M个已编码点的编码依赖关系情况;基于点云的空间分布情况,从M个已编码点中选取备选点集合,包括:
去除M个已编码点中采用孤立点编码的点;将M个已编码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。
在一种实现方式中,空间分布情况包括M个已编码点之间的空间位置关系情况;M个已编码点具备排序顺序;基于点云的空间分布情况,从M个已编码点中选取备选点集合,包括:
基于M个已编码点的空间位置关系生成预测树;基于预测树从M个已编码点选取备选点集合。
在一种实现方式中,预测树的数量大于1;基于预测树从M个已编码点选取备选点集合,包括:
将处于同一预测树的已编码点添加至同一个备选点集合中;以及,将处于不同预测树的已编码点添加至不同的备选点集合中。
在一种实现方式中,备选点集合的数量为P个,参考点的数量为K,P、K均为正整数;从备选点集合中选取参考点,包括:
按照分散选择方式从P个备选点集合中选取K个参考点;或者,按照优先级选择方式从P个备选点集合中选取K个参考点。
在一种实现方式中,按照分散选择方式从P个备选点集合中选取K个参考点,包括:
分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量相同或不同。
在一种实现方式中,P个备选点集合对应不同的优先级;按照优先级选择方式从P个备选点集合中选取K个参考点,包括:
按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。
在一种实现方式中,基于参考点的真实属性信息,对待编码点进行编码处理,包括:
基于参考点的真实属性信息,预测待编码点的属性编码信息;获取待编码点的几何编码信息;基于待编码点的属性编码信息和待编码点的几何编码信息,对待编码点进行编码处理。
在一种实现方式中,参考点的数量为K个,K为正整数;基于参考点的真实属性信息,预测待编码点的属性编码信息,包括:
获取K个参考点中每个参考点的权重;基于K个参考点中每个参考点的权重,对K个参考点的真实属性信息进行加权求和,得到待编码点的预测属性信息;根据待编码点的预测属性信息,确定待编码点的属性编码信息。
在一种实现方式中,获取K个参考点中每个参考点的权重,包括:
根据K个参考点中每个参考点与待编码点之间的距离,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P个备选点集合对应不同的优先级,P为正整数;获取K个参考点中每个参考点的权重,包括:
根据K个参考点中每个参考点与待编码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P为正整数;P个备选点集合中,同一个备选点集合中的参考点采用相同的权重,不同备选点集合中的参考点采用相互独立的权重。
在一种实现方式中,根据待编码点的预测属性信息,确定待编码点的属性编码信息,包括:
根据待编码点的真实属性信息和待编码点的预测属性信息,确定待编码点的预测残差信息;对待编码点的预测残差信息进行属性编码处理,得到待编码点的属性编码信息;或者,对待编码点的预测残差信息进行变换处理,得到待编码点的残差变系数;对待编码点的残差变系数进行属性编码处理,得到待编码点的属性编码信息。
本申请实施例中,当需要对点云中的待编码点进行编码处理时,可以获取点云中的M个已编码点,并可以基于点云的空间分布情况,从M个已编码点中选取备选点集合,以及可以从备选点集合中选取参考点,然后便可以基于参考点的真实属性信息,对待编码点进行编码处理。本申请实施例基于点云的空间分布情况选取备选点集合,可以提高从备选点集合中选取的参考点与待编码点之间的相似性,从而可以提高基于参考点的真实属性信息对待编码点进行属性编码的效率,提升点云属性的编码效率。
相应地,本申请实施例提供了一种点云处理装置,该点云处理装置包括:
确定单元,用于确定点云中的待解码点,点云包含M个已解码点,M为整数;
处理单元,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合;空间分布情况用于反映点云中各点的空间特征关系;从备选点集合中选取参考点;基于参考点的重建属性信息,对待解码点进行解码处理。
在一种实现方式中,空间分布情况包括以下任一种或多种:
特定空间模式下待解码点与M个已解码点的层级分布情况;特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况;待解码点分别与M个已解码点之间的空间偏移情况;待解码点与M个已解码点的空间归属情况;待解码点与M个已解码点的排序关系情况;M个已解码点的编码依赖关系情况;M个已解码点之间的空间位置关系情况。
在一种实现方式中,空间分布情况包括特定空间模式下待解码点与M个已解码点的层级分布情况;特定空间模式包括平面模式;处理单元,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定待解码点在待解码点所属的父节点中所处的目标层级;从M个已解码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已解码点添加至备选点集合中。
在一种实现方式中,同层关联节点是指M个已解码点中,与父节点处于相同层级的已解码点;若同层关联节点的数量大于1,则处理单元,用于将同层关联节点中处于目标层级的已解码点添加至备选点集合中时,具体用于执行如下步骤:
将属于同一个同层关联节点且处于目标层级的已解码点添加至同一个备选点集合中;以及,将属于不同的同层关联节点且处于目标层级的已解码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况;特定空间模式包括平面模式;特定方向包括平面方向;处理单元,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定平面方向;将M个已解码点中,在平面方向上与待解码点的距离小于或等于距离阈值的已解码点添加至备选点集合中。
在一种实现方式中,处理单元,还用于执行如下步骤:
在M个已编码点中确定待解码点的目标邻居点,待解码点的目标邻居点包括M个已解码点中与待解码点属于同一父节点的已解码点;若待解码点与待解码点的目标邻居点处于同一个平面,则判定空间分布情况满足平面模式条件。
在一种实现方式中,处理单元,还用于执行如下步骤:
获取M个已解码点中处于相同层级的已解码点数量;若处于相同层级的已解码点数量大于第一数量阈值,则判定空间分布情况满足平面模式条件。
在一种实现方式中,处理单元,还用于执行如下步骤:
从M个已解码点中筛选待解码点所属的父节点的邻居点;若待解码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则判定空间分布情况满足平面模式条件;其中,父节点的邻居点包括以下至少一种:M个已解码点中与父节点共面的已解码点,M个已解码点中与父节点共线的已解码点,M个已解码点中与父节点相交的已解码点。
在一种实现方式中,空间分布情况包括待解码点分别与M个已解码点之间的空间偏移情况;处理单元,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
基于点云的空间分布情况确定偏移条件;根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中。
在一种实现方式中,待解码点的空间坐标表示为(x0,y0,z0);设M个已解码点中的任一个已解码点的空间坐标表示为(x,y,z);偏移条件包括沿偏移方向的偏移阈值;处理单元,用于根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中时,具体用于执行如下步骤:
若已解码点(x,y,z)与待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则将已解码点(x,y,z)添加至备选点集合中。
在一种实现方式中,偏移条件包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;
已解码点(x,y,z)与待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。
在一种实现方式中,偏移条件包括沿偏移方向的偏移阈值;偏移方向包括至少一个方向;处理单元,用于根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中时,具体用于执行如下步骤:
将基于同一偏移方向选取得到的满足偏移条件的已解码点添加至同一个备选点集合中;以及,将基于不同的偏移方向选取得到的满足偏移条件的已解码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括待解码点与M个已解码点的空间归属情况;处理单元,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
从M个已解码点中筛选待解码点所属的父节点的邻居点;将父节点的邻居点添加至备选点集合中;其中,父节点的邻居点包括以下至少一种:M个已解码点中与父节点共面的已解码点,M个已解码点中与父节点共线的已解码点,M个已解码点中与父节点相交的已解码点。
在一种实现方式中,空间分布情况包括待解码点与M个已解码点的排序关系情况;M个已解码点具备排序顺序;处理单元,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
按照M个已解码点的排序顺序,从M个已解码点中选取待解码点的前序m个已解码点添加至备选点集合中;m小于或等于M。
在一种实现方式中,空间分布情况包括M个已解码点的编码依赖关系情况;处理单元,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
去除M个已解码点中采用孤立点编码的点;将M个已解码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。
在一种实现方式中,空间分布情况包括M个已解码点之间的空间位置关系情况;M个已解码点具备排序顺序;处理单元,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
基于M个已解码点的空间位置关系生成预测树;基于预测树从M个已解码点选取备选点集合。
在一种实现方式中,预测树的数量大于1;处理单元,用于基于预测树从M个已解码点选取备选点集合时,具体用于执行如下步骤:
将处于同一预测树的已解码点添加至同一个备选点集合中;以及,将处于不同预测树的已解码点添加至不同的备选点集合中。
在一种实现方式中,备选点集合的数量为P个,参考点的数量为K,P、K均为正整数;处理单元,用于从备选点集合中选取参考点时,具体用于执行如下步骤:
按照分散选择方式从P个备选点集合中选取K个参考点;或者,按照优先级选择方式从P个备选点集合中选取K个参考点。
在一种实现方式中,处理单元,用于按照分散选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量相同或不同。
在一种实现方式中,P个备选点集合对应不同的优先级;处理单元,用于按照优先级选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。
在一种实现方式中,处理单元,用于基于参考点的重建属性信息,对待解码点进行解码处理时,具体用于执行如下步骤:
基于参考点的重建属性信息,预测待解码点的重建属性信息;获取待解码点的重建几何信息;基于待解码点的重建属性信息和待解码点的重建几何信息,重建待解码点。
在一种实现方式中,参考点的数量为K个,K为正整数;处理单元,用于基于参考点的重建属性信息,预测待解码点的重建属性信息时,具体用于执行如下步骤:
获取K个参考点中每个参考点的权重;基于K个参考点中每个参考点的权重,对K个参考点的重建属性信息进行加权求和,得到待解码点的预测属性信息;根据待解码点的预测属性信息,确定待解码点的重建属性信息。
在一种实现方式中,处理单元,用于获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待解码点之间的距离,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P个备选点集合对应不同的优先级,P为正整数;处理单元,用于获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待解码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P为正整数;P个备选点集合中,同一个备选点集合中的参考点采用相同的权重值,不同备选点集合中的参考点采用相互独立的权重值。
在一种实现方式中,处理单元,用于根据待解码点的预测属性信息,确定待解码点的重建属性信息时,具体用于执行如下步骤:
对待解码点进行属性解码处理,得到待解码点的重建残差信息;或者,对待解码点进行属性解码处理,得到待解码点的重建变换系数,并对重建变换系数进行反变换处理,得到待解码点的重建残差信息;根据预测属性信息和重建残差信息,确定待解码点的重建属性信息。
相应地,本申请实施例提供了另一种点云处理装置,该点云处理装置包括:
确定单元,用于确定点云中的待编码点,点云包含M个已编码点,M为整数;
处理单元,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合;空间分布情况用于反映点云中各点的空间特征关系;从备选点集合中选取参考点;基于参考点的真实属性信息,对待编码点进行编码处理。
在一种实现方式中,空间分布情况包括以下任一种或多种:
特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;待编码点分别与M个已编码点之间的空间偏移情况;待编码点与M个已编码点的空间归属情况;待编码点与M个已编码点的排序关系情况;M个已编码点的编码依赖关系情况;M个已编码点之间的空间位置关系情况。
在一种实现方式中,空间分布情况包括特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式包括平面模式;处理单元,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定待编码点在待编码点所属的父节点中所处的目标层级;从M个已编码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已编码点添加至备选点集合中。
在一种实现方式中,同层关联节点是指M个已编码点中,与父节点处于相同层级的已编码点;若同层关联节点的数量大于1,则处理单元,用于将同层关联节点中处于目标层级的已编码点添加至备选点集合中时,具体用于执行如下步骤:
将属于同一个同层关联节点且处于目标层级的已编码点添加至同一个备选点集合中;以及,将属于不同的同层关联节点且处于目标层级的已编码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;特定空间模式包括平面模式;特定方向包括平面方向;处理单元,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定平面方向;将M个已编码点中,在平面方向上与待编码点的距离小于或等于距离阈值的已编码点添加至备选点集合中。
在一种实现方式中,处理单元,还用于执行如下步骤:
在M个已编码点中确定待编码点的目标邻居点,待编码点的目标邻居点包括M个已编码点中与待编码点属于同一父节点的已编码点;若待编码点与待编码点的目标邻居点处于同一个平面,则判定空间分布情况满足平面模式条件。
在一种实现方式中,处理单元,还用于执行如下步骤:
获取M个已编码点中处于相同层级的已编码点数量;若处于相同层级的已编码点数量大于第一数量阈值,则判定空间分布情况满足平面模式条件。
在一种实现方式中,处理单元,还用于执行如下步骤:
从M个已编码点中筛选待编码点所属的父节点的邻居点;若待编码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则判定空间分布情况满足平面模式条件;其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。
在一种实现方式中,空间分布情况包括待编码点分别与M个已编码点之间的空间偏移情况;处理单元,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
基于点云的空间分布情况确定偏移条件;根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中。
在一种实现方式中,待编码点的空间坐标表示为(x0,y0,z0);设M个已编码点中的任一个已编码点的空间坐标表示为(x,y,z);偏移条件包括沿偏移方向的偏移阈值;处理单元,用于根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中时,具体用于执行如下步骤:
若已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则将已编码点(x,y,z)添加至备选点集合中。
在一种实现方式中,偏移条件包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;
已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。
在一种实现方式中,偏移条件包括沿偏移方向的偏移阈值;偏移方向包括至少一个方向;处理单元,用于根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中时,具体用于执行如下步骤:
将基于同一偏移方向选取得到的满足偏移条件的已编码点添加至同一个备选点集合中;以及,将基于不同的偏移方向选取得到的满足偏移条件的已编码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括待编码点与M个已编码点的空间归属情况;处理单元,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
从M个已编码点中筛选待编码点所属的父节点的邻居点;将父节点的邻居点添加至备选点集合中;其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。
在一种实现方式中,空间分布情况包括待编码点与M个已编码点的排序关系情况;M个已编码点具备排序顺序;处理单元,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
按照M个已编码点的排序顺序,从M个已编码点中选取待编码点的前序m个已编码点添加至备选点集合中;m小于或等于M。
在一种实现方式中,空间分布情况包括M个已解码点的编码依赖关系情况;处理单元,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
去除M个已编码点中采用孤立点编码的点;将M个已编码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。
在一种实现方式中,空间分布情况包括M个已编码点之间的空间位置关系情况;M个已编码点具备排序顺序;处理单元,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
基于M个已编码点的空间位置关系生成预测树;基于预测树从M个已编码点选取备选点集合。
在一种实现方式中,预测树的数量大于1;处理单元,用于基于预测树从M个已编码点选取备选点集合时,具体用于执行如下步骤:
将处于同一预测树的已编码点添加至同一个备选点集合中;以及,将处于不同预测树的已编码点添加至不同的备选点集合中。
在一种实现方式中,备选点集合的数量为P个,参考点的数量为K,P、K均为正整数;处理单元,用于从备选点集合中选取参考点时,具体用于执行如下步骤:
按照分散选择方式从P个备选点集合中选取K个参考点;或者,按照优先级选择方式从P个备选点集合中选取K个参考点。
在一种实现方式中,处理单元,用于按照分散选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量相同或不同。
在一种实现方式中,P个备选点集合对应不同的优先级;处理单元,用于按照优先级选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。
在一种实现方式中,处理单元,用于基于参考点的真实属性信息,对待编码点进行编码处理时,具体用于执行如下步骤:
基于参考点的真实属性信息,预测待编码点的属性编码信息;获取待编码点的几何编码信息;基于待编码点的属性编码信息和待编码点的几何编码信息,对待编码点进行编码处理。
在一种实现方式中,参考点的数量为K个,K为正整数;处理单元,用于基于参考点的真实属性信息,预测待编码点的属性编码信息时,具体用于执行如下步骤:
获取K个参考点中每个参考点的权重;基于K个参考点中每个参考点的权重,对K个参考点的真实属性信息进行加权求和,得到待编码点的预测属性信息;根据待编码点的预测属性信息,确定待编码点的属性编码信息。
在一种实现方式中,处理单元,用于获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待编码点之间的距离,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P个备选点集合对应不同的优先级,P为正整数;处理单元,用于获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待编码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P为正整数;P个备选点集合中,同一个备选点集合中的参考点采用相同的权重值,不同备选点集合中的参考点采用相互独立的权重值。
在一种实现方式中,处理单元,用于根据待编码点的预测属性信息,确定待编码点的属性编码信息时,具体用于执行如下步骤:
根据待编码点的真实属性信息和待编码点的预测属性信息,确定待编码点的预测残差信息;对待编码点的预测残差信息进行属性编码处理,得到待编码点的属性编码信息;或者,对待编码点的预测残差信息进行变换处理,得到待编码点的残差变系数;对待编码点的残差变系数进行属性编码处理,得到待编码点的属性编码信息。
相应地,本申请实施例提供一种计算机设备,该计算机设备包括处理器和计算机可读存储介质;其中,处理器适于实现计算机程序,计算机可读存储介质存储有计算机程序,计算机程序适于由处理器加载并执行上述的点云处理方法。
相应地,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被计算机设备的处理器读取并执行时,使得计算机设备执行上述的点云处理方法。
相应地,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的点云处理方法。
本申请实施例中,基于点云的空间分布情况选取备选点集合,在属性解码阶段可以提高从备选点集合中选取的参考点与待解码点之间的相似性,从而可以提高基于参考点的重建属性信息对待解码点进行属性解码的效率,提升点云属性的解码效率;在属性编码阶段可以提高从备选点集合中选取的参考点与待编码点之间的相似性,从而可以提高基于参考点的真实属性信息对待编码点进行属性编码的效率,提升点云属性的编码效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种编码框架的示意图;
图2是本申请实施例提供的一种点云处理系统的架构示意图;
图3是本申请实施例提供的一种点云处理方法的流程示意图;
图4a是本申请实施例提供的一种空间直角坐标系的示意图;
图4b是本申请实施例提供的一种待解码点的父节点的示意图;
图4c是本申请实施例提供的一种处于相同层级的节点的示意图;
图4d是本申请实施例提供的一种父节点的同层关联节点的示意图;
图4e是本申请实施例提供的一种父节点的邻居点的示意图;
图5是本申请实施例提供的另一种点云处理方法的流程示意图;
图6是本申请实施例提供的另一种点云处理方法的流程示意图;
图7是本申请实施例提供的一种点云处理装置的结构示意图;
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更清楚地理解本申请实施例提供的技术方案,在此先对本申请实施例涉及的关键术语进行介绍:
(1)点云(Point Cloud)。点云是指空间中一组无规则分布的、表达三维物体或三维场景的空间结构及表面属性的离散点集。可以根据不同的分类标准将点云划分为不同的类别,例如,按照点云的获取方式划分,可以分为密集型点云和稀疏型点云,又如,按照点云的时序类型划分,可以分为静态点云和动态点云。
(2)点云数据(Point Cloud Data)。点云中各个点具备的几何信息和属性信息共同组成点云数据。其中,几何信息也可以称为三维位置信息,点云中某个点的几何信息是指该点的空间坐标(x,y,z),可以包括该点在三维坐标系统的各个坐标轴方向上的坐标值,例如,X轴方向上的坐标值x,Y轴方向上的坐标值y和Z轴方向上的坐标值z。点云中某个点的属性信息可以包括以下至少一种:颜色信息、材质信息、激光反射强度信息(也可以称为反射率);通常,点云中的每个点具有相同数量的属性信息,例如,点云中的每个点都可以具有颜色信息和激光反射强度两种属性信息,又如,点云中的每个点都可以具有颜色信息、材质信息和激光反射强度信息三种属性信息。
(3)点云编码(Point Cloud Compression,PCC)。点云编码是指对点云中各点的几何信息和属性信息进行编码,得到压缩码流的过程。点云编码可以包括几何信息编码和属性信息编码两个主要过程。目前主流的点云编码技术,针对点云的不同类型,可以分为基于几何结构的点云编码以及基于投影的点云编码,在此以MPEG(Moving Picture ExpertGroup,国际视音频编解码标准)中的G-PCC(Geometry-based Point Cloud Compression,基于几何结构的点云编码),以及AVS(AudioVideoCodingStandard,中国国家视频编解码标准)中的点云编码标准AVS-PCC为例进行介绍。
G-PCC及AVS-PCC的编码框架大致相同,如图1所示,可以分为几何信息编码过程以及属性信息编码过程。几何信息编码过程对点云数据中各点的几何信息进行编码,得到几何比特流;属性信息编码过程对点云数据中各点的属性信息进行编码,得到属性比特流;几何比特流和属性比特流共同组成点云数据的压缩码流。
对于几何信息编码过程,主要操作和处理可以参见如下描述:
①预处理(Pre-Processing):可以包括坐标变换(Transform Coordinates)和体素化(Voxelize)。通过缩放和平移的操作,将三维空间中的点云数据转换成整数形式,并将其最小几何位置移至坐标原点处。
②几何八叉树编码(Octree):八叉树是一种树形数据结构,在三维空间划分中,对预先设定的包围盒进行均匀划分,每个节点都具有八个子节点。通过对八叉树各个子节点的占用与否采用“1”和“0”指示,获得占用码信息(Occ upancy Code)作为点云几何信息的码流。包围盒是一种求解离散点集最优包围空间的算法,基本思想是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象。
③几何预测树编码(Predictive Tree):分析点云中各点的空间坐标的邻近关系,设置一定的准则将各个点逐一连接成单链或是多链的树形结构,利用前后连接的父节点和子节点之间的坐标计算残差值,通过对残差值及可能存在的索引值及计算方法进行编码。
④基于三角表示的几何编码(Trisoup):在点云块划分的基础上,定位点云表面在块的边缘的交点并构建三角形。通过编码交点位置实现几何信息的压缩。
⑤几何量化(Geometry Quantization):量化的精细程度通常由量化参数(Quantizer Parameter,QP)来决定,QP取值较大,表示更大取值范围的系数将被量化为同一个输出,因此通常会带来更大的失真,及较低的码率;相反,QP取值较小,表示较小取值范围的系数将被量化为同一个输出,因此通常会带来较小的失真,同时对应较高的码率。在点云编码中,量化是直接对点的坐标信息进行的。
⑥几何熵编码(Geometry Entropy Encoding):针对八叉树的占用码信息,进行统计压缩编码,最后输出二值化(0或者1)的压缩码流。统计编码是一种无损编码方式,可以有效的降低表达同样的信号所需要的码率。常用的统计编码方式是基于上下文的二值化算术编码(Content Adaptive Binary Arithmetic Coding,CABAC)。
对于属性信息编码过程,主要操作和处理可以参见如下描述:
①属性重上色(Recoloring):有损编码情况下,在几何信息编码后,需编码端解码并重建几何信息,即恢复点云中各点的几何信息。在原始的点云中寻找对应一个或多个邻近点的属性信息,作为该重建点的属性信息。
②属性预测编码(Prediction):通过对几何信息或属性信息的邻近关系,选择一个或多个点的属性信息,并求加权平均获得最终的预测属性信息,对真实属性信息与预测属性信息之间的预测残差信息进行编码。
③属性变换编码(Transform):分析几何信息的邻近关系,通过变换矩阵将一定数量的点对应的真实属性信息转换为变换系数,对变换系数进行编码。
④属性预测变换编码(Predicting Transform):基于预测所得的预测残差信息,通过变换矩阵将一定数量的点对应的预测残差信息转换为变换系数,对变换系数进行编码。
⑤属性信息量化(Attribute Quantization):量化的精细程度通常由量化参数来决定。在属性预测编码中,是对量化后的预测残差信息进行熵编码;在属性变换编码及属性预测变换编码中,是对量化后的变换系数进行熵编码。
⑥属性熵编码(Attribute Entropy Coding):量化后的预测残差信息或变换系数一般使用行程编码(Run Length Coding)及算数编码(Arithmetic Coding)实现最终的压缩。相应的编码模式,量化参数等信息也同样采用熵编码器进行编码。
(4)点云解码。点云解码是指对点云编码得到的压缩码流进行解码,以重建点云的过程;详细地说,是指基于压缩码流中的几何比特流和属性比特流,重建点云中各点的几何信息和属性信息的过程。在解码端获得压缩码流之后,对于几何比特流,首先进行熵解码,得到点云中各点量化后的几何信息,然后进行反量化,重建点云中各点的几何信息。而对于属性比特流,首先进行熵解码,得到点云中各点量化后的预测残差信息或量化后的变换系数;然后对量化后的预测残差信息进行反量化得到重建残差信息,对量化后的变换系数进行反量化得到重建变换系数,重建变换系数经反变换后得到重建残差信息,根据点云中各点的重建残差信息可以重建点云中各点的属性信息。将点云中各点重建的属性信息,按顺序与重建的几何信息一一对应,以重建点云。
基于上述关于点云、点云数据、点云编码和点云解码,本申请实施例提供了一种点云处理方案,在该点云处理方案的点云编码阶段,当需要对点云中的待编码点进行编码处理时,可以基于点云的空间分布情况,从点云包含的已编码点中选取备选点集合,从备选点集合中选取参考点,以及基于参考点的真实属性信息,对待编码点进行编码处理,本申请基于点云的空间分布情况选取备选点集合,可以提高从备选点集合中选取的参考点与待编码点之间的相似性,从而可以提高基于参考点的真实属性信息对待编码点进行属性编码的效率,提升点云属性的编码效率。在该点云处理方案的点云解码阶段,当需要对点云中的待解码点进行解码处理时,可以基于点云的空间分布情况,从点云包含的已解码点中选取备选点集合,从备选点集合中选取参考点,以及基于参考点的重建属性信息,对待解码点进行解码处理,本申请基于点云的空间分布情况选取备选点集合,可以提高从备选点集合中选取的参考点与待解码点之间的相似性,从而可以提高基于参考点的重建属性信息对待解码点进行属性解码的效率,提升点云属性的解码效率。
本申请实施例提供的点云处理方案还可与云技术中的云计算、云存储等技术结合。其中,云计算(Cloud Computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务,云计算可为点云属性的编码阶段和点云属性的解码阶段提供强大的计算支持,这样可以大大提升点云属性的编码效率,提升点云属性的解码效率。云存储(Cloud Storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统,云存储可为点云属性的编码阶段和点云属性的解码阶段提供强大的存储支持,这样可进一步提升点云属性的编码效率,提升点云属性的解码效率。
基于上述描述,下面结合图2对适于实现本申请实施例提供的点云处理方案的点云处理系统进行介绍。如图2所示,点云处理系统20中可以包括编码设备201和解码设备202,编码设备201可以是终端,也可以是服务器,解码设备202可以是终端,也可以是服务器,编码设备201和解码设备202之间可以建立通信连接。其中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等,但并不局限于此。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
(1)对于编码设备201:
编码设备201可以获取点云数据(即点云中各点的几何信息和属性信息),点云数据可以通过场景捕获或设备生成两种方式获取得到。场景捕获点云数据是指通过编码设备201关联的捕获设备采集真实世界的视觉场景得到点云数据;其中,捕获设备用于为编码设备201提供点云数据的获取服务,捕获设备可以包括但不限于以下任一种:摄像设备、传感设备、扫描设备;其中,摄像设备可以包括普通摄像头、立体摄像头、以及光场摄像头等,传感设备可以包括激光设备、雷达设备等,扫描设备可以包括三维激光扫描设备等;编码设备201关联的捕获设备可以是指设置于编码设备201中的硬件组件,例如捕获设备是终端的摄像头、传感器等,编码设备关联的捕获设备也可以是指与编码设备201相连接的硬件装置,例如与服务器相连接的摄像头等。设备生成点云数据是指编码设备201根据虚拟对象(例如通过三维建模得到的虚拟三维物体及虚拟三维场景)的生成点云数据。
编码设备201可以对点云中各点的几何信息进行编码处理,得到几何比特流(包含点云中各点的几何编码信息),以及可以对点云中各点的属性信息进行编码处理,得到属性比特流(包含点云中各点的属性编码信息)。特别地,编码设备201对点云中的待编码点的属性信息进行编码处理时,可以基于点云的空间分布情况,从点云包含的已编码点中选取备选点集合,从备选点集合中选取参考点,以及基于参考点的真实属性信息,对待编码点进行编码处理(可以包括上述的属性预测编码处理或属性预测变换编码处理),得到待编码点的属性编码信息。基于此,编码设备可以对点云中各点的属性信息进行编码处理,得到点云中各点的属性编码信息(即属性比特流),并将压缩码流(即属性比特流和几何比特流)传输至解码设备202。
(2)对于解码设备202:
解码设备202接收到编码设备201传输的压缩码流(即属性比特流和几何比特流)后,可以对几何比特流进行解码处理,重建点云中各点的几何信息,以及可以对属性比特流进行解码处理,得到点云中各点的属性信息。特别地,解码设备202对点云中的待解码点进行解码处理时,可以基于点云的空间分布情况,从点云包含的已解码点中选取备选点集合,从备选点集合中选取参考点,以及基于参考点的重建属性信息,对待编码点进行解码处理(可以包括预测解码处理或预测变换解码处理),得到待解码点的重建属性信息。基于此,解码设备202可以对点云中的各点进行解码处理,得到点云中各点的重建属性信息,解码设备202将点云中各点的重建几何信息和重建属性信息一一对应,以重建点云。
本申请实施例中,编码设备可以基于点云的空间分布情况选择备选点集合,可以提高从备选点集合中选取的参考点与待编码点之间的相似性,从而可以提高基于参考点的真实属性信息对待编码点进行属性编码的效率,提升点云属性的编码效率;解码设备可以基于点云的空间分布情况选择备选点集合,可以提高从备选点集合中选取的参考点与待解码点之间的相似性,从而可以提高基于参考点的重建属性信息对待解码点进行属性解码的效率,提升点云属性的解码效率。可以理解的是,本申请实施例描述的点云处理系统是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于上述点云处理系统的相关描述,下面结合附图对本申请实施例提供的点云处理方案进行更为详细地介绍。
本申请实施例提供一种点云处理方法,该点云处理方法主要介绍解码端基于点云的空间分布情况从已解码点中选取备选点集合的内容,该点云处理方法可以由上述点云处理系统20中的解码设备202执行。如图3所示,该点云处理方法可以包括以下步骤S301-步骤S304:
S301,确定点云中的待解码点,点云包含M个已解码点。
当需要对点云中的待解码点进行解码处理时,可以获取点云中的M个已解码点,M为整数。其中,M个已解码点可以是点云中的全部已解码点,或者M个已解码点可以是点云中的部分已解码点。
当M个已解码点是点云中的全部已解码点时,可以对M个已解码点进行排序,得到具备排序顺序的M个已解码点。其中,对M个已解码点进行排序,可以包括以下任一种:①根据空间填充曲线对M个已解码点进行排序,空间填充曲线例如可以是Hilbert(希尔伯特)曲线、Morton(莫顿)曲线。根据Hilbert曲线对M个已解码点进行排序,可以得到具备Hilbert序的M个已解码点;根据Morton曲线对M个已解码点进行排序,可以得到具备Morton序的M个已解码点。②根据几何编码顺序对M个已解码点进行排序,几何编码顺序是指对M个已编码点的几何信息进行编码处理时的编码顺序,根据几何编码顺序对M个已解码点进行排序,可以得到具备几何编码顺序的M个已解码点。③基于点云的原始输入顺序对M个已解码点进行排序,点云的原始输入顺序是指点云中的各点输入编码设备的顺序,基于点云的原始输入顺序对M个已解码点进行排序,可以得到具备点云的原始输入顺序的M个已解码点。
当M个已解码点是点云中的部分已解码点时,可以先对点云中的全部已解码点进行排序(可以采用上述根据空间填充曲线进行排序、根据几何编码顺序进行排序、或者基于点云的原始输入顺序进行排序中的任一种),然后从全部已解码点中选择M个已解码点。在一种实施方式中,M个已解码点可以是全部已解码点中的任意M个顺序排列的已解码点;在另一种实施方式中,M个已解码点也可以是全部已解码点中待解码点的前序M个已解码点,此处,前序M个已解码点可以是指排列于待解码点之前,且与待解码点在排序上相邻的M个已解码点。换句话说,待解码点的前序M个已解码点可以是以待解码点作为基准,按照已解码点的排序顺序逆序往前数M个已解码点。需要说明的是,M的取值可以是解码设备的使用对象设置的,或者M的取值可以是解码设备中默认设置的,或者为了编解码一致性,M的取值可以是编码设备发送至解码设备的,编码设备中M的取值与解码设备中M的取值相同。
S302,基于点云的空间分布情况,从M个已解码点中选取备选点集合。
为了便于更清楚地理解步骤S302,在对步骤S302进行介绍之前,在此先对步骤S302中涉及到的一些概念进行介绍:
①平面方向:如图4a所示,以空间直角坐标系为例,空间直角坐标系可以包括X轴、Y轴和Z轴,空间平面方向可以包括xoy平面、yoz平面和zox平面。
②待解码点所属的父节点:由前述内容可知,对于几何八叉树编码,可以对点云所在的三维空间进行划分,对预先设定的点云的包围盒(本申请实施例以包围盒是正方体为例进行说明)进行均匀划分,划分后每个节点可以具备八个子节点,如图4b所示,若某个节点的子节点中包含待解码点,则该节点为待解码点所属的父节点。
③相同层级:对于xoy平面,同处于Z轴正方向或负方向的节点属于相同层级;对于yoz平面,同处于X轴正方向或负方向的节点属于相同层级;对于zox平面,同处于Y轴正方向或负方向的节点属于相同层级。如图4c所示,图4c以xoy平面为例,第一行示出的父节点中的各个子节点同处于Z轴负方向,属于相同层级,第二行示出的父节点中的各子节点同处于Z轴正方向,属于相同层级。
基于上述相关概念的描述,步骤S302中,点云的空间分布情况可以用于反映点云中各点的空间特征关系,点云的空间分布情况可以包括以下任一种或多种:①特定空间模式下待解码点与M个已解码点的层级分布情况;特定空间模式可以包括平面模式,特定空间模式下待解码点与M个已解码点的层级分布情况可以用于指示以下至少一种情况:平面模式下待解码点在所属的父节点中所处的层级,M个已解码点与各已解码点各自的父节点之间的层级关系,M个已解码点与待解码点之间的层级关系,以及M个已解码点之间的层级关系等等。②特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况;特定空间模式可以包括平面模式,特定方向可以包括平面方向,特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况可用于指示平面模式下待解码点分别与M个已解码点之间在平面方向上的距离。③待解码点分别与M个已解码点之间的空间偏移情况,具体可以包括:待解码点分别与M个已解码点之间沿空间中的一个或多个偏移方向的相对偏移。④待解码点与M个已解码点的空间归属情况,可以用于指示:待解码点所属的父节点,以及M个已解码点与待解码点所属的父节点之间的共面、共线或相交关系。⑤待解码点与M个已解码点的排序关系情况,可以用于指示:待解码点与M个已解码点之间排序基准(例如M个已解码点是以待解码点为排序基准的),以及采用的排序方式(例如是采用上述根据空间填充曲线进行排序、根据几何编码顺序进行排序、或者基于点云的原始输入顺序进行排序中的任一种方式)。⑥M个已解码点的编码依赖情况,可以用于指示:M个已解码点的编码依赖方式,例如编码依赖方式可以包括孤立点编码方式,依赖编码方式等;其中,采用孤立点编码的点是指点云中独立编码的点,该点的编码过程不依赖于点云中除该点外的其他点;采用依赖编码的点是指点云中编码过程依赖于其他点(例如参考点)的点。⑦M个已解码点之间的空间位置关系,可以用于反映M个已解码点之间的空间位置的邻近关系。
基于此,基于点云的空间分布情况,从M个已解码点中选取备选点集合的方式可以包括以下任意一种或多种:
(1)点云的空间分布情况可以包括特定空间模式下待解码点与M个已解码点的层级分布情况,特定空间模式可以包括平面模式,满足平面模式条件下的第一种备选点集合选取方式。具体来说,若点云的空间分布情况满足平面模式条件,则可以确定待解码点在待解码点所属的父节点中所处的目标层级;从M个已解码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已解码点添加至备选点集合中。其中,同层关联节点是指M个已解码点中,与父节点处于相同层级的已解码点。若同层关联节点的数量为1,则将同层关联节点中处于目标层级的已解码点添加至备选点集合中,可以包括:将同层关联节点中处于目标层级的已解码点添加至同一个备选点集合中。若同层关联节点的数量大于1,则将同层关联节点中处于目标层级的已解码点添加至备选点集合中,可以包括:将属于同一个同层关联节点且处于目标层级的已解码点添加至同一个备选点集合中,以及将属于不同的同层关联节点且处于所述目标层级的已解码点添加至不同的备选点集合中,即每个同层关联节点各自对应一个备选点集合。或者,若同层关联节点的数量大于1,则将同层关联节点中处于目标层级的已解码点添加至备选点集合中,可以包括:将各个同层关联节点中处于目标层级的已解码点均添加至同一个备选点集合中,即不同的同层关联节点对应同一个备选点集合。
图4d以xoy平面为例,待解码点在待解码点所属的父节点中处于Z轴负方向,父节点的同层关联节点的数量为3个,可以将3个同层关联节点中处于Z轴负方向的已解码点均添加至同一个备选点集合中,或者也可以将3个同层关联节点中处于Z轴负方向的已解码点添加至3个备选点集合中,每个同层关联节点各自对应一个备选点集合。
(2)点云的空间分布情况可以包括特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况,特定空间模式可以包括平面模式,特定方向可以包括平面方向,满足平面模式条件下的第二种备选点集合选取方式。具体来说,若空间分布情况满足平面模式条件,则可以确定平面方向,将M个已解码点中,在平面方向上与待解码点的距离小于距离阈值的已解码点添加至备选点集合中。以xoy平面为例,待解码点的空间坐标可以表示为(x0,y0,z0),M个已解码点中的任一个已解码点的空间坐标可以表示为(x,y,z),待解码点与该已解码点在xoy平面上的距离可以表示为d=|x-x0|+|y-y0|,若距离d小于或等于xoy平面上的距离阈值d1,则可以将该已解码点添加至备选点集合中。需要说明的是,不同的平面方向可以对应相同的距离阈值,或者不同的平面方向也可以对应不同的距离阈值,例如xoy平面上的距离阈值为d1,yoz平面上的距离阈值为d2,zox平面上的距离阈值为d3,d1、d2和d3不相同。
上述(1)和(2)中均涉及对点云的空间分布情况进行平面模式条件的判定,在此对平面模式条件的判定方式进行介绍,平面模式条件的判定方式可以包括以下任一种:
第一种,可以在M个已解码点中确定待解码点的目标邻居点,待解码点的目标邻居点包括M个已解码点中与待解码点属于同一父节点的已解码点,若待解码点与待解码点的目标邻居点处于同一个平面(即同一层级),则可以判定点云的空间分布情况满足平面模式条件。
第二种,可以获取M个已解码点中处于相同层级的已解码点数量,若处于相同层级的已解码点数量大于第一数量阈值,则可以判定点云的空间分布情况满足平面模式条件。
第三种,可以从M个已解码点中筛选待解码点所属的父节点的邻居点,若待解码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则可以判定点云的空间分布情况满足平面模式条件。其中,父节点的邻居点包括以下至少一种:M个已解码点中与父节点共面的已解码点,M个已解码点中与父节点共线的已解码点,M个已解码点中与父节点相交的已解码点。所谓共面,可以理解为父节点与邻居点之间具有公共面,如图4e所示,父节点与邻居点1之间共面;所谓共线,可以理解为父节点与邻居点之间具有公共线,如图4e所示,父节点与邻居点2之间共线;所谓相交,可以理解为父节点与邻居点之间具有公共交点,如图4e所示,父节点与邻居点3之间相交。
需要说明的是,若点云的分布情况满足某个平面方向上的平面模式条件,则可以在该平面方向上选取备选点集合,例如若点云的分布情况满足xoy平面上的平面模式条件,则可以在xoy平面上按照上述(1)或(2)选取备选点集合。若点云的分布情况满足多个平面方向上的平面模式条件,则可以在多个平面方向上分别选取备选点集合,例如若点云的分布情况满足xoy平面上和yoz平面上的平面模式条件,则可以在xoy平面上按照上述(1)或(2)选取备选点集合,以及可以在yoz平面上按照上述(1)或(2)选取备选点集合。
(3)点云的空间分布情况可以包括待解码点分别与M个已解码点之间的空间偏移情况,在此情况下的第三种备选点集合的选取方式。具体来说,可以基于点云的空间分布情况确定偏移条件,根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中。
偏移条件可以包括沿偏移方向的偏移阈值,根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中,可以包括:M个已解码点中的任一个已解码点的空间坐标可以表示为(x,y,z),待解码点的空间坐标可以表示为(x0,y0,z0),若已解码点(x,y,z)与待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则可以将已解码点(x,y,z)添加至备选点集合中。更为详细地,偏移条件可以包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;已解码点(x,y,z)与待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,可以包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。也就是说,当偏移方向的数量大于1时,可以将沿不同的偏移方向选取得到的满足所述偏移条件的已解码点添加至相同的备选点集合中。
或者,偏移条件可以包括沿偏移方向的偏移阈值,偏移方向可以包括至少一个方向,根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中,可以包括:将基于同一偏移方向选取得到的满足偏移条件的已解码点添加至同一个备选点集合中,以及可以将基于不同的偏移方向选取得到的满足所述偏移条件的已解码点添加至不同的备选点集合中。更为详细地,偏移条件可以包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;基于上述偏移条件可以最多确定6个备选点集合,分别是:基于X轴正向选取得到的满足(x+dx)<x0的已解码点添加至X轴正向对应的备选点集合中,基于X轴负向选取得到的满足(x-dx’)<x0的已解码点添加至X轴负向对应的备选点集合中,基于Y轴正向选取得到的满足(y+dy)<y0的已解码点添加至Y轴正向对应的备选点集合中,基于Y轴负向选取得到的满足(y-dy’)<y0的已解码点添加至Y轴负向对应的备选点集合中,基于Z轴正向选取得到的满足(z+dz)<z0的已解码点添加至Z轴正向对应的备选点集合中,基于Z轴负向选取得到的满足(z-dz’)<z0的已解码点添加至Z轴负向对应的备选点集合中。
(4)点云的空间分布情况可以包括待解码点与M个已解码点的空间归属情况,在此情况下的第四种备选点集合的选取方式。具体来说,可以从M个已解码点中筛选待解码点所属的父节点的邻居点,以及将父节点的邻居点添加至备选点集合中。其中,父节点的邻居点包括以下至少一种:M个已解码点中与父节点共面的已解码点,M个已解码点中与所述父节点共线的已解码点,M个已解码点中与所述父节点相交的已解码点,具体可参见上述图4e所示实施例的描述,在此不再赘述。
(5)点云的空间分布情况可以包括待解码点与M个已解码点的排序关系情况,在此情况下的第五种备选点集合的选取方式。具体来说,M个已解码点具备排序顺序(例如前述提及的具备Hilbert序、具备Morton序、具备几何编码顺序、或具备点云的原始输入顺序等),可以按照M个已解码点的排序顺序,从M个已解码点中选取待解码点的前序m个已解码点添加至备选点集合中,前序m个已解码点可以是指M个已解码点中排列于待解码点之前,且与待解码点在排序上相邻的m个已解码点,m小于或等于M。换句话说,待解码点的前序m个已解码点可以是以待解码点作为基准,按照已解码点的排序顺序逆序往前数m个已解码点。举例来说,当M的取值为5,m的取值为3时,5个已解码点(分别是已解码点1、已解码点2、已解码点3、已解码点4和已解码点5)按序排列,则待解码点的前序3个解码点为已解码点3、已解码点4和已解码点5。
(6)点云的空间分布情况可以包括M个已解码点的编码依赖关系情况,在此情况下的第六种备选点集合的选取方式。具体来说,可以去除M个已解码点中采用孤立点编码的点,将M个已解码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。所谓采用孤立点编码的点是指点云中独立编码的点,该点的编码过程不依赖于点云中除该点外的其他点。
(7)点云的空间分布情况可以包括M个已解码点之间的空间位置关系情况,在此情况下的第七种备选点集合的选取方式。具体来说,,M个已解码点具备排序顺序(例如前述提及的具备Hilbert序、具备Morton序、具备几何编码顺序、或具备点云的原始输入顺序等),可以基于M个已解码点的空间位置关系生成预测树,以及基于预测树从M个已解码点选取备选点集合。其中,当预测树的数量大于1时,基于预测树从M个已解码点选取备选点集合,可以包括:将处于同一预测树的已解码点添加至同一个备选点集合中,以及将处于不同预测树的已解码点添加至不同的备选点集合中。其中,预测树是通过分析M个已解码点中各点的空间坐标的邻近关系,设置一定的准则将各个已解码点逐一连接成单链或是多链的树形结构而生成的。
需要说明的是,当采用上述(1)-(7)中的任意一种或多种备选点集合的选取方式选取的备选点集合中,存在空集合或备选点集合中包含的已解码点的数量较少(例如备选点集合中包含的已解码点的数量小于第三数量阈值时),可以将这些备选点集合进行组合,形成新的备选点集合。
S303,从备选点集合中选取参考点。
基于点云的空间分布情况,从M个已解码点中选取备选点集合后,可以从备选点集合中选取参考点。
S304,基于所述参考点的重建属性信息,对待解码点进行解码处理。
从备选点集合中选取参考点后,可以基于参考点的重建属性信息,对待解码点进行解码处理。其中,基于参考点的重建属性信息,对待解码点进行解码处理,可以包括:基于参考点的重建属性信息,预测待解码点的重建属性信息,获取待解码点的重建几何信息,基于待解码点的重建属性信息和待解码点的重建几何信息,重建待解码点。
本申请实施例中,提供了多种基于点云的空间分布情况从M个已解码点中选取备选点集合的方式,选取得到的备选点集合具备差异化,这样可以提高从备选点集合中选取的参考点与待解码点之间的相似性,从而可以提高基于参考点的重建属性信息对待解码点进行属性解码的效率,提升点云属性的解码效率。
本申请实施例提供一种点云处理方法,该点云处理方法主要介绍解码端从备选点集合中选取参考点,以及基于参考点的重建属性信息,对待解码点进行解码处理的内容,该点云处理方法可以由上述点云处理系统20中的解码设备202执行。如图5所示,该点云处理方法可以包括以下步骤S501-步骤S506:
S501,确定点云中的待解码点,点云包含M个已解码点。
本申请实施例中步骤S501的执行过程与上述图3所示实施例中步骤S301的执行过程相同,具体执行过程可参见上述图3所示实施例中步骤S301的描述,在此不再赘述。
S502,基于点云的空间分布情况,从M个已解码点中选取备选点集合。
本申请实施例中步骤S502的执行过程与上述图3所示实施例中步骤S302的执行过程相同,具体执行过程可参见上述图3所示实施例中步骤S302的描述,在此不再赘述。
S503,从备选点集合中选取参考点。
从备选点集合中选取参考点可以按照分散选择方式或优先级选择方式中的任一种来进行选取。为了便于理解从备选点集合中选取参考点的过程,可以将备选点集合的数量表示为P,参考点的数量表示为K,P和K均为正整数。其中:
按照分散选择方式从P个备选点集合中选取K个参考点的过程,可以包括:分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量可以相同或不同。例如,备选点集合的数量为2个,分别是备选点集合1和备选点集合2,可以从备选点集合1中选取2个已解码点作为参考点,从备选点集合2中选取2个已解码点作为参考点,得到4个参考点;又如,备选点集合的数量为2个,分别是备选点集合1和备选点集合2,可以从备选点集合1中选取2个已解码点作为参考点,从备选点集合2中选取3个已解码点作为参考点,得到5个参考点。
特别地,从P个备选点集合中的每个备选点集合中选取的参考点可以是随机选取的;或者,从P个备选点集合中的每个备选点集合中选取的参考点是备选点集合中与待解码点的距离最近的一个或多个已解码点,举例来说,备选点集合中包含3个已解码点,分别是已解码点1、已解码点2和已解码点3,按照与待解码点之间的距离从大到小的顺序对3个已解码点进行排序后,得到已解码点1、已解码点3和已解码点2的排列顺序,已解码点3和已解码点2与待解码点之间的距离最近,则可以从备选点集合选取已解码点3和已解码点2作为参考点;或者,P个备选点集合中的部分备选点集合随机选取备选点集合中的已解码点作为参考点,另一部分备选点集合选取的参考点是备选点集合中与待解码点的距离最近的一个或多个已解码点。
按照优先级选择方式从P个备选点集合中选取K个参考点的过程,可以包括:P个备选点集合对应不同的优先级,可以按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。举例来说,备选点集合的数量为2个,分别是备选点集合1和备选点集合2,备选点集合1的优先级高于备选点集合2的优先级,需要选择的参考点的数量为5个,则可以按照优先级由高至低的顺序,从备选点集合1中选取3个已解码点均作为参考点,从备选点集合2中选取2个已解码点作为参考点以补齐5个参考点;其中,3个已解码点可以是备选点集合1中的全部解码点,或者3个已解码点可以是从备选点集合1中随机选取的已解码点,或者,3个已解码点可以是与备选点集合1中与待解码点距离最近的3个已解码点;类似地,可以从备选点集合2中随机选取2个已解码点作为补齐的参考点,或者,可以从备选点集合2中选取与待解码点距离最近的2个已解码点作为补齐的参考点。
可以理解的是,从备选点集合中选取参考点也可以组合分散选择方式或优先级选择方式来进行选取,例如:设P=4,即共有4个备选点集合,其中2个备选点集合可以按照分散选择方式来选取参考点,另外2个备选点集合可以按照优先级选择方式来选取参考点,最后组合各种方式选取的共K个参考点。
S504,基于参考点的重建属性信息,预测待解码点的重建属性信息。
从备选点集合中选取参考点后,可以基于参考点的重建属性信息,预测待解码点的重建属性信息,为了便于理解基于参考点的重建属性信息,预测待解码点的重建属性信息的过程,可以将参考点的数量表示为K个,K为正整数。基于参考点的重建属性信息,预测待解码点的重建属性信息的过程,可以包括以下子步骤s11-子步骤s13:
s11,获取K个参考点中每个参考点的权重。
K个参考点中每个参考点的权重可以是根据参考点与待解码点之间的距离确定的,获取K个参考点中每个参考点的权重,可以包括:根据K个参考点中每个参考点与待解码点之间的距离,确定K个参考点的权重,任一个参考点的权重可以等于该参考点与待解码点之间的距离的倒数。具体计算过程可参见下述公式1:
在此对上述公式1中的参数进行解释:待解码点的空间坐标表示为(x0,y0,z0);K个参考点中的任一个参考点可以表示为第i个参考点,第i个参考点的空间坐标表示为(xi,yi,zi),i为小于或等于K的正整数;|xi-x0|+|yi-y0|+|zi-z0|表示第i个参考点与待解码点之间的距离;wi表示第i个参考点的权重。
或者,K个参考点中每个参考点的权重可以是根据参考点与待解码点之间的距离,以及参考点所属的备选点集合的优先级确定的,获取K个参考点中每个参考点的权重,可以包括:备选点集合的数量为P个,P个备选点集合对应不同的优先级,可以根据K个参考点中每个参考点与待解码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。具体来说,可以根据K个参考点中每个参考点与待解码点之间的距离,确定K个参考点的初始权重,任一个参考点的初始权重可以等于该参考点与待解码点之间的距离的倒数,具体可参见上述公式1,然后,可以根据K个参考点中每个参考点的初始权重,以及K个参考点中每个参考点所属的备选点集合的优先级系数,确定K个参考点的最终权重,任一个参考点的最终权重可以等于该参考点的初始权重与该参考点所属的备选点集合的优先级系数的乘积,或者,任一个参考点的最终权重可以等于该参考点的初始权重与该参考点所属的备选点集合的优先级系数之和。
或者,备选点集合的数量为P个,P个备选点集合中,同一个备选点集合中的参考点采用相同的权重,不同备选点集合中的参考点采用相互独立的权重。举例来说,备选点集合的数量为2个,分别是备选点集合1和备选点集合2,属于备选点集合1中的参考点均采用的权重为1,属于备选点集合2中的参考点均采用的权重为2。
s12,基于K个参考点中每个参考点的权重,对K个参考点的重建属性信息进行加权求和,得到待解码点的预测属性信息。
在获取到K个参考点中每个参考点的权重后,可以基于K个参考点中每个参考点的权重,对K个参考点的重建属性信息进行加权求和,得到待解码点的预测属性信息。具体计算过程可参见下述公式2:
在此对上述公式2中的参数进行解释:K个参考点中的任一个参考点可以表示为第i个参考点,wi表示第i个参考点的权重;表示第i个参考点的重建属性信息;A表示待解码点的预测属性信息。
s13,根据待解码点的预测属性信息,确定待解码点的重建属性信息。
在基于K个参考点中每个参考点的权重,对K个参考点的重建属性信息进行加权求和,得到待解码点的预测属性信息之后,可以根据待解码点的预测属性信息,确定待解码点的重建属性信息。根据待解码点的预测属性信息,确定待解码点的重建属性信息的过程,具体可以包括属性预测解码或属性预测变换解码中的任一种方式。其中:
(1)属性预测解码。对于属性预测解码方式,根据待解码点的预测属性信息,确定待解码点的重建属性信息的过程,可以包括:对待解码点进行属性解码处理,得到待解码点的重建残差信息,根据预测属性信息和重建残差信息,确定待解码点的重建属性信息,待解码点的重建属性信息可以等于预测属性信息与重建残差信息之和。其中,对待解码点进行属性解码处理,得到待解码点的重建残差信息的过程,可以包括:可以对待解码点的属性编码信息进行解码处理(例如可以是熵解码处理),得到待解码点的重建量化值,然后可以对待解码点的重建量化值进行反量化处理,得到待解码点的重建残差信息。
(2)属性预测变换解码。对于属性预测变换解码方式,根据待解码点的预测属性信息,确定待解码点的重建属性信息的过程,可以包括:对待解码点进行属性解码处理,得到待解码点的重建变换系数,并对重建变换系数进行反变换处理,得到待解码点的重建残差信息,根据预测属性信息和重建残差信息,确定待解码点的重建属性信息,待解码点的重建属性信息可以等于预测属性信息与重建残差信息之和。其中,对待解码点进行属性解码处理,得到待解码点的重建变换系数的过程,具体可以包括:可以对待解码点的属性编码信息进行解码处理(例如可以是熵解码处理),得到待解码点的重建量化值,然后可以对待解码点的重建量化值进行反量化处理,得到待解码点的重建变换系数。此处,反变换处理与变换处理对应,变换处理可以是指DCT(Discrete Cosine Transfo rm,离散余弦变换)处理,反变换处理可以是指IDCT(Inverse Discrete Cosin e Transform,离散余弦逆变换)处理,IDCT变换和DCT变换属于正交变换,正交变换不改变信源熵值,完全可以通过反变换处理得到重建残差信息。
S505,获取待解码点的重建几何信息。
S506,基于待解码点的重建属性信息和待解码点的重建几何信息,重建待解码点。
下面结合两个具体的实例对本申请实施例提供的属性解码过程进行总结:
实例一:
(1)重建点云排序。重建点云即点云中的M个已解码点(可以是全部已解码点,可以是部分已解码点),可以根据空间填充曲线(例如Hilbert曲线)对M个已解码点进行排序。
(2)基于点云的空间分布情况,从M个已解码点中选择一个或多个备选点集合。例如,首先,判定平面模式条件,采用满足平面模式条件下的备选点集合选取方式从M个已解码点中选择备选点集合{P1};其次,选择M个已解码点中与待解码点所属的父节点共面、且共线的邻居点作为备选点集合{P2}。
(3)优先级选择方式从备选点集合中选取参考点。若备选点集合{P1}的优先级高于备选点集合{P2}的优先级,则可以先将备选点集合{P1}中的所有已解码点作为参考点,若备选点集合{P1}中的所有已解码点的数量不满足K个,则可以选择备选点集合{P2}中与待解码点距离最近的一个或多个已解码点补齐K个参考点。
(4)计算K个参考点中每个参考点的权重。可以令属于备选点集合{P1}中的参考点权重均为2,属于备选点集合{P2}中的参考点权重均为1。
(5)根据K个参考点的权重对K个参考点的重建属性信息进行加权求和,得到待解码点的预测属性信息。
(6)对待解码点进行属性解码处理(可以包含属性预测解码处理或属性预测变换解码处理),得到待解码点的重建残差信息,根据待解码点的预测属性信息和待解码点的重建残差信息,确定待解码点的重建属性信息。
实例二:
(1)重建点云排序。重建点云即点云中的M个已解码点(可以是全部已解码点,可以是部分已解码点),可以根据空间填充曲线(例如Hilbert曲线)对M个已解码点进行排序。
(2)基于点云的空间分布情况,从M个已解码点中选择一个或多个备选点集合。例如,首先,判定平面模式条件,采用满足平面模式条件下的备选点集合选取方式从M个已解码点中选择备选点集合{P1};其次,选择M个已解码点中的前序m个已解码点作为备选点集合{P2}。
(3)优先级选择方式从备选点集合中选取参考点。若备选点集合{P1}的优先级高于备选点集合{P2}的优先级,则可以选择备选点集合{P1}中与待解码点在Z轴方向上距离最近的一个或多个已解码点作为参考点,若备选点集合{P1}中与待解码点在Z轴方向上距离最近的已解码点的数量不满足K个,则可以选择备选点集合{P2}中与待解码点距离最近的一个或多个已解码点补齐K个参考点。
(4)计算K个参考点中每个参考点的权重。可以根据K个参考点中每个参考点与待解码点之间的距离,计算K个参考点的权重。
(5)根据K个参考点的权重对K个参考点的重建属性信息进行加权求和,得到待解码点的预测属性信息。
(6)对待解码点进行属性解码处理(可以包含属性预测解码处理或属性预测变换解码处理),得到待解码点的重建残差信息,根据待解码点的预测属性信息和待解码点的重建残差信息,确定待解码点的重建属性信息。
本申请实施例中,提供了多种从备选点集合中选取参考点的方式,选取得到的参考点具备多样性,这样可以提高从备选点集合中选取的参考点与待解码点之间的相似性,从而可以提高基于参考点的重建属性信息对待解码点进行属性解码的效率,提升点云属性的解码效率。
本申请实施例提供一种点云处理方法,该点云处理方法主要介绍编码端基于点云的空间分布情况从已编码点中选取备选点集合,从备选点集合中选取参考点,以及基于参考点的真实属性信息,对待编码点进行编码处理的内容,该点云处理方法可以由上述点云处理系统20中的编码设备201执行。如图6所示,该点云处理方法可以包括以下步骤S601-步骤S604:
S601,确定点云中的待编码点,点云包含M个已编码点。
当需要对点云中的待编码点进行编码处理时,可以获取点云中的M个已编码点,M为整数。其中,M个已编码点可以是点云中的全部已编码点,或者M个已编码点可以是点云中的部分已编码点。
当M个已编码点是点云中的全部已编码点时,可以对M个已编码点进行排序,得到具备排序顺序的M个已编码点。其中,对M个已编码点进行排序,可以包括以下任一种:①根据空间填充曲线对M个已编码点进行排序,空间填充曲线例如可以是Hilbert(希尔伯特)曲线、Morton(莫顿)曲线。根据Hilbert曲线对M个已编码点进行排序,可以得到具备Hilbert序的M个已编码点;根据Morton曲线对M个已编码点进行排序,可以得到具备Morton序的M个已编码点。②根据几何编码顺序对M个已编码点进行排序,几何编码顺序是指对M个已编码点的几何信息进行编码处理时的编码顺序,根据几何编码顺序对M个已编码点进行排序,可以得到具备几何编码顺序的M个已编码点。③基于点云的原始输入顺序对M个已编码点进行排序,点云的原始输入顺序是指点云中的各点输入编码设备的顺序,基于点云的原始输入顺序对M个已编码点进行排序,可以得到具备点云的原始输入顺序的M个已编码点。
当M个已编码点是点云中的部分已编码点时,可以先对点云中的全部已编码点进行排序(可以采用上述根据空间填充曲线进行排序、根据几何编码顺序进行排序、或者基于点云的原始输入顺序进行排序中的任一种),然后从全部已编码点中选择M个已编码点。在一种实现方式中,M个已编码点可以是全部已编码点中的任意M个顺序排列的已编码点;在另一种实施方式中,M个已编码点也可以是全部已编码点中待编码点的前序M个已编码点,此处,前序M个已编码点可以是指排列于待编码点之前,且与待编码点在排序上相邻的M个已编码点。换句话说,待编码点的前序M个已编码点可以是以待编码点作为基准,按照已编码点的排序顺序逆序往前数M个已编码点。需要说明的是,M的取值可以是编码设备的使用对象设置的,或者M的取值可以是编码设备中默认设置的,或者为了编解码一致性,编码设备中M的取值与解码设备中M的取值相同。
S602,基于点云的空间分布情况,从M个已编码点中选取备选点集合。
为了便于更清楚地理解步骤S602,在对步骤S602进行介绍之前,在此先对步骤S602中涉及到的一些概念进行介绍:
①平面方向:如上述图4a所示,以空间直角坐标系为例,空间直角坐标系可以包括X轴、Y轴和Z轴,空间平面方向可以包括xoy平面、yoz平面和zox平面。
②待编码点所属的父节点:由前述内容可知,对于几何八叉树编码,可以对点云所在的三维空间进行划分,对预先设定的点云的包围盒(本申请实施例以包围盒是正方体为例进行说明)进行均匀划分,划分后每个节点可以具备八个子节点,若某个节点的子节点中包含待编码点,则该节点为待编码点所属的父节点。
③相同层级:对于xoy平面,同处于Z轴正方向或负方向的节点属于相同层级;对于yoz平面,同处于X轴正方向或负方向的节点属于相同层级;对于zox平面,同处于Y轴正方向或负方向的节点属于相同层级。如上述图4c所示,图4c以xoy平面为例,第一行示出的父节点中的各个子节点同处于Z轴正方向,属于相同层级,第二行示出的父节点中的各子节点同处于Z轴负方向,属于相同层级。
基于上述相关概念的描述,步骤S602中,点云的空间分布情况可以用于反映点云中各点的空间特征关系,点云的空间分布情况可以包括以下任一种或多种:①特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式可以包括平面模式,特定空间模式下待编码点与M个已编码点的层级分布情况可以用于指示以下至少一种情况:平面模式下待编码点在所属的父节点中所处的层级,M个已编码点与各已编码点各自的父节点之间的层级关系,M个已编码点与待编码点之间的层级关系,以及M个已编码点之间的层级关系等等。②特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;特定空间模式可以包括平面模式,特定方向可以包括平面方向,特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况可用于指示平面模式下待编码点分别与M个已编码点之间在平面方向上的距离。③待编码点分别与M个已编码点之间的空间偏移情况,具体可以包括:待编码点分别与M个已编码点之间沿空间中的一个或多个偏移方向的相对偏移。④待编码点与M个已编码点的空间归属情况,可以用于指示:待编码点所属的父节点,以及M个已编码点与待编码点所属的父节点之间的共面、共线或相交关系。⑤待编码点与M个已编码点的排序关系情况,可以用于指示:待编码点与M个已编码点之间排序基准(例如M个已编码点是以待编码点为排序基准的),以及采用的排序方式(例如是采用上述根据空间填充曲线进行排序、根据几何编码顺序进行排序、或者基于点云的原始输入顺序进行排序中的任一种方式)。⑥M个已编码点的编码依赖情况,可以用于指示:M个已编码点的编码依赖方式,例如编码依赖方式可以包括孤立点编码方式,依赖编码方式等;其中,采用孤立点编码的点是指点云中独立编码的点,该点的编码过程不依赖于点云中除该点外的其他点;采用依赖编码的点是指点云中编码过程依赖于其他点(例如参考点)的点。⑦M个已编码点之间的空间位置关系,可以用于反映M个已编码点之间的空间位置的邻近关系。
基于此,基于点云的空间分布情况,从M个已编码点中选取备选点集合的方式可以包括以下任意一种或多种:
(1)点云的空间分布情况可以包括特定空间模式下待编码点与M个已编码点的层级分布情况,特定空间模式可以包括平面模式,满足平面模式条件下的第一种备选点集合选取方式。具体来说,若点云的空间分布情况满足平面模式条件,则可以确定待编码点在待编码点所属的父节点中所处的目标层级;从M个已编码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已编码点添加至备选点集合中。其中,同层关联节点是指M个已编码点中,与父节点处于相同层级的已编码点。若同层关联节点的数量为1,则将同层关联节点中处于目标层级的已编码点添加至备选点集合中,可以包括:将同层关联节点中处于目标层级的已编码点添加至同一个备选点集合中。若同层关联节点的数量大于1,则将同层关联节点中处于目标层级的已编码点添加至备选点集合中,可以包括:将属于同一个同层关联节点且处于目标层级的已编码点添加至同一个备选点集合中,以及将属于不同的同层关联节点且处于所述目标层级的已编码点添加至不同的备选点集合中,即每个同层关联节点各自对应一个备选点集合。或者,若同层关联节点的数量大于1,则将同层关联节点中处于目标层级的已编码点添加至备选点集合中,可以包括:将各个同层关联节点中处于目标层级的已编码点均添加至同一个备选点集合中,即不同的同层关联节点对应同一个备选点集合。
(2)点云的空间分布情况可以包括特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况,特定空间模式可以包括平面模式,特定方向可以包括平面方向,满足平面模式条件下的第二种备选点集合选取方式。具体来说,若空间分布情况满足平面模式条件,则可以确定平面方向,将M个已编码点中,在平面方向上与待编码点的距离小于距离阈值的已编码点添加至备选点集合中。以xoy平面为例,待编码点的空间坐标可以表示为(x0,y0,z0),M个已编码点中的任一个已编码点的空间坐标可以表示为(x,y,z),待编码点与该已编码点在xoy平面上的距离可以表示为d=|x-x0|+|y-y0|,若距离d小于或等于xoy平面上的距离阈值d1,则可以将该已编码点添加至备选点集合中。需要说明的是,不同的平面方向可以对应相同的距离阈值,或者不同的平面方向也可以对应不同的距离阈值,例如xoy平面上的距离阈值为d1,yoz平面上的距离阈值为d2,zox平面上的距离阈值为d3,d1、d2和d3不相同。
上述(1)和(2)中均涉及对点云的空间分布情况进行平面模式条件的判定,在此对平面模式条件的判定方式进行介绍,平面模式条件的判定方式可以包括以下任一种:
第一种,可以在M个已编码点中确定待编码点的目标邻居点,待编码点的目标邻居点包括M个已编码点中与待编码点属于同一父节点的已编码点,若待编码点与待编码点的目标邻居点处于同一个平面(即同一层级),则可以判定点云的空间分布情况满足平面模式条件。
第二种,可以获取M个已编码点中处于相同层级的已编码点数量,若处于相同层级的已编码点数量大于第一数量阈值,则可以判定点云的空间分布情况满足平面模式条件。
第三种,可以从M个已编码点中筛选待编码点所属的父节点的邻居点,若待编码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则可以判定点云的空间分布情况满足平面模式条件。其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。所谓共面,可以理解为父节点与邻居点之间具有公共面,如上述图4e所示,父节点与邻居点1之间共面;所谓共线,可以理解为父节点与邻居点之间具有公共线,如图4e所示,父节点与邻居点2之间共线;所谓相交,可以理解为父节点与邻居点之间具有公共交点,如图4e所示,父节点与邻居点3之间相交。
需要说明的是,若点云的分布情况满足某个平面方向上的平面模式条件,则可以在该平面方向上选取备选点集合,例如若点云的分布情况满足xoy平面上的平面模式条件,则可以在xoy平面上按照上述(1)或(2)选取备选点集合。若点云的分布情况满足多个平面方向上的平面模式条件,则可以在多个平面方向上分别选取备选点集合,例如若点云的分布情况满足xoy平面上和yoz平面上的平面模式条件,则可以在xoy平面上按照上述(1)或(2)选取备选点集合,以及可以在yoz平面上按照上述(1)或(2)选取备选点集合。
(3)点云的空间分布情况可以包括待编码点分别与M个已编码点之间的空间偏移情况,在此情况下的第三种备选点集合的选取方式。具体来说,可以基于点云的空间分布情况确定偏移条件,根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中。
偏移条件可以包括沿偏移方向的偏移阈值,根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中,可以包括:M个已编码点中的任一个已编码点的空间坐标可以表示为(x,y,z),待编码点的空间坐标可以表示为(x0,y0,z0),若已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则可以将已编码点(x,y,z)添加至备选点集合中。更为详细地,偏移条件可以包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,可以包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。也就是说,当偏移方向的数量大于1时,可以将沿不同的偏移方向选取得到的满足所述偏移条件的已编码点添加至相同的备选点集合中。
或者,偏移条件可以包括沿偏移方向的偏移阈值,偏移方向可以包括至少一个方向,根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中,可以包括:将基于同一偏移方向选取得到的满足偏移条件的已编码点添加至同一个备选点集合中,以及可以将基于不同的偏移方向选取得到的满足所述偏移条件的已编码点添加至不同的备选点集合中。更为详细地,偏移条件可以包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;基于上述偏移条件可以最多确定6个备选点集合,分别是:基于X轴正向选取得到的满足(x+dx)<x0的已编码点添加至X轴正向对应的备选点集合中,基于X轴负向选取得到的满足(x-dx’)<x0的已编码点添加至X轴负向对应的备选点集合中,基于Y轴正向选取得到的满足(y+dy)<y0的已编码点添加至Y轴正向对应的备选点集合中,基于Y轴负向选取得到的满足(y-dy’)<y0的已编码点添加至Y轴负向对应的备选点集合中,基于Z轴正向选取得到的满足(z+dz)<z0的已编码点添加至Z轴正向对应的备选点集合中,基于Z轴负向选取得到的满足(z-dz’)<z0的已编码点添加至Z轴负向对应的备选点集合中。
(4)点云的空间分布情况可以包括待编码点与M个已编码点的空间归属情况,在此情况下的第四种备选点集合的选取方式。具体来说,可以从M个已编码点中筛选待编码点所属的父节点的邻居点,以及将父节点的邻居点添加至备选点集合中。其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与所述父节点共线的已编码点,M个已编码点中与所述父节点相交的已编码点,具体可参见上述图4e所示实施例的描述,在此不再赘述。
(5)点云的空间分布情况可以包括待编码点与M个已编码点的排序关系情况,在此情况下的第五种备选点集合的选取方式。具体来说,M个已编码点具备排序顺序(例如前述提及的具备Hilbert序、具备Morton序、具备几何编码顺序、或具备点云的原始输入顺序等),可以按照M个已编码点的排序顺序,从M个已编码点中选取待编码点的前序m个已编码点添加至备选点集合中,前序m个已编码点可以是指M个已编码点中排列于待编码点之前,且与待编码点在排序上相邻的m个已编码点,m小于或等于M。换句话说,待编码点的前序M个已编码点可以是以待编码点作为基准,按照已编码点的排序顺序逆序往前数M个已编码点。
(6)点云的空间分布情况可以包括M个已编码点的编码依赖关系情况,在此情况下的第六种备选点集合的选取方式。具体来说,可以去除M个已编码点中采用孤立点编码的点,将M个已编码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。所谓采用孤立点编码的点是指点云中独立编码的点,该点的编码过程不依赖于点云中除该点外的其他点。
(7)点云的空间分布情况可以包括M个已编码点之间的空间位置关系情况,在此情况下的第七种备选点集合的选取方式。具体来说,M个已编码点具备排序顺序(例如前述提及的具备Hilbert序、具备Morton序、具备几何编码顺序、或具备点云的原始输入顺序等),可以基于M个已编码点的空间位置关系生成预测树,以及基于预测树从M个已编码点选取备选点集合。其中,当预测树的数量大于1时,基于预测树从M个已编码点选取备选点集合,可以包括:将处于同一预测树的已编码点添加至同一个备选点集合中,以及将处于不同预测树的已编码点添加至不同的备选点集合中。其中,预测树是通过分析M个已编码点中各点的空间坐标的邻近关系,设置一定的准则将各个已编码点逐一连接成单链或是多链的树形结构而生成的。
需要说明的是,当采用上述(1)-(7)中的任意一种或多种备选点集合的选取方式选取的备选点集合中,存在空集合或备选点集合中包含的已编码点的数量较少(例如备选点集合中包含的已编码点的数量小于第三数量阈值时),可以将这些备选点集合进行组合,形成新的备选点集合。
S603,从备选点集合中选取参考点。
从备选点集合中选取参考点可以按照分散选择方式或优先级选择方式中的任一种来进行选取。为了便于理解从备选点集合中选取参考点的过程,可以将备选点集合的数量表示为P,参考点的数量表示为K,P和K均为正整数。其中:
按照分散选择方式从P个备选点集合中选取K个参考点的过程,可以包括:分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量可以相同或不同。
特别地,从P个备选点集合中的每个备选点集合中选取的参考点可以是随机选取的;或者,从P个备选点集合中的每个备选点集合中选取的参考点是备选点集合中与待编码点的距离最近的一个或多个已编码点,举例来说,备选点集合中包含3个已编码点,分别是已编码点1、已编码点2和已编码点3,按照与待编码点之间的距离从大到小的顺序对3个已编码点进行排序后,得到已编码点1、已编码点3和已编码点2的排列顺序,已编码点3和已编码点2与待编码点之间的距离最近,则可以从备选点集合选取已编码点3和已编码点2作为参考点;或者,P个备选点集合中的部分备选点集合随机选取备选点集合中的已编码点作为参考点,另一部分备选点集合选取的参考点是备选点集合中与待编码点的距离最近的一个或多个已编码点。
按照优先级选择方式从P个备选点集合中选取K个参考点的过程,可以包括:P个备选点集合对应不同的优先级,可以按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。举例来说,备选点集合的数量为2个,分别是备选点集合1和备选点集合2,备选点集合1的优先级高于备选点集合2的优先级,需要选择的参考点的数量为5个,则可以按照优先级由高至低的顺序,从备选点集合1中选取3个已编码点均作为参考点,从备选点集合2中选取2个已编码点作为参考点以补齐5个参考点;其中,3个已编码点可以是备选点集合1中的全部编码点,或者3个已编码点可以是从备选点集合1中随机选取的已编码点,或者,3个已编码点可以是与备选点集合1中与待编码点距离最近的3个已编码点;类似地,可以从备选点集合2中随机选取2个已编码点作为补齐的参考点,或者,可以从备选点集合2中选取与待编码点距离最近的2个已编码点作为补齐的参考点。
可以理解的是,从备选点集合中选取参考点也可以组合分散选择方式或优先级选择方式来进行选取,例如:设P=4,即共有4个备选点集合,其中2个备选点集合可以按照分散选择方式来选取参考点,另外2个备选点集合可以按照优先级选择方式来选取参考点,最后组合各种方式选取的共K个参考点。
S604,基于参考点的真实属性信息,对待编码点进行编码处理。
从备选点集合中选取参考点之后,可以基于参考点的真实属性信息,对待编码点进行编码处理。其中,基于参考点的真实属性信息,对待编码点进行编码处理,可以包括:基于参考点的真实属性信息,预测待编码点的属性编码信息,获取待编码点的几何编码信息,基于待编码点的属性编码信息和待编码点的几何编码信息,对待编码点进行编码处理。基于参考点的真实属性信息,预测待编码点的属性编码信息的过程可以包括以下子步骤s21-子步骤s23:
s21,获取K个参考点中每个参考点的权重。
K个参考点中每个参考点的权重可以是根据参考点与待编码点之间的距离确定的,获取K个参考点中每个参考点的权重,可以包括:根据K个参考点中每个参考点与待编码点之间的距离,确定K个参考点的权重,任一个参考点的权重可以等于该参考点与待编码点之间的距离的倒数。
或者,K个参考点中每个参考点的权重可以是根据参考点与待编码点之间的距离,以及参考点所属的备选点集合的优先级确定的,获取K个参考点中每个参考点的权重,可以包括:备选点集合的数量为P个,P个备选点集合对应不同的优先级,可以根据K个参考点中每个参考点与待编码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。具体来说,可以根据K个参考点中每个参考点与待编码点之间的距离,确定K个参考点的初始权重,任一个参考点的初始权重可以等于该参考点与待编码点之间的距离的倒数,然后,可以根据K个参考点中每个参考点的初始权重,以及K个参考点中每个参考点所属的备选点集合的优先级系数,确定K个参考点的最终权重,任一个参考点的最终权重可以等于该参考点的初始权重与该参考点所属的备选点集合的优先级系数的乘积,或者,任一个参考点的最终权重可以等于该参考点的初始权重与该参考点所属的备选点集合的优先级系数之和。
或者,备选点集合的数量为P个,P个备选点集合中,同一个备选点集合中的参考点采用相同的权重,不同备选点集合中的参考点采用相互独立的权重。举例来说,备选点集合的数量为2个,分别是备选点集合1和备选点集合2,属于备选点集合1中的参考点均采用的权重为1,属于备选点集合2中的参考点均采用的权重为2。
s22,基于K个参考点中每个参考点的权重,对K个参考点的真实属性信息进行加权求和,得到待编码点的预测属性信息。
s23,根据待编码点的预测属性信息,确定待编码点的属性编码信息。
在基于K个参考点中每个参考点的权重,对K个参考点的真实属性信息进行加权求和,得到待编码点的预测属性信息之后,可以根据待编码点的预测属性信息,确定待编码点的属性编码信息。根据待编码点的预测属性信息,确定待编码点的属性编码信息的过程,具体可以包括属性预测编码或属性预测变换编码中的任一种:
(1)属性预测编码。对于属性预测编码方式,根据待编码点的预测属性信息,确定待编码点的属性编码信息的过程,可以包括:根据待编码点的真实属性信息和待编码点的预测属性信息,确定待编码点的预测残差信息,待编码点的预测残差信息可以等于待编码点的真实属性信息与待编码点的预测属性信息之差,然后,可以对待编码点的预测残差信息进行属性编码处理,得到待编码点的属性编码信息。其中,对待编码点的预测残差信息进行属性编码处理,得到待编码点的属性编码信息的过程,可以包括:对待编码点的预测残差信息进行量化处理,得到待编码点的残差量化值;对待编码点的残差量化值进行编码处理(例如可以是熵编码处理),得到待编码点的属性编码信息。
(2)属性预测变换编码。对于属性预测变换编码方式,根据待编码点的预测属性信息,确定待编码点的属性编码信息的过程,可以包括:根据待编码点的真实属性信息和待编码点的预测属性信息,确定待编码点的预测残差信息,待编码点的预测残差信息可以等于待编码点的真实属性信息与待编码点的预测属性信息之差,然后可以对待编码点的预测残差信息进行变换处理,得到待编码点的残差变系数,以及可以对待编码点的残差变系数进行属性编码处理,得到待编码点的属性编码信息。其中,变换处理可以是前述提及的DCT处理,对待编码点的残差变系数进行属性编码处理,得到待编码点的属性编码信息的过程,可以包括:对待编码点的残差变换系数进行量化处理,得到待编码点的残差量化值,对待编码点的残差量化值进行编码处理(例如可以是熵编码处理),得到待编码点的属性编码信息。
下面结合两个具体的实例对本申请实施例提供的属性编码过程进行总结:
实例一:
(1)对点云中的M个已编码点(可以是全部已编码点,可以是部分已编码点)进行排序。
(2)基于点云的空间分布情况,从M个已编码点中选择一个或多个备选点集合。例如,首先,判定平面模式条件,采用满足平面模式条件下的备选点集合选取方式从M个已编码点中选择备选点集合{P1};其次,选择M个已编码点中与待编码点所属的父节点共面、且共线的邻居点作为备选点集合{P2}。
(3)优先级选择方式从备选点集合中选取参考点。若备选点集合{P1}的优先级高于备选点集合{P2}的优先级,则可以先将备选点集合{P1}中的所有已编码点作为参考点,若备选点集合{P1}中的所有已编码点的数量不满足K个,则可以选择备选点集合{P2}中与待编码点距离最近的一个或多个已编码点补齐K个参考点。
(4)计算K个参考点中每个参考点的权重。可以令属于备选点集合{P1}中的参考点权重均为2,属于备选点集合{P2}中的参考点权重均为1。
(5)根据K个参考点的权重对K个参考点的重建属性信息进行加权求和,得到待编码点的预测属性信息。
(6)对待编码点进行属性编码处理(可以包含属性预测编码处理或属性预测变换编码处理),得到待编码点的属性编码信息。
实例二:
(1)对点云中的M个已编码点(可以是全部已编码点,可以是部分已编码点)进行排序。
(2)基于点云的空间分布情况,从M个已编码点中选择一个或多个备选点集合。例如,首先,判定平面模式条件,采用满足平面模式条件下的备选点集合选取方式从M个已编码点中选择备选点集合{P1};其次,选择M个已编码点中的前序m个已编码点作为备选点集合{P2}。
(3)优先级选择方式从备选点集合中选取参考点。若备选点集合{P1}的优先级高于备选点集合{P2}的优先级,则可以选择备选点集合{P1}中与待编码点在Z轴方向上距离最近的一个或多个已编码点作为参考点,若备选点集合{P1}中与待编码点在Z轴方向上距离最近的已编码点的数量不满足K个,则可以选择备选点集合{P2}中与待编码点距离最近的一个或多个已编码点补齐K个参考点。
(4)计算K个参考点中每个参考点的权重。可以根据K个参考点中每个参考点与待编码点之间的距离,计算K个参考点的权重。
(5)根据K个参考点的权重对K个参考点的重建属性信息进行加权求和,得到待编码点的预测属性信息。
(6)对待编码点进行属性编码处理(可以包含属性预测编码处理或属性预测变换编码处理),得到待编码点的属性编码信息。
本申请实施例中,提供了多种基于点云的空间分布情况从M个已编码点中选取备选点集合的方式,多种从备选点集合中选取参考点的方式,使得选取得到的备选点集合具备差异化,选取得到的参考点具备多样性,这样可以提高从备选点集合中选取的参考点与待编码点之间的相似性,从而可以提高基于参考点的重建属性信息对待编码点进行属性解码的效率,提升点云属性的编码效率。
上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。
请参见图7,图7是本申请实施例提供的一种点云处理装置的结构示意图,该点云处理装置可以设置于本申请实施例提供的计算机设备中,计算机设备可以是上述方法实施例中提及的解码终端。图7所示的点云处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),该点云处理装置可以用于执行图3或图5所示的方法实施例中的部分或全部步骤。请参见图7,该点云处理装置可以包括如下单元:
确定单元701,用于确定点云中的待解码点,点云包含M个已解码点,M为整数;
处理单元702,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合;空间分布情况用于反映点云中各点的空间特征关系;从备选点集合中选取参考点;基于参考点的重建属性信息,对待解码点进行解码处理。
在一种实现方式中,空间分布情况包括以下任一种或多种:
特定空间模式下待解码点与M个已解码点的层级分布情况;特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况;待解码点分别与M个已解码点之间的空间偏移情况;待解码点与M个已解码点的空间归属情况;待解码点与M个已解码点的排序关系情况;M个已解码点的编码依赖关系情况;M个已解码点之间的空间位置关系情况。
在一种实现方式中,空间分布情况包括特定空间模式下待解码点与M个已解码点的层级分布情况;特定空间模式包括平面模式;处理单元702,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定待解码点在待解码点所属的父节点中所处的目标层级;从M个已解码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已解码点添加至备选点集合中。
在一种实现方式中,同层关联节点是指M个已解码点中,与父节点处于相同层级的已解码点;若同层关联节点的数量大于1,则处理单元702,用于将同层关联节点中处于目标层级的已解码点添加至备选点集合中时,具体用于执行如下步骤:
将属于同一个同层关联节点且处于目标层级的已解码点添加至同一个备选点集合中;以及,将属于不同的同层关联节点且处于目标层级的已解码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况;特定空间模式包括平面模式;特定方向包括平面方向;处理单元702,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定平面方向;将M个已解码点中,在平面方向上与待解码点的距离小于或等于距离阈值的已解码点添加至备选点集合中。
在一种实现方式中,处理单元702,还用于执行如下步骤:
在M个已编码点中确定待解码点的目标邻居点,待解码点的目标邻居点包括M个已解码点中与待解码点属于同一父节点的已解码点;若待解码点与待解码点的目标邻居点处于同一个平面,则判定空间分布情况满足平面模式条件。
在一种实现方式中,处理单元702,还用于执行如下步骤:
获取M个已解码点中处于相同层级的已解码点数量;若处于相同层级的已解码点数量大于第一数量阈值,则判定空间分布情况满足平面模式条件。
在一种实现方式中,处理单元702,还用于执行如下步骤:
从M个已解码点中筛选待解码点所属的父节点的邻居点;若待解码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则判定空间分布情况满足平面模式条件;其中,父节点的邻居点包括以下至少一种:M个已解码点中与父节点共面的已解码点,M个已解码点中与父节点共线的已解码点,M个已解码点中与父节点相交的已解码点。
在一种实现方式中,空间分布情况包括待解码点分别与M个已解码点之间的空间偏移情况;处理单元702,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
基于点云的空间分布情况确定偏移条件;根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中。
在一种实现方式中,待解码点的空间坐标表示为(x0,y0,z0);设M个已解码点中的任一个已解码点的空间坐标表示为(x,y,z);偏移条件包括沿偏移方向的偏移阈值;处理单元702,用于根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中时,具体用于执行如下步骤:
若已解码点(x,y,z)与待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则将已解码点(x,y,z)添加至备选点集合中。
在一种实现方式中,偏移条件包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;
已解码点(x,y,z)与待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。
在一种实现方式中,偏移条件包括沿偏移方向的偏移阈值;偏移方向包括至少一个方向;处理单元702,用于根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中时,具体用于执行如下步骤:
将基于同一偏移方向选取得到的满足偏移条件的已解码点添加至同一个备选点集合中;以及,将基于不同的偏移方向选取得到的满足偏移条件的已解码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括待解码点与M个已解码点的空间归属情况;处理单元702,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
从M个已解码点中筛选待解码点所属的父节点的邻居点;将父节点的邻居点添加至备选点集合中;其中,父节点的邻居点包括以下至少一种:M个已解码点中与父节点共面的已解码点,M个已解码点中与父节点共线的已解码点,M个已解码点中与父节点相交的已解码点。
在一种实现方式中,空间分布情况包括待解码点与M个已解码点的排序关系情况;M个已解码点具备排序顺序;处理单元702,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
按照M个已解码点的排序顺序,从M个已解码点中选取待解码点的前序m个已解码点添加至备选点集合中;m小于或等于M。
在一种实现方式中,空间分布情况包括M个已解码点的编码依赖关系情况;处理单元702,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
去除M个已解码点中采用孤立点编码的点;将M个已解码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。
在一种实现方式中,空间分布情况包括M个已解码点之间的空间位置关系情况;M个已解码点具备排序顺序;处理单元702,用于基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
基于M个已解码点的空间位置关系生成预测树;基于预测树从M个已解码点选取备选点集合。
在一种实现方式中,预测树的数量大于1;处理单元702,用于基于预测树从M个已解码点选取备选点集合时,具体用于执行如下步骤:
将处于同一预测树的已解码点添加至同一个备选点集合中;以及,将处于不同预测树的已解码点添加至不同的备选点集合中。
在一种实现方式中,备选点集合的数量为P个,参考点的数量为K,P、K均为正整数;处理单元702,用于从备选点集合中选取参考点时,具体用于执行如下步骤:
按照分散选择方式从P个备选点集合中选取K个参考点;或者,按照优先级选择方式从P个备选点集合中选取K个参考点。
在一种实现方式中,处理单元702,用于按照分散选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量相同或不同。
在一种实现方式中,P个备选点集合对应不同的优先级;处理单元702,用于按照优先级选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。
在一种实现方式中,处理单元702,用于基于参考点的重建属性信息,对待解码点进行解码处理时,具体用于执行如下步骤:
基于参考点的重建属性信息,预测待解码点的重建属性信息;获取待解码点的重建几何信息;基于待解码点的重建属性信息和待解码点的重建几何信息,重建待解码点。
在一种实现方式中,参考点的数量为K个,K为正整数;处理单元702,用于基于参考点的重建属性信息,预测待解码点的重建属性信息时,具体用于执行如下步骤:
获取K个参考点中每个参考点的权重;基于K个参考点中每个参考点的权重,对K个参考点的重建属性信息进行加权求和,得到待解码点的预测属性信息;根据待解码点的预测属性信息,确定待解码点的重建属性信息。
在一种实现方式中,处理单元702,用于获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待解码点之间的距离,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P个备选点集合对应不同的优先级,P为正整数;处理单元702,用于获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待解码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P为正整数;P个备选点集合中,同一个备选点集合中的参考点采用相同的权重值,不同备选点集合中的参考点采用相互独立的权重值。
在一种实现方式中,处理单元702,用于根据待解码点的预测属性信息,确定待解码点的重建属性信息时,具体用于执行如下步骤:
对待解码点进行属性解码处理,得到待解码点的重建残差信息;或者,对待解码点进行属性解码处理,得到待解码点的重建变换系数,并对重建变换系数进行反变换处理,得到待解码点的重建残差信息;根据预测属性信息和重建残差信息,确定待解码点的重建属性信息。
根据本申请的另一个实施例,图7所示的点云处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,点云处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图5所示的部分或全部方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图7中所示的点云处理装置,以及来实现本申请实施例的点云处理方法。计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。
本申请实施例中,当需要对点云中的待解码点进行解码处理时,可以获取点云中的M个已解码点,并可以基于点云的空间分布情况,从M个已解码点中选取备选点集合,以及可以从备选点集合中选取参考点,然后便可以基于参考点的重建属性信息,对待解码点进行解码处理。本申请实施例基于点云的空间分布情况选取备选点集合,可以提高从备选点集合中选取的参考点与待解码点之间的相似性,从而可以提高基于参考点的重建属性信息对待解码点进行属性解码的效率,提升点云属性的解码效率。
请参见图7,图7是本申请实施例提供的一种点云处理装置的结构示意图,该点云处理装置可以设置于本申请实施例提供的计算机设备中,计算机设备可以是上述方法实施例中提及的编码终端。图7所示的点云处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),该点云处理装置可以用于执行图6所示的方法实施例中的部分或全部步骤。请参见图7,该点云处理装置可以包括如下单元:
确定单元701,用于确定点云中的待编码点,点云包含M个已编码点,M为整数;
处理单元702,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合;空间分布情况用于反映点云中各点的空间特征关系;从备选点集合中选取参考点;基于参考点的真实属性信息,对待编码点进行编码处理。
在一种实现方式中,空间分布情况包括以下任一种或多种:
特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;待编码点分别与M个已编码点之间的空间偏移情况;待编码点与M个已编码点的空间归属情况;待编码点与M个已编码点的排序关系情况;M个已编码点的编码依赖关系情况;M个已编码点之间的空间位置关系情况。
在一种实现方式中,空间分布情况包括特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式包括平面模式;处理单元702,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定待编码点在待编码点所属的父节点中所处的目标层级;从M个已编码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已编码点添加至备选点集合中。
在一种实现方式中,同层关联节点是指M个已编码点中,与父节点处于相同层级的已编码点;若同层关联节点的数量大于1,则处理单元702,用于将同层关联节点中处于目标层级的已编码点添加至备选点集合中时,具体用于执行如下步骤:
将属于同一个同层关联节点且处于目标层级的已编码点添加至同一个备选点集合中;以及,将属于不同的同层关联节点且处于目标层级的已编码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;特定空间模式包括平面模式;特定方向包括平面方向;处理单元702,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定平面方向;将M个已编码点中,在平面方向上与待编码点的距离小于或等于距离阈值的已编码点添加至备选点集合中。
在一种实现方式中,处理单元702,还用于执行如下步骤:
在M个已编码点中确定待编码点的目标邻居点,待编码点的目标邻居点包括M个已编码点中与待编码点属于同一父节点的已编码点;若待编码点与待编码点的目标邻居点处于同一个平面,则判定空间分布情况满足平面模式条件。
在一种实现方式中,处理单元702,还用于执行如下步骤:
获取M个已编码点中处于相同层级的已编码点数量;若处于相同层级的已编码点数量大于第一数量阈值,则判定空间分布情况满足平面模式条件。
在一种实现方式中,处理单元702,还用于执行如下步骤:
从M个已编码点中筛选待编码点所属的父节点的邻居点;若待编码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则判定空间分布情况满足平面模式条件;其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。
在一种实现方式中,空间分布情况包括待编码点分别与M个已编码点之间的空间偏移情况;处理单元702,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
基于点云的空间分布情况确定偏移条件;根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中。
在一种实现方式中,待编码点的空间坐标表示为(x0,y0,z0);设M个已编码点中的任一个已编码点的空间坐标表示为(x,y,z);偏移条件包括沿偏移方向的偏移阈值;处理单元702,用于根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中时,具体用于执行如下步骤:
若已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则将已编码点(x,y,z)添加至备选点集合中。
在一种实现方式中,偏移条件包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;
已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。
在一种实现方式中,偏移条件包括沿偏移方向的偏移阈值;偏移方向包括至少一个方向;处理单元702,用于根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中时,具体用于执行如下步骤:
将基于同一偏移方向选取得到的满足偏移条件的已编码点添加至同一个备选点集合中;以及,将基于不同的偏移方向选取得到的满足偏移条件的已编码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括待编码点与M个已编码点的空间归属情况;处理单元702,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
从M个已编码点中筛选待编码点所属的父节点的邻居点;将父节点的邻居点添加至备选点集合中;其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。
在一种实现方式中,空间分布情况包括待编码点与M个已编码点的排序关系情况;M个已编码点具备排序顺序;处理单元702,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
按照M个已编码点的排序顺序,从M个已编码点中选取待编码点的前序m个已编码点添加至备选点集合中;m小于或等于M。
在一种实现方式中,空间分布情况包括M个已编码点的编码依赖关系情况;处理单元702,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
去除M个已编码点中采用孤立点编码的点;将M个已编码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。
在一种实现方式中,空间分布情况包括M个已编码点之间的空间位置关系情况;M个已编码点具备排序顺序;处理单元702,用于基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
基于M个已编码点的空间位置关系生成预测树;基于预测树从M个已编码点选取备选点集合。
在一种实现方式中,预测树的数量大于1;处理单元702,用于基于预测树从M个已编码点选取备选点集合时,具体用于执行如下步骤:
将处于同一预测树的已编码点添加至同一个备选点集合中;以及,将处于不同预测树的已编码点添加至不同的备选点集合中。
在一种实现方式中,备选点集合的数量为P个,参考点的数量为K,P、K均为正整数;处理单元702,用于从备选点集合中选取参考点时,具体用于执行如下步骤:
按照分散选择方式从P个备选点集合中选取K个参考点;或者,按照优先级选择方式从P个备选点集合中选取K个参考点。
在一种实现方式中,处理单元702,用于按照分散选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量相同或不同。
在一种实现方式中,P个备选点集合对应不同的优先级;处理单元702,用于按照优先级选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。
在一种实现方式中,处理单元702,用于基于参考点的真实属性信息,对待编码点进行编码处理时,具体用于执行如下步骤:
基于参考点的真实属性信息,预测待编码点的属性编码信息;获取待编码点的几何编码信息;基于待编码点的属性编码信息和待编码点的几何编码信息,对待编码点进行编码处理。
在一种实现方式中,参考点的数量为K个,K为正整数;处理单元702,用于基于参考点的真实属性信息,预测待编码点的属性编码信息时,具体用于执行如下步骤:
获取K个参考点中每个参考点的权重;基于K个参考点中每个参考点的权重,对K个参考点的真实属性信息进行加权求和,得到待编码点的预测属性信息;根据待编码点的预测属性信息,确定待编码点的属性编码信息。
在一种实现方式中,处理单元702,用于获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待编码点之间的距离,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P个备选点集合对应不同的优先级,P为正整数;处理单元702,用于获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待编码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P为正整数;P个备选点集合中,同一个备选点集合中的参考点采用相同的权重值,不同备选点集合中的参考点采用相互独立的权重值。
在一种实现方式中,处理单元702,用于根据待编码点的预测属性信息,确定待编码点的属性编码信息时,具体用于执行如下步骤:
根据待编码点的真实属性信息和待编码点的预测属性信息,确定待编码点的预测残差信息;对待编码点的预测残差信息进行属性编码处理,得到待编码点的属性编码信息;或者,对待编码点的预测残差信息进行变换处理,得到待编码点的残差变系数;对待编码点的残差变系数进行属性编码处理,得到待编码点的属性编码信息。
根据本申请的另一个实施例,图7所示的点云处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,点云处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图6所示的部分或全部方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图7中所示的点云处理装置,以及来实现本申请实施例的点云处理方法。计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。
本申请实施例中,当需要对点云中的待编码点进行编码处理时,可以获取点云中的M个已编码点,并可以基于点云的空间分布情况,从M个已编码点中选取备选点集合,以及可以从备选点集合中选取参考点,然后便可以基于参考点的真实属性信息,对待编码点进行编码处理。本申请实施例基于点云的空间分布情况选取备选点集合,可以提高从备选点集合中选取的参考点与待编码点之间的相似性,从而可以提高基于参考点的真实属性信息对待编码点进行属性编码的效率,提升点云属性的编码效率。
基于上述方法以及装置实施例,本申请实施例提供了一种计算机设备,该计算机设备可以是前述所提及的解码终端。请参见图8,图8是本申请实施例提供的一种计算机设备的结构示意图。图8所示的计算机设备至少包括处理器801、输入接口802、输出接口803以及计算机可读存储介质804。其中,处理器801、输入接口802、输出接口803以及计算机可读存储介质804可通过总线或其他方式连接。
计算机可读存储介质804可以存储在计算机设备的存储器中,计算机可读存储介质804用于存储计算机程序,计算机程序包括计算机指令,处理器801用于执行计算机可读存储介质804存储的程序指令。处理器801(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条计算机指令,具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或多条的计算机指令,这些计算机指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(Non-VolatileMemory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一些实施例中,可由处理器801加载并执行计算机可读存储介质804中存放的一条或多条计算机指令,以实现上述有关图3或图5所示的点云处理方法的相应步骤。具体实现中,计算机可读存储介质804中的计算机指令由处理器801加载并执行如下步骤:
确定点云中的待解码点,点云包含M个已解码点,M为整数;基于点云的空间分布情况,从M个已解码点中选取备选点集合;空间分布情况用于反映点云中各点的空间特征关系;从备选点集合中选取参考点;基于参考点的重建属性信息,对待解码点进行解码处理。
在一种实现方式中,空间分布情况包括以下任一种或多种:
特定空间模式下待解码点与M个已解码点的层级分布情况;特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况;待解码点分别与M个已解码点之间的空间偏移情况;待解码点与M个已解码点的空间归属情况;待解码点与M个已解码点的排序关系情况;M个已解码点的编码依赖关系情况;M个已解码点之间的空间位置关系情况。
在一种实现方式中,空间分布情况包括特定空间模式下待解码点与M个已解码点的层级分布情况;特定空间模式包括平面模式;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定待解码点在待解码点所属的父节点中所处的目标层级;从M个已解码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已解码点添加至备选点集合中。
在一种实现方式中,同层关联节点是指M个已解码点中,与父节点处于相同层级的已解码点;若同层关联节点的数量大于1,则计算机可读存储介质804中的计算机指令由处理器801加载并执行将同层关联节点中处于目标层级的已解码点添加至备选点集合中时,具体用于执行如下步骤:
将属于同一个同层关联节点且处于目标层级的已解码点添加至同一个备选点集合中;以及,将属于不同的同层关联节点且处于目标层级的已解码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括特定空间模式下待解码点分别与M个已解码点之间在特定方向上的空间邻近情况;特定空间模式包括平面模式;特定方向包括平面方向;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定平面方向;将M个已解码点中,在平面方向上与待解码点的距离小于或等于距离阈值的已解码点添加至备选点集合中。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤:
在M个已编码点中确定待解码点的目标邻居点,待解码点的目标邻居点包括M个已解码点中与待解码点属于同一父节点的已解码点;若待解码点与待解码点的目标邻居点处于同一个平面,则判定空间分布情况满足平面模式条件。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤:
获取M个已解码点中处于相同层级的已解码点数量;若处于相同层级的已解码点数量大于第一数量阈值,则判定空间分布情况满足平面模式条件。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤:
从M个已解码点中筛选待解码点所属的父节点的邻居点;若待解码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则判定空间分布情况满足平面模式条件;其中,父节点的邻居点包括以下至少一种:M个已解码点中与父节点共面的已解码点,M个已解码点中与父节点共线的已解码点,M个已解码点中与父节点相交的已解码点。
在一种实现方式中,空间分布情况包括待解码点分别与M个已解码点之间的空间偏移情况;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
基于点云的空间分布情况确定偏移条件;根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中。
在一种实现方式中,待解码点的空间坐标表示为(x0,y0,z0);设M个已解码点中的任一个已解码点的空间坐标表示为(x,y,z);偏移条件包括沿偏移方向的偏移阈值;计算机可读存储介质804中的计算机指令由处理器801加载并执行根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中时,具体用于执行如下步骤:
若已解码点(x,y,z)与待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则将已解码点(x,y,z)添加至备选点集合中。
在一种实现方式中,偏移条件包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;
已解码点(x,y,z)与待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。
在一种实现方式中,偏移条件包括沿偏移方向的偏移阈值;偏移方向包括至少一个方向;计算机可读存储介质804中的计算机指令由处理器801加载并执行根据M个已解码点的空间坐标及待解码点的空间坐标,从M个已解码点中选取满足偏移条件的已解码点添加至备选点集合中时,具体用于执行如下步骤:
将基于同一偏移方向选取得到的满足偏移条件的已解码点添加至同一个备选点集合中;以及,将基于不同的偏移方向选取得到的满足偏移条件的已解码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括待解码点与M个已解码点的空间归属情况;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
从M个已解码点中筛选待解码点所属的父节点的邻居点;将父节点的邻居点添加至备选点集合中;其中,父节点的邻居点包括以下至少一种:M个已解码点中与父节点共面的已解码点,M个已解码点中与父节点共线的已解码点,M个已解码点中与父节点相交的已解码点。
在一种实现方式中,空间分布情况包括待解码点与M个已解码点的排序关系情况;M个已解码点具备排序顺序;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
按照M个已解码点的排序顺序,从M个已解码点中选取待解码点的前序m个已解码点添加至备选点集合中;m小于或等于M。
在一种实现方式中,空间分布情况包括M个已解码点的编码依赖关系情况;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
去除M个已解码点中采用孤立点编码的点;将M个已解码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。
在一种实现方式中,空间分布情况包括M个已解码点之间的空间位置关系情况;M个已解码点具备排序顺序;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已解码点中选取备选点集合时,具体用于执行如下步骤:
基于M个已解码点的空间位置关系生成预测树;基于预测树从M个已解码点选取备选点集合。
在一种实现方式中,预测树的数量大于1;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于预测树从M个已解码点选取备选点集合时,具体用于执行如下步骤:
将处于同一预测树的已解码点添加至同一个备选点集合中;以及,将处于不同预测树的已解码点添加至不同的备选点集合中。
在一种实现方式中,备选点集合的数量为P个,参考点的数量为K,P、K均为正整数;计算机可读存储介质804中的计算机指令由处理器801加载并执行从备选点集合中选取参考点时,具体用于执行如下步骤:
按照分散选择方式从P个备选点集合中选取K个参考点;或者,按照优先级选择方式从P个备选点集合中选取K个参考点。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并执行按照分散选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量相同或不同。
在一种实现方式中,P个备选点集合对应不同的优先级;计算机可读存储介质804中的计算机指令由处理器801加载并执行按照优先级选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并执行基于参考点的重建属性信息,对待解码点进行解码处理时,具体用于执行如下步骤:
基于参考点的重建属性信息,预测待解码点的重建属性信息;获取待解码点的重建几何信息;基于待解码点的重建属性信息和待解码点的重建几何信息,重建待解码点。
在一种实现方式中,参考点的数量为K个,K为正整数;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于参考点的重建属性信息,预测待解码点的重建属性信息时,具体用于执行如下步骤:
获取K个参考点中每个参考点的权重;基于K个参考点中每个参考点的权重,对K个参考点的重建属性信息进行加权求和,得到待解码点的预测属性信息;根据待解码点的预测属性信息,确定待解码点的重建属性信息。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并执行获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待解码点之间的距离,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P个备选点集合对应不同的优先级,P为正整数;计算机可读存储介质804中的计算机指令由处理器801加载并执行获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待解码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P为正整数;P个备选点集合中,同一个备选点集合中的参考点采用相同的权重值,不同备选点集合中的参考点采用相互独立的权重值。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并执行根据待解码点的预测属性信息,确定待解码点的重建属性信息时,具体用于执行如下步骤:
对待解码点进行属性解码处理,得到待解码点的重建残差信息;或者,对待解码点进行属性解码处理,得到待解码点的重建变换系数,并对重建变换系数进行反变换处理,得到待解码点的重建残差信息;根据预测属性信息和重建残差信息,确定待解码点的重建属性信息。
本申请实施例中,当需要对点云中的待解码点进行解码处理时,可以获取点云中的M个已解码点,并可以基于点云的空间分布情况,从M个已解码点中选取备选点集合,以及可以从备选点集合中选取参考点,然后便可以基于参考点的重建属性信息,对待解码点进行解码处理。本申请实施例基于点云的空间分布情况选取备选点集合,可以提高从备选点集合中选取的参考点与待解码点之间的相似性,从而可以提高基于参考点的重建属性信息对待解码点进行属性解码的效率,提升点云属性的解码效率。
请参见图8,图8是本申请实施例提供的一种计算机设备的结构示意图。图8所示的计算机设备至少包括处理器801、输入接口802、输出接口803以及计算机可读存储介质804。其中,处理器801、输入接口802、输出接口803以及计算机可读存储介质804可通过总线或其他方式连接。
计算机可读存储介质804可以存储在计算机设备的存储器中,计算机可读存储介质804用于存储计算机程序,计算机程序包括计算机指令,处理器801用于执行计算机可读存储介质804存储的程序指令。处理器801(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条计算机指令,具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或多条的计算机指令,这些计算机指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(Non-VolatileMemory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一些实施例中,可由处理器801加载并执行计算机可读存储介质804中存放的一条或多条计算机指令,以实现上述有关图3或图5所示的点云处理方法的相应步骤。具体实现中,计算机可读存储介质804中的计算机指令由处理器801加载并执行如下步骤:
确定点云中的待编码点,点云包含M个已编码点,M为整数;基于点云的空间分布情况,从M个已编码点中选取备选点集合;空间分布情况用于反映点云中各点的空间特征关系;从备选点集合中选取参考点;基于参考点的真实属性信息,对待编码点进行编码处理。
在一种实现方式中,空间分布情况包括以下任一种或多种:
特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;待编码点分别与M个已编码点之间的空间偏移情况;待编码点与M个已编码点的空间归属情况;待编码点与M个已编码点的排序关系情况;M个已编码点的编码依赖关系情况;M个已编码点之间的空间位置关系情况。
在一种实现方式中,空间分布情况包括特定空间模式下待编码点与M个已编码点的层级分布情况;特定空间模式包括平面模式;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定待编码点在待编码点所属的父节点中所处的目标层级;从M个已编码点中搜索父节点的同层关联节点;将同层关联节点中处于目标层级的已编码点添加至备选点集合中。
在一种实现方式中,同层关联节点是指M个已编码点中,与父节点处于相同层级的已编码点;若同层关联节点的数量大于1,则计算机可读存储介质804中的计算机指令由处理器801加载并执行将同层关联节点中处于目标层级的已编码点添加至备选点集合中时,具体用于执行如下步骤:
将属于同一个同层关联节点且处于目标层级的已编码点添加至同一个备选点集合中;以及,将属于不同的同层关联节点且处于目标层级的已编码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括特定空间模式下待编码点分别与M个已编码点之间在特定方向上的空间邻近情况;特定空间模式包括平面模式;特定方向包括平面方向;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
若空间分布情况满足平面模式条件,则确定平面方向;将M个已编码点中,在平面方向上与待编码点的距离小于或等于距离阈值的已编码点添加至备选点集合中。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤:
在M个已编码点中确定待编码点的目标邻居点,待编码点的目标邻居点包括M个已编码点中与待编码点属于同一父节点的已编码点;若待编码点与待编码点的目标邻居点处于同一个平面,则判定空间分布情况满足平面模式条件。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤:
获取M个已编码点中处于相同层级的已编码点数量;若处于相同层级的已编码点数量大于第一数量阈值,则判定空间分布情况满足平面模式条件。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤:
从M个已编码点中筛选待编码点所属的父节点的邻居点;若待编码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则判定空间分布情况满足平面模式条件;其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。
在一种实现方式中,空间分布情况包括待编码点分别与M个已编码点之间的空间偏移情况;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
基于点云的空间分布情况确定偏移条件;根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中。
在一种实现方式中,待编码点的空间坐标表示为(x0,y0,z0);设M个已编码点中的任一个已编码点的空间坐标表示为(x,y,z);偏移条件包括沿偏移方向的偏移阈值;计算机可读存储介质804中的计算机指令由处理器801加载并执行根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中时,具体用于执行如下步骤:
若已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,则将已编码点(x,y,z)添加至备选点集合中。
在一种实现方式中,偏移条件包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;
已编码点(x,y,z)与待编码点(x0,y0,z0)之间沿偏移方向的偏移值小于沿偏移方向的偏移阈值,包括以下至少一种:(x+dx)<x0,(x-dx’)<x0,(y+dy)<y0,(y-dy’)<y0,(z+dz)<z0,(z-dz’)<z0。
在一种实现方式中,偏移条件包括沿偏移方向的偏移阈值;偏移方向包括至少一个方向;计算机可读存储介质804中的计算机指令由处理器801加载并执行根据M个已编码点的空间坐标及待编码点的空间坐标,从M个已编码点中选取满足偏移条件的已编码点添加至备选点集合中时,具体用于执行如下步骤:
将基于同一偏移方向选取得到的满足偏移条件的已编码点添加至同一个备选点集合中;以及,将基于不同的偏移方向选取得到的满足偏移条件的已编码点添加至不同的备选点集合中。
在一种实现方式中,空间分布情况包括待编码点与M个已编码点的空间归属情况;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
从M个已编码点中筛选待编码点所属的父节点的邻居点;将父节点的邻居点添加至备选点集合中;其中,父节点的邻居点包括以下至少一种:M个已编码点中与父节点共面的已编码点,M个已编码点中与父节点共线的已编码点,M个已编码点中与父节点相交的已编码点。
在一种实现方式中,空间分布情况包括待编码点与M个已编码点的排序关系情况;M个已编码点具备排序顺序;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
按照M个已编码点的排序顺序,从M个已编码点中选取待编码点的前序m个已编码点添加至备选点集合中;m小于或等于M。
在一种实现方式中,空间分布情况包括M个已解码点的编码依赖关系情况;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
去除M个已编码点中采用孤立点编码的点;将M个已编码点中去除采用孤立点编码的点后剩余的点添加至备选点集合中。
在一种实现方式中,空间分布情况包括M个已编码点之间的空间位置关系情况;M个已编码点具备排序顺序;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于点云的空间分布情况,从M个已编码点中选取备选点集合时,具体用于执行如下步骤:
基于M个已编码点的空间位置关系生成预测树;基于预测树从M个已编码点选取备选点集合。
在一种实现方式中,预测树的数量大于1;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于预测树从M个已编码点选取备选点集合时,具体用于执行如下步骤:
将处于同一预测树的已编码点添加至同一个备选点集合中;以及,将处于不同预测树的已编码点添加至不同的备选点集合中。
在一种实现方式中,备选点集合的数量为P个,参考点的数量为K,P、K均为正整数;计算机可读存储介质804中的计算机指令由处理器801加载并执行从备选点集合中选取参考点时,具体用于执行如下步骤:
按照分散选择方式从P个备选点集合中选取K个参考点;或者,按照优先级选择方式从P个备选点集合中选取K个参考点。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并执行按照分散选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
分别从P个备选点集合中选择相应数量的参考点,得到K个参考点;其中,从P个备选点集合的每个备选点集合中选择的参考点数量相同或不同。
在一种实现方式中,P个备选点集合对应不同的优先级;计算机可读存储介质804中的计算机指令由处理器801加载并执行按照优先级选择方式从P个备选点集合中选取K个参考点时,具体用于执行如下步骤:
按照优先级由高至低的顺序,从P个备选点集合中选择参考点,直至得到K个参考点。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并执行基于参考点的真实属性信息,对待编码点进行编码处理时,具体用于执行如下步骤:
基于参考点的真实属性信息,预测待编码点的属性编码信息;获取待编码点的几何编码信息;基于待编码点的属性编码信息和待编码点的几何编码信息,对待编码点进行编码处理。
在一种实现方式中,参考点的数量为K个,K为正整数;计算机可读存储介质804中的计算机指令由处理器801加载并执行基于参考点的真实属性信息,预测待编码点的属性编码信息时,具体用于执行如下步骤:
获取K个参考点中每个参考点的权重;基于K个参考点中每个参考点的权重,对K个参考点的真实属性信息进行加权求和,得到待编码点的预测属性信息;根据待编码点的预测属性信息,确定待编码点的属性编码信息。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并执行获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待编码点之间的距离,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P个备选点集合对应不同的优先级,P为正整数;计算机可读存储介质804中的计算机指令由处理器801加载并执行获取K个参考点中每个参考点的权重时,具体用于执行如下步骤:
根据K个参考点中每个参考点与待编码点之间的距离,以及K个参考点中每个参考点所属的备选点集合对应的优先级,确定K个参考点的权重。
在一种实现方式中,备选点集合的数量为P个,P为正整数;P个备选点集合中,同一个备选点集合中的参考点采用相同的权重值,不同备选点集合中的参考点采用相互独立的权重值。
在一种实现方式中,计算机可读存储介质804中的计算机指令由处理器801加载并执行根据待编码点的预测属性信息,确定待编码点的属性编码信息时,具体用于执行如下步骤:
根据待编码点的真实属性信息和待编码点的预测属性信息,确定待编码点的预测残差信息;对待编码点的预测残差信息进行属性编码处理,得到待编码点的属性编码信息;或者,对待编码点的预测残差信息进行变换处理,得到待编码点的残差变系数;对待编码点的残差变系数进行属性编码处理,得到待编码点的属性编码信息。
本申请实施例中,当需要对点云中的待编码点进行编码处理时,可以获取点云中的M个已编码点,并可以基于点云的空间分布情况,从M个已编码点中选取备选点集合,以及可以从备选点集合中选取参考点,然后便可以基于参考点的真实属性信息,对待编码点进行编码处理。本申请实施例基于点云的空间分布情况选取备选点集合,可以提高从备选点集合中选取的参考点与待编码点之间的相似性,从而可以提高基于参考点的真实属性信息对待编码点进行属性编码的效率,提升点云属性的编码效率。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选方式中提供的点云处理方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (31)
1.一种点云处理方法,其特征在于,所述方法包括:
确定点云中的待解码点,所述点云包含M个已解码点,M为整数;
基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合;所述空间分布情况用于反映所述点云中各点的空间特征关系;
从所述备选点集合中选取参考点;
基于所述参考点的重建属性信息,对所述待解码点进行解码处理。
2.如权利要求1所述的方法,其特征在于,所述空间分布情况包括以下任一种或多种:
特定空间模式下所述待解码点与所述M个已解码点的层级分布情况;
特定空间模式下所述待解码点分别与所述M个已解码点之间在特定方向上的空间邻近情况;
所述待解码点分别与所述M个已解码点之间的空间偏移情况;
所述待解码点与所述M个已解码点的空间归属情况;
所述待解码点与所述M个已解码点的排序关系情况;
所述M个已解码点的编码依赖关系情况;
所述M个已解码点之间的空间位置关系情况。
3.如权利要求2所述的方法,其特征在于,所述空间分布情况包括特定空间模式下所述待解码点与所述M个已解码点的层级分布情况;所述特定空间模式包括平面模式;所述基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合,包括:
若所述空间分布情况满足平面模式条件,则确定所述待解码点在所述待解码点所属的父节点中所处的目标层级;
从所述M个已解码点中搜索所述父节点的同层关联节点;
将所述同层关联节点中处于所述目标层级的已解码点添加至所述备选点集合中。
4.如权利要求3所述的方法,其特征在于,所述同层关联节点是指所述M个已解码点中,与所述父节点处于相同层级的已解码点;
若所述同层关联节点的数量大于1,则所述将所述同层关联节点中处于所述目标层级的已解码点添加至所述备选点集合中,包括:
将属于同一个同层关联节点且处于所述目标层级的已解码点添加至同一个备选点集合中;以及,
将属于不同的同层关联节点且处于所述目标层级的已解码点添加至不同的备选点集合中。
5.如权利要求2所述的方法,其特征在于,所述空间分布情况包括特定空间模式下所述待解码点分别与所述M个已解码点之间在特定方向上的空间邻近情况;所述特定空间模式包括平面模式;所述特定方向包括平面方向;
所述基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合,包括:
若所述空间分布情况满足平面模式条件,则确定平面方向;
将所述M个已解码点中,在所述平面方向上与所述待解码点的距离小于或等于距离阈值的已解码点添加至所述备选点集合中。
6.如权利要求3或5所述的方法,其特征在于,所述方法还包括:
在所述M个已编码点中确定所述待解码点的目标邻居点,所述待解码点的目标邻居点包括所述M个已解码点中与所述待解码点属于同一父节点的已解码点;
若所述待解码点与所述待解码点的目标邻居点处于同一个平面,则判定所述空间分布情况满足所述平面模式条件。
7.如权利要求3或5所述的方法,其特征在于,所述方法还包括:
获取所述M个已解码点中处于相同层级的已解码点数量;
若所述处于相同层级的已解码点数量大于第一数量阈值,则判定所述空间分布情况满足所述平面模式条件。
8.如权利要求3或5所述的方法,其特征在于,所述方法还包括:
从所述M个已解码点中筛选所述待解码点所属的父节点的邻居点;
若所述待解码点所属的父节点的邻居点中处于相同层级的邻居点数量大于第二数量阈值,则判定所述空间分布情况满足所述平面模式条件;
其中,所述父节点的邻居点包括以下至少一种:所述M个已解码点中与所述父节点共面的已解码点,所述M个已解码点中与所述父节点共线的已解码点,所述M个已解码点中与所述父节点相交的已解码点。
9.如权利要求2所述的方法,其特征在于,所述空间分布情况包括所述待解码点分别与所述M个已解码点之间的空间偏移情况;
所述基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合,包括:
基于所述点云的空间分布情况确定偏移条件;
根据所述M个已解码点的空间坐标及所述待解码点的空间坐标,从所述M个已解码点中选取满足所述偏移条件的已解码点添加至所述备选点集合中。
10.如权利要求9所述的方法,其特征在于,所述待解码点的空间坐标表示为(x0,y0,z0);设所述M个已解码点中的任一个已解码点的空间坐标表示为(x,y,z);所述偏移条件包括沿偏移方向的偏移阈值;
所述根据所述M个已解码点的空间坐标及所述待解码点的空间坐标,从所述M个已解码点中选取满足所述偏移条件的已解码点添加至所述备选点集合中,包括:
若已解码点(x,y,z)与所述待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于所述沿偏移方向的偏移阈值,则将所述已解码点(x,y,z)添加至所述备选点集合中。
11.如权利要求10所述的方法,其特征在于,所述偏移条件包括以下至少一种:沿X轴正向的偏移阈值dx,沿X轴负向的偏移阈值dx’,沿Y轴正向的偏移阈值dy,沿Y轴负向的偏移阈值dy’,沿Z轴正向的偏移阈值dz,以及沿Z轴负向的偏移阈值dz’;
所述已解码点(x,y,z)与所述待解码点(x0,y0,z0)之间沿偏移方向的偏移值小于所述沿偏移方向的偏移阈值,包括以下至少一种:
(x+dx)<x0,
(x-dx’)<x0,
(y+dy)<y0,
(y-dy’)<y0,
(z+dz)<z0,
(z-dz’)<z0。
12.如权利要求9所述的方法,其特征在于,所述偏移条件包括沿偏移方向的偏移阈值;所述偏移方向包括至少一个方向;所述根据所述M个已解码点的空间坐标及所述待解码点的空间坐标,从所述M个已解码点中选取满足所述偏移条件的已解码点添加至所述备选点集合中,包括:
将基于同一偏移方向选取得到的满足所述偏移条件的已解码点添加至同一个备选点集合中;以及,
将基于不同的偏移方向选取得到的满足所述偏移条件的已解码点添加至不同的备选点集合中。
13.如权利要求2所述的方法,其特征在于,所述空间分布情况包括所述待解码点与所述M个已解码点的空间归属情况;
所述基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合,包括:
从所述M个已解码点中筛选所述待解码点所属的父节点的邻居点;
将所述父节点的邻居点添加至所述备选点集合中;
其中,所述父节点的邻居点包括以下至少一种:所述M个已解码点中与所述父节点共面的已解码点,所述M个已解码点中与所述父节点共线的已解码点,所述M个已解码点中与所述父节点相交的已解码点。
14.如权利要求2所述的方法,其特征在于,所述空间分布情况包括所述待解码点与所述M个已解码点的排序关系情况;所述M个已解码点具备排序顺序;
所述基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合,包括:
按照所述M个已解码点的排序顺序,从所述M个已解码点中选取所述待解码点的前序m个已解码点添加至所述备选点集合中,m小于或等于M。
15.如权利要求2所述的方法,其特征在于,所述空间分布情况包括所述M个已解码点的编码依赖关系情况;
所述基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合,包括:
去除所述M个已解码点中采用孤立点编码的点;
将所述M个已解码点中去除所述采用孤立点编码的点后剩余的点添加至所述备选点集合中。
16.如权利要求2所述的方法,其特征在于,所述空间分布情况包括所述M个已解码点之间的空间位置关系情况;所述M个已解码点具备排序顺序;
所述基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合,包括:
基于所述M个已解码点的空间位置关系生成预测树;
基于所述预测树从所述M个已解码点选取所述备选点集合。
17.如权利要求16所述的方法,其特征在于,所述预测树的数量大于1;所述基于所述预测树从所述M个已解码点选取所述备选点集合,包括:
将处于同一预测树的已解码点添加至同一个备选点集合中;以及,
将处于不同预测树的已解码点添加至不同的备选点集合中。
18.如权利要求1所述的方法,其特征在于,所述备选点集合的数量为P个,所述参考点的数量为K,P、K均为正整数;所述从所述备选点集合中选取参考点,包括:
按照分散选择方式从P个备选点集合中选取K个参考点;或者,
按照优先级选择方式从P个备选点集合中选取K个参考点。
19.如权利要求18所述的方法,其特征在于,所述按照分散选择方式从P个备选点集合中选取K个参考点,包括:
分别从所述P个备选点集合中选择相应数量的参考点,得到所述K个参考点;
其中,从所述P个备选点集合的每个备选点集合中选择的参考点数量相同或不同。
20.如权利要求18所述的方法,其特征在于,所述P个备选点集合对应不同的优先级;所述按照优先级选择方式从P个备选点集合中选取K个参考点,包括:
按照优先级由高至低的顺序,从所述P个备选点集合中选择参考点,直至得到所述K个参考点。
21.如权利要求1所述的方法,其特征在于,所述基于所述参考点的重建属性信息,对所述待解码点进行解码处理,包括:
基于所述参考点的重建属性信息,预测所述待解码点的重建属性信息;
获取所述待解码点的重建几何信息;
基于所述待解码点的重建属性信息和所述待解码点的重建几何信息,重建所述待解码点。
22.如权利要求21所述的方法,其特征在于,所述参考点的数量为K个,K为正整数;所述基于所述参考点的重建属性信息,预测所述待解码点的重建属性信息,包括:
获取K个参考点中每个参考点的权重;
基于所述K个参考点中每个参考点的权重,对所述K个参考点的重建属性信息进行加权求和,得到所述待解码点的预测属性信息;
根据所述待解码点的预测属性信息,确定所述待解码点的重建属性信息。
23.如权利要求22所述的方法,其特征在于,所述获取K个参考点中每个参考点的权重,包括:
根据所述K个参考点中每个参考点与所述待解码点之间的距离,确定所述K个参考点的权重。
24.如权利要求22所述的方法,其特征在于,所述备选点集合的数量为P个,P个备选点集合对应不同的优先级,P为正整数;所述获取K个参考点中每个参考点的权重,包括:
根据所述K个参考点中每个参考点与所述待解码点之间的距离,以及所述K个参考点中每个参考点所属的备选点集合对应的优先级,确定所述K个参考点的权重。
25.如权利要求22所述的方法,其特征在于,所述备选点集合的数量为P个,P为正整数;P个备选点集合中,同一个备选点集合中的参考点采用相同的权重,不同备选点集合中的参考点采用相互独立的权重。
26.如权利要求22所述的方法,其特征在于,所述根据所述待解码点的预测属性信息,确定所述待解码点的重建属性信息,包括:
对所述待解码点进行属性解码处理,得到所述待解码点的重建残差信息;或者,对所述待解码点进行属性解码处理,得到所述待解码点的重建变换系数,并对所述重建变换系数进行反变换处理,得到所述待解码点的重建残差信息;
根据所述预测属性信息和所述重建残差信息,确定所述待解码点的重建属性信息。
27.一种点云处理方法,其特征在于,所述方法包括:
确定点云中的待编码点,所述点云包含M个已编码点,M为整数;
基于所述点云的空间分布情况,从所述M个已编码点中选取备选点集合;所述空间分布情况用于反映所述点云中各点的空间特征关系;
从所述备选点集合中选取参考点;
基于所述参考点的真实属性信息,对所述待编码点进行编码处理。
28.一种点云处理装置,其特征在于,所述装置包括:
确定单元,用于确定点云中的待解码点,所述点云包含M个已解码点,M为整数;
处理单元,用于基于所述点云的空间分布情况,从所述M个已解码点中选取备选点集合;从所述备选点集合中选取参考点;所述空间分布情况用于反映所述点云中各点的空间特征关系;基于所述参考点的重建属性信息,对所述待解码点进行解码处理。
29.一种点云处理装置,其特征在于,所述装置包括:
确定单元,用于确定点云中的待编码点,所述点云包含M个已编码点,M为整数;
处理单元,用于基于所述点云的空间分布情况,从所述M个已编码点中选取备选点集合;从所述备选点集合中选取参考点;所述空间分布情况用于反映所述点云中各点的空间特征关系;基于所述参考点的真实属性信息,对所述待编码点进行编码处理。
30.一种计算机设备,其特征在于,所述计算机设备包括:
处理器,适于实现计算机程序;
计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1至26任一项所述的点云处理方法,或者如权利要求27任一项所述的点云处理方法。
31.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1至26任一项所述的点云处理方法,或者如权利要求27任一项所述的点云处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210241816.8A CN116781927A (zh) | 2022-03-11 | 2022-03-11 | 一种点云处理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210241816.8A CN116781927A (zh) | 2022-03-11 | 2022-03-11 | 一种点云处理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116781927A true CN116781927A (zh) | 2023-09-19 |
Family
ID=88008708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210241816.8A Pending CN116781927A (zh) | 2022-03-11 | 2022-03-11 | 一种点云处理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116781927A (zh) |
-
2022
- 2022-03-11 CN CN202210241816.8A patent/CN116781927A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7384520B2 (ja) | フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム | |
EP4022903A1 (en) | Block-based predictive coding for point cloud compression | |
JP2022524689A (ja) | 点群属性コーディングの加重中央値を予測するための手法及びデバイス並びにコンピュータプログラム | |
CN115379190B (zh) | 一种点云处理方法、装置及计算机设备、存储介质 | |
JP7213368B2 (ja) | 点群属性コーディングのためのチャネル間予測および変換の技術並びに装置 | |
JP2022526232A (ja) | 点群圧縮のための方法並びにその、装置およびコンピュータプログラム | |
WO2022121648A1 (zh) | 点云数据编码方法、解码方法、设备、介质及程序产品 | |
CN115086660B (zh) | 基于点云属性预测的解码、编码方法、解码器及编码器 | |
US11551334B2 (en) | Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding | |
US11983907B2 (en) | Techniques and apparatus for explicit quad-tree and binary-tree partitioning for geometry coding | |
KR20230131878A (ko) | 포인트 클라우드 프로세싱을 위한 장치 및 방법 | |
WO2024124901A1 (zh) | 点云处理方法、装置、设备、介质和程序产品 | |
KR20230173094A (ko) | 포인트 클라우드 데이터 전송 방법, 포인트 클라우드데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치 | |
WO2023132919A1 (en) | Scalable framework for point cloud compression | |
CN115131449A (zh) | 点云处理方法、装置及计算机设备、存储介质 | |
WO2019131880A1 (ja) | 符号化方法、復号方法、情報処理方法、符号化装置、復号装置、及び、情報処理システム | |
CN115867941A (zh) | 点云解码装置、点云解码方法及程序 | |
CN115086658A (zh) | 点云数据的处理方法、装置、存储介质及编解码设备 | |
CN116320503A (zh) | 几何模式的确定方法、装置、设备及存储介质 | |
CN116781927A (zh) | 一种点云处理方法及相关设备 | |
CN115102934A (zh) | 点云数据的解码方法、编码方法、装置、设备及存储介质 | |
CN113115019A (zh) | 视频编解码方法、装置、计算机设备及存储介质 | |
CN116634179A (zh) | 点云数据处理方法、装置、电子设备及存储介质 | |
CN115720273A (zh) | 点云编解码中的属性预测方法、装置、设备及存储介质 | |
CN116233468A (zh) | 点云解码方法、点云编码方法、装置、设备、介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |