CN114913253A - 一种自适应点云几何编解码方法及装置 - Google Patents
一种自适应点云几何编解码方法及装置 Download PDFInfo
- Publication number
- CN114913253A CN114913253A CN202110181867.1A CN202110181867A CN114913253A CN 114913253 A CN114913253 A CN 114913253A CN 202110181867 A CN202110181867 A CN 202110181867A CN 114913253 A CN114913253 A CN 114913253A
- Authority
- CN
- China
- Prior art keywords
- geometric
- point
- prediction
- mode
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003044 adaptive effect Effects 0.000 title claims description 29
- 238000005457 optimization Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 15
- 230000009466 transformation Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种自适应点云几何编解码方法及装置,所述编码方法包括:获取原始点云数据;对原始点云数据中的每个点进行几何预测,得到预测残差;按照预设规则选择性的将预测残差置为零;对预测残差进行编码,得到几何信息码流。本发明提供的自适应点云几何编码方法按照一定的规则选择性的将几何预测残差置为零,不进行编码,在保证几何失真一定的情况下,减小了几何码流,从而提升了几何编码效率;同时通过设置不同的编码模式,自适应的选择每个点的最优编码模式,进一步提升了几何编码效率。
Description
技术领域
本发明属于编解码技术领域,具体涉及一种自适应点云几何编解码方法及装置。
背景技术
在点云G-PCC编码器框架中,点云的几何信息和每点所对应的属性信息是分开进行编码的。目前G-PCC的几何编解码可分为基于八叉树的几何编解码和基于预测树几何编解码。基于预测树的几何编码首先对输入点云进行排序,并在编码端通过利用两种不同的方式建立预测树结构。然后基于预测树的结构,遍历预测树中的每个节点,通过选取不同的预测模式对节点的几何位置信息进行预测得到预测残差,并且利用量化参数对几何预测残差进行量化。最终通过不断迭代,对预测树节点位置信息的预测残差、预测树结构以及量化参数等进行编码,生成二进制码流。
目前,常用的预测树结构主要有基于KD-Tree(高时延慢速模式)的预测树和基于激光雷达标定信息的预测树。
然而,对于现有的基于KD-Tree的预测树结构和基于激光雷达标定信息的预测树进行几何预测编码的方案,对经过几何预处理之后的量化点云进行几何预测时,通过预测树结构得到每个节点的几何预测残差,对该预测残差无论是在几何无损还是有损的情况下,都采用无损编码方式。这样虽然在几何有损编码的情况下,可以保证几何重建的质量,但是带来的影响是需要压缩更多的信息,从而限制了基于预测树的几何编码效率。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种自适应点云几何编解码方法及装置。本发明要解决的技术问题通过以下技术方案实现:
一种自适应点云几何编码方法,包括:
获取原始点云数据;
对所述原始点云数据中的每个点进行几何预测,得到预测残差;
按照预设规则选择性的将所述预测残差置为零;
对所述预测残差进行编码,得到几何信息码流。
在本发明的一个实施例中,按照预设规则选择性的将所述预测残差置为零,包括:
设置编码模式包括模式一和模式二;
确定每个点的最佳编码模式;
若选择模式一进行编码,则不对所述预测残差置零;若选择模式二进行编码时,则将所述预测残差置为零或者将部分预测残差置为零。
在本发明的一个实施例中,确定每个点的最佳编码模式,包括:
若判断预设条件成立,则根据率失真优化确定当前点的最佳编码模式;或者
根据重建点数确定当前点的最佳编码模式;或者
直接将模式二作为当前点的最佳编码模式;
否则,将所述模式一作为当前点的最佳编码模式。
在本发明的一个实施例中,根据率失真优化确定当前点的最佳编码模式,包括:
根据所述当前点的预测残差以及不同编码模式下的码流大小,构建代价因子;
选取使所述代价因子最优时对应的编码模式作为当前点的最佳编码模式;或者
根据已重建点的代价因子计算平均代价因子,并根据所述平均代价因子和预设阈值选取当前点的最佳编码模式。
在本发明的一个实施例中,根据重建点数确定当前点的最佳编码模式,包括:
当重建点数小于预设数量值时,选取模式一作为当前点的最佳编码模式;当重建点数大于等于预设数量值时,选取模式二作为当前点的最佳编码模式。
在本发明的一个实施例中,在对所述原始点云数据中的每个点进行几何预测,得到预测残差之前,还包括:
对所述原始点云数据进分析并将其划分为第一类数据和第二类数据。
在本发明的一个实施例中,确定每个点的最佳编码模式,还包括:
将模式一作为所述第一类数据中每个点的最佳编码模式,同时将模式二作为所述第二类数据中每个点的最佳编码模式。
本发明的另一个实施例提供了一种自适应点云几何编码装置,包括:
第一数据获取模块,用于获取原始点云数据;
第一预测模块,用于对所述原始点云数据中的每个点进行几何预测,得到预测残差;
残差置零模块,用于按照预设规则选择性的将所述预测残差置为零;
编码模块,用于对所述预测残差进行编码,得到几何信息码流。
本发明的又一个实施例提供了一种自适应点云几何解码方法,包括:
获取几何信息码流,并进行解码得到解析数据;
对当前点进行几何预测,得到几何预测值;
根据所述解析数据确定当前点的预测残差是否被置为零,得到当前点的预测残差;
根据所述当前点的几何预测值和预测残差重建几何点云,得到重建点云数据。
本发明的又一个实施例还提供了一种自适应点云几何解码装置,包括:
第二数据获取模块,用于获取几何信息码流,并进行解码得到解析数据;
第二预测模块,用于对当前点进行几何预测,得到几何预测值;
残差解析模块,用于根据所述解析数据确定当前点的预测残差是否被置为零,得到当前点的预测残差;
重建模块,用于根据所述当前点的几何预测值和预测残差重建几何点云,得到重建点云数据。
本发明的有益效果:
1、本发明提供的自适应点云几何预测编码方法按照一定的规则选择性的将几何的预测残差置为零,不进行编码,在保证几何失真一定的情况下,减小了几何码流,从而提升了几何编码效率;
2、本发明通过设置不同的编码模式,自适应的为每个点选择最优的编码模式,进一步提升了几何编码效率;
3、本发明通过设置重建点数的阈值来合理的确定编码模式,不仅可以提升编码效率,同时,也可以降低解码的时间复杂度,从而提升解码效率;
4、本发明在建立基于激光雷达信息的预测树结构时,利用最近邻插值计算得到调整之后节点的r值,可以进一步提升几何重建质量,从而保证了几何编码效率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种自适应点云几何编码方法示意图;
图2是本发明实施例提供的基于预测树的点云几何编码框图;
图3是本发明实施例提供的4个激光扫描器的预测树结构示意图;
图4是本发明实施例提供的点云二维规则结构示意图;
图5是本发明实施例提供的一种自适应点云几何编码装置结构示意图;
图6是本发明实施例提供的一种自适应点云几何解码方法示意图;
图7是本发明实施例提供的自适应点云几何解码框图;
图8是本发明实施例提供的一种自适应点云几何解码装置结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
实施例一
请参见图1,图1是本发明实施例提供的一种自适应点云几何预测编码方法示意图,包括:
S1:获取原始点云数据。
具体地,原始点云数据通常由一组三维空间点组成,每个空间点都记录了自身的几何位置信息,以及颜色、反射率、法线等额外的属性信息。其中,点云的几何位置信息一般是基于笛卡尔坐标系进行表示的,即利用点的x,y,z坐标进行表示。原始点云数据可通过3D扫描设备例如激光雷达等获取,也可通过各种平台提供的公共数据集获得。在本实施例中,设获取到的原始点云数据的几何位置信息基于笛卡尔坐标系进行表示。需要说明的是,原始点云数据的几何位置信息的表示方法不限于笛卡尔坐标。
S2:对原始点云数据中的每个点进行几何预测,得到预测残差。
在本实施例中,可以采用八叉树结构进行几何预测,还可以采用预测树结构进行几何预测。下面以基于预测树的几何编码为例进行详细说明。请参见图2,图2是本发明实施例提供的基于预测树的点云几何编码框图,具体包括:
21)对原始点云数据进行体素化处理和重排序,得到排序后的点云数据。
22)针对排序后的点云数据,建立预测树结构。
23)根据预测树结构选择一定的预测模式。
24)根据选取的预测模式对预测树结构中的每个节点进行几何预测,得到当前节点的几何预测值以及预测残差。
25)对预测残差进行编码,得到几何信息码流。
具体地,对于预测树的建立,可以利用KD-tree建立预测树结构,还可以根据激光雷达标定信息建立预测树结构。需要说明的是,在根据激光雷达标定信息建立预测树结构之前,还要对点云数据进行坐标转换,以将点云数据从笛卡尔坐标系转换为柱面坐标系。
本实施例以基于KD-tree建立预测树结构为例进行详细介绍。
首先,对原始点云数进行量化和移除重复点处理,也称体素化处理,得到体素化后的点云数据。对体素化后的点云进行重排序处理,以方便后续构建更高效的预测树。具体地,可采用无序、莫顿序、方位角序和径向距离序等规则进行排序。
由于在建立基于KD-tree的预测树结构时,无需进行坐标转换,因此,可直接根据排序后的点云数据建立基于KD-tree的预测树结构。
整个过程中,利用KD-Tree来进行最近邻查找。在开始时,KD-Tree是空的,按照选定的顺序进行依次访问每个节点,并且利用当前节点的位置在KD-Tree中查找K个最近邻,并且按照一定的准则将查找到的最近邻作为当前点的子节点进行预测,例如:可按照当前节点的几何预测残差大小、当前节点的子节点数目、或每种预测模式所选取的频率来查找最近邻作为当前点的子节点进行预测。接下来,基于当前节点创建新的预测模式,并且将每种预测模式对应的位置添加到KD-Tree中。不断重复这个过程,直至遍历完所有节点,建立整个预测树编码结构。
接着,进行预测模式的选择。
具体地,在本实施例中,采取深度优先顺序遍历建立的预测树,树中的每个节点只能由其祖先来预测。
进一步地,本实施例设置以下四种预测模式:
Mode0:无预测
Mode1:Delta预测(即p0)
Mode2:Linear预测(即2p0-p1)
Mode3:Parallelogram预测(即p0+p1-p2)
其中,p0、p1、p2分别为当前节点的父结点、祖父结点、曾祖父结点的位置。可根据重建质量对当前节点选取最佳的预测模式进行预测。
最后,根据相应的预测模式对每个节点进行预测。
具体地,本实施例采用笛卡尔坐标预测来实现几何预测。若当前节点为预测树的根节点,则预测模式选择Mode0,即当前节点的柱面坐标无预测,对应的笛卡尔坐标预测值为(0,0,0)。若当前节点不是根节点,且预测模式选择Mode1时,当前点的笛卡尔坐标通过其父节点的几何重建坐标进行预测。若当前节点不是根节点,且预测模式选择Mode2或Mode3时,当前点的笛卡尔坐标通过对应的预测方式进行预测,可得当前节点笛卡尔坐标的预测值为
至此,得到了当前节点的几何预测值。对当前节点的几何位置信息进行差分预测得到当前节点的预测残差(rx,ry,rz)。
将当前点的几何预测值和预测残差连同当前点采用的预测模式、当前点的量化参数、重复点数以及子节点数等信息一起作为待编码信息。
S3:按照预设规则选择性的将预测残差置为零。
首先,设置编码模式包括模式一和模式二。
在本实施例中,定义对预测残差进行编码的方式为模式一,表示为DirectMode。将预测残差置为零,也即不需要对当前点的预测残差进行编码的方式定义为模式二,表示为RegularMode。在针对基于KD-Tree结构的几何预测编码中,主要将预测残差(rx,ry,rz)置为零,也即RegularMode编码模式对于KD-Tree预测树结构的预测残差不进行编码。
然后,确定每个点的最佳编码模式。若选择模式一进行编码,则不对所述预测残差置零;若选择模式二进行编码时,则将所述预测残差置为零或者将部分预测残差置为零。
具体包括:
若判断预设条件成立,则根据率失真优化模型确定当前点的最佳编码模式;或者
根据重建点数确定当前点的最佳编码模式;或者
直接将模式二作为当前点的最佳编码模式;
否则,将所述模式一作为当前点的最佳编码模式。
在本实施例中,可以设置一个编码开关作为预设条件,以决定是否开启RegularMode模式。当编码开关开启时,也即预设条件成立,则将RegularMode模式作为编码可选项,当编码开关关闭时,也即预设条件不成立,则直接采用DirectMode模式进行编码。
具体地,在gps(Geometry parameter set syntax)参数集引入:geom_enable_rdo_flag,用以指导在整个编码中,决定几何是否开启RegularMode编码算法。geom_enable_rdo_flag为1时,表示开启;否则关闭,详见表1。相应的,在Tile inventory syntax中同样引入:tile_geom_enable_rdo_flag,用以决定每个Tile是否开启RegularMode编码算法。tile_geom_enable_rdo_flag为1时,表示开启;否则关闭,详见表2。在每个slice中同样引入:gsh_geom_enable_rod_flag,用以决定每个slice是否开启RegularMode编码算法。gsh_geom_enable_rod_flag,为1时,表示开启;否则关闭,详见表3。
在本实施例中,当编码开关开启时,可以引入率失真优化模型确定当前点的最佳编码模式。具体如下:
根据当前点的预测残差以及不同编码模式下的码流大小,构建代价因子;
选取使代价因子最优时对应的编码模式作为当前点的最佳编码模式;或者
根据已重建点的代价因子计算平均代价因子,并根据所述平均代价因子和预设阈值选取当前点的最佳编码模式。
在本实施例中,针对基于KD-tree的预测树,构建第一代价因子J1i,其对应的第一率失真优化模型如下:
maxJ1i=PSNRi((rx,ry,rz))-λ1·R1i(Mode)(1)
其中,J1i表示第i个节点的代价,PSNRi表示对应编码模式下第i个节点的几何重建质量,R1i表示对应编码模式下第i个节点的码流大小,(rx,ry,rz)表示第i个节点的预测残差,λ1表示拉格朗日因子,k表示对应的编码模式索引,Mode表示对应编码模式。
进一步地,本实施例采用点到点的PSNR进行代价因子的计算,其中,点到点的PSNR计算过程如下:
计算当前节点的重建点与原始点之间的几何失真Dist,为:
Dist=||rx||+||ry||+||rz||;
利用已经得到的几何失真测度总和DistSum,计算当前节点对应的几何平均失真测度,计算公式为:
DistAve=(Dist+DistSum)/PointCount;
其中,pointCount代表已经重建的点数。
则当前节点在该模式下的点到点PSNR为:
其中,PeakValue表示噪点峰值。
根据当前节点在该模式下的几何重建质量以及对应模式下的几何码流R得到当前节点每种编码模式的代价。
一方面,考虑到重建点云的质量与几何预测编码的压缩比特流之间的平衡,可直接选择使第一代价因子取值最大时对应的编码模式作为当前节点的最佳编码模式。
另一方面,由于在解码端无法得到当前待解码节点的几何重建值,所以无法直接利用上述几何失真测度算法。基于此,本实施例引入第一平均代价因子以进行编码方式的选择,具体如下:
首先,计算每个已完成重建点的第一代价因子,并得到已经完成重建点的第一平均代价因子,表示为R-PSNR,设置第一预设阈值为Threshold1,若第一平均代价因子小于阈值Threshold1,则采用DirectMode进行几何重建;否则,利用RegularMode进行几何重建。
然后,根据不同的模式进行计算当前节点的R-PSNR代价,更新第一平均代价因子,用以指导后续节点的自适应模式选择。
在本实施例中,当编码开关开启时,还可以根据重建点数确定当前点的最佳编码模式。
具体地,当KD-Tree预测树的重建点数小于预设第一数量值时,选取模式一作为当前节点的最佳编码模式;当重建点数大于等于预设第一数量值时,选取模式二作为当前节点的最佳编码模式。
具体地,在KD-Tree预测树结构中,先采用DirectMode编码模式进行编码。随着KD-Tree结构不断地完善,重建点数达到一定阈值之后,每个点的邻居查找就会更加的精确,那么每个点所找到的预测邻居也会更加准确。基于此,针对每个预测树,引入第一数量值ProcessedCnt1来记录每个预测树在完成重建ProcessedCnt1一定点之后,采用RegularMode进行几何重建。这样可以合理的降低编码复杂度,减少码流,同时,还可以减少解码端建立KD-Tree的复杂结构,提升编码效率。
在本实施例中,当编码开关开启时,还可以直接将模式二作为当前点的最佳编码模式。
具体的,可以直接利用RegularMode替代DirectMode,而不进行模式选择,这样可以进一步提升几何的重建质量,并且保证几何的编码效率。
在发明的另一个实施例中,在步骤S2之前,还包括:
对原始点云数据进分析并将其划分为第一类数据和第二类数据。
相应的,确定每个点的最佳编码模式,还包括:
将模式一作为第一类数据中每个点的最佳编码模式,同时将模式二作为所述第二类数据中每个点的最佳编码模式。
具体地,通过在编码端对原始点云进行一定的分析归类,可将其划分成适合DirectMode编码的第一类数据和适合RegularMode编码的第二类数据,然后分别建立预测树并进行编码。当编码开关开启时,对第一类数据中的每个点采用DirectMode编码模式,对第二类数据中的每个点采用RegularMode编码模式。
S4:对预测残差进行编码,得到几何信息码流。
具体地,当采用DirectMode编码模式进行编码时,对包括预测残差在内的所有待编码信息进行编码,以得到几何信息码流;
当采用RegularMode编码模式进行编码时,将预测残差(rx,ry,rz)置为零后,对所有待编码信息进行编码,以得到几何信息码流。
在本实施例中,将预测残差置为零后,可以仅对编码模式进行编码(例如可以对模式一编0,对模式二编1);还可以对置零后的预测残差进行编码,也即直接对零编码。
本发明提供的自适应点云几何预测编码方法按照一定的规则选择性的将几何的预测残差置为零,不进行编码,在保证几何失真一定的情况下,减小了几何码流,从而提升了几何编码效率。此外,本发明通过设置不同的编码模式,自适应的选择每个点的最优编码模式,进一步提升了几何编码效率。
实施例二
对于上述实施例一中的步骤S2,还可以采用基于激光雷达标定信息建立预测树,然后对其进行预测,得到预测残差。
具体地,由于在根据激光雷达标定信息建立预测树结构时,采用按方位角排序的方法对体素化后的点云进行重排序处理,因此,需要将每个点的笛卡尔坐标(x,y,z)转化为极坐标(r,φ,tanθ),并依次根据方位角φ、半径r和仰角正切值tanθ对各点进行排序。
请继续参见图2,在建立基于激光雷达标定信息的预测树结构之前,还需要进行坐标转换,具体地,将点由笛卡尔坐标(x,y,z)转换为柱面坐标(r,φ,i),其转换公式如下:
其中,i即点对应的激光扫描器ID(一个典型的激光雷达系统可能有16、32或64个激光扫描器,每个激光扫描器的先验信息不同即仰角θ和在垂直方向上的高度zLaser不同)。
对于激光雷达的每一个激光扫描器而言,隶属于同一个激光扫描器的采集点在圆柱坐标系下应是规则分布的,然而由于噪声、测量误差和设备抖动等因素导致实际数据呈现非均匀分布,从而导致数据之间相关性较差,预测精度和编码效率较低。
本实施例中,i的确定是通过循环不同激光扫描器的先验信息,在每次循环中利用点的r、先验信息和以上转换公式计算点的z分量,并计算该转换而来的z分量与点的原始z分量之间的偏差,进而从不同激光扫描器ID中选择出偏差最小的作为该点的i,此过程对点云在空间中垂直方向的非均匀分布进行了处理,使其规则化,以提高数据间的相关性,进而提升编码效率。
然后,由上一步可确定点的柱面坐标(r,φ,i)建立预测树。如果第一次出现一个激光扫描器ID为i的点,则将该点作为激光扫描器ID为i对应的所有点的根节点;如果没有,则将该点视为之前处理过的激光扫描器ID为i的点的子节点,重复此过程,直到遍历完所有点。最后,连接所有激光扫描器ID的根节点即可完成预测树的建立。请参见图3,图3是本发明实施例提供的4个激光扫描器的预测树结构示意图。
接着,进行预测模式的选择。本实施例中的预测模式的选择方法同上述实施例一种基于KD-Tree预测树的模式选择方法,在此不再赘述。
最后,根据相应的预测模式对每个节点进行预测。
本实施例中对于预测树节点的几何预测包括柱面坐标预测和笛卡尔坐标预测,具体过程如下:
若当前节点为预测树的根节点,则预测模式选择Mode0,即当前节点的柱面坐标无预测,对应的柱面坐标预测值为其中rmin为整个点云进行坐标转换之后得到的r分量最小值,如果当前节点没有父节点,则将置为0,否则为父节点的柱面坐标分量。笛卡尔坐标预测值为点的原始柱面坐标逆转换得到的
利用当前节点最佳的预测模式,对当前点的柱面坐标进行预测,得到圆柱坐标系下的对应的预测残差(rr,rφ,ri),用当前点的笛卡尔坐标(x,y,z)与预测笛卡尔坐标进行差分预测得到笛卡尔坐标系下的预测残差(rx,ry,rz)。
将以上几何预测值及其对应的预测残差,以及当前点采用的预测模式、当前点的量化参数、重复点数和子节点数、每种模式所对应跳过的点数等信息一起作为待编码信息。
然后,确定基于激光雷达标定信息的预测树中每个点的最佳编码模式。
具体地,同上述实施例一,本实施例可以根据当前的激光扫描器的失真测度以及不同编码模式下的码流大小,构建第二代价因子,以当编码开关开启时,确定编码模式。
然后选取使第二代价因子取值最小时对应的编码模式作为当前点的最佳编码模式;或者根据已编码点的第二代价因子计算第二平均代价因子,并在第二平均代价因子小于第二预设阈值时,选取模式一作为当前点的最佳编码模式,在第二平均代价因子大于第二等于预设阈值时,选取模式二作为当前点的最佳编码模式。
具体地,可构建第二代价因子J2i,其对应的第二率失真优化模型如下:
其中,J2i表示第i个激光扫描器的R-D代价,Di表示第i个激光扫描器进行点云几何编码时产生的失真,R2i表示第i个激光扫描器进行点云几何编码时产生的码流大小,λ2表示拉格朗日因子,k表示对应的编码模式索引,Mode表示对应编码模式。
在本实施例中,采用基于D1(Point-to-Point)作为失真衡量标准。假设当前节点的原始笛卡尔坐标为(x,y,z),当前节点对应模式的重建笛卡尔坐标为(x',y',z'),则点到点的D1计算方法如下:
D1=||x-x'||+||y-y'||+||z-z'||。
通过公式(2),计算当前节点每种编码模式的代价,最终选取使第二代价因子取值最小时对应的编码模式作为当前节点的最佳编码模式。
此外,在进行坐标转换时,还可按照以下公式将点由笛卡尔坐标(x,y,z)转换为柱面坐标(r,θ,φ)。
在构造2D规则结构时,首先根据激光雷达中激光扫描器的个数将转换至圆柱坐标系下点云依据其俯仰角进行聚类,从而得到每个激光扫描器所属的点云信息,然后根据聚类结果在每个激光扫描器对应的垂直采样位置构造“线”结构并根据激光雷达的采样率等间隔设置理想点,从而构造了一种规则结构,由于柱面坐标系可以展开至二维,等效于构造了一种二维的规则结构。如图4所示。
此外,在调整水平的预测树结构规则化之后,还可利用最近邻插值计算得到调整之后节点的r值,以进一步提升几何的重建质量,并且保证几何的编码效率。
当输入点云选择RegularMode时,点“○”为该点在圆柱坐标系中的原始位置(r,θ,φ),可以看出其呈现出非均匀分布的特点。因此在编码时可以使用点“●”点所示的2D规则结构中的理想位置(r0,θ0,φ0)进行替代。此过程等价于将输入点云“搬移”至其在二维规则结构中对应的位置。最终,规则化后的点云在柱面坐标系二维平面(θ,φ)上呈现出均匀分布的特点,因此可以在编码时无需引入水平方向上的辅助信息,可有效的提升编码效率,但随之而来的是点位置移动所带来的失真。
在该实施例中,DirectMode模式通过对柱面坐标进行预测得到预测残差,对预测残差进行编码,同时再对柱面坐标进行逆转换得到重建的笛卡尔坐标,最终对重建坐标进行差分预测,对笛卡尔坐标的差分预测进行编码。RegularMode模式首先对每个节点的柱面坐标进行规则化,即对每个节点的(rr,rφ,ri)中的水平预测残差分量rφ不进行编码,同时对柱面坐标经过逆转换之后得到的笛卡尔坐标与当前节点的笛卡尔坐标的预测残差不进行编码,通过引入一定的失真,换取编码效率的提升。具体的,通过引入率失真优化模型,对每个节点的编码模式进行自适应选择,最终利用最优的编码模式进行几何预测。其中,引入率失真优化模型具体包括R-D代价的构造、失真测度D的设置以及λ的选取。
其中,R-D代价的构造同上述第二代价函数,基于D1(Point-to-Point)的失真测度采用下述方法计算:
假设当前节点在原始点云中找到的多个最近邻为(xi,yi,zi)i=1...N,当前节点每种模式的重建笛卡尔坐标为(x',y',z'),则
通过计算当前节点所选择对应模式下的第二代价因子,并得到已经完成重建点的第二平均代价因子。设置第二预设阈值为Threshold2,若第二平均代价因子小于阈值Threshold2,则采用RegularMode进行几何重建;否则,利用DirectMode进行几何重建。
然后,更新平均代价因子,用以指导后续的节点模式选择。
此外,针对基于激光雷达标定信息的预测树,也可以根据重建点数确定当前节点的最佳编码模式。
当每个激光扫描器重建点数小于预设第二数量值时,选取模式一作为当前点的最佳编码模式;当重建点数大于等于预设第二数量值时,选取模式二作为当前点的最佳编码模式。
具体地,在基于激光雷达标定信息的预测树结构中,先采用DirectMode编码模式进行编码。随着预测树结构的建立,后面每个点是可以找到较好的几何预测值,基于此,可以针对每个激光扫描器,引入第二数量值ProcessedCnt2,当重建ProcessedCnt2个点之后,统一使用RegularMode,这样可以合理的控制每个激光扫描器的节点编码方式,同时也可以省去解码端需要建立预测树结构进行计算几何重建质量的复杂度,减少码流。
在本实施例中,当编码开关开启时,也可以直接将模式二作为当前点的最佳编码模式。
最后,利用确定好的编码模式进行编码。
具体地,当采用DirectMode编码模式进行编码时,对包括预测残差在内的所有待编码信息进行编码,以得到几何信息码流;
当采用RegularMode编码模式进行编码时,将预测残差rφ和(rx,ry,rz)置为零后,对其余待编码信息进行编码,以得到几何信息码流。
实施例三
在上述实施例一和二的基础上,本实施例提供了一种自适应点云几何编码装置。请参见图5,图5是本发明实施例提供的一种自适应点云几何编码装置结构示意图,包括:
第一数据获取模块11,用于获取原始点云数据;
第一预测模块12,用于对原始点云数据中的每个点进行几何预测,得到预测残差;
残差置零模块13,用于按照预设规则选择性的将预测残差置为零;
编码模块14,用于对预测残差进行编码,得到几何信息码流。
本实施例提供的装置可是实现上述实施例一或实施例二提供的编码方法,具体实现过程在此不再赘述。
实施例四
请参见图6,图6是本发明实施例提供的一种自适应点云几何解码方法示意图,包括:
步骤1:获取几何信息码流,并进行解码得到解析数据。
具体地,解析数据可以包括当前点的预测模式,当前点的编码模式以及当前点的预测残差等信息。
步骤2:对当前点进行几何预测,得到几何预测值;
在本实施例中,可根据解析得到的预测模式对当前点进行预测,得到预测值。
步骤3:根据解析数据确定当前点的预测残差是否被置为零,得到当前点的预测残差。
具体地,本实施例可根据当前点的编码模式得到当前点在编码阶段是否被置为零,当编码模式为模式一时,说明在编码阶段未对残差置零,则说明当前解析出来的预测残差即为当前点的预测残差,当编码模式为模式二时,说明在编码阶段对残差进行了置零处理,则直接将当前点的预测残差或部分预测残差设为零,并解析其余不为零的预测残差。
步骤4:根据当前点的几何预测值和预测残差重建几何点云,得到重建点云数据。
具体的,请参见图7,图7是本发明实施例提供的自适应点云几何解码框图;
在本实施例中,对于基于KD-tree建立预测树结构,其解码重构点云流程为:
根据解码得到的当前点采用的预测模式及其祖先的重建几何坐标对当前点的几何坐标进行预测并生成对应的预测值,具体过程如下:
若当前节点为预测树的根节点,则预测模式选择Mode0,即当前节点的柱面坐标无预测,对应的笛卡尔坐标预测值为(0,0,0)。
然后解析得到当前节点的编码模式,如果当前节点的编码模式为DirectMode,则需要解析当前节点的预测残差(rx,ry,rz);否则不需要解析当前节点的预测残差,令当前节点的几何预测残差(rx,ry,rz)为零。
最终,即得到了重建的体素化后的点云。
在本发明的另一个实施例中,对于基于KD-tree建立预测树结构,其解码重构点云流程还可以为:
首先对输入的几何比特流的预测模式进行解码,得到每个节点的预测模式;然后基于预测模式和几何预测结构得到当前节点的几何预测值,并且解析得到当前节点的子节点数目用于重建预测树结构;其次利用已经完成重建点的平均代价因子和阈值Threshold来决定当前节点的编码模式,如果当前节点的编码模式为DirectMode,则需要解析当前节点的预测残差;否则不需要解码当前节点的预测残差。完成当前节点的几何重建之后,需要计算当前节点对应模式下的代价因子,用以更新全局的平均代价因子。最终利用当前节点的预测值和预测残差进行重建当前节点的几何位置信息,依次不断迭代完成解码端的几何重构。
对于基于激光雷达信息的预测树编码结构,其解码重构点云流程可以为:
首先,根据解码得到的当前点采用的预测模式及其祖先的重建柱面坐标对当前点的柱面坐标进行预测并生成对应的预测值,具体过程如下:
若当前节点为预测树的根节点,则预测模式选择Mode0,即当前节点的柱面坐标无预测,对应的柱面坐标预测值为其中rmin为整个点云进行坐标转换之后得到的r分量最小值,如果当前节点没有父节点,那么置为0,否则为父节点的柱面坐标分量。笛卡尔坐标预测值为点的原始柱面坐标逆转换得到的
利用当前节点最佳的预测模式,对当前点的柱面坐标进行预测,得到圆柱坐标系下的对应的预测残差(rr,rφ,ri),用当前点的笛卡尔坐标(x,y,z)与预测笛卡尔坐标进行差分预测得到笛卡尔坐标系下的预测残差(rx,ry,rz)。
然后解析得到当前节点的编码模式,如果当前节点的编码模式为DirectMode,则需要解析当前节点的预测残差(rx,ry,rz)和(rr,rφ,ri);否则不需要解析当前节点的预测残差rφ和(rx,ry,rz),只需要解析当前节点的(rr,ri),并且令当前节点的几何预测残差(rx,ry,rz)和rφ为零。
得到当前点的重建柱面坐标后就可以进一步根据该重建柱面坐标(r,φ,i)确定当前点在预测树中的位置,从而重建预测树。
其中,i为点对应的激光扫描器ID,每个激光扫描器的先验信息不同即仰角θ和在垂直方向上的高度zLaser不同,因此第i个激光扫描器对应的仰角为θ(i),在垂直方向上的高度为zLaser(i)。
最终,即得到了重建的体素化后的点云。
在本发明的另一个实施例中,对于基于激光雷达信息的预测树编码结构,其解码重构点云流程还可以为:
首先对输入的几何比特流的预测模式进行解码,得到每个节点的预测模式;然后基于预测模式和几何预测结构得到当前节点的几何预测值(柱面坐标),并且解析得到当前节点的子节点数目用于重建预测树结构;其次根据当前节点之前已经完成重建点的平均代价因子,当平均代价因子满足一定阈值Threshold时,采用RegularMod模式进行解码,否则对当前节点采用DirectMode模式解码.如果当前节点的编码模式为DirectMode,则需要解析当前节点柱面坐标的预测残差以及笛卡尔坐标的预测残差;否则不需要解析当前节点柱面坐标水平分量rφ的预测残差,并且不需要解析笛卡尔坐标的预测残差。最终利用当前节点的柱面坐标进行逆转换得到笛卡尔坐标的预测几何,并且利用笛卡尔的预测残差进行重建当前节点的几何位置信息,依次不断迭代完成解码端的几何重构。具体的,如下:
若解码得到的编码模式为DirectMode,则利用上述方法进行几何重建。
若解码得到的编码模式为RegularMode,则根据以下方式进行几何重建。具体过程如下:
首先利用当前节点对应的预测模式和几何预测结构得到当前节点的几何预测残差(柱面坐标),对水平预测残差分量rφ不进行解码;
坐标逆转之后的重建坐标即为当前节点的几何重建值,不需要对当前节点在笛卡尔坐标下的几何预测残差进行解码。
实施例五
在上述实施例四的基础上,本实施例提供了一种自适应点云几何预测解码装置。请参见图8,图8是本发明实施例提供的一种自适应点云几何解码装置结构示意图,包括:
第二数据获取模块21,用于获取几何信息码流,并进行解码得到解析数据;
第二预测模块22,用于对当前点进行几何预测,得到几何预测值;
残差解析模块23,用于根据解析数据确定当前点的预测残差是否被置为零,得到当前点的预测残差;
重建模块24,用于根据当前点的几何预测值和预测残差重建几何点云,得到重建点云数据。
本实施例提供的装置可实现上述实施例五提供的解码方法,具体实现过程在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
附表1:Geometry parameter set syntax
附表2:Tile inventory syntax
附表3:Geometry data unit header syntax
Claims (10)
1.一种自适应点云几何编码方法,其特征在于,包括:
获取原始点云数据;
对所述原始点云数据中的每个点进行几何预测,得到预测残差;
按照预设规则选择性的将所述预测残差置为零;
对所述预测残差进行编码,得到几何信息码流。
2.根据权利要求1所述的自适应点云几何编码方法,其特征在于,按照预设规则选择性的将所述预测残差置为零,包括:
设置编码模式包括模式一和模式二;
确定每个点的最佳编码模式;
若选择模式一进行编码,则不对所述预测残差置零;若选择模式二进行编码时,则将所述预测残差置为零或者将部分预测残差置为零。
3.根据权利要求2所述的自适应点云几何编码方法,其特征在于,确定每个点的最佳编码模式,包括:
若判断预设条件成立,则根据率失真优化确定当前点的最佳编码模式;或者
根据重建点数确定当前点的最佳编码模式;或者
直接将模式二作为当前点的最佳编码模式;
否则,将所述模式一作为当前点的最佳编码模式。
4.根据权利要求3所述的自适应点云几何编码方法,其特征在于,根据率失真优化确定当前点的最佳编码模式,包括:
根据所述当前点的预测残差以及不同编码模式下的码流大小,构建代价因子;
选取使所述代价因子最优时对应的编码模式作为当前点的最佳编码模式;或者
根据已重建点的代价因子计算平均代价因子,并根据所述平均代价因子和预设阈值选取当前点的最佳编码模式。
5.根据权利要求3所述的自适应点云几何编码方法,其特征在于,根据重建点数确定当前点的最佳编码模式,包括:
当重建点数小于预设数量值时,选取模式一作为当前点的最佳编码模式;当重建点数大于等于预设数量值时,选取模式二作为当前点的最佳编码模式。
6.根据权利要求2所述的自适应点云几何编码方法,其特征在于,在对所述原始点云数据中的每个点进行几何预测,得到预测残差之前,还包括:
对所述原始点云数据进分析并将其划分为第一类数据和第二类数据。
7.根据权利要求6所述的自适应点云几何编码方法,其特征在于,确定每个点的最佳编码模式,还包括:
将模式一作为所述第一类数据中每个点的最佳编码模式,同时将模式二作为所述第二类数据中每个点的最佳编码模式。
8.一种自适应点云几何编码装置,其特征在于,包括:
第一数据获取模块(11),用于获取原始点云数据;
第一预测模块(12),用于对所述原始点云数据中的每个点进行几何预测,得到预测残差;
残差置零模块(13),用于按照预设规则选择性的将所述预测残差置为零;
编码模块(14),用于对所述预测残差进行编码,得到几何信息码流。
9.一种自适应点云几何解码方法,其特征在于,包括:
获取几何信息码流,并进行解码得到解析数据;
对当前点进行几何预测,得到几何预测值;
根据所述解析数据确定当前点的预测残差是否被置为零,得到当前点的预测残差;
根据所述当前点的几何预测值和预测残差重建几何点云,得到重建点云数据。
10.一种自适应点云几何解码装置,其特征在于,包括:
第二数据获取模块(21),用于获取几何信息码流,并进行解码得到解析数据;
第二预测模块(22),用于对当前点进行几何预测,得到几何预测值;
残差解析模块(23),用于根据所述解析数据确定当前点的预测残差是否被置为零,得到当前点的预测残差;
重建模块(24),用于根据所述当前点的几何预测值和预测残差重建几何点云,得到重建点云数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110181867.1A CN114913253A (zh) | 2021-02-08 | 2021-02-08 | 一种自适应点云几何编解码方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110181867.1A CN114913253A (zh) | 2021-02-08 | 2021-02-08 | 一种自适应点云几何编解码方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114913253A true CN114913253A (zh) | 2022-08-16 |
Family
ID=82760927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110181867.1A Pending CN114913253A (zh) | 2021-02-08 | 2021-02-08 | 一种自适应点云几何编解码方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114913253A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024065269A1 (zh) * | 2022-09-28 | 2024-04-04 | Oppo广东移动通信有限公司 | 点云编解码方法、装置、设备及存储介质 |
WO2024065270A1 (zh) * | 2022-09-28 | 2024-04-04 | Oppo广东移动通信有限公司 | 点云编解码方法、装置、设备及存储介质 |
WO2024212045A1 (zh) * | 2023-04-10 | 2024-10-17 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101626509A (zh) * | 2009-08-10 | 2010-01-13 | 北京工业大学 | 三维网格编码、解码方法及编码、解码装置 |
CN103533324A (zh) * | 2012-07-03 | 2014-01-22 | 乐金电子(中国)研究开发中心有限公司 | 一种深度图像帧内编码方法、装置及编码器 |
CN108632607A (zh) * | 2018-05-09 | 2018-10-09 | 北京大学深圳研究生院 | 一种基于多角度自适应帧内预测的点云属性压缩方法 |
CN110418135A (zh) * | 2019-08-05 | 2019-11-05 | 北京大学深圳研究生院 | 一种基于邻居的权重优化的点云帧内预测方法及设备 |
WO2020123686A1 (en) * | 2018-12-14 | 2020-06-18 | Pcms Holdings, Inc. | System and method for procedurally colorizing spatial data |
-
2021
- 2021-02-08 CN CN202110181867.1A patent/CN114913253A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101626509A (zh) * | 2009-08-10 | 2010-01-13 | 北京工业大学 | 三维网格编码、解码方法及编码、解码装置 |
CN103533324A (zh) * | 2012-07-03 | 2014-01-22 | 乐金电子(中国)研究开发中心有限公司 | 一种深度图像帧内编码方法、装置及编码器 |
CN108632607A (zh) * | 2018-05-09 | 2018-10-09 | 北京大学深圳研究生院 | 一种基于多角度自适应帧内预测的点云属性压缩方法 |
WO2020123686A1 (en) * | 2018-12-14 | 2020-06-18 | Pcms Holdings, Inc. | System and method for procedurally colorizing spatial data |
CN110418135A (zh) * | 2019-08-05 | 2019-11-05 | 北京大学深圳研究生院 | 一种基于邻居的权重优化的点云帧内预测方法及设备 |
Non-Patent Citations (2)
Title |
---|
ANIQUE AKHTAR; WEN GAO; XIANG ZHANG; LI LI; ZHU LI; SHAN LIU: "Point Cloud Geometry Prediction Across Spatial Scale using Deep Learning", 2020 IEEE INTERNATIONAL CONFERENCE ON VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP), 31 December 2020 (2020-12-31) * |
郭盛威;章秀华;范艳;邓哲煜;: "三维重建表面几何特征的提取与参数测量计算", 武汉工程大学学报, no. 02, 15 April 2016 (2016-04-15) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024065269A1 (zh) * | 2022-09-28 | 2024-04-04 | Oppo广东移动通信有限公司 | 点云编解码方法、装置、设备及存储介质 |
WO2024065270A1 (zh) * | 2022-09-28 | 2024-04-04 | Oppo广东移动通信有限公司 | 点云编解码方法、装置、设备及存储介质 |
WO2024212045A1 (zh) * | 2023-04-10 | 2024-10-17 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114913253A (zh) | 一种自适应点云几何编解码方法及装置 | |
CN110418135B (zh) | 一种基于邻居的权重优化的点云帧内预测方法及设备 | |
CN111405281A (zh) | 一种点云属性信息的编码方法、解码方法、存储介质及终端设备 | |
US20220358686A1 (en) | Angular priors for improved prediction in point-predictive trees | |
CN114600163A (zh) | 每切片trisoup节点尺寸 | |
WO2020069600A1 (en) | Predictive coding of point clouds using multiple frames of references | |
CN114616592A (zh) | 用于云压缩的方位角先验和树表示的方法和系统 | |
WO2022166957A1 (zh) | 点云数据的预处理方法及点云几何编解码方法、装置 | |
CN113179410B (zh) | 一种点云属性的编解码方法、装置和系统 | |
CN114363634A (zh) | 变换方法、逆变换方法、编码器、解码器及存储介质 | |
CN115606188A (zh) | 一种点云编解码方法、编码器、解码器及存储介质 | |
CN112449754A (zh) | 一种数据编码、数据解码方法、设备及存储介质 | |
CN114915795B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
CN112256652B (zh) | 一种三维点云属性压缩方法、系统及终端 | |
JP2024050705A (ja) | 属性情報の予測方法、エンコーダ、デコーダ及び記憶媒体 | |
CN112385222B (zh) | 点云处理的方法与装置 | |
EP0992935A2 (en) | Image processing apparatus and method | |
WO2022247705A1 (zh) | 一种点云属性信息的预测编解码方法及装置 | |
WO2022166968A1 (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
WO2022166961A1 (zh) | 面向大规模点云的二维规则化平面投影及编解码方法 | |
CN113453018B (zh) | 一种点云属性值预测方法和装置 | |
CN115720272A (zh) | 点云预测、点云编码、点云解码方法及设备 | |
CN114915796B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
CN115412713B (zh) | 一种点云深度信息的预测编解码方法及装置 | |
CN114915794B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |