CN116233427A - 一种点云属性编码方法、解码方法、编码设备及解码设备 - Google Patents
一种点云属性编码方法、解码方法、编码设备及解码设备 Download PDFInfo
- Publication number
- CN116233427A CN116233427A CN202111482269.4A CN202111482269A CN116233427A CN 116233427 A CN116233427 A CN 116233427A CN 202111482269 A CN202111482269 A CN 202111482269A CN 116233427 A CN116233427 A CN 116233427A
- Authority
- CN
- China
- Prior art keywords
- point
- points
- attribute
- predicted
- prediction reference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012217 deletion Methods 0.000 claims description 45
- 230000037430 deletion Effects 0.000 claims description 45
- 230000014759 maintenance of location Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 18
- 238000013139 quantization Methods 0.000 claims description 12
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 19
- 238000004321 preservation Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 7
- 238000002310 reflectometry Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种点云属性编码方法、解码方法、编码设备及解码设备,其中,上述点云属性编码方法包括:基于预测参考点集对当前待编码点进行属性预测,得到上述当前待编码点的属性预测值;基于上述当前待编码点的属性预测值进行编码,得到点云码流;基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行。与现有技术中仅考虑一维排列顺序的邻居点集相比,本发明中的预测参考点集基于点的三维位置坐标进行构建和更新,从而充分、高效地利用各个点的位置信息进行属性预测。基于上述预测参考点集进行编码,则有利于提高编码效率。
Description
技术领域
本发明涉及点云数据处理技术领域,尤其涉及的是一种点云属性编码方法、解码方法、编码设备及解码设备。
背景技术
随着科学技术的进步,三维点云数据的应用范围越来越广泛。同时,点云的精度和分辨率也越来越高,点云数据中包含每个点的几何信息和颜色、反射率等属性信息,因此在传输或使用的过程中,需要对点云进行压缩编码和解码。
现有技术中,可以将点云排列为一维序列,然后对于当前点云,构建邻居点集来利用前序已编码点的信息对当前点进行编码(或解码)。现有技术的问题在于,邻居点集是仅考虑一维排列顺序的点集(例如包括当前点的多个前序点),无法充分、高效地利用各个点的真实位置信息,不利于提高编码(或解码)的效率。
因此,现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种点云属性编码方法、解码方法、编码设备及解码设备,旨在解决现有技术中构建邻居点集来利用前序已编码点的信息对当前点进行编码时,邻居点集仅考虑一维排列顺序,无法充分、高效地利用各个点的真实位置信息,不利于提高编码的问题。
本发明第一方面提供一种点云属性编码方法,其中,上述点云属性编码方法包括:
基于预测参考点集对当前待编码点进行属性预测,得到上述当前待编码点的属性预测值;
基于上述当前待编码点的属性预测值进行编码,得到点云码流;
基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行。
可选的,上述基于预测参考点集对当前待编码点进行属性预测,得到上述当前待编码点的属性预测值,包括:
当上述预测参考点集中点的数目等于0时,将上述当前待编码点的属性预测值设为预设的常数;
当上述预测参考点集中点的数目大于0且不大于预设的预测点数目时,将上述预测参考点集中的所有点作为预测点,基于所有上述预测点的重建属性值获取上述当前待编码点的属性预测值;
当上述预测参考点集中点的数目大于上述预测点数目时,获取上述预测参考点集中的预测点,基于所有上述预测点的重建属性值获取上述当前待编码点的属性预测值,其中,上述预测点是上述预测参考点集中与上述当前待编码点的空间距离最近的预测点数目个点或上述预测点是上述预测参考点集中与上述当前待编码点的空间距离最近的预测点数目个点及最近空间距离下的其它同距离的点。
可选的,上述基于上述当前待编码点的属性预测值进行编码,得到点云码流,包括:
基于上述当前待编码点的原始属性值和上述当前待编码点的属性预测值获取上述当前待编码点的属性残差值;
基于上述属性残差值进行量化和熵编码,得到点云码流。
可选的,上述基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行,包括:
基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与上述当前待编码点的空间距离最大的点作为目标删除点,将上述目标删除点从上述预测参考点集中删除,将上述当前待编码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
可选的,上述基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行,包括:
基于上述预测参考点集中的点的三维位置坐标,按预设的优先保留规则,将上述预测参考点集中的点划分为优先保留点和非优先保留点,优先将非优先保留点中与上述当前待编码点的空间距离最大的点作为目标删除点或优先将非优先保留点中最早加入上述预测参考点集的点作为目标删除点,将上述目标删除点从上述预测参考点集中删除,将上述当前待编码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
可选的,上述基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行,包括:
基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与所述当前待编码点的空间距离最近的点,当最近空间距离小于预设的距离阈值且上述最近的点与上述当前待编码点的重建属性值的差小于预设的属性差阈值时,基于上述最近的点与上述当前待编码点的三维位置坐标和重建属性值计算获取目标加入点,并获取目标删除点,其中,上述目标删除点为上述最近的点、上述预测参考点集中与上述当前待编码点的空间距离最大的点或最早加入上述预测点集中的点;
当上述最近空间距离不小于上述距离阈值或上述最近的点与上述当前待编码点的重建属性值的差不小于上述属性差阈值时,将上述当前待编码点作为目标加入点,将上述预测参考点集中与上述当前待编码点的空间距离最大的点作为目标删除点或将最早加入上述预测参考点集的点作为目标删除点;
将上述目标删除点从上述预测参考点集中删除,将上述目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
本发明第二方面提供一种点云属性编码设备,其中,上述点云属性编码设备包括处理器、存储器及通信总线;上述存储器上存储有可被上述处理器执行的计算机可读程序;
上述通信总线实现处理器和存储器之间的连接通信;
上述处理器执行上述计算机可读程序时实现任意一项上述点云编码方法中的步骤。
本发明第三方面提供一种点云属性解码方法,其中,上述点云属性解码方法包括:
基于预测参考点集对当前待解码点进行属性预测,得到上述当前待解码点的属性预测值;
基于点云码流和上述当前待解码点的属性预测值,得到上述当前待解码点的重建属性值;
基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行。
可选的,上述基于预测参考点集对当前待解码点进行属性预测,得到上述当前待解码点云数据的属性预测值,包括:
当上述预测参考点集中点的数目等于0时,将上述当前待解码点的属性预测值设为预设的常数;
当上述预测参考点集中点的数目大于0且不大于预设的预测点数目时,将上述预测参考点集中的所有点作为预测点,基于所有上述预测考点的重建属性值获取上述当前待解码点的属性预测值;
当上述预测参考点集中点的数目大于上述预测考点数目时,获取上述预测参考点集中的预测点,基于所有上述预测点的重建属性值获取上述当前待解码点的属性预测值,其中,上述预测点是上述预测参考点集中与上述当前待解码点的空间距离最近的预测点数目个点或上述预测点是上述预测参考点集中与上述当前待解码点的空间距离最近的预测点数目个点及最近空间距离下的其它同距离的点。
可选的,上述基于点云码流和上述当前待解码点的属性预测值,得到上述当前待解码点的重建属性值,包括:
对点云码流解码,得到上述当前待解码点的属性残差值;
基于上述当前待解码点的属性残差值和上述当前待解码点的属性预测值获取上述当前待解码点的重建属性值。
可选的,上述基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行,包括:
基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与上述当前待解码点的空间距离最大的点作为目标删除点,将上述目标删除点从上述预测参考点集中删除,将上述当前待解码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
可选的,上述基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行,包括:
基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与所述当前待解码点的空间距离最近的点,当最近空间距离小于预设的距离阈值且上述最近的点与上述当前待解码点的重建属性值的差小于预设的属性差阈值时,基于上述最近的点与上述当前待解码点云数据的三维位置坐标和重建属性值计算获取目标加入点,并获取目标删除点,其中,上述目标删除点为上述最近的点、上述预测参考点集中与上述当前待编码点的空间距离最大的点或最早加入上述预测参考点集中的点;
当上述最近空间距离不小于上述距离阈值或上述最近的点与上述当前待编码点的重建属性值的差不小于上述属性差阈值时,将上述当前待解码点作为目标加入点,将上述预测参考点集中与上述当前待编码点的据空间距离最大的点作为目标删除点或将最早加入上述预测参考点集的点作为目标删除点;
将上述目标删除点从上述预测参考点集中删除,将上述目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
本发明第四方面提供一种点云属性解码设备,其中,上述点云属性解码设备包括处理器、存储器及通信总线;上述存储器上存储有可被上述处理器执行的计算机可读程序;
上述通信总线实现处理器和存储器之间的连接通信;
上述处理器执行上述计算机可读程序时实现任意一项上述点云属性解码方法中的步骤。
由上可见,本发明方案中,基于预测参考点集对当前待编码点进行属性预测,得到上述当前待编码点的属性预测值;基于上述当前待编码点的属性预测值进行编码,得到点云码流;基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行。与现有技术中仅考虑一维排列顺序的邻居点集相比,本发明中的预测参考点集基于点的三维位置坐标进行构建和更新,从而充分、高效地利用点的位置信息进行属性预测。基于上述预测参考点集进行编码,则有利于提高属性编码效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种点云属性编码方法的流程示意图;
图2是本发明实施例图1中步骤S100的具体流程示意图;
图3是本发明实施例图1中步骤S200的具体流程示意图;
图4是本发明实施例图1中步骤S300的具体流程示意图;
图5是本发明实施例提供的一种点云属性解码方法的流程示意图;
图6是本发明实施例图5中步骤A300的具体流程示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其它不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
随着科学技术的进步,三维点云数据的应用范围越来越广泛。同时,点云的精度和分辨率也越来越高,点云数据中包含每个点的几何信息和颜色、反射率等属性信息,因此在传输或使用的过程中,需要对点云进行压缩编码和解码。
现有技术中,可以将点云排列为一维序列,然后对于当前点云,构建邻居点集来利用前序已编码点的信息对当前点进行编码(或解码)。现有技术的问题在于,邻居点集是仅考虑一维排列顺序的点集(例如包括当前点的多个前序点),无法充分、高效地利用各个点的真实位置信息,不利于提高编码(或解码)的效率。
具体的,一种应用场景中,基于如下方式进行点云编码:将点云按照某种特定顺序排列为一维序列,按照顺序对每一点依次进行编码;利用前序已编码点的信息,对某一点的属性值进行预测,并求得预测值与真实属性值的残差;根据排序获得一个参考点集(即邻居点集),邻居点集可以包含当前点前序或后序的点;在参考点集内搜索距离最近的点,组成一个子集;利用子集内点的属性值,计算当前点的属性预测值,例如预测值为子集内点重建属性值的加权平均值;计算属性残差值,属性残差值=原始值-预测值;根据提前设定的量化精度对属性残差值进行量化,得到量化残差系数,将量化残差系数进行熵编码,完成该点的编码;将量化残差系数进行相应逆量化,得到重建残差,并与上述预测值相加,得到重建属性值,将其用于后续点的预测。
上述应用场景中,使用的参考点集是基于简单的一维排序选择生成的,并没有充分利用点的空间几何位置信息。需要说明的是,一维排序的远近并不简单等于空间距离的远近,因此使用上述参考点集无法高效利用点云的空间位置关系。本发明中,利用点云几何点的三维位置坐标更新预测参考点集,对于位置信息的利用更高效,可以更好的进行属性预测。另一方面,一维排序的缺陷还包括排序过程中无法区分空间内的跳变点(即边界点),对跳变点,即使它们在一维排序上相邻,但在空间中距离较远。因此本发明中,在维护预测参考点集时还可以考虑跳变点,尽量保留这些跳变点,更好的进行属性预测。
为了解决至少一个上述问题,本发明提供一种点云属性编码方法、解码方法、编码设备及解码设备,其中,上述点云属性编码方法中,基于预测参考点集对当前待编码点进行属性预测,得到上述当前待编码点的属性预测值;基于上述当前待编码点的属性预测值进行编码,得到点云码流;基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行。与现有技术中仅考虑一维排列顺序的邻居点集相比,本发明中的预测参考点集基于点的三维位置坐标进行构建和更新,从而充分、高效地利用各个点的位置信息进行属性预测。基于上述预测参考点集进行属性编码,则有利于提高属性编码效率。同样,基于对应的点的三维位置坐标的规则进行生成和更新的预测参考点集进行解码,也有利于提高解码效率。
如图1所示,本发明实施例提供一种点云属性编码方法,具体的,上述方法包括如下步骤:
步骤S100,基于预测参考点集对当前待编码点进行属性预测,得到上述当前待编码点的属性预测值。
步骤S200,基于上述当前待编码点的属性预测值进行编码,得到点云码流。
步骤S300,基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行。
本实施例中,基于上述点云属性编码方法对多个待编码点依次进行属性编码,每完成一个点的编码,则更新上述预测参考点集,然后基于更新后的预测参考点集对下一个待编码点进行属性预测和编码。每完成一个点的编码,则生成对应的点云码流,整个点云中的点的码流形成整个点云的属性编码的结果。其中,上述当前待编码点是当前正在处理的一个待编码点。
点云编码包括几何位置编码和属性编码,本发明实施例中实现点云属性编码,例如对点云的颜色属性进行编码。需要说明的是,上述待编码点中包括待编码点的位置坐标和属性值。本实施例中,上述待编码点是按照一维顺序排列的,例如采集顺序、莫顿顺序或希尔伯特顺序,以便进行后续的编码处理。
具体的,在一个实施例中,获取待编码点云数据;基于预测参考点集依次对上述待编码点云数据中的各待编码点进行属性编码,每完成一个当前待编码点的属性编码时更新上述预测参考点集,其中,上述预测参考点集基于各上述待编码点的三维位置坐标进行更新。
其中,上述预测参考点集是进行点云属性编码时使用的参考点集,上述预测参考点集基于已编码重建的点云数据构成。具体的,上述预测参考点集在更新时基于当前待编码点的三维位置坐标,能更好的反映各个点之间的实际空间位置关系,提高属性预测编码效率。需要说明的是,上述预设的规则还可以同时考虑上述待编码点云数据中各点的重建属性值和三维位置坐标,更好地利用各个点之间的实际空间位置关系及重建属性值关系。
本实施例中,基于预测参考点集依次对各个待编码点进行属性编码,每完成一个当前待编码点的属性编码时,基于该待编码点更新预测参考点集,并基于更新后的预测参考点集对下一个待编码点进行属性编码,如此,利用前序已编码点的信息,对某一点的属性值进行预测,实现属性编码。需要说明的是,可以预先设置更新规则,上述预测参考点集基于预设的更新规则进行更新,该更新规则考虑(依赖于)各上述待编码点的三维位置坐标。
由上可见,本发明实施例提供的点云属性编码方法中,基于预测参考点集对当前待编码点进行属性预测,得到上述当前待编码点的属性预测值;基于上述当前待编码点的属性预测值进行编码,得到点云码流;基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行。与现有技术中仅考虑一维排列顺序的邻居点集相比,本发明中的预测参考点集基于点的三维位置坐标进行构建和更新,从而充分、高效地利用各个点的位置信息进行属性预测。基于上述预测参考点集进行编码,则有利于提高编码效率。
具体的,本实施例中,如图2所示,上述步骤S100包括如下步骤:
步骤S101,当上述预测参考点集中点的数目等于0时,将上述当前待编码点的属性预测值设为预设的常数;
步骤S102,当上述预测参考点集中点的数目大于0且不大于预设的预测点数目时,将上述预测参考点集中的所有点作为预测点,基于所有上述预测点的重建属性值获取上述当前待编码点的属性预测值;
步骤S103,当上述预测参考点集中点的数目大于上述预测点数目时,获取上述预测参考点集中的预测点,基于所有上述预测点的重建属性值获取上述当前待编码点的属性预测值,其中,上述预测点是上述预测参考点集中与上述当前待编码点的空间距离最近的预测点数目个点或上述预测点是上述预测参考点集中与上述当前待编码点的空间距离最近的预测点数目个点及最近空间距离下的其它同距离的点。
其中,上述预测点数目是在进行编码时,需要从预测参考点集中获取的预测点的数目,预测点是在对某一个待编码点进行编码时需要考虑的前序已编码的点。即,编码时可以参考预测参考点集中的预测点数目个点,其中,上述预测点数目大于0,具体可以根据实际需求进行设置和调整,本实施例中,可以将预测点数目记为K,K设置为3,但不作为具体限定。在预测参考点集中选取K个点,基于该K个点的重建属性值计算当前待编码点的属性预测值。需要说明的是,重建属性值是指对当前待编码点编码之后的重建属性值,本实施例中,使用重建属性值是为了保证编解码过程的一致性,因为解码的时候,只有重建属性值可以用。在一种应用场景中,不考虑解码的情况时,也可以使用K个点的属性值进行预测。上述最近空间距离是上述预测参考点集中与上述当前待编码点的空间距离最近的点与当前待编码点之间的距离。
编码时还可以参考预测参考点集中与当前待编码点距离最近的预测点数目个点,其中,上述预测点数目大于0,具体可以根据实际需求进行设置和调整,本实施例中,可以将预测点数目记为K,K设置为3,但不作为具体限定。在预测参考点集中选取与当前待编码点距离最近的K个点,基于该K个点的重建属性值计算当前待编码点的属性预测值。
编码时还可以参考预测参考点集中与当前待编码点距离最近的预测点数目个点及上述最近空间距离下的其它同距离的点,其中,上述预测点数目大于0,具体可以根据实际需求进行设置和调整,本实施例中,可以将预测点数目记为K,K设置为3,但不作为具体限定。在预测参考点集中选取与当前待编码点距离最近的K个点及上述最近空间距离下的其它同距离的点,基于该K个点及上述最近空间距离下的其它同距离的点的重建属性值计算当前待编码点的属性预测值。
预设的常数可以为预设的固定编码预测值,可以根据实际需求进行设置和调整。具体的,当预测参考点集中点的数目等于0时,说明预测参考点集还没有构建(即其中还没有加入点),此时将当前待编码点的属性预测值设为预设固定编码预测值,其中,上述预设固定编码预测值可以根据实际情况进行预设设置和调整。在一种应用场景中,当需要进行编码的属性为颜色时,上述预设固定编码预测值可以设置为R=128,G=128,B=128。当需要进行编码的属性为反射率时,可以设置为0。
当上述预测参考点集中点的数目大于0且不大于上述预测点数目,即预测参考点集中实际包含的点的数目大于0,但不大于K,此时可以直接将预测参考点集中所有的点都作为预测点,根据所有预测点的重建属性值获取上述当前待编码点的属性预测值。具体的,本实施例中,将所有预测点的重建属性值的平均值(或加权平均值)作为当前待编码点的属性预测值。
当上述预测参考点集中点的数目大于上述预测点数目K时,可以从预测参考点集选取部分(K个)点作为预测点,并将所有预测点的重建属性值的平均值(或加权平均值)作为当前待编码点的属性预测值。需要说明的是,采用加权平均值的方法时,各预测点对应的权重可以根据各预测点与当前待编码点的距离确定,例如,权值可以分别为各预测点到当前待编码点的距离的倒数。需要说明的是,此时,上述预测点是上述预测参考点集中与当前待编码点的坐标最近的K个点,而空间位置越近的点,其属性值通常也更为接近,选其进行预测,能达到更好的预测效果,提高编码效率。
当上述预测参考点集中点的数目大于上述预测点数目K时,还可以从预测参考点集选取部分(可以是当前待编码点的距离最近的K个及上述最近空间距离下的其它同距离的)点作为预测点,并将所有预测点的重建属性值的平均值(或加权平均值)作为当前待编码点的属性预测值。需要说明的是,采用加权平均值的方法时,各预测点对应的权重可以根据各预测点与当前待编码点的距离确定,例如,权值可以分别为各预测点到当前待编码点的距离的倒数。需要说明的是,此时,上述预测点是上述预测参考点集中与当前待编码点的距离最近的K个点及上述最近空间距离下的其它同距离的,而空间位置越近的点,其属性值通常也更为接近,选其进行预测,能达到更好的预测效果,提高编码效率。
具体的,本实施例中,如图3所示,上述步骤S200包括如下步骤:
步骤S201,基于上述当前待编码点的原始属性值和上述当前待编码点的属性预测值获取上述当前待编码点的属性残差值;
步骤S202,基于上述属性残差值进行量化和熵编码,得到点云码流。
具体的,本实施例中,基于上述当前待编码点的原始属性值和属性预测值获取上述当前待编码点的属性残差值。基于上述属性残差值进行量化,得到量化属性残差值,对量化属性残差值进行熵编码,获得点云码流。基于上述属性量化值进行逆量化,获取上述当前待编码点的重建属性残差值。基于上述重建属性残差值和上述当前待编码点的属性预测值获取上述当前待编码点的重建属性值。
具体的,本实施例中,属性残差值=原始属性值-属性预测值。基于预设的量化参数QP对上述属性残差值进行量化,得到量化属性残差值,其中,量化参数可以根据实际需求进行设置和调整,在此不作具体限定。然后,对量化属性残差值进行熵编码,获得当点云码流,至此,完成对当前待编码点的属性编码,后续进一步处理获得重建属性值,以实现对预测参考点集的更新。需要说明的是,可以将熵编码的输出(即上述点云码流)写入输出码流文件中,以便输出编码结果,供用户使用。
进一步的,对量化属性残差值进行逆量化(逆量化过程中同样采用对应的量化参数QP),得到重建属性残差值。并计算重建属性值=重建属性残差值+属性预测值。如此,可以计算获得重建属性值,以更新对应的预测参考点集。
在一种应用场景中,上述步骤S300包括:基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与上述当前待编码点的空间距离最大的点作为目标删除点,将上述目标删除点从上述预测参考点集中删除,将上述当前待编码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
在另一种应用场景中,上述步骤S300包括:基于上述预测参考点集中的点的三维位置坐标,按预设的优先保留规则,将上述预测参考点集中的点划分为优先保留点和非优先保留点,优先将非优先保留点中与上述当前待编码点的空间距离最大的点作为目标删除点或优先将非优先保留点中最早加入上述预测参考点集的点作为目标删除点,将上述目标删除点从上述预测参考点集中删除,将上述当前待编码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
其中,上述优先保留规则是预先设置的用于判断在预测参考点集的点数过多需要进行删除操作时优先保留哪部分点的规则,例如,可以设置不同类型的点的删除优先级,根据删除优先级进行删除操作。本实施例中,优先保留点为边界点,非优先保留点为非边界点,基于上述优先保留规则,优先保留边界点,优先删除非边界点。
具体的,边界点指的是将点云划分为多个H乘H大小的块(块和块紧密排列不重叠)时,处于每个块的表面的点(实际上可以再细分为顶点、边界线、表面三种),所以当下述的L取1的时候,所有点都成为边界点。
具体的,根据以下方法判定一个点(例如点o)是否为边界点:设定参数L,L可以直接设定为自然数,L也可以经过计算获得。在一种应用场景中,L可以根据预测参考点集的点云密度计算获得,点云密度越大,L越小。本实施例中,L为预先设置,且L是2的正整数次方减1。在一种应用场景中,分别计算点o的坐标x、y、z除以L得到x1、y1、z1,如果x1、y1、z1其中一个数值为整数,则点o是边界点,否则点o不是边界点。在另一种应用场景中,分别计算点o的坐标x、y、z和L的二进制形式的按位取与,得到x2、y2、z2,如果x2、y2、z2其中一个数值等于L,则点o是边界点,否则点o不是边界点。
在另一种应用场景中,如图4所示,上述步骤S300包括:
步骤S301,基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与上述当前待编码点的空间距离最近的点,当最近空间距离小于预设的距离阈值且上述最近的点与上述当前待编码点的重建属性值的差小于预设的属性差阈值时,基于上述最近的点与上述当前待编码点的三维位置坐标和重建属性值计算获取目标加入点,并获取目标删除点,其中,上述目标删除点为上述最近的点、或上述预测参考点集中与上述当前待编码点的空间距离最大的点、或最早加入上述预测参考点集中的点;
步骤S302,当上述最近空间距离不小于上述距离阈值或上述最近的点与上述当前待编码点的重建属性值的差不小于上述属性差阈值时,将上述当前待编码点作为目标加入点,将上述预测参考点集中与上述当前待编码点的空间距离最大的点作为目标删除点或将最早加入上述预测参考点集的点作为目标删除点;
步骤S303,将上述目标删除点从上述预测参考点集中删除,将上述目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
其中,距离阈值和属性差阈值是预先设置的用于判断两个点之间的相似性的阈值,当两个点之间的空间距离小于距离阈值,且重建属性值的差小于属性差阈值时,可以认为两个点相似,此时可以合并相似点。
具体的,还可以基于上述当前待编码点的重建属性值、上述当前待编码点的三维位置坐标、上述预测点数目以及上述预测参考点集中点的数目对上述预测参考点集进行更新。具体包括如下步骤:
获取参考点数目阈值,其中,上述参考点数目阈值不小于上述预测点数目;
当上述预测参考点集中点的数目小于上述参考点数目阈值时,将当前待编码点加入上述预测参考点集中;
当上述预测参考点集中点的数目不小于上述参考点数目阈值时,基于预设的规则更新所述预测参考点集。
其中,参考点数目阈值是预先设置的预测参考点集包含的点的最大数目,用于限制预测参考点集的大小,从而降低存储空间。参考点数目阈值可以预先设置或由用户输入,还可以根据实际需求进行实时调整,在此不作具体限定,本实施例中,记参考点数目阈值为N。
当预测参考点集中点的数目小于参考点数目阈值N时,说明预测参考点集还没有满,此时直接将当前待编码点加入预测参考点集中。
当预测参考点集中点的数目不小于参考点数目阈值N时,说明预测参考点集已满,更新时需要考虑控制其中的预测参考点的数目。此时,需要确定目标加入点及目标删除点。
在一种应用场景中,当预测参考点集中点的数目不小于参考点数目阈值N时,基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与上述当前待编码点的空间距离最大的点作为目标删除点,将上述目标删除点从上述预测参考点集中删除,将上述当前待编码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
需要说明的是,因为N的大小是有限的,比如128。采用本实施例,将上述预测参考点集中与上述当前待编码点的空间距离最大的点作为目标删除点删除,将上述当前待编码点作为目标加入点加入上述预测参考点集中,在有限大小的点集中保留空间距离越更近的点,在之后计算待编码点的属性预测值时就越准确,编码效率就越高,因此采用本实施例方案能够达到更好的编码效率。
在一种应用场景中,当预测参考点集中点的数目不小于N时,在预测参考点集的所有非边界点中,计算距离当前待编码点a最远的点t与a之间的距离dt,如果dt大于预设的删除距离阈值时,删除该最远的点t。接着,如果预测参考点集中点的数目仍然大于N,则在参考点集的所有边界点中,计算距离a最远的点r与a之间的距离dr,如果dr大于预设的删除距离阈值时,删除该最远的点r。接着,如果预测参考点集中点的数目仍然大于N,则删除预测参考点集内距离a的空间距离最远的点。需要说明的是,上述过程中还可以考虑对应的重建属性值,例如,在满足t与a之间的距离dt大于预设的删除距离阈值和/或t与a之间的重建属性值之差ut大于预设的删除属性差阈值时删除点t。其中,上述删除距离阈值与上述编码距离阈值可以相同也可以不相同,在此不作具体限定。
需要说明的是,因为N的大小是有限的,比如128。现有技术中为了维持该大小,只能简单删除一维排序最远的点,这个排序最远的点大概率不是空间距离最远的点。点的空间距离越相近,在之后计算待编码点的属性预测值时就越准确,编码效率就越高,因此采用本实施例方案能够达到更好的编码效率。
在另一种应用场景中,获取遍历删除点阈值,其中,遍历删除点阈值是在进行删除时,需要遍历的点的个数的阈值。需要说明的是,在删除的过程中,需要依次遍历判断各个点是否是需要删除的点,为了避免遍历时间过长(例如N的值较大时,如果要遍历所有的点,则等待时间很长),可以设置遍历删除点阈值。按照加入上述预测参考点集的顺序依次遍历上述预测参考点集中的各点(也可以是随机顺序,在此不作具体限定),当遍历值小于上述遍历删除点数阈值时,将遍历过程中的第一个非边界点作为上述目标删除点并停止遍历,当没有找到目标删除点,且上述遍历值不小于上述遍历删除点阈值时,将上述预测参考点集中与上述当前待编码点的空间距离最远的点作为上述目标删除点并停止遍历,其中,上述遍历值是遍历的预测参考点的个数,上述非边界点是将所有上述预测参考点按空间位置划分为预设数目个点云块时,不处于点云块的表面的点。
在另一种应用场景中,通过记录优先保留地址I1和非优先保留地址I2对优先保留点和非优先保留点进行遍历,实现预测参考点集的更新。I1的初始值为第一个优先保留点的地址,I2的初始值为第一个非优先保留点的地址。参考点数目阈值为N,设优先保留点的数目阈值为M,则非优先保留点数目阈值为L=N-M。如果优先保留点的数目大于阈值N则将地址为I1的优先保留点降级为非优先保留点并将I1加1,如果非优先保留点的数目大于阈值L则从地址I2开始遍历非优先保留点,如果遍历到的非优先保留点是非边界点则停止遍历并删除该点,如果是边界点则遍历下一个点,如果遍历过的非优先保留点的数量等于L,则删除地址I2的非优先保留点并将I2加1。将上述当前待编码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
在一种应用场景中,当预测参考点集中点的数目不小于参考点数目阈值N时,计算当前待编码点a和预测参考点集中距离a最近的点b之间的空间距离(即最近空间距离)d和重建属性值的差e,当d小于距离阈值且e小于属性差阈值时,说明a和b是相似的,此时基于a和b计算目标加入点p并将p加入预测参考点集中,从预测参考点集内部删除点b,如此,可以合并相似点,更好地利用性质差异较大的各个点,达到更好的编码效果。利用属性值和空间距离进行点的筛选和对相似点进行合并处理,更新待编码点的预测参考点集,避免了包含类似信息点的冗余,从而实现,在参考点集大小相同的情况下,可容纳更多点的信息,帮助待编码点的属性预测,实现更高效的点云属性编码。
具体的,可以参照如下公式Ap=(Aa*Wa+Ab*Wb)/(Wa+Wb)进行点p的计算,其中,Ap可以代表点p的空间坐标x、y、z或属性值,Aa和Ab则代表点a和点b的对应坐标或属性值,Wa和Wb分别代表点a和点b对应的权值。当将a加入预测参考点集时,可以将的权值设为1,当将p加入预测参考点集时,可以结合点a和b的权值来设定p的权值(例如,设置其权值为a和b的权值的和或设置其权值为b的权值)。
需要说明的是,本实施例中,完成属性预测后,更新预测参考点集。例如,用预测参考点集进行当前待编码点的属性预测,再用当前待编码点更新预测参考点集,得到新的预测参考点集,再用新的预测参考点集进行下一个点的属性预测。每对一个当前待编码点完成属性预测后,都要对预测参考点集进行更新,此时会向预测参考点集中加入新的点,则可能会造成预测参考点集中点的数目大于N。当预测参考点的数目大于N时,需要删除其中的部分点,以控制预测参考点集的大小。
对应于上述点云属性编码方法,本发明实施例还提供一种点云属性编码设备,上述点云属性编码设备包括处理器、存储器及通信总线;上述存储器上存储有可被上述处理器执行的计算机可读程序;
上述通信总线实现处理器和存储器之间的连接通信;
上述处理器执行上述计算机可读程序时实现任意一项上述点云属性编码方法中的步骤。
需要说明的是,上述点云属性编码设备的具体功能或设置可以参照上述方法实施例中的描述,在此不再赘述。
如图5所示,对应于上述点云属性编码方法,本发明实施例还提供一种点云属性解码方法,上述方法包括:
步骤A100,基于预测参考点集对当前待解码点进行属性预测,得到上述当前待解码点的属性预测值。
步骤A200,基于点云码流和上述当前待解码点的属性预测值,得到上述当前待解码点的重建属性值。
步骤A300,基于预设的规则更新上述预测参考点集,上述预设的规则基于上述预测参考点集中的点的三维位置坐标执行。
本实施例中,基于上述点云属性解码方法对多个待解码点依次进行属性解码,每完成一个点的解码,则更新上述预测参考点集,然后基于更新后的预测参考点集对下一个待解码点进行属性预测和解码。点云码流是前述点云属性编码后获得的码流,可以作为解码过程中的输入。其中,上述当前待解码点是当前正在处理的一个待解码点。
其中,上述待解码点为需要进行属性解码的点。点云解码包括几何解码和属性解码,本发明实施例中针对点云属性进行解码,例如对点云的颜色属性或者反射率属性进行解码。需要说明的是,上述待解码点包括点的位置坐标和属性值。
具体的,在一个实施例中,基于预测参考点集对点云码流进行属性解码,每完成一个当前待解码点的属性解码,更新上述预测参考点集,其中,上述预测参考点集基于各上述待解码点的三维位置坐标进行更新。
其中,上述预测参考点集是进行点云属性解码时使用的参考点集,上述预测参考点集基于已经进行过解码的点构成。具体的,上述预测参考点集在更新时基于点的三维位置坐标,能更好的反映各个点之间的实际空间位置关系,如此,在进行解码时,能更好地各个点的位置信息进行属性预测,提高解码效率。需要说明的是,上述预设的规则还可以同时考虑点的重建属性值和三维位置坐标,更好地利用点云信息。
由上可见,本发明实施例提供的点云属性解码方法中,预测参考点集基于点的三维位置坐标进行构建和更新,从而充分、高效地利用各个点的位置信息进行属性预测,有利于提高解码效率。
具体的,本实施例中,上述步骤A100包括如下步骤:
当上述预测参考点集中点的数目等于0时,将上述当前待解码点的属性预测值设为预设的常数;
当上述预测参考点集中点的数目大于0且不大于预设的预测点数目时,将上述预测参考点集中的所有点作为预测点,基于所有上述预测点的重建属性值获取上述当前待解码点的属性预测值;
当上述预测参考点集中点的数目大于上述预测点数目时,获取上述预测参考点集中的预测点,基于所有上述预测点的重建属性值获取上述当前待解码点的属性预测值,其中,上述预测点是上述预测参考点集中与上述当前待解码点的空间距离最近的预测点数目个点或上述预测点是上述预测参考点集中与上述当前待解码点的空间距离最近的预测点数目个点及所述最近空间距离下的其它同距离的点。
其中,上述预测点数目是在进行解码时,需要从预测参考点集中获取的预测点的数目,预测点是在对某一个待解码点进行解码时需要考虑的前序已解码的点。即,解码时可以不是参考预测参考点集中的所有点,而是其中的预测点数目个点,其中,上述预测点数目大于0,具体可以根据实际需求进行设置和调整,本实施例中,可以将预测点数目记为K’,K’设置为3,但不作为具体限定。在预测参考点集中选取K’个点,用于计算当前待解码点的属性预测值。本实施例中,K’=K。
预设的常数可以为预设的固定值,可以根据实际需求进行设置和调整。具体的,当预测参考点集中点的数目等于0时,说明预测参考点集还没有构建(即其中还没有加入点),此时将当前待解码点的属性预测值设为预设的固定值,其中,上述预设的固定值可以根据实际情况进行预设设置和调整。在一种应用场景中,当需要进行解码的属性为颜色时,上述预设的固定值可以设置为R=128,G=128,B=128。当需要进行解码的属性为反射率时,上述预设的固定值可以设置为0。
当上述预测点数目大于0且不大于上述预测点数目,即预测参考点集中实际包含的点的数目大于0,但不大于K’,此时可以直接将预测参考点集中所有的点都作为预测点,根据所有预测点获取上述当前待解码点的属性预测值。具体的,本实施例中,将所有预测点的重建属性值的平均值(或加权平均值)作为当前待解码点的属性预测值。
当上述预测点数目大于上述预测点数目K’时,可以从预测参考点集选取部分(K’个)点作为预测参考点,并将所有预测点的重建属性值的平均值(或加权平均值)作为当前待解码点的属性预测值。需要说明的是,采用加权平均值的方法时,各预测点对应的权重可以根据各预测点与当前待解码点的距离确定,例如,权值可以分别为各预测点到当前待解码点的距离的倒数。需要说明的是,此时,上述预测点可以是上述预测参考点集中与当前待解码点的空间距离最近的K’个点,即选取预测参考点中与当前待解码点的空间距离最近的K’个点对当前待解码点进行属性预测;上述预测点也可以是上述预测参考点集中与当前待解码点的空间距离最近的K’个点及所述最近空间距离下的其它同距离的点,即选取预测参考点中与当前待解码点的空间距离最近的K’个点及所述最近空间距离下的其它同距离的点,对当前待解码点进行属性预测。这些预测点与当前待解码点的空间位置更近,其属性值通常也更为接近,选其进行预测,能达到更好的预测效果,提高解码效率和质量。
具体的,本实施例中,上述步骤A200包括如下步骤:
对点云码流解码,得到上述当前待解码点的属性残差值;
基于上述当前待解码点的属性残差值和上述当前待解码点的属性预测值获取上述当前待解码点的重建属性值。
本实施例的解码过程是编码过程的逆过程,具体的,熵解码输入的点云码流,得到当前待解码点的量化残差值,然后按照给定的量化参数QP,逆量化得到属性残差值。然后计算获得重建属性值=属性残差值+预测值。然后,按照编码过程中的对应规则,更新预测参考点集。
在一种应用场景中,上述步骤A300包括:基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与上述当前待解码点的空间距离最大的点作为目标删除点,将上述目标删除点从上述预测参考点集中删除,将上述当前待解码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
在另一种应用场景中,上述步骤A300包括:基于上述预测参考点集中的点的三维位置坐标,按预设的优先保留规则,将上述预测参考点集中的点划分为优先保留点和非优先保留点,优先将非优先保留点中与上述当前待解码点的空间距离最大的点作为目标删除点或优先将非优先保留点中最早加入上述预测参考点集的点作为目标删除点,将上述目标删除点从上述预测参考点集中删除,将上述当前待解码点作为目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
其中,上述优先保留规则是预先设置的用于判断在预测参考点集的点数过多需要进行删除操作时优先保留哪部分点的规则,例如,可以设置不同类型的点的删除优先级,根据删除优先级进行删除操作。本实施例中,优先保留点为边界点,非优先保留点为非边界点,基于上述优先保留规则,优先保留边界点,优先删除非边界点。
具体的,边界点指的是将点云划分为多个H乘H大小的块(块和块紧密排列不重叠)时,处于每个块的表面的点(实际上可以再细分为顶点、边界线、表面三种)。具体的确定边界点的方式可以参照点云属性编码方法中的具体描述,在此不再赘述。
在另一种应用场景中,如图6所示,上述步骤A300包括:
步骤A301,基于上述预测参考点集中的点的三维位置坐标,获取上述预测参考点集中与上述当前待解码点的空间距离最近的点,当上述最近空间距离小于预设的距离阈值且上述最近的点与上述当前待解码点的重建属性值的差小于预设的属性差阈值时,基于上述最近的点与上述当前待解码点的三维位置坐标和重建属性值计算获取目标加入点,并获取目标删除点,其中,上述目标删除点为上述最近的点、或上述预测参考点集中与上述当前待解码点的空间距离最大的点、或最早加入上述预测参考点集中的点;
步骤A302,当上述最近空间距离不小于上述距离阈值或上述最近的点与上述当前待解码点的重建属性值的差不小于上述属性差阈值时,将上述当前待解码点作为目标加入点,将上述预测参考点集中与上述当前待解码点云数据空间距离最大的点作为目标删除点或将最早加入上述预测参考点集的点作为目标删除点;
步骤A303,将上述目标删除点从上述预测参考点集中删除,将上述目标加入点加入上述预测参考点集中,得到更新的预测参考点集。
其中,距离阈值和属性差阈值是预先设置的用于判断两个点之间的相似性的阈值,当两个点之间的空间距离小于距离阈值,且重建属性值的差小于属性差阈值时,可以认为两个点相似,此时可以合并相似点。
具体的,在一个实施例中,还可以基于上述当前待解码点的重建属性值、上述当前待解码点的三维位置坐标、上述预测点数目以及上述预测参考点集中点的数目对上述预测参考点集进行更新。具体包括如下步骤:
获取预测点数目阈值,其中,上述预测点数目阈值不小于上述预测点数目;
当上述预测参考点集中点的数目小于上述预测点数目时,将上述当前待解码点加入上述预测参考点集中;
当上述预测参考点集中点的数目不小于上述预测点数目时,获取上述预测参考点集中与上述当前待解码点的空间距离最近的点,当上述最近空间距离小于预设的距离阈值且上述最近的点与上述当前待解码点的属性差小于预设的属性差阈值时,基于上述当前待解码点和上述最近的点计算获取目标加入点,并将上述目标加入点加入上述预测参考点集中,当上述最近空间距离不小于上述距离阈值或上述最近的点与上述当前待解码点的属性差不小于上述属性差阈值时,将上述当前待解码点加入上述预测参考点集中;
具体的,在一个实施例中,获取遍历删除点数阈值;当上述预测参考点集中点的数目大于上述预测点数目阈值时,获取上述预测参考点集中的一个目标删除点并删除,其中,上述目标删除点通过预设的遍历规则获得,上述遍历规则包括:按照加入上述预测参考点集的顺序依次遍历上述预测参考点集中的点,当遍历值小于上述遍历删除点数阈值时,将遍历过程中的第一个非边界点作为上述目标删除点并停止遍历,当上述遍历值不小于上述遍历删除点阈值时,将上述预测参考点集中与上述当前待解码点的空间距离最大的点作为上述目标删除点并停止遍历,其中,上述遍历值是遍历的预测参考点的个数,上述非边界点是将所有上述预测参考点按空间位置划分为预设数目个点云块时,不处于点云块的表面的点。
需要说明的是,还可以参考编码过程中更新预测参考点集的具体方法对预测参考点集进行更新,在此不再赘述。
对应于上述点云属性解码方法,本发明实施例还提供一种点云属性解码设备,上述点云属性解码设备包括处理器、存储器及通信总线;上述存储器上存储有可被上述处理器执行的计算机可读程序;
上述通信总线实现处理器和存储器之间的连接通信;
上述处理器执行上述计算机可读程序时实现任意一项上述点云属性解码方法中的步骤。
需要说明的是,上述点云属性解码设备的具体功能或设置可以参照上述方法实施例中的描述,在此不再赘述。
进一步的,本发明实施例基于AVS-PCC PCRM软件v5.1版本,测试了本实施例方法与测试平台PCRM的基准结果,结果如下表1、表2和表3所示。
表1
表2
表3
表1是本发明提供的一种实施例下的亮度、色度以及反射率的率失真数据对比表,表2是本发明提供的再一种实施例下的亮度、色度以及反射率的率失真数据对比表,表3是本发明提供的又一种实施例下的亮度、色度以及反射率的率失真数据对比表。根据表1、表2和表3可知,相比测试平台PCRM的基准结果,在无损几何、有损属性条件下,对于亮度属性,本发明的端到端属性率失真分别减少了4.3%,1.3%,0.3%;对于色度Cb属性,本发明的端到端属性率失真分别减少了3.6%,1.4%,0.3%;对于色度Cr属性,本发明的端到端属性率失真分别减少了3.5%,1.2%,0.3%;对于反射率属性,本发明的端到端属性率失真分别减少了0.2%,0.2%,0.1%;达到了更好的编解码效果。
基于上述实施例,本发明还提供了一种智能终端。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中,该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和点云属性编码程序和/或点云属性解码程序。该内存储器为非易失性存储介质中的操作系统和点云属性编码程序和/或点云属性解码程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该点云属性编码程序和/或点云属性解码程序被处理器执行时实现上述任意一种点云属性编码和/或解码方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本发明实施例还提供一种计算机可读存储介质,上述计算机可读存储介质上存储有点云属性编码程序和/或点云属性解码程序,上述点云属性编码程序和/或点云属性解码程序被处理器执行时实现本发明实施例提供的任一种点云属性编码和/或解码方法的步骤。
应理解,上述实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以由另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (14)
1.一种点云属性编码方法,其特征在于,包括:
基于预测参考点集对当前待编码点进行属性预测,得到所述当前待编码点的属性预测值;
基于所述当前待编码点的属性预测值进行编码,得到点云码流;
基于预设的规则更新所述预测参考点集,所述预设的规则基于所述预测参考点集中的点的三维位置坐标执行。
2.根据权利要求1所述的点云属性编码方法,其特征在于,所述基于预测参考点集对当前待编码点进行属性预测,得到所述当前待编码点的属性预测值,包括:
当所述预测参考点集中点的数目等于0时,将所述当前待编码点的属性预测值设为预设的常数;
当所述预测参考点集中点的数目大于0且不大于预设的预测点数目时,将所述预测参考点集中的所有点作为预测点,基于所有所述预测点的重建属性值获取所述当前待编码点的属性预测值;
当所述预测参考点集中点的数目大于所述预测点数目时,获取所述预测参考点集中的预测点,基于所有所述预测点的重建属性值获取所述当前待编码点的属性预测值,其中,所述预测点是所述预测参考点集中与所述当前待编码点的空间距离最近的预测点数目个点或所述预测点是所述预测参考点集中与所述当前待编码点的空间距离最近的预测点数目个点及最近空间距离下的其它同距离的点。
3.根据权利要求1所述的点云属性编码方法,其特征在于,所述基于所述当前待编码点的属性预测值进行编码,得到点云码流,包括:
基于所述当前待编码点的原始属性值和所述当前待编码点的属性预测值获取所述当前待编码点的属性残差值;
基于所述属性残差值进行量化和熵编码,得到点云码流。
4.根据权利要求1所述的点云属性编码方法,其特征在于,所述基于预设的规则更新所述预测参考点集,所述预设的规则基于所述预测参考点集中的点的三维位置坐标执行,包括:
基于所述预测参考点集中的点的三维位置坐标,获取所述预测参考点集中与所述当前待编码点的空间距离最大的点作为目标删除点,将所述目标删除点从所述预测参考点集中删除,将所述当前待编码点作为目标加入点加入所述预测参考点集中,得到更新的预测参考点集。
5.根据权利要求1所述的点云属性编码方法,其特征在于,所述基于预设的规则更新所述预测参考点集,所述预设的规则基于所述预测参考点集中的点的三维位置坐标执行,包括:
基于所述预测参考点集中的点的三维位置坐标,按预设的优先保留规则,将所述预测参考点集中的点划分为优先保留点和非优先保留点,优先将非优先保留点中与所述当前待编码点的空间距离最大的点作为目标删除点或优先将非优先保留点中最早加入所述预测参考点集的点作为目标删除点,将所述目标删除点从所述预测参考点集中删除,将所述当前待编码点作为目标加入点加入所述预测参考点集中,得到更新的预测参考点集。
6.根据权利要求1所述的点云属性编码方法,其特征在于,所述基于预设的规则更新所述预测参考点集,所述预设的规则基于所述预测参考点集中的点的三维位置坐标执行,包括:
基于所述预测参考点集中的点的三维位置坐标,获取所述预测参考点集中与所述当前待编码点的空间距离最近的点,当最近空间距离小于预设的距离阈值且所述最近的点与所述当前待编码点的重建属性值的差小于预设的属性差阈值时,基于所述最近的点与所述当前待编码点的三维位置坐标和重建属性值计算获取目标加入点,并获取目标删除点,其中,所述目标删除点为所述最近的点、或所述预测参考点集中与所述当前待编码点的空间距离最大的点、或最早加入所述预测参考点集中的点;
当所述最近空间距离不小于所述距离阈值或所述最近的点与所述当前待编码点的重建属性值的差不小于所述属性差阈值时,将所述当前待编码点作为目标加入点,将所述预测参考点集中与所述当前待编码点的空间距离最大的点作为目标删除点或将最早加入所述预测参考点集的点作为目标删除点;
将所述目标删除点从所述预测参考点集中删除,将所述目标加入点加入所述预测参考点集中,得到更新的预测参考点集。
7.一种点云属性编码设备,其特征在于,包括处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1-6任意一项所述方法中的步骤。
8.一种点云属性解码方法,其特征在于,包括:
基于预测参考点集对当前待解码点进行属性预测,得到所述当前待解码点的属性预测值;
基于点云码流和所述当前待解码点的属性预测值,得到所述当前待解码点的重建属性值;
基于预设的规则更新所述预测参考点集,所述预设的规则基于所述预测参考点集中的点的三维位置坐标执行。
9.根据权利要求8所述的点云属性解码方法,其特征在于,所述基于预测参考点集对当前待解码点进行属性预测,得到所述当前待解码点的属性预测值,包括:
当所述预测参考点集中点的数目等于0时,将所述当前待解码点的属性预测值设为预设的常数;
当所述预测参考点集中点的数目大于0且不大于预设的预测点数目时,将所述预测参考点集中的所有点作为预测点,基于所有所述预测点的重建属性值获取所述当前待解码点的属性预测值;
当所述预测参考点集中点的数目大于所述预测点数目时,获取所述预测参考点集中的预测点,基于所有所述预测点的重建属性值获取所述当前待解码点的属性预测值,其中,所述预测点是所述预测参考点集中与所述当前待解码点的空间距离最近的预测点数目个点或所述预测点是所述预测参考点集中与所述当前待解码点的空间距离最近的预测点数目个点及最近空间距离下的其它同距离的点。
10.根据权利要求8所述的点云属性解码方法,其特征在于,所述基于点云码流和所述当前待解码点的属性预测值,得到所述当前待解码点的重建属性值,包括:
对点云码流解码,得到所述当前待解码点的属性残差值;
所述当前待解码点的属性残差值和所述当前待解码点的属性预测值获取所述当前待解码点的重建属性值。
11.根据权利要求8所述的点云属性解码方法,其特征在于,所述基于预设的规则更新所述预测参考点集,所述预设的规则基于所述预测参考点集中的点的三维位置坐标执行,包括:
基于所述预测参考点集中的点的三维位置坐标,获取所述预测参考点集中与所述当前待解码点的空间距离最大的点作为目标删除点,将所述目标删除点从所述预测参考点集中删除,将所述当前待解码点作为目标加入点加入所述预测参考点集中,得到更新的预测参考点集。
12.根据权利要求8所述的点云属性解码方法,其特征在于,所述基于预设的规则更新所述预测参考点集,所述预设的规则基于所述预测参考点集中的点的三维位置坐标执行,包括:
基于所述预测参考点集中的点的三维位置坐标,按预设的优先保留规则,将所述预测参考点集中的点划分为优先保留点和非优先保留点,优先将非优先保留点中与所述当前待解码点的空间距离最大的点作为目标删除点或优先将非优先保留点中最早加入所述预测参考点集的点作为目标删除点,将所述目标删除点从所述预测参考点集中删除,将所述当前待解码点作为目标加入点加入所述预测参考点集中,得到更新的预测参考点集。
13.根据权利要求8所述的点云属性解码方法,其特征在于,所述基于预设的规则更新所述预测参考点集,所述预设的规则基于所述预测参考点集中的点的三维位置坐标执行,包括:
基于所述预测参考点集中的点的三维位置坐标,获取所述预测参考点集中与所述当前待解码点的空间距离最近的点,当最近空间距离小于预设的距离阈值且所述最近的点与所述当前待解码点的重建属性值的差小于预设的属性差阈值时,基于所述最近的点与所述当前待解码点的三维位置坐标和重建属性值计算获取目标加入点,并获取目标删除点,其中,所述目标删除点为所述最近的点、所述预测参考点集中与所述当前待解码点的空间距离最大的点或最早加入所述预测参考点集中的点;
当所述最近空间距离不小于所述距离阈值或所述最近的点与所述当前待解码点的重建属性值的差不小于所述属性差阈值时,将所述当前待解码点作为目标加入点,将所述预测参考点集中与所述当前待解码点的空间距离最大的点作为目标删除点或将最早加入所述预测参考点集的点作为目标删除点;
将所述目标删除点从所述预测参考点集中删除,将所述目标加入点加入所述预测参考点集中,得到更新的预测参考点集。
14.一种点云属性解码设备,其特征在于,包括处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求8-13任意一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111482269.4A CN116233427A (zh) | 2021-12-06 | 2021-12-06 | 一种点云属性编码方法、解码方法、编码设备及解码设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111482269.4A CN116233427A (zh) | 2021-12-06 | 2021-12-06 | 一种点云属性编码方法、解码方法、编码设备及解码设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116233427A true CN116233427A (zh) | 2023-06-06 |
Family
ID=86568519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111482269.4A Pending CN116233427A (zh) | 2021-12-06 | 2021-12-06 | 一种点云属性编码方法、解码方法、编码设备及解码设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116233427A (zh) |
-
2021
- 2021-12-06 CN CN202111482269.4A patent/CN116233427A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11277630B2 (en) | Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto | |
US10003792B2 (en) | Video encoder for images | |
CN111405281A (zh) | 一种点云属性信息的编码方法、解码方法、存储介质及终端设备 | |
US10194150B2 (en) | Method and device for coding image, and method and device for decoding image | |
US11647195B2 (en) | Image encoding device, image decoding device, and the programs thereof | |
CN113284248B (zh) | 一种点云有损压缩的编解码方法、装置和系统 | |
US9979969B2 (en) | Method and system for image compression using image block characteristics | |
CN115086658B (zh) | 点云数据的处理方法、装置、存储介质及编解码设备 | |
WO2022062369A1 (zh) | 点云编解码方法与系统、及点云编码器与点云解码器 | |
CN115474058A (zh) | 点云编码处理方法、点云解码处理方法及相关设备 | |
US20230351639A1 (en) | Point cloud encoding and decoding method, encoder and decoder | |
JP2024505798A (ja) | 点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 | |
US20220392117A1 (en) | Data compression and decompression system and method thereof | |
CN116233427A (zh) | 一种点云属性编码方法、解码方法、编码设备及解码设备 | |
CN112104875B (zh) | 视频编码方法、装置及存储介质 | |
WO2022258063A1 (zh) | 点云属性编码方法、装置、解码方法、装置及相关设备 | |
WO2022217472A1 (zh) | 点云编解码方法、编码器、解码器及计算机可读存储介质 | |
CN112004099B (zh) | 一种帧内块复制预测方法、装置及计算机可读存储介质 | |
CN116233389A (zh) | 点云编码处理方法、点云解码处理方法及相关设备 | |
CN116233426B (zh) | 属性量化、反量化方法、装置及设备 | |
WO2022140937A1 (zh) | 点云编解码方法与系统、及点云编码器与点云解码器 | |
KR20130022541A (ko) | 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치 | |
US20240121439A1 (en) | Point cloud attribute information encoding method and apparatus, point cloud attribute information decoding method and apparatus, and related device | |
CN116233387A (zh) | 点云编码、解码方法、装置及通信设备 | |
JP2023553503A (ja) | 点群の符号化方法、復号化方法、エンコーダ及びデコーダ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |