CN115412713A - 一种点云深度信息的预测编解码方法及装置 - Google Patents
一种点云深度信息的预测编解码方法及装置 Download PDFInfo
- Publication number
- CN115412713A CN115412713A CN202110580227.8A CN202110580227A CN115412713A CN 115412713 A CN115412713 A CN 115412713A CN 202110580227 A CN202110580227 A CN 202110580227A CN 115412713 A CN115412713 A CN 115412713A
- Authority
- CN
- China
- Prior art keywords
- depth information
- list
- point cloud
- prediction
- candidate list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004387 environmental modeling Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种点云深度信息的预测编解码方法及装置,所述编码方法包括:获取原始点云数据;建立点云深度信息的自适应预测列表;根据自适应预测列表对点云的深度信息进行预测编码,得到码流信息。本发明通过建立自适应更新的深度信息预测列表,并从该列表中选择最佳预测模式来预测点云的深度信息,解决了由于实际场景不连续所导致的点云深度信息不连续的问题,从而显著减小了深度信息的预测残差以及离异值和跳变值的出现频率,提高了预测精度和编码效率。
Description
技术领域
本发明属于点云编解码技术领域,具体涉及一种点云深度信息的预测编解码方法及装置。
背景技术
随着硬件处理能力的提升和计算机视觉的飞速发展,三维点云数据在虚拟现实、增强现实、自动驾驶和环境建模等领域得到了广泛的应用。然而大规模点云通常具有较大的数据量,十分不利于点云数据的传输及存储,因此需要对大规模点云进行高效的编解码。
在现有的点云编解码技术中,通常利用点云的柱面坐标信息(包括深度信息、方位角信息等)来辅助笛卡尔坐标信息的编码,因此现有技术需要对点云的各柱面坐标分量进行预测编码。具体地,对于点云深度信息的预测编码,现有技术一提供的基于二维规则化平面投影的点云编解码方法中,首先,可选择是否对由二维平面投影得到的深度信息图中的空像素进行深度信息填充;其次,基于占位信息和已编码像素的深度信息对当前像素的深度信息进行预测;然后,可选择是否对深度信息的预测残差进行量化;最后,对深度信息的预测残差进行编码,生成深度信息图的压缩比特流。现有技术二提供的基于预测树的点云编解码方法中,对于预测树中的每个节点,需要从固定的预测模式列表中选择最佳的预测模式,从而得到当前节点深度信息的预测值以及预测残差,最后编码选择的预测模式以及深度信息的预测残差即可在解码端按照相同的方式重建点云的深度信息。现有技术三提供的基于单链结构的点云编解码方法中,在对点云的深度信息进行预测编码时,首先建立一个自适应更新的预测模式列表,该列表根据一定的规则进行更新,具体地,每次根据当前待编码点的前一个已编码点选择的预测模式所对应的预测值来移除预测列表中的已有值,并将当前待编码点的前一个已编码点的深度信息插入到预测模式列表中的第一个位置。然后在编码端选择最佳的预测模式,从而得到当前点深度信息的预测残差,最后编码选择的预测模式以及深度信息的预测残差即可在解码端按照相同的方式进行深度信息的预测和重建。
然而,由于点云的深度信息与场景密切相关,而上述方法只利用了邻近点的深度信息来进行预测,没有考虑实际场景的不连续性,从而导致其所得到的深度信息的预测残差较大,预测精度较低,并且存在较多离异值和跳变值,影响编码效率。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种点云深度信息的预测编解码方法及装置。本发明要解决的技术问题通过以下技术方案实现:
一种点云深度信息的预测编码方法,包括:
获取原始点云数据;
建立点云的深度信息自适应预测列表;
根据所述自适应预测列表对点云的深度信息进行预测编码,得到码流信息。
在本发明的一个实施例中,建立点云的深度信息自适应预测列表,包括:
建立当前待编码点的若干深度信息候选列表;
从所述候选列表中选择一定的值对预测列表进行填充,得到所述自适应预测列表。
在本发明的一个实施例中,所述建立当前待编码点的若干深度信息候选列表包括:
建立第一候选列表、第二候选列表、第三候选列表或第四候选列表中的至少一种;其中,
所述第一候选列表中存放与当前待编码点同一Laser采集的已编码点的深度信息值;
所述第二候选列表中存放与当前待编码点不同Laser采集的已编码点的深度信息值;
所述第三候选列表中存放历史已编码点的深度信息值;
所述第四候选列表中存放先验的深度信息值。
在本发明的一个实施例中,建立第一候选列表,包括:
初始化第一候选列表的大小;
若当前第一候选列表未被填满,则将当前已编码点的深度信息值插入到第一候选列表末端;否则,对所述第一候选列表按照先入先出原则进行更新。
在本发明的一个实施例中,建立第二候选列表,包括:
初始化第二候选列表的大小;
若当前第二候选列表未被填满,且当前Laser的前q个Laser采集的点已被编码时,将当前待编码点正上方一定范围内的已编码点的深度信息插入所述第二候选列表中。
在本发明的一个实施例中,建立第三候选列表,包括:
初始化第三候选列表的大小;
若当前第三候选列表未被填满,则将当前已编码点的深度信息值插入到第三候选列表末端;否则,根据预设阈值选择性的将所述第三候选列表中的值移除,并将当前已编码点的深度信息值插入到列表末端。
在本发明的一个实施例中,从所述候选列表中选择一定的值对预测列表进行填充,得到所述自适应预测列表,包括:
初始化预测列表的大小;
按照一定顺序依次从所述若干候选列表中选取一定数量的值,填充至预测列表;
调整预测列表中各个数值的顺序,得到自适应预测列表。
在本发明的一个实施例中,按照一定顺序依次从所述若干候选列表中选取一定数量的值,填充至预测列表,包括:
将所述第一候选列表中的某一个深度信息值插入到预测列表中,并根据第一阈值选择性的将所述第一候选列表中的其他深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,根据第二阈值选择性的将所述第二候选列表中的深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,根据第三阈值选择性的将所述第三候选列表中的深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,将所述第四候选列表中的值依次插入到预测列表的剩余位置。
本发明的另一个实施例提供了一种点云深度信息的预测编码装置,包括:
数据获取模块,用于获取原始点云数据;
第一计算模块,用于建立点云深度信息的自适应预测列表;
预测编码模块,用于根据所述自适应预测列表对点云的深度信息进行预测编码,得到码流信息。
本发明的另一个实施例还提供了一种点云深度信息的预测解码方法,包括:
获取码流信息并进行解码;
建立点云深度信息的自适应预测列表;
根据所述自适应预测列表和解码得到的预测模式及预测残差对点云的深度信息进行重建,得到重建后的点云深度信息。
本发明的另一个实施例还提供了一种点云深度信息的预测解码装置,包括:
解码模块,用于获取码流信息并进行解码;
第二计算模块,用于建立点云深度信息的自适应预测列表;
重建模块,用于根据所述自适应预测列表和解码得到的预测模式及预测残差对点云的深度信息进行重建,得到重建后的点云深度信息。
本发明的有益效果:
本发明通过建立自适应更新的深度信息预测列表,并从该列表中选择最佳预测值来预测点云的深度信息,解决了由于实际场景不连续所导致的点云深度信息不连续的问题,从而显著减小了深度信息的预测残差以及离异值和跳变值的出现频率,提高了预测精度和编码效率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种点云深度信息的预测编码方法流程示意图;
图2是本发明实施例提供的第一候选列表List0的更新过程示意图;
图3是本发明实施例提供的第二候选列表List1的更新过程示意图;
图4是本发明实施例提供的第三候选列表List2的更新过程示意图;
图5是本发明实施例提供的一种点云深度信息的预测编码装置结构示意图;
图6是本发明实施例提供的一种点云深度信息的预测解码方法流程示意图;
图7是本发明实施例提供的一种点云深度信息的预测解码装置结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
实施例一
请参见图1,图1是本发明实施例提供的一种点云深度信息的预测编码方法流程示意图,具体包括:
步骤1:获取原始点云数据。
具体地,原始点云数据通常由一组三维空间点组成,每个空间点都记录了自身的几何位置信息,以及颜色、反射率、法线等额外的属性信息。其中,点云的几何位置信息一般是基于笛卡尔坐标系进行表示的,即利用点的x,y,z坐标进行表示。原始点云数据可通过激光雷达扫描获取,激光雷达是由多束沿中心轴两侧分布的Laser(激光扫描器)组合排列构成,每一个Laser具有一个固定的俯仰角,并且可以看作一个相对独立的采集系统。此外,原始点云数据也可通过各种平台提供的公共数据集获得。
在本实施例中,设获取到的原始点云数据的几何位置信息基于笛卡尔坐标系进行表示。需要说明的是,原始点云数据的几何位置信息的表示方法不限于笛卡尔坐标。
步骤2:建立点云的深度信息自适应预测列表,具体包括:
在本实施例中,点云的深度信息主要通过以下计算公式得到:
其中,r表示原始点云数据中每个点的深度信息,x、y分别为每个点的笛卡尔坐标分量。
通过分析激光雷达的采集原理可知,激光雷达采集到的场景中的邻近点的深度信息通常具有相似性,然而由于场景的不连续性使得激光雷达采集到的非邻近点的深度信息也可能具有一定的相似性,因此,需要将点云中待编码点前的已编码点的深度信息通过一定规则保存到一系列候选列表中,则可通过一定的规则从候选列表中选出合适的值来预测当前待编码点的深度信息。
具体地,步骤2包括:
21)建立当前待编码点的若干深度信息候选列表。
在本实施例中,深度信息候选列表可以包括第一候选列表List0、第二候选列表List1、第三候选列表List2或第四候选列表List3中的至少一种;其中,
第一候选列表中存放与当前待编码点同一Laser采集的已编码点的深度信息值;
第二候选列表中存放与当前待编码点不同Laser采集的已编码点的深度信息值;
第三候选列表中存放历史已编码点的深度信息值;
第四候选列表中存放先验的深度信息值。
此外,还可以根据实际需要设计其他候选列表。
下面分别对上述四种候选列表的建立过程进行详细描述。
a)建立第一候选列表List0
首先,初始化第一候选列表List0的大小;
具体地,在本实施例中,可将第一候选列表List0的大小初始化为4。
然后,根据同一Laser采集的已编码点的深度信息值对第一候选列表List0进行更新。具体的更新过程为:判断当前第一候选列表List0是否被填满,若未被填满,则将当前已编码点的深度信息值插入到List0列表末端;否则,对所述第一候选列表按照先入先出原则进行更新,也即将List0中第一个值移除出列表,并将当前已编码点的深度信息插入到List0列表末端。
具体地,以第一候选列表List0大小等于4为例,每当编码完一个点的深度信息,需要判断第一候选列表List0的大小,当列表大小小于4即列表未被填满时,直接将当前已编码点的深度信息值插入到列表末端;当列表大小等于4即列表已被填满时,将列表中的第一个值移出列表,并将当前已编码点的深度信息值插入到列表末端。如图2所示,图2是本发明实施例提供的第一候选列表List0的更新过程示意图,图2中为当前待编码点的深度信息值,为待插入的当前已编码点的深度信息值,为与当前点处于同一Laser采集的已编码点深度信息值,为List0中已存在的深度信息值,为列表中要被移除的深度信息值。
b)建立第二候选列表List1
首先,初始化第二候选列表的大小;
具体地,在本实施例中,可将第二候选列表List1的大小初始化为2。
然后,根据不同Laser采集的已编码点的深度信息值对第二候选列表List1进行更新。具体的更新过程为:若当前第二候选列表List1未被填满,且当前Laser的前q个Laser采集的点已编码时,将当前待编码点正上方一定范围内的已编码点的深度信息插入所述第二候选列表List1中。
具体地,以第二候选列表List1大小等于2为例,每当编码完一个点的深度信息,首先判断当前待编码点所在Laser的前q个Laser的点是否已编码,这里q可以是固定值,也可以是随着当前Laser的索引号自适应变化的值,以q等于1为例。其次,将当前待编码点正上方的点的深度信息插入到List1中,如果当前待编码点正上方的点不存在,那么对其进行深度信息值填充,填充的值为当前待编码点左上方一定范围内或右上方一定范围内点的深度信息值或其线性组合。最后再选取当前待编码点上一个Laser中与其正上方点距离为D的已编码点的深度信息值,并将其插入到List1中,其中D可以为正值也可以为负值,可以是固定值也可以是随当前待编码点所处位置自适应变化的值,D为正值时表示当前待编码点的右上方,D为负值时表示当前待编码点的左上方。如图3所示,图3是本发明实施例提供的第二候选列表List1的更新过程示意图,图3中为当前待编码点的深度信息值,为待插入的当前已编码点的深度信息值。
c)建立第三候选列表List2
首先,初始化第三候选列表List2的大小;
具体地,在本实施例中,可将第三候选列表List2的大小初始化为5。
然后,根据历史已编码点的深度信息值对第三候选列表List2进行更新。具体的更新过程为:判断当前第三候选列表List2是否被填满,若未被填满,则将当前已编码点的深度信息值插入到第三候选列表List2末端;否则,根据预设阈值选择性的将第三候选列表中的值移除,并将当前已编码点的深度信息值插入到List2列表末端。
具体地,以第三候选列表List2大小等于5为例,每当编码完一个点的深度信息,需要判断第三候选列表List2的大小,当列表大小小于5即列表未被填满时,直接将当前已编码点的深度信息值插入到List2列表末端;当列表大小等于5即列表已被填满时,根据预设的阈值th0来判断是否应该将当前已编码点的深度信息值插入到List2中,具体的,首先进行冗余性检查,当待插入的当前已编码点的深度信息值p0与列表中的某一深度信息值hi的比值(用p0和hi中的较大数比上较小数)小于th0时,将满足该条件的第一个hi从列表中移除,并将p0插入到列表末端。如图4所示,图4是本发明实施例提供的第三候选列表List2的更新过程示意图,图4中为当前待编码点的深度信息值,为与当前点处于同一Laser采集的已编码点深度信息值,为List2中已存在的深度信息值,为待插入的当前已编码点的深度信息值,为列表中将要被移除的深度信息值。
此外,需要说明的是,List2的生命周期为一个Laser扫描的点数,即当编码完一个Laser所有扫描点的深度信息后,将List2清空以编码下一个Laser扫描到的点的深度信息。
d)建立第四候选列表List3
首先,初始化第四候选列表List3的大小;
具体地,在本实施例中,可将第四候选列表List3的大小初始化为4。
其次,将深度信息划分成与第四候选列表List3大小相同的若干区间;
具体地,考虑到深度信息一般是在[0,232-1]的范围内,也即深度信息最多使用32比特进行表示,并且目前对于深度信息的编码大都采用有效比特位数编码的方法。因此,在对深度信息进行预测编码之前,可以将深度信息按其比特数划分成与第四候选列表List3大小相同的若干区间。例如,可将深度信息按比特数划分为4个区间,依次为:[0,28-1]、[28,216-1]、[216,224-1]、[224,232-1]。
最后,分别从每个区间中选取一个值填充第四候选列表List3。
具体地,若将深度信息按比特数划分为以下4个区间:[0,28-1]、[28,216-1]、[216,224-1]、[224,232-1],则可以分别在这4个区间中选取一个值,如分别选取128、32640、65536、16777216来填充第四候选列表List3。
至此,完成对所需深度信息候选列表的建立。
22)从候选列表中选择一定的值对预测列表进行填充,得到自适应预测列表。
首先,初始化预测列表的大小;
具体地,在本实施例中,可将预测列表的大小初始化为4。需要说明的是,对于所有待编码点,其预测列表的大小是统一的。
然后,按照一定顺序依次从若干候选列表中选取一定数量的值,填充至预测列表。
例如,本实施例建立了四个候选列表,可以依次按照从第一候选列表至第四候选列表的顺序选择相应的值填充预测列表。具体如下:
将第一候选列表中的某一个(优选第一个)深度信息值插入到预测列表中,并根据第一阈值选择性的将第一候选列表中的其他深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,根据第二阈值选择性的将第二候选列表中的深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,根据第三阈值选择性的将第三候选列表中的深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,将第四候选列表中的值依次插入到预测列表的剩余位置。
下面分别对每个候选列表的选取过程进行详细介绍。
对于第一候选列表List0:
假定最多选取m个第一候选列表List0中的值对预测列表进行填充,此处的m不是固定的,以m等于3为例,具体方式为:
a.可将List0中的第一个深度信息值插入到预测列表中;
b.判断List0中的其他深度信息值和当前已经插入到预测列表中的深度信息值的比值是否大于第一阈值T0,如果大于T0,那么将List0中的对应深度信息值插入到预测列表中,否则不插入该深度信息值。
c.如果插入到预测列表中的List0中的值的个数m0小于m,则将与当前已经插入到预测列表中的深度信息差别最大的前m-m0个List0中的深度信息插入到预测列表中。
对于第二候选列表List1:
当判断当前预测列表未被填满时,根据第二阈值选择性的将第二候选列表中的深度信息值插入到预测列表中;
假定最多选取n个第二候选列表List1中的值对预测列表进行填充,此处的n可以是固定的,也可以随着预测列表的大小自适应变化,以n等于1为例,具体方式为:
判断List1中的深度信息值与当前预测列表中的深度信息值的比值是否大于第二阈值T1,如果大于T1,则将List1中的该深度信息值插入到预测列表中,否则不插入该深度信息值。
对于第三候选列表List2:
当判断当前预测列表未被填满时,根据第三阈值选择性的将第三候选列表中的深度信息值插入到预测列表中;
假定最多选取k个第三候选列表List2中的值对预测列表进行填充,此处的k可以是固定的,也可以随着预测列表的大小自适应变化,以k等于1为例,具体方式为:
判断List2中的深度信息值与当前预测列表中的深度信息值的比值是否大于第三阈值T2,如果大于T2,则将List2中的深度信息值插入到预测列表中,否则不插入该深度信息值。
对于第四候选列表List3:
当判断当前预测列表未被填满时,将第四候选列表中的值依次插入到预测列表的剩余位置。
最后,调整预测列表中各个数值的顺序,得到自适应预测列表。
考虑到激光雷达扫描特性,例如,当扫描到的物体为一个人或一棵树时,不同Laser扫描到的点的深度信息在某些情况下会比相同Laser扫描到的邻近点的深度信息更接近。因此可以根据一定规则适当调整预测列表中各个数值的顺序来适应场景的变化。
在本实施例中,可根据预测列表中深度信息值的差别进行顺序调整。
例如,可计算第二候选列表List1中被填入预测列表的深度信息值和未被填入预测列表中的深度信息值的差别,当该差别大于某一阈值时,将被填入预测列表的深度信息值与预测列表最前面的值进行交换。
需要说明的是,在本实施例中,第一阈值T0、第二阈值T1、第三阈值T2并非固定不变的,其均可随编码过程进行更新。
具体地,上述阈值可根据前一个已编码点的深度信息及其所选的深度信息的预测值来更新,例如,可将阈值更新为前一个已编码点的深度信息及其预测值的比值。
步骤3:根据自适应预测列表对点云的深度信息进行预测编码,得到码流信息。
具体地,在对每个待编码点建立了对应的预测列表后,即可通过现有的率失真优化技术在预测列表中选取代价最小的预测模式对当前待编码点的深度信息进行预测,得到深度信息的预测残差,然后利用现有的熵编码技术对选取的预测模式和深度信息的预测残差进行编码,得到码流信息。在解码端,只需同步建立点云的自适应预测列表,并解析码流中的预测模式和深度信息的预测残差即可重建点云的深度信息。
本实施例通过建立自适应更新的深度信息候选列表、根据候选列表构建预测列表并选择最佳预测值来预测点云的深度信息,解决了由于实际场景不连续所导致的点云深度信息不连续的问题,从而显著减小了深度信息的预测残差以及离异值和跳变值的出现频率,提高了预测精度和编码效率。
实施例二
在上述实施例一的基础上,本实施例提供了一种点云深度信息的预测编码装置,请参见图5,图5是本发明实施例提供的一种点云深度信息的预测编码装置结构示意图,其包括:
数据获取模块11,用于获取原始点云数据;
第一计算模块12,用于建立点云深度信息的自适应预测列表;
预测编码模块13,用于根据自适应预测列表对点云的深度信息进行预测编码,得到码流信息。
本实施例提供的装置可以实现上述实施例一提供的编码方法,详细过程在此不再赘述。
实施例三
本实施例提供了一种点云深度信息的预测解码方法,请参见图6,图6是本发明实施例提供的一种点云深度信息的预测解码方法流程示意图,具体包括:
步骤一:获取码流信息并进行解码。
具体的,解码得到数据包括点云深度信息的预测模式及预测残差。
步骤二:建立点云深度信息的自适应预测列表。
在本实施例中,点云深度信息的自适应预测列表的建立可参考上述实施例一中编码端的方法,在此不再详述。
步骤三:根据自适应预测列表和解码得到的预测模式及预测残差对点云的深度信息进行重建,得到重建后的点云深度信息。
首先,根据解码得到的预测模式,从自适应预测列表中选择对应的值作为点云深度信息的预测值;
然后,将得到的预测值与解码得到的预测残差相加,即可得到重建的点云深度信息。
实施例四
在上述实施例三的基础上,本实施例提供了一种点云深度信息的预测解码装置,请参见图7,图7是本发明实施例提供的一种点云深度信息的预测解码装置结构示意图,其包括:
解码模块21,用于获取码流信息并进行解码;
第二计算模块22,用于建立点云深度信息的自适应预测列表;
重建模块23,用于根据自适应预测列表和解码得到的预测模式及预测残差对点云的深度信息进行重建,得到重建后的点云深度信息。
本实施例提供的装置可以实现上述实施例三提供的解码方法,详细过程在此不再赘述。
以上内容是结合具体地优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (11)
1.一种点云深度信息的预测编码方法,其特征在于,包括:
获取原始点云数据;
建立点云深度信息的自适应预测列表;
根据所述自适应预测列表对点云的深度信息进行预测编码,得到码流信息。
2.根据权利要求1所述的点云深度信息的预测编码方法,其特征在于,建立点云深度信息的自适应预测列表,包括:
建立当前待编码点的若干深度信息候选列表;
从所述候选列表中选择一定的值对预测列表进行填充,得到所述自适应预测列表。
3.根据权利要求2所述的点云深度信息的预测编码方法,其特征在于,所述建立当前待编码点的若干深度信息候选列表包括:
建立第一候选列表、第二候选列表、第三候选列表或第四候选列表中的至少一种;其中,
所述第一候选列表中存放与当前待编码点同一Laser采集的已编码点的深度信息值;
所述第二候选列表中存放与当前待编码点不同Laser采集的已编码点的深度信息值;
所述第三候选列表中存放历史已编码点的深度信息值;
所述第四候选列表中存放先验的深度信息值。
4.根据权利要求3所述的点云深度信息的预测编码方法,其特征在于,建立第一候选列表,包括:
初始化第一候选列表的大小;
若当前第一候选列表未被填满,则将当前已编码点的深度信息值插入到第一候选列表末端;否则,对所述第一候选列表按照先入先出原则进行更新。
5.根据权利要求3所述的点云深度信息的预测编码方法,其特征在于,建立第二候选列表,包括:
初始化第二候选列表的大小;
若当前第二候选列表未被填满,且当前Laser的前q个Laser采集的点已被编码时,将当前待编码点正上方一定范围内的已编码点的深度信息插入所述第二候选列表中。
6.根据权利要求3所述的点云深度信息的预测编码方法,其特征在于,建立第三候选列表,包括:
初始化第三候选列表的大小;
若当前第三候选列表未被填满,则将当前已编码点的深度信息值插入到第三候选列表末端;否则,根据预设阈值选择性的将所述第三候选列表中的值移除,并将当前已编码点的深度信息值插入到列表末端。
7.根据权利要求3所述的点云深度信息的预测编码方法,其特征在于,从所述候选列表中选择一定的值对预测列表进行填充,得到所述自适应预测列表,包括:
初始化预测列表的大小;
按照一定顺序依次从所述若干候选列表中选取一定数量的值,填充至预测列表;
调整预测列表中各个数值的顺序,得到自适应预测列表。
8.根据权利要求7所述的点云深度信息的预测编码方法,其特征在于,按照一定顺序依次从所述若干候选列表中选取一定数量的值,填充至预测列表,包括:
将所述第一候选列表中的某一个深度信息值插入到预测列表中,并根据第一阈值选择性的将所述第一候选列表中的其他深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,根据第二阈值选择性的将所述第二候选列表中的深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,根据第三阈值选择性的将所述第三候选列表中的深度信息值插入到预测列表中;
当判断当前预测列表未被填满时,将所述第四候选列表中的值依次插入到预测列表的剩余位置。
9.一种点云深度信息的预测编码装置,其特征在于,包括:
数据获取模块(11),用于获取原始点云数据;
第一计算模块(12),用于建立点云深度信息的自适应预测列表;
预测编码模块(13),用于根据所述自适应预测列表对点云的深度信息进行预测编码,得到码流信息。
10.一种点云深度信息的预测解码方法,其特征在于,包括:
获取码流信息并进行解码;
建立点云深度信息的自适应预测列表;
根据所述自适应预测列表和解码得到的预测模式及预测残差对点云的深度信息进行重建,得到重建后的点云深度信息。
11.一种点云深度信息的预测解码装置,其特征在于,包括:
解码模块(21),用于获取码流信息并进行解码;
第二计算模块(22),用于建立点云深度信息的自适应预测列表;
重建模块(23),用于根据所述自适应预测列表和解码得到的预测模式及预测残差对点云的深度信息进行重建,得到重建后的点云深度信息。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110580227.8A CN115412713A (zh) | 2021-05-26 | 2021-05-26 | 一种点云深度信息的预测编解码方法及装置 |
EP22810431.1A EP4236311A1 (en) | 2021-05-26 | 2022-05-18 | Predictive coding/decoding method and device for point cloud depth information |
US18/039,633 US20240007669A1 (en) | 2021-05-26 | 2022-05-18 | Method and Apparatus for Predictively Coding and Decoding Depth Information of Point Cloud |
PCT/CN2022/093614 WO2022247704A1 (zh) | 2021-05-26 | 2022-05-18 | 一种点云深度信息的预测编解码方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110580227.8A CN115412713A (zh) | 2021-05-26 | 2021-05-26 | 一种点云深度信息的预测编解码方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115412713A true CN115412713A (zh) | 2022-11-29 |
Family
ID=84156615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110580227.8A Pending CN115412713A (zh) | 2021-05-26 | 2021-05-26 | 一种点云深度信息的预测编解码方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240007669A1 (zh) |
EP (1) | EP4236311A1 (zh) |
CN (1) | CN115412713A (zh) |
WO (1) | WO2022247704A1 (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657559A (zh) * | 2018-11-23 | 2019-04-19 | 盎锐(上海)信息科技有限公司 | 点云深度感知编码引擎 |
WO2020014011A1 (en) * | 2018-07-11 | 2020-01-16 | Interdigital Vc Holdings, Inc. | A method and device for encoding/decoding the geometry of a point cloud. |
CN110996098A (zh) * | 2018-10-02 | 2020-04-10 | 腾讯美国有限责任公司 | 处理点云数据的方法和装置 |
WO2020175708A1 (ja) * | 2019-02-28 | 2020-09-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
US20200302632A1 (en) * | 2019-03-21 | 2020-09-24 | Lg Electronics Inc. | Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method |
US20200381022A1 (en) * | 2019-05-29 | 2020-12-03 | Nokia Technologies Oy | Method and apparatus for storage and signaling of compressed point clouds |
WO2020246689A1 (ko) * | 2019-06-05 | 2020-12-10 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
CN112565734A (zh) * | 2020-12-03 | 2021-03-26 | 西安电子科技大学 | 基于混合编码的点云属性编解码方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180053324A1 (en) * | 2016-08-19 | 2018-02-22 | Mitsubishi Electric Research Laboratories, Inc. | Method for Predictive Coding of Point Cloud Geometries |
US20200296401A1 (en) * | 2019-03-15 | 2020-09-17 | Mediatek Inc. | Method and Apparatus of Patch Segmentation for Video-based Point Cloud Coding |
EP4052227A1 (en) * | 2019-10-31 | 2022-09-07 | BlackBerry Limited | Method and system for azimuthal angular prior and tree representation for cloud compression |
CN112218079B (zh) * | 2020-08-24 | 2022-10-25 | 北京大学深圳研究生院 | 一种基于空间顺序的点云分层方法、点云预测方法及设备 |
US11935270B2 (en) * | 2020-10-07 | 2024-03-19 | Qualcomm Incorporated | Predictive geometry coding in G-PCC |
-
2021
- 2021-05-26 CN CN202110580227.8A patent/CN115412713A/zh active Pending
-
2022
- 2022-05-18 WO PCT/CN2022/093614 patent/WO2022247704A1/zh unknown
- 2022-05-18 EP EP22810431.1A patent/EP4236311A1/en active Pending
- 2022-05-18 US US18/039,633 patent/US20240007669A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020014011A1 (en) * | 2018-07-11 | 2020-01-16 | Interdigital Vc Holdings, Inc. | A method and device for encoding/decoding the geometry of a point cloud. |
CN112673398A (zh) * | 2018-07-11 | 2021-04-16 | 交互数字Vc控股公司 | 一种用于编码/解码点云的几何结构的方法和设备 |
CN110996098A (zh) * | 2018-10-02 | 2020-04-10 | 腾讯美国有限责任公司 | 处理点云数据的方法和装置 |
CN109657559A (zh) * | 2018-11-23 | 2019-04-19 | 盎锐(上海)信息科技有限公司 | 点云深度感知编码引擎 |
WO2020175708A1 (ja) * | 2019-02-28 | 2020-09-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
US20200302632A1 (en) * | 2019-03-21 | 2020-09-24 | Lg Electronics Inc. | Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method |
US20200381022A1 (en) * | 2019-05-29 | 2020-12-03 | Nokia Technologies Oy | Method and apparatus for storage and signaling of compressed point clouds |
WO2020246689A1 (ko) * | 2019-06-05 | 2020-12-10 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
CN112565734A (zh) * | 2020-12-03 | 2021-03-26 | 西安电子科技大学 | 基于混合编码的点云属性编解码方法及装置 |
Non-Patent Citations (2)
Title |
---|
JAE-KYUN AHN ET AL.: "Large-Scale 3D Point Cloud Compression Using Adaptive Radial Distance Prediction in Hybrid Coordinate Domains", IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING, vol. 9, no. 3, pages 422 - 434, XP055534968, DOI: 10.1109/JSTSP.2014.2370752 * |
SIMONE MILANI ET AL.: "A Transform Coding Strategy for Dynamic Point Clouds", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 29, pages 8213, XP011805581, DOI: 10.1109/TIP.2020.3011811 * |
Also Published As
Publication number | Publication date |
---|---|
WO2022247704A1 (zh) | 2022-12-01 |
EP4236311A1 (en) | 2023-08-30 |
US20240007669A1 (en) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11409998B2 (en) | Trimming search space for nearest neighbor determinations in point cloud compression | |
US11252441B2 (en) | Hierarchical point cloud compression | |
US11727603B2 (en) | Adaptive distance based point cloud compression | |
US11276203B2 (en) | Point cloud compression using fixed-point numbers | |
US11935272B2 (en) | Point cloud compression | |
US11508095B2 (en) | Hierarchical point cloud compression with smoothing | |
CN112218079B (zh) | 一种基于空间顺序的点云分层方法、点云预测方法及设备 | |
US20190081638A1 (en) | Hierarchical point cloud compression | |
CN111405281A (zh) | 一种点云属性信息的编码方法、解码方法、存储介质及终端设备 | |
US20220108494A1 (en) | Method, device, and storage medium for point cloud processing and decoding | |
CN112449754B (zh) | 一种数据编码、数据解码方法、设备及存储介质 | |
CN111163322B (zh) | 对基于历史运动矢量的索引进行映射的编码及解码方法 | |
CN113784125A (zh) | 一种点云属性预测方法及其设备 | |
CN115379191B (zh) | 一种点云解码方法、点云编码方法及相关设备 | |
CN115412713A (zh) | 一种点云深度信息的预测编解码方法及装置 | |
CN115102934A (zh) | 点云数据的解码方法、编码方法、装置、设备及存储介质 | |
CN115412715B (zh) | 一种点云属性信息的预测编解码方法及装置 | |
EP3744095A1 (en) | Image compression and decompression using triangulation | |
CN117581549A (zh) | 帧内预测、编解码方法及装置、编解码器、设备、介质 | |
CN118055254A (zh) | 点云属性编解码方法、装置、设备 | |
CN114615509A (zh) | 一种点云的按序编码、解码方法和装置 | |
CN116843774A (zh) | 点云数据压缩方法、装置、设备及存储介质 | |
CN117765218A (zh) | 一种地形建筑混合模型的轻量化方法及系统 | |
CN114554175A (zh) | 一种基于分类重排的点云无损压缩方法 | |
CN117321996A (zh) | 帧内预测、编解码方法及装置、编解码器、设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |