CN114915794B - 基于二维规则化平面投影的点云编解码方法及装置 - Google Patents
基于二维规则化平面投影的点云编解码方法及装置 Download PDFInfo
- Publication number
- CN114915794B CN114915794B CN202110172789.9A CN202110172789A CN114915794B CN 114915794 B CN114915794 B CN 114915794B CN 202110172789 A CN202110172789 A CN 202110172789A CN 114915794 B CN114915794 B CN 114915794B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- information
- point cloud
- empty
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000010586 diagram Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明公开了一种基于二维规则化平面投影的点云编解码方法及装置,编码方法包括:获取原始点云数据;对原始点云数据进行二维规则化平面投影,得到二维投影平面结构;根据二维投影平面结构得到若干二维图信息;对若干二维图信息进行编码,得到码流信息。本发明通过二维规则化平面投影技术得到点云在二维投影平面结构上的强相关性表示,从而更好的体现了点云的空间相关性,使得后续在对二维规则化投影平面结构所得到的占位信息图进行编码时,能够极大地利用点云的空间相关性,提升点云了的编码效率;同时在对占位信息图进行编码时,对其中的空行和空列元素不进行编码,进一步提升了编码效率。
Description
技术领域
本发明属于编解码技术领域,具体涉及一种基于二维规则化平面投影的点云编解码方法及装置。
背景技术
随着硬件处理能力的提升和计算机视觉的飞速发展,三维点云成为继音频、图像、视频之后的新一代沉浸式多媒体,被广泛的应用于虚拟现实、增强现实、自动驾驶和环境建模等。然而三维点云通常具有较大的数据量,十分不利于点云数据的传输及存储,因此研究高效的点云编解码技术具有重要意义。
在现有的基于几何的点云压缩编码(G-PCC,Geometry-based Point CloudCompression)框架中,点云的几何信息和属性信息是分开进行编码的。目前G-PCC的几何编解码可分为基于八叉树的几何编解码和基于预测树的几何编解码。
基于八叉树的几何编解码:在编码端,首先,对点云的几何信息进行预处理,这包括点云的坐标转换和体素化过程。然后,按照广度优先遍历的顺序不断对点云所在的包围盒进行树划分(八叉树/四叉树/二叉树)。最后,对每个节点的占位码进行编码,并编码每个叶子节点中包含的点数,生成二进制码流。在解码端,首先按照广度优先遍历的顺序,不断解析得到每个节点的占位码。然后,依次不断进行树划分,直至划分得到1x1x1的单位立方体时停止划分。最后,解析得到每个叶子节点中包含的点数,最终得到重构的点云几何信息。
基于预测树的几何编解码:在编码端,首先对原始点云进行排序。然后,建立预测树结构,通过将每个点归类到所属的激光扫描器上,并按照不同的激光扫描器建立预测树结构。接下来,遍历预测树中的每个节点,通过选取不同的预测模式对节点的几何信息进行预测得到预测残差,并利用量化参数对预测残差进行量化。最后,对预测树结构、量化参数以及节点几何信息的预测残差等进行编码,生成二进制码流。在解码端,首先解析码流,其次重构预测树结构,然后通过解析得到的每个节点的几何信息预测残差以及量化参数,对预测残差进行反量化,最终恢复得到每个节点的重构几何信息,即完成了点云几何信息的重建。
然而,由于点云具有较强的空间稀疏性,对于使用八叉树结构的点云编码技术而言,该结构会导致划分得到的空节点占比较高,且无法充分体现点云的空间相关性,从而不利于点云的预测及熵编码。基于预测树的点云编解码技术利用激光雷达设备的部分参数来建立树结构,在此基础上利用树结构进行预测编码,然而该树结构并未充分体现点云的空间相关性,从而不利于点云的预测及熵编码。因而,上述两种点云编解码技术均存在编码效率不够高的问题。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于二维规则化平面投影的点云编解码方法及装置。本发明要解决的技术问题通过以下技术方案实现:
一种基于二维规则化平面投影的点云编码方法,包括:
获取原始点云数据;
对所述原始点云数据进行二维规则化平面投影,得到二维投影平面结构;
根据所述二维投影平面结构得到若干二维图信息;
对所述若干二维图信息进行编码,得到码流信息。
在本发明的一个实施例中,所述若干二维图信息包括占位信息图。
在本发明的一个实施例中,对所述若干二维图信息进行编码,得到码流信息,包括:
对所述占位信息图进行编码,得到占位信息码流。
在本发明的一个实施例中,对所述占位信息图进行编码,得到占位信息码流,包括:
对所述占位信息图中的空行和空列进行标识;
对所述占位信息图中空行和空列的标识进行编码;
对所述占位信息图中非空行和非空列中像素的占位信息进行编码,得到占位信息码流。
在本发明的一个实施例中,对所述占位信息图中非空行和非空列中像素的占位信息进行编码,包括:
利用已编码像素的重建占位信息预测非空行和非空列中像素的占位信息并进行相应的编码。
在本发明的一个实施例中,所述若干二维图信息还包括深度信息图、投影残差信息图以及坐标转换误差信息图中的至少一种。
本发明的另一个实施例还提供了一种基于二维规则化平面投影的点云编码装置,包括:
第一数据获取模块,用于获取原始点云数据;
投影模块,用于对所述原始点云数据进行二维规则化平面投影,得到二维投影平面结构;
数据处理模块,用于根据所述二维投影平面结构得到若干二维图信息;
编码模块,用于对所述若干二维图信息进行编码,得到码流信息。
本发明的又一个实施例还提供了一种基于二维规则化平面投影的点云解码方法,包括:
获取码流信息并进行解码,得到解析数据;
根据所述解析数据重构若干二维图信息;
根据所述若干二维图信息得到二维投影平面结构;
利用所述二维投影平面结构重建点云。
在本发明的一个实施例中,根据所述解析数据重构若干二维图信息,包括:
根据所述解析数据中的占位信息图中空行和空列的标识对占位信息图中位于空行或空列的像素直接进行重构,并根据所述解析数据中的占位信息预测残差对所述占位信息图中位于非空行和非空列的像素进行重构,得到重构的占位信息图。
本发明的再一个实施例还提供了一种基于二维规则化平面投影的点云解码装置,包括:
第二数据获取模块,用于获取码流信息并进行解码,得到解析数据;
第一重构模块,用于根据所述解析数据重构若干二维图信息;
第二重构模块,用于根据所述若干二维图信息得到二维投影平面结构;
点云重建模块,用于利用所述二维投影平面结构重建点云。
本发明的有益效果:
1、本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中,对点云在垂直方向和水平方向上进行了规则化校正,得到点云在二维投影平面结构上的强相关性表示,从而避免了三维表示结构中存在的稀疏性,又更好的体现了点云的空间相关性;使得后续在对二维规则化投影平面结构所得到的若干二维图信息进行编码时,能够极大地利用点云的空间相关性,减小空间冗余,从而进一步提升点云的编码效率;
2、本发明在对二维规则化平面投影得到的占位信息图进行编码时,对其中的空行和空列元素不进行编码,极大的提升了编码效率;
3、本发明可利用占位信息图辅助其他二维图进行编码,以提升编码效率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于二维规则化平面投影的点云编码方法示意图;
图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图;
图3是本发明实施例提供的点云的二维投影平面结构示意图;
图4是本发明实施例提供的一种占位信息图的编码框图;
图5是本发明实施例提供的利用邻居像素对当前像素占位信息的预测示意图;
图6是本发明实施例提供的另一种占位信息图的编码框图;
图7是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图;
图8是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图;
图9是本发明实施例提供的占位信息图的解码框图;
图10是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
实施例一
请参见图1,图1是本发明实施例提供的基于二维规则化平面投影的点云编码方法示意图,具体包括:
S1:获取原始点云数据。
具体地,原始点云数据通常由一组三维空间点组成,每个空间点都记录了自身的几何位置信息,以及颜色、反射率、法线等额外的属性信息。其中,点云的几何位置信息一般是基于笛卡尔坐标系进行表示的,即利用点的x,y,z坐标进行表示。原始点云数据可通过3D扫描设备例如激光雷达等获取,也可通过各种平台提供的公共数据集获得。在本实施例中,设获取到的原始点云数据的几何位置信息基于笛卡尔坐标系进行表示。需要说明的是,原始点云数据的几何位置信息的表示方法不限于笛卡尔坐标。
S2:对原始点云数据进行二维规则化平面投影,得到二维投影平面结构。
具体的,在本实施例中,在对原始点云进行二维规则化平面投影之前,还可以对原始点云数据进行预处理,如体素化处理等,以方便后续编码。
首先,初始化二维投影平面结构。
初始化点云的二维规则化投影平面结构需要利用规则化参数。规则化参数通常由制造厂商进行精细测定并作为必备的数据之一提供给消费者,例如激光雷达的采集范围,水平方位角的采样角分辨率或采样点数,以及每个激光扫描器的距离校正因子、激光扫描器沿垂直方向和水平方向的偏移信息Vo和Ho、激光扫描器沿俯仰角和水平方位角的偏移信息θ0和α。
需要说明的是,规则化参数不限于以上给出的这些参数,其可以利用给定的激光雷达的标定参数,也可以在激光雷达的标定参数没有给定的情况下,通过优化估计、数据拟合等方式得到。
点云的二维规则化投影平面结构为一个包含M行、N列像素的数据结构,三维点云中的点经过投影后与该数据结构中的像素对应。并且该数据结构中的像素(i,j)可与柱面坐标分量(θ,φ)相关联,如可利用以下公式找到柱面坐标(r,θ,φ)对应的像素(i,j)。
具体地,请参见图2,图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图。
需要说明的是,此处像素的对应并不限于柱面坐标。
进一步地,二维规则化投影平面的分辨率可由规则化参数获得,如假设二维规则化投影平面的分辨率为M×N,则可利用规则化参数中激光扫描器的个数来初始化M,并利用水平方位角的采样角分辨率(或者激光扫描器的采样点数)来初始化N,例如可采用如下公式,最终即可完成二维投影平面结构的初始化,得到一个包含M×N个像素的平面结构。
M=laserNum;
或N=pointNumPerLaser。
其次,确定原始点云数据与二维投影平面结构的映射关系,以将原始点云数据投影到二维投影平面结构上。
该部分通过逐点判断原始点云在二维投影平面结构中的位置,将原本在笛卡尔坐标系下杂乱分布的点云映射至均匀分布的二维规则化投影平面结构中。具体的,针对原始点云中的每一个点,在二维投影平面结构中确定对应的像素,例如可选择与点在二维平面中投影位置空间距离最小的像素作为该点的对应像素。
若利用柱面坐标系进行二维投影,则确定原始点云对应像素的具体流程如下:
a.确定原始点云数据中当前点的柱面坐标分量r,具体的,利用以下公式进行计算:
b.确定当前点在二维投影平面结构中的搜索区域。具体的,可选择直接将整个二维投影平面结构作为搜索区域,进一步的,为了减小计算量,还可通过当前点的柱面坐标分量俯仰角θ和方位角φ来确定对应像素在二维投影平面结构中的搜索区域,以减小搜索区域。
c.确定搜索区域后,对其中的每个像素(i,j),利用规则化参数即激光雷达第i个激光扫描器的标定参数θ0、Vo、Ho和α,计算当前像素在笛卡尔坐标系中的位置(xl,yl,zl),具体计算公式如下:
θi=θ0
xl=r·sin(φj-α)-Ho·cos(φj-α)
yl=r·cos(φj-α)+Ho·sin(φj-α)
zl=r·tanθi+Vo
d.得到当前像素在笛卡尔坐标系中的位置(xl,yl,zl)后,计算其与当前点(x,y,z)之间的空间距离并将其作为误差Err,即:
Err=dist{(x,y,z),(xl,yl,zl)}
若该误差Err小于当前最小误差minErr,则用其更新最小误差minErr,并用当前像素对应的i和j更新当前点所对应像素的i和j;若该误差Err大于最小误差minErr,则不进行以上更新过程。
e.当搜索区域内的所有像素均被遍历完成后,即可确定当前点在二维投影平面结构中的对应像素(i,j)。
当原始点云中的所有点均完成上述操作后,即完成了点云的二维规则化平面投影。具体地,请参见图3,图3是本发明实施例提供的点云的二维投影平面结构示意图,其中,原始点云数据中的每个点均被映射至该结构中的对应像素。
需要说明的是,在点云的二维规则化平面投影过程中,可能会出现点云中的多个点对应到二维投影平面结构中的同一像素。若要避免这种情况发生,可选择在投影时将这些空间点投影到不同的像素中,例如,对某一点进行投影时,若其对应的像素中已有对应点,则将该点投影至该像素的邻近空像素中。此外,若点云中的多个点已投影到二维投影平面结构中的同一像素,则在基于二维投影平面结构进行编码时,应额外编码每个像素中的对应点数,并根据该点数对像素中的每个对应点信息进行编码。
S3:根据二维投影平面结构得到若干二维图信息。
在本实施例中,若干二维图信息包括占位信息图。
具体地,占位信息图用来标识二维规则化投影平面结构中每个像素是否被占据,即每个像素是否与点云中的点相对应,若被占据,则称该像素非空,否则,称该像素为空。如可采用0和1进行表示,1:代表当前像素被占用;0:代表当前像素没有被占用,由此可根据点云的二维投影平面结构得到其占位信息图。
S4:对若干二维图信息进行编码,得到码流信息。
相应的,对若干二维图信息进行编码,得到码流信息包括:对占位信息图进行编码,得到占位信息码流。
请参见图4,图4是本发明实施例提供的一种占位信息图的编码框图,具体包括:
41)对占位信息图中的空行和空列进行标识。
由于输入的占位信息图中可能会存在一整行或一整列中的像素均不被占据即存在空行或空列的情况,因此需要对占位信息图中的空行或空列进行标识,以更高效的进行编码。
具体的,按照某种顺序扫描占位信息图中的每一行像素,若当前像素非空,则该行非空,然后记下该非空像素所在的列号,那么该列号对应的列也非空,接着直接扫描下一行;若当前像素为空且当前像素为该行的最后一个像素,则该行为空,然后对该空行进行标识。接下来,按照某种顺序扫描占位信息图中的每一列,跳过前面已记下的非空列,若当前像素非空,则该列非空,接着直接扫描下一列;若当前像素为空且当前像素为该列的最后一个像素,则该列为空,然后对该空列进行标识。具体可采用行号和列号来标识空行和空列。
42)对占位信息图中空行和空列的标识进行编码。
具体的,可采用现有的编码技术如直接编码或差分预测编码方式对空行和空列的标识进行编码。
43)对占位信息图中非空行和非空列中像素的占位信息进行编码。
在本实施例中,可利用已编码像素的重建占位信息预测非空行和非空列中像素的占位信息并进行相应的编码。
具体地,按照某种顺序扫描占位信息图中的每一个像素,如Z字扫描等,并确定当前像素是否位于占位信息图的空行或空列。然后对于非空行和非空列中的当前像素,利用已编解码像素的重建占位信息来预测当前像素的占位信息。
更具体地,例如可利用与当前像素相邻的已编解码的邻居像素的重建占位信息进行预测。请参见图5,图5是本发明实施例提供的利用邻居像素对当前像素占位信息的预测示意图;其中,代表当前待编码像素,○代表已编解码的占据像素,/>代表已编解码的未被占据的像素,图5中虚线框包含的像素即为当前像素相邻的已编解码的邻居像素。然后对得到的预测残差信息可采用现有的基于上下文的熵编码技术进行编码,得到占位信息码流。此外,如果当前像素没有可用的已编码像素,那么直接对当前像素的占位信息进行编码。
此外,在本发明的另一个实施例中,还可以通过遍历的方式依次对占位信息图中的每个像素进行判断并编码。请参见图6,图6是本发明实施例提供的另一种占位信息图的编码框图,具体包括:
4a)按照预设扫描顺序遍历占位信息图中的像素,若判断当前像素处于空行或者空列中,且当前像素为该行或者该列的首元素时,标识该空行或者空列,并对该标识进行编码。
具体的,在本实施例中,可按照一定的扫描顺序遍历占位信息图中的像素,如Z字扫描方式等,判断当前像素是否处于空行或者空列,具体判断方法是:分别遍历当前像素所在的行和列,若其中存在非空像素,则该像素不处于空行或空列中,否则,该像素处于空行或空列中。若当前像素位于空行或空列中且其为该行或者该列的首元素时,可按照上述方式标识该空行或者空列,并对该标识进行编码。
4b)若当前像素不处于空行或者空列中,则对当前像素的占位信息进行预测和编码。
具体的,在本实施例中,同样可按照上述的预测和编码方法对非空行及非空列中像素的占位信息进行预测和编码。
至此,完成占位信息图的编码,得到占位信息码流。
本实施例通过对占位信息图中的空行和空列进行标识,并仅对标识和非空行和非空列中的像素进行了编码,减小了码流,极大的提高了编码效率。
进一步地,本实施例还可采用传统的编码方法,即不对空行和空列进行处理,而是直接利用已编码像素的重建占位信息预测当前像素的占位信息并进行相应的编码。
在本发明的另一个实施例中,还可以借助图像\视频压缩方式对占位信息图进行编码,此处可使用的编码方案包含但不限于:JPEG、JPEG2000、HEIF、H.264\AVC、H.265\HEVC等。
本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中,对点云在垂直方向和水平方向上进行了规则化校正,得到点云在二维投影平面结构上的强相关性表示,从而避免了三维表示结构中存在的稀疏性,又更好的体现了点云的空间相关性;使得后续在对占位信息图及其他二维图信息进行编码时,能够极大地利用点云的空间相关性,减小空间冗余,从而进一步提升点云的编码效率。
实施例二
在本实施例中,根据二维投影平面结构得到若干二维图信息还包括深度信息图、投影残差信息图以及坐标转换误差信息图中的至少一种。其中,
深度信息图用来表示二维规则化投影平面结构中每个被占据像素的对应点与坐标原点之间的距离。如可采用该像素对应点的柱面坐标r分量作为该像素的深度。基于此,二维规则化投影平面结构中每个被占据的像素都会有一个深度值,从而得到对应的深度信息图。
投影残差信息图用来表示二维规则化投影平面结构中每个被占据像素的对应位置与实际投影位置之间的残差。基于此,二维规则化投影平面中每个被占据的像素都会有一个投影残差,从而得到点云对应的投影残差信息图。
坐标转换误差信息图用来表示二维规则化投影平面结构中每个被占据像素逆投影所得的空间位置与该像素对应原始点的空间位置之间的残差。基于此,二维规则化投影平面结构中每个被占据的像素都会有一个坐标转换误差,从而得到点云对应的坐标转换误差信息图。
则相应的,还需要根据实际情况对深度信息图、投影残差信息图以及坐标转换误差信息图进行编码。
具体地,对于上述四幅二维图,可采用分开编码的方式分别进行编码,还可以根据已编码的占位信息图辅助其他信息图依次进行编码,例如:
采用某种扫描顺序遍历深度信息图,对于深度信息图中的当前像素,可利用已重建的占位信息图和已编解码像素的重建深度信息来进行预测编码,具体可在现有的邻居预测技术之上结合邻居像素的占位信息来预测,即仅使用占位信息非空的邻居像素来预测当前像素的深度信息,预测值的计算可采用加权平均等方式,得到相应的预测残差后可采用现有的熵编码技术进行编码,得到深度信息码流。
对于投影残差信息图和坐标转换误差信息图,可采用与上述深度信息图相似的编码方法进行编码,具体不再赘述。
实施例三
在上述实施例一和二的基础上,本实施例提供了一种基于二维规则化平面投影的点云编码装置,请参见图7,图7是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图,其包括:
第一数据获取模块11,用于获取原始点云数据;
投影模块12,用于对原始点云数据进行二维规则化平面投影,得到二维投影平面结构;
数据处理模块13,用于根据二维投影平面结构得到若干二维图信息;
编码模块14,用于对若干二维图信息进行编码,得到码流信息。
本实施例提供的编码装置可以实现上述实施例一和二所述的编码方法,详细过程在此不再赘述。
实施例四
请参见图8,图8是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图,该方法包括:
步骤1:获取码流信息并进行解码,得到解析数据。
解码端获取压缩的码流信息,并采用相应的现有熵解码技术对码流信息进行相应的解码,得到解析后的数据。
步骤2:根据解析数据重构若干二维图信息。
在本实施例中,步骤2可以包括:
根据解析数据中的占位信息图中空行和空列的标识对占位信息图中位于空行或空列的像素直接进行重构,并根据解析数据中的占位信息预测残差对占位信息图中位于非空行和非空列的像素进行重构,得到重构的占位信息图。
具体地,由于在编码端,若干二维图信息可以包括占位信息图,也即对占位信息图进行了编码,相应的,解码端的码流信息也包括占位信息码流。
更具体地,码流信息通过解码得到的解析数据包括占位信息图中空行和空列的标识以及占位信息的预测残差。
请参见图9,图9是本发明实施例提供的占位信息图的解码框图,根据解析得到的占位信息图中空行和空列的标识以及占位信息的预测残差进行以下过程。
对于非空行和非空列中像素的占位信息进行预测和重构;同时,对于已标识的空行或空列中的像素,直接重构其占位信息。
由于编码端采用了某种扫描顺序遍历占位信息图中的像素并对其中非空行和非空列中像素的占位信息进行编码,那么解码端所得到的像素占位信息的预测残差同样是按照此种顺序,且解码端可通过规则化参数获得占位信息图的分辨率,具体参见实施例一中S2初始化二维投影平面结构部分。因此,解码端根据解析出的空行和空列标识以及占位信息图的分辨率可获知当前待重构像素在二维图中的位置。
一方面,对于占位信息图中的当前待重构像素,利用已编解码像素的重建占位信息来进行预测,预测方法与编码端保持一致,即采用与当前像素相邻的已编解码的邻居像素的重建占位信息进行预测,然后根据得到的预测值和解析出来的预测残差重建当前像素的占位信息。另一方面,根据解析出的空行和空列标识重构占位信息图中空行和空列中像素的占位信息。当重构完所有像素的占位信息后,即得到重构的占位信息图。
步骤3:根据二维图信息得到二维投影平面结构;
由于二维投影平面结构的分辨率与占位信息图一致,且占位信息图已被重构,因此可知二维投影平面结构中每个像素的占位信息,从而得到重构的二维投影平面结构。
步骤4:利用二维投影平面结构重建点云。
具体地,按照某一扫描顺序遍历重构的二维投影平面结构中的像素,可知每个像素的占位信息。若当前像素(i,j)的占位信息为非空,则利用其它信息,如深度信息、坐标转换误差信息等,重构该像素对应的空间点(x,y,z)。具体的,当前像素(i,j)的对应位置可表示为(φj,i),那么可利用规则化参数和其他信息,如深度信息r和坐标转换误差信息(Δx,Δy,Δz)重构当前像素对应的空间点(x,y,z),具体计算如下:
θi=θ0
xl=r·sin(φj-α)-Ho·cos(φj-α)
yl=r·cos(φj-α)+Ho·sin(φj-α)
zl=r·tanθi+Vo
(x,y,z)=(xl,yl,zl)+(Δx,Δy,Δz)
最后根据以上计算即可对二维投影结构中的每个非空像素重构其对应的空间点,从而得到重建点云。
实施例五
在上述实施例四的基础上,本实施例提供了一种基于二维规则化平面投影的点云解码装置,请参见图10,图10是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图,其包括:
第二数据获取模块21,用于获取码流信息并进行解码,得到解析数据;
第一重构模块22,用于根据解析数据重构若干二维图信息;
第二重构模块23,用于根据若干二维图信息得到二维投影平面结构;
点云重建模块24,用于利用二维投影平面结构重建点云。
本实施例提供的解码装置可以实现上述实施例五所述的解码方法,详细过程在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (5)
1.一种基于二维规则化平面投影的点云编码方法,其特征在于,包括:
获取原始点云数据;
对所述原始点云数据进行二维规则化平面投影,得到二维投影平面结构;
根据所述二维投影平面结构得到若干二维图信息,所述若干二维图信息包括占位信息图,所述占位信息图中包括空列且不包括空行;
针对所述占位信息图中非空行和非空列中的当前像素,利用已编解码像素的重建占位信息预测当前像素的占位信息,对所述占位信息进行编码,以及,对所述占位信息图中的空列进行标识,对所述占位信息图中空列的标识进行编码,得到占位信息码流。
2.根据权利要求1所述的基于二维规则化平面投影的点云编码方法,其特征在于,所述若干二维图信息还包括深度信息图、投影残差信息图以及坐标转换误差信息图中的至少一种。
3.一种基于二维规则化平面投影的点云编码装置,其特征在于,包括:
第一数据获取模块(11),用于获取原始点云数据;
投影模块(12),用于对所述原始点云数据进行二维规则化平面投影,得到二维投影平面结构;
数据处理模块(13),用于根据所述二维投影平面结构得到若干二维图信息,所述若干二维图信息包括占位信息图,所述占位信息图中包括空列且不包括空行;
编码模块(14),用于针对所述占位信息图中非空行和非空列中的当前像素,利用已编解码像素的重建占位信息来预测当前像素的占位信息,对所述占位信息进行编码,以及,对所述占位信息图中的空列进行标识,对所述占位信息图中空列的标识进行编码,得到占位信息码流。
4.一种基于二维规则化平面投影的点云解码方法,其特征在于,包括:
获取占位信息码流并进行解码,得到解析数据;
针对所述解析数据中的占位信息图中非空行和非空列的当前待重构像素,利用已编解码像素的重建占位信息预测并重建当前像素的占位信息,以及,根据所述解析数据中的占位信息图中空行和空列的标识对占位信息图中位于空行或空列的像素直接进行重构,得到重构的占位信息图;
根据所述重构的占位信息图得到二维投影平面结构;
利用所述二维投影平面结构重建点云。
5.一种基于二维规则化平面投影的点云解码装置,其特征在于,包括:
第二数据获取模块(21),用于获取占位信息码流并进行解码,得到解析数据;
第一重构模块(22),用于针对所述解析数据中的占位信息图中非空行和非空列的当前待重构像素,利用已编解码像素的重建占位信息预测并重建当前像素的占位信息,以及,根据所述解析数据中的占位信息图中空行和空列的标识对占位信息图中位于空行或空列的像素直接进行重构,得到重构的占位信息图;
第二重构模块(23),用于根据所述重构的占位信息图得到二维投影平面结构;
点云重建模块(24),用于利用所述二维投影平面结构重建点云。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110172789.9A CN114915794B (zh) | 2021-02-08 | 2021-02-08 | 基于二维规则化平面投影的点云编解码方法及装置 |
PCT/CN2022/075407 WO2022166966A1 (zh) | 2021-02-08 | 2022-02-07 | 基于二维规则化平面投影的点云编解码方法及装置 |
EP22749245.1A EP4246974A4 (en) | 2021-02-08 | 2022-02-07 | METHOD AND APPARATUS FOR POINT CLOUD ENCODING/DECODING BASED ON TWO-DIMENSIONAL REGULARIZATION PLANE PROJECTION |
US18/268,466 US20240080497A1 (en) | 2021-02-08 | 2022-02-07 | Point cloud encoding and decoding method and device based on two-dimensional regularization plane projection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110172789.9A CN114915794B (zh) | 2021-02-08 | 2021-02-08 | 基于二维规则化平面投影的点云编解码方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114915794A CN114915794A (zh) | 2022-08-16 |
CN114915794B true CN114915794B (zh) | 2023-11-14 |
Family
ID=82742019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110172789.9A Active CN114915794B (zh) | 2021-02-08 | 2021-02-08 | 基于二维规则化平面投影的点云编解码方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240080497A1 (zh) |
EP (1) | EP4246974A4 (zh) |
CN (1) | CN114915794B (zh) |
WO (1) | WO2022166966A1 (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020010444A1 (en) * | 2018-07-10 | 2020-01-16 | 2236008 Ontario Inc. | Methods and devices for neighbourhood-based occupancy prediction in point cloud compression |
WO2020026846A1 (ja) * | 2018-08-02 | 2020-02-06 | ソニー株式会社 | 画像処理装置および方法 |
WO2020187140A1 (en) * | 2019-03-15 | 2020-09-24 | Mediatek Inc. | Method and apparatus of patch segmentation for video-based point cloud coding |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699444B2 (en) * | 2017-11-22 | 2020-06-30 | Apple Inc | Point cloud occupancy map compression |
CN110708529B (zh) * | 2018-07-09 | 2020-08-14 | 上海交通大学 | 动态点云投影压缩方法、系统、装置及介质 |
US11122279B2 (en) * | 2018-10-02 | 2021-09-14 | Samsung Electronics Co., Ltd. | Point cloud compression using continuous surface codes |
CN111739111B (zh) * | 2019-03-20 | 2023-05-30 | 上海交通大学 | 一种点云投影编码的块内偏移优化方法及系统 |
EP3926959A4 (en) * | 2019-03-21 | 2022-03-23 | LG Electronics Inc. | POINT CLOUD DATA TRANSMITTER DEVICE, POINT CLOUD DATA TRANSMITTER METHOD, POINT CLOUD DATA RECEIVE DEVICE, AND POINT CLOUD DATA RECEIVE METHOD |
CN112153391B (zh) * | 2019-06-28 | 2022-07-29 | 腾讯美国有限责任公司 | 视频编码的方法、装置、电子设备及存储介质 |
-
2021
- 2021-02-08 CN CN202110172789.9A patent/CN114915794B/zh active Active
-
2022
- 2022-02-07 EP EP22749245.1A patent/EP4246974A4/en active Pending
- 2022-02-07 US US18/268,466 patent/US20240080497A1/en active Pending
- 2022-02-07 WO PCT/CN2022/075407 patent/WO2022166966A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020010444A1 (en) * | 2018-07-10 | 2020-01-16 | 2236008 Ontario Inc. | Methods and devices for neighbourhood-based occupancy prediction in point cloud compression |
WO2020026846A1 (ja) * | 2018-08-02 | 2020-02-06 | ソニー株式会社 | 画像処理装置および方法 |
WO2020187140A1 (en) * | 2019-03-15 | 2020-09-24 | Mediatek Inc. | Method and apparatus of patch segmentation for video-based point cloud coding |
Also Published As
Publication number | Publication date |
---|---|
CN114915794A (zh) | 2022-08-16 |
US20240080497A1 (en) | 2024-03-07 |
EP4246974A4 (en) | 2024-05-01 |
EP4246974A1 (en) | 2023-09-20 |
WO2022166966A1 (zh) | 2022-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230162402A1 (en) | Method and apparatus for processing a point cloud | |
CN114915795B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
KR20230021675A (ko) | 인코딩 및 디코딩 방법, 인코더, 디코더 및 소프트웨어 | |
JP2001186516A (ja) | 画像データの符号化復号化方法及び装置 | |
CN114915791B (zh) | 基于二维规则化平面投影的点云序列编解码方法及装置 | |
CN114915793B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
CN114915792B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
WO2022166961A1 (zh) | 面向大规模点云的二维规则化平面投影及编解码方法 | |
CN114915794B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
CN114915796B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
JP7573052B2 (ja) | 符号化及び復号方法、エンコーダ、デコーダ及びソフトウェア |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |