CN114915795A - 基于二维规则化平面投影的点云编解码方法及装置 - Google Patents

Abstract

本发明公开了一种基于二维规则化平面投影的点云编解码方法及装置，编码方法包括：获取原始点云数据；对原始点云数据进行二维规则化平面投影，得到二维投影平面结构；根据二维投影平面结构得到若干二维图信息；对若干二维图信息进行编码，得到码流信息。本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而更好的体现了点云的空间相关性；使得后续在对若干二维图信息进行编码时，能够极大地利用点云的空间相关性，减小空间冗余，从而进一步提升点云的编码效率。

Description

基于二维规则化平面投影的点云编解码方法及装置

技术领域

本发明属于编解码技术领域，具体涉及一种基于二维规则化平面投影的点云编解码方法及装置。

背景技术

随着硬件处理能力的提升和计算机视觉的飞速发展，三维点云成为继音频、图像、视频之后的新一代沉浸式多媒体，被广泛的应用于虚拟现实、增强现实、自动驾驶和环境建模等。然而三维点云通常具有较大的数据量，十分不利于点云数据的传输及存储，因此研究高效的点云编解码技术具有重要意义。

在现有的基于几何的点云压缩编码(G-PCC,Geometry-based Point CloudCompression)框架中，点云的几何信息和属性信息是分开进行编码的。目前G-PCC的几何编解码可分为基于八叉树的几何编解码和基于预测树的几何编解码。

基于八叉树的几何编解码：在编码端，首先，对点云的几何信息进行预处理，这包括点云的坐标转换和体素化过程。然后，按照广度优先遍历的顺序不断对点云所在的包围盒进行树划分(八叉树/四叉树/二叉树)。最后，对每个节点的占位码进行编码，并编码每个叶子节点中包含的点数，生成二进制码流。在解码端，首先按照广度优先遍历的顺序，不断解析得到每个节点的占位码。然后，依次不断进行树划分，直至划分得到1x1x1的单位立方体时停止划分。最后，解析得到每个叶子节点中包含的点数，最终得到重构的点云几何信息。

基于预测树的几何编解码：在编码端，首先对原始点云进行排序。然后，建立预测树结构，通过将每个点归类到所属的激光扫描器上，并按照不同的激光扫描器建立预测树结构。接下来，遍历预测树中的每个节点，通过选取不同的预测模式对节点的几何信息进行预测得到预测残差，并利用量化参数对预测残差进行量化。最后，对预测树结构、量化参数以及节点几何信息的预测残差等进行编码，生成二进制码流。在解码端，首先解析码流，其次重构预测树结构，然后通过解析得到的每个节点的几何信息预测残差以及量化参数，对预测残差进行反量化，最终恢复得到每个节点的重构几何信息，即完成了点云几何信息的重建。

然而，由于点云具有较强的空间稀疏性，对于使用八叉树结构的点云编码技术而言，该结构会导致划分得到的空节点占比较高，且无法充分体现点云的空间相关性，从而不利于点云的预测及熵编码。基于预测树的点云编解码技术利用激光雷达设备的部分参数来建立树结构，在此基础上利用树结构进行预测编码，然而该树结构并未充分体现点云的空间相关性，从而不利于点云的预测及熵编码。因而，上述两种点云编解码技术均存在编码效率不够高的问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于二维规则化平面投影的点云编解码方法及装置。本发明要解决的技术问题通过以下技术方案实现：

一种基于二维规则化平面投影的点云编码方法，包括：

获取原始点云数据；

对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；

根据所述二维投影平面结构得到若干二维图信息；

对所述若干二维图信息进行编码，得到码流信息。

在本发明的一个实施例中，对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构，包括：

初始化二维投影平面结构；

确定所述原始点云数据与所述二维投影平面结构的映射关系，以将所述原始点云数据投影到所述二维投影平面结构上。

在本发明的一个实施例中，所述若干二维图信息包括几何信息图，所述几何信息图包括占位信息图、深度信息图、投影残差信息图以及坐标转换误差信息图。

在本发明的一个实施例中，对所述若干二维图信息进行编码，得到码流信息，包括：

对所述占位信息图、所述深度信息图、所述投影残差信息图以及所述坐标转换误差信息图进行编码，分别得到占位信息码流、深度信息码流、投影残差信息码流以及坐标转换误差信息码流；

根据所述占位信息码流、所述深度信息码流、所述投影残差信息码流以及所述坐标转换误差信息码流得到几何信息码流。

在本发明的一个实施例中，在得到几何信息码流之后还包括：

根据所述几何信息码流进行几何重建，得到重建后的点云几何信息；

基于重建后的点云几何信息对所述原始点云数据的属性信息进行编码，得到属性信息码流。

在本发明的一个实施例中，所述若干二维图信息还包括属性信息图。

在本发明的一个实施例中，对所述若干二维图信息进行编码，得到码流信息，还包括：

对所述属性信息图进行编码，得到属性信息码流。

本发明的另一个实施例还提供了一种基于二维规则化平面投影的点云编码装置，包括：

第一数据获取模块，用于获取原始点云数据；

投影模块，用于对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；

数据处理模块，用于根据所述二维投影平面结构得到若干二维图信息；

编码模块，用于对所述若干二维图信息进行编码，得到码流信息。

本发明的又一个实施例还提供了一种基于二维规则化平面投影的点云解码方法，包括：

获取码流信息并进行解码，得到解析数据；

根据所述解析数据重构若干二维图信息；

根据所述若干二维图信息得到二维投影平面结构；

利用所述二维投影平面结构重建点云。

本发明的再一个实施例还提供了一种基于二维规则化平面投影的点云解码装置，包括：

第二数据获取模块，用于获取码流信息并进行解码，得到解析数据；

第一重构模块，用于根据所述解析数据重构若干二维图信息；

第二重构模块，用于根据所述若干二维图信息得到二维投影平面结构；

点云重建模块，用于利用所述二维投影平面结构重建点云。

本发明的有益效果：

本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而避免了三维表示结构中存在的稀疏性，又更好的体现了点云的空间相关性；使得后续在对二维规则化投影平面结构所得到的若干二维图信息进行编码时，能够极大地利用点云的空间相关性，减小空间冗余，从而进一步提升点云的编码效率。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于二维规则化平面投影的点云编码方法示意图；

图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图；

图3是本发明实施例提供的点云的二维投影平面结构示意图；

图4是本发明实施例提供的投影残差的示意图；

图5是本发明实施例提供的点云几何信息编码框架图；

图6是本发明实施例提供的基于重建几何信息进行属性信息编码的框架图；

图7是本发明实施例提供的点云几何信息和属性信息同时进行编码的框架图；

图8是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图；

图9是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图；

图10是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1是本发明实施例提供的一种基于二维规则化平面投影的点云编码方法示意图，包括以下步骤：

S1：获取原始点云数据。

具体地，原始点云数据通常由一组三维空间点组成，每个空间点都记录了自身的几何位置信息，以及颜色、反射率、法线等额外的属性信息。其中，点云的几何位置信息一般是基于笛卡尔坐标系进行表示的，即利用点的x，y，z坐标进行表示。原始点云数据可通过3D扫描设备例如激光雷达等获取，也可通过各种平台提供的公共数据集获得。在本实施例中，设获取到的原始点云数据的几何位置信息基于笛卡尔坐标系进行表示。需要说明的是，原始点云数据的几何位置信息的表示方法不限于笛卡尔坐标。

S2：对原始点云数据进行二维规则化平面投影，得到二维投影平面结构。

具体的，在本实施例中，在对原始点云进行二维规则化平面投影之前，还可以对原始点云数据进行预处理，如体素化处理等，以方便后续编码。

首先，初始化二维投影平面结构。

初始化点云的二维规则化投影平面结构需要利用规则化参数。规则化参数通常由制造厂商进行精细测定并作为必备的数据之一提供给消费者，例如激光雷达的采集范围，水平方位角的采样角分辨率

或采样点数，以及每个激光扫描器的距离校正因子、激光扫描器沿垂直方向和水平方向的偏移信息V_o和H_o、激光扫描器沿俯仰角和水平方位角的偏移信息θ₀和α。

需要说明的是，规则化参数不限于以上给出的这些参数，其可以利用给定的激光雷达的标定参数，也可以在激光雷达的标定参数没有给定的情况下，通过优化估计、数据拟合等方式得到。

点云的二维规则化投影平面结构为一个包含M行、N列像素的数据结构，三维点云中的点经过投影后与该数据结构中的像素对应。并且该数据结构中的像素(i,j)可与柱面坐标分量(θ,φ)相关联，如可利用以下公式找到柱面坐标(r,θ,φ)对应的像素(i,j)。

具体地，请参见图2，图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图。

需要说明的是，此处像素的对应并不限于柱面坐标。

进一步地，二维规则化投影平面的分辨率可由规则化参数获得，如假设二维规则化投影平面的分辨率为M×N，则可利用规则化参数中激光扫描器的个数来初始化M，并利用水平方位角的采样角分辨率

(或者激光扫描器的采样点数)来初始化N，例如可采用如下公式，最终即可完成二维投影平面结构的初始化，得到一个包含M×N个像素的平面结构。

M＝laserNum；

或N＝pointNumPerLaser。

其次，确定原始点云数据与二维投影平面结构的映射关系，以将原始点云数据投影到二维投影平面结构上。

该部分通过逐点判断原始点云在二维投影平面结构中的位置，将原本在笛卡尔坐标系下杂乱分布的点云映射至均匀分布的二维规则化投影平面结构中。具体的，针对原始点云中的每一个点，在二维投影平面结构中确定对应的像素，例如可选择与点在二维平面中投影位置空间距离最小的像素作为该点的对应像素。

若利用柱面坐标系进行二维投影，则确定原始点云对应像素的具体流程如下：

a.确定原始点云数据中当前点的柱面坐标分量r，具体的，利用以下公式进行计算：

b.确定当前点在二维投影平面结构中的搜索区域。具体的，可选择直接将整个二维投影平面结构作为搜索区域。进一步的，为了减小计算量，还可通过当前点的柱面坐标分量俯仰角θ和方位角φ来确定对应像素在二维投影平面结构中的搜索区域，以减小搜索区域。

c.确定搜索区域后，对其中的每个像素(i,j)，利用规则化参数即激光雷达第i个激光扫描器的标定参数θ₀、V_o、H_o和α，计算当前像素在笛卡尔坐标系中的位置(xl,yl,zl)，具体计算公式如下：

θ_i＝θ₀

xl＝r·sin(φ_j-α)-H_o·cos(φ_j-α)

yl＝r·cos(φ_j-α)+H_o·sin(φ_j-α)

zl＝r·tanθ_i+V_o

d.得到当前像素在笛卡尔坐标系中的位置(xl,yl,zl)后，计算其与当前点(x,y,z)之间的空间距离并将其作为误差Err，即：

Err＝dist{(x,y,z),(xl,yl,zl)}

若该误差Err小于当前最小误差minErr，则用其更新最小误差minErr，并用当前像素对应的i和j更新当前点所对应像素的i和j；若该误差Err大于最小误差minErr，则不进行以上更新过程。

e.当搜索区域内的所有像素均被遍历完成后，即可确定当前点在二维投影平面结构中的对应像素(i,j)。

当原始点云中的所有点均完成上述操作后，即完成了点云的二维规则化平面投影。具体地，请参见图3，图3是本发明实施例提供的点云的二维投影平面结构示意图，其中，原始点云数据中的每个点均被映射至该结构中的对应像素。

需要说明的是，在点云的二维规则化平面投影过程中，可能会出现点云中的多个点对应到二维投影平面结构中的同一像素。若要避免这种情况发生，可选择在投影时将这些空间点投影到不同的像素中，例如，对某一点进行投影时，若其对应的像素中已有对应点，则将该点投影至该像素的邻近空像素中。此外，若点云中的多个点已投影到二维投影平面结构中的同一像素，则在基于二维投影平面结构进行编码时，应额外编码每个像素中的对应点数，并根据该点数对像素中的每个对应点信息进行编码。

S3：根据二维投影平面结构得到若干二维图信息。

在本实施例中，若干二维图信息可以包括几何信息图。其中，该几何信息图可以是占位信息图、深度信息图、投影残差信息图以及坐标转换误差信息图中的一种或者多种，也可以是其他几何信息图。

本实施例具体以上述四个几何信息图为例进行详细说明。

a.占位信息图

占位信息图用来标识二维规则化投影平面结构中每个像素是否被占据，即每个像素是否与点云中的点相对应，若被占据，则称该像素非空，否则，称该像素为空。如可采用0和1进行表示，1：代表当前像素被占用；0：代表当前像素没有被占用，由此可根据点云的二维投影平面结构得到其占位信息图。

b.深度信息图

深度信息图用来表示二维规则化投影平面结构中每个被占据像素的对应点与坐标原点之间的距离。如可采用该像素对应点的柱面坐标r分量作为该像素的深度。假设像素对应点的笛卡尔坐标为(x,y,z)，则利用公式

可得该点的柱面坐标r分量即像素的深度。基于此，二维规则化投影平面结构中每个被占据的像素都会有一个深度值，从而得到对应的深度信息图。

c.投影残差信息图

投影残差信息图用来表示二维规则化投影平面结构中每个被占据像素的对应位置与实际投影位置之间的残差，如图4所示，图4是本发明实施例提供的投影残差的示意图。

具体地，可利用以下方式计算像素的投影残差。假设当前像素为(i,j)，其对应点的笛卡尔坐标为(x,y,z)，则该点实际的投影位置可表示为(φ',i')，其可由以下公式计算得到：

而当前像素的对应位置可表示为(φ_j,i)，其可由以下公式计算得到：

则由以下公式即可计算得到当前像素对应的投影残差(Δφ,Δi)：

Δφ＝φ'-φ_j

Δi＝i'-i

基于以上计算，二维规则化投影平面中每个被占据的像素都会有一个投影残差，从而得到点云对应的投影残差信息图。

d.坐标转换误差信息图

坐标转换误差信息图用来表示二维规则化投影平面结构中每个被占据像素逆投影所得的空间位置与该像素对应原始点的空间位置之间的残差。

如可采用以下方式计算像素的坐标转换误差。假设当前像素为(i,j)，其对应点的笛卡尔坐标为(x,y,z)，则利用规则化参数和以下公式可将该像素逆转换回笛卡尔坐标系，得到对应的笛卡尔坐标(xl,yl,zl)：

θ_i＝θ₀

xl＝r·sin(φ_j-α)-H_o·cos(φ_j-α)

yl＝r·cos(φ_j-α)+H_o·sin(φ_j-α)

zl＝r·tanθ_i+V_o

接下来由以下公式即可计算得到当前像素的坐标转换误差(Δx,Δy,Δz)：

Δx＝x-xl

Δy＝y-yl

Δz＝z-zl

基于以上计算，二维规则化投影平面结构中每个被占据的像素都会有一个坐标转换误差，从而得到点云对应的坐标转换误差信息图。

本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而更好的体现了点云的空间相关性，进而提升了点云的编码效率。

S4：对若干二维图信息进行编码，得到码流信息。

请参见图5，图5是本发明实施例提供的点云几何信息编码框架图。

在本实施例中，对步骤S3得到的占位信息图、深度信息图、投影残差信息图以及坐标转换误差信息图进行编码，分别得到占位信息码流、深度信息码流、投影残差信息码流以及坐标转换误差信息码流。

具体地，本实施例采用某种扫描顺序分别依次遍历占位信息图、深度信息图、投影残差信息图和坐标转换误差信息图中的像素，例如采用Z字扫描等。

对于占位信息图中的当前像素，可利用已编解码像素的重建占位信息来进行预测，具体可采用现有的各种邻居预测技术等，得到相应的预测残差后可采用现有的熵编码技术进行编码，得到占位信息码流。

对于深度信息图中的当前像素，可利用已重建的占位信息图和已编解码像素的重建深度信息来进行预测，具体可在现有的邻居预测技术之上结合邻居像素的占位信息来预测，即仅使用占位信息非空的邻居像素来预测当前像素的深度信息，预测值的计算可采用加权平均等方式，得到相应的预测残差后可采用现有的熵编码技术进行编码，得到深度信息码流。

对于投影残差信息图中的当前像素，可利用已重建的占位信息图、深度信息图和已编解码像素的重建投影残差信息来进行预测，具体可在现有的邻居预测技术之上结合邻居像素的占位信息和深度信息来预测，即仅使用占位信息非空并且与当前像素深度信息相近的邻居像素来预测当前像素的投影残差信息，预测值的计算可采用加权平均等方式，得到相应的预测残差后可采用现有的熵编码技术进行编码，得到投影残差信息码流。

对于坐标转换误差信息图中的当前像素，可利用已重建的占位信息图、深度信息图、投影残差信息图和已编解码像素的重建坐标转换误差信息来进行预测，具体可在现有的邻居预测技术之上结合邻居像素的占位信息、深度信息和投影残差信息来预测，即仅使用占位信息非空并且与当前像素深度信息和投影残差信息相近的邻居像素来预测当前像素的坐标转换误差信息，预测值的计算可采用加权平均等方式，得到相应的预测残差后可采用现有的熵编码技术进行编码，得到坐标转换误差信息码流。

此外，还可对上述预测残差量化后再进行编码。

本实施例对二维规则化平面投影得到的若干二维图信息，如占位信息图、深度信息图、投影残差信息图以及坐标转换误差信息图进行编码时，可以有效的利用二维图中的强相关性对当前像素进行预测和熵编码，因此能够极大地利用点云的空间相关性，并减小空间冗余，从而进一步提升点云的编码效率。

根据占位信息码流、深度信息码流、投影残差信息码流以及坐标转换误差信息码流得到几何信息码流。

在本实施例中，当所有的几何信息图均完成编码后，即可得到原始点云数据的几何信息码流。

在本发明的另一个实施例中，对于上述的几何信息图，还可以借助图像\视频等压缩方式进行压缩，包含但不限于：JPEG、JPEG2000、HEIF、H.264\AVC、H.265\HEVC等。

此外，需要说明的是，点云投影残差的变化和调整会影响其坐标转换误差的大小，因此为了得到更好的编码效率，点云的投影残差和坐标转换误差是可以调整的，并不是固定不变的。例如，对于无损编码而言，若二维投影准确度较高，则投影残差较小，因此可将投影残差置为0，这一操作虽然使得坐标转换误差有些许升高，但是在允许坐标转换误差的编码效率有一定下降或不变的情况下，可以很好的提升投影残差的编码效率；或者若二维投影准确度较低，则投影残差较大，此时可以对投影残差进行适当的调整，从而使得坐标转换误差发生相应的变化，然后对调整后的投影残差和坐标转换误差进行编码，也可能会得到更好的编码效率。对于有损编码而言，若二维投影准确度较高，则投影残差较小，因此可以不对投影残差进行编码；或者若坐标转换误差较小，也可以不对坐标转换误差进行编码，以此来提升编码效率；又或者也可以对投影残差和坐标转换误差进行适当的调整，然后对调整后的投影残差和坐标转换误差进行编码，也可能会得到更好的编码效率。

实施例二

在上述实施例一完成几何信息编码的基础上，还可以基于重建的几何信息进行属性信息编码。请参见图6，图6是本发明实施例提供的基于重建几何信息进行属性信息编码的框架图。

首先，根据上述实施例一得到的几何信息码流进行几何重建，得到重建后的点云几何信息。

然后基于重建后的点云几何信息对原始点云数据的属性信息进行编码，得到属性信息码流。

具体的，属性信息编码一般针对空间点的颜色和反射率信息进行。可利用现有技术基于点云的几何重构信息对原始点云数据的属性信息进行编码。例如，首先将属性中的颜色信息从RGB颜色空间转换到YUV颜色空间。然后，利用重建的几何信息对点云重新着色，使得未编码的属性信息与重建的几何信息对应起来。用莫顿码或希尔伯特码对点云进行排序后，利用已编码点的重建属性值对待预测点进行插值预测得到预测属性值，然后将真实属性值和预测属性值进行差分得到预测残差，最后对预测残差进行量化并编码，生成二进制码流。

实施例三

在上述实施例一的基础上，还可以通过二维投影平面结构同时得到属性信息图。然后对几何信息图和属性信息图同时进行编码，得到几何信息码流和属性信息码流。请参见图7，图7是本发明实施例提供的点云几何信息和属性信息同时进行编码的框架图。

具体地，几何信息图的编码过程参见上述实施例一。属性信息图的编码过程如下：

首先采用某种扫描顺序遍历属性信息图中的像素，例如采用Z字扫描等。然后对于属性信息图中的当前像素，可利用已重建的占位信息图和已编解码像素的重建属性信息来进行预测，具体可在现有的邻居预测技术之上结合邻居像素的占位信息来预测，即仅使用占位信息非空的邻居像素来预测当前像素的属性信息，预测值的计算可采用加权平均等方式，得到相应的预测残差后可采用现有的熵编码技术进行编码，得到属性信息码流。

本实施例通过二维投影平面结构同时得到几何信息图和属性信息图，然后同时对几何信息和属性信息进行编码，提升了编码效率。

实施例四

在上述实施例一至三的基础上，本实施例提供了一种基于二维规则化平面投影的点云编码装置，请参见图8，图8是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图，其包括：

第一数据获取模块11，用于获取原始点云数据；

投影模块12，用于对原始点云数据进行二维规则化平面投影，得到二维投影平面结构；

数据处理模块13，用于根据二维投影平面结构得到若干二维图信息；

编码模块14，用于对若干二维图信息进行编码，得到码流信息。

本实施例提供的编码装置可以实现上述实施例一至三所述的编码方法，详细过程在此不再赘述。

实施例五

请参见图9，图9是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图，该方法包括：

步骤1：获取码流信息并进行解码，得到解析数据；

解码端获取压缩的码流信息，并采用相应的现有熵解码技术对码流信息进行相应的解码，得到解析后的数据。

步骤2：根据解析数据重构若干二维图信息；

在本实施例中，若干二维图信息包括几何信息图，几何信息图包括占位信息图、深度信息图、投影残差信息图以及坐标转换误差信息图。

基于此，解析数据主要包括占位信息的预测残差、深度信息的预测残差、投影残差信息的预测残差以及坐标转换误差信息的预测残差。

由于编码端采用了某种扫描顺序分别依次遍历占位信息图、深度信息图、投影残差信息图和坐标转换误差信息图中的像素并对相应信息进行编码，那么解码端所得到的像素预测残差信息同样是按照此种顺序，且解码端可通过规则化参数获得这些二维图的分辨率，具体参见实施例一中S2初始化二维投影平面结构部分。因此，解码端可获知当前待重构像素在二维图中的位置。

对于占位信息图中的当前待重构像素，可利用已编解码像素的重建占位信息来进行预测，预测方法与编码端保持一致，然后根据得到的预测值和解析出来的预测残差重建当前像素的占位信息。

对于深度信息图中的当前待重构像素，可利用已重建的占位信息图和已编解码像素的重建深度信息来进行预测，预测方法与编码端保持一致即仅使用占位信息非空的邻居像素来预测当前像素的深度信息，然后根据得到的预测值和解析出来的预测残差重建当前像素的深度信息。

对于投影残差信息图中的当前待重构像素，可利用已重建的占位信息图、深度信息图和已编解码像素的重建投影残差信息来进行预测，预测方法与编码端保持一致即仅使用占位信息非空并且与当前像素深度信息相近的邻居像素来预测当前像素的投影残差信息，然后根据得到的预测值和解析出来的预测残差重建当前像素的投影残差信息。

对于坐标转换误差信息图中的当前待重构像素，可利用已重建的占位信息图、深度信息图、投影残差信息图和已编解码像素的重建坐标转换误差信息来进行预测，预测方法与编码端保持一致即仅使用占位信息非空并且与当前像素深度信息和投影残差信息相近的邻居像素来预测当前像素的坐标转换误差信息，然后根据得到的预测值和解析出来的预测残差重建当前像素的坐标转换误差信息。

重构完占位信息图、深度信息图、投影残差信息图和坐标转换误差信息图中的每个像素后，即可得到重构的占位信息图、深度信息图、投影残差信息图和坐标转换误差信息图。

此外，解析数据还可以包括属性信息的预测残差，相应的，也可以通过该信息重构出属性信息图。

步骤3：根据若干二维图信息得到二维投影平面结构；

由于二维投影平面结构的分辨率与占位信息图、深度信息图、投影残差信息图和坐标转换误差信息图一致，且这些二维图信息均已被重构，因此可知二维投影平面结构中每个像素的占位信息、深度信息、投影残差信息和坐标转换误差信息，从而得到重构的二维投影平面结构。

相应的，重构的二维投影平面结构中还可以包括点云的属性信息。

步骤4：利用二维投影平面结构重建点云。

具体地，按照某一扫描顺序遍历重构的二维投影平面结构中的像素，可知每个像素的占位信息、深度信息、投影残差信息和坐标转换误差信息。若当前像素(i,j)的占位信息为非空，则可按照如下方式根据当前像素的深度信息即该像素对应点的柱面坐标r分量、投影残差信息即该像素对应位置与实际投影位置之间的残差(Δφ,Δi)和坐标转换误差信息即该像素逆投影所得空间位置与该像素对应原始点空间位置之间的残差(Δx,Δy,Δz)来重构该像素对应的空间点(x,y,z)。

当前像素(i,j)的对应位置可表示为(φ_j,i)，则当前像素对应空间点的实际投影位置(φ',i')为：

φ'＝φ_j+Δφ

i'＝i+Δi

利用规则化参数和以下公式将当前像素逆投影回笛卡尔坐标系，得到对应的笛卡尔坐标(xl,yl,zl)：

θ_i＝θ₀

xl＝r·sin(φ_j-α)-H_o·cos(φ_j-α)

yl＝r·cos(φ_j-α)+H_o·sin(φ_j-α)

zl＝r·tanθ_i+V_o

利用以下公式根据当前像素逆投影所得空间位置(xl,yl,zl)与坐标转换误差(Δx,Δy,Δz)重建当前像素对应空间点(x,y,z)。

x＝xl+Δx

y＝yl+Δy

z＝zl+Δz

根据以上计算即可对二维投影结构中的每个非空像素重构其对应空间点，从而得到重建点云。

需要说明的是，在解码端进行点云重建时，可根据编码端点云的几何信息和属性信息的编码方式适应的选择重建方式，以得到相应的重建点云。

实施例六

在上述实施例五的基础上，本实施例提供了一种基于二维规则化平面投影的点云解码装置，请参见图10，图10是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图，其包括：

第二数据获取模块21，用于获取码流信息并进行解码，得到解析数据；

第一重构模块22，用于根据解析数据重构若干二维图信息；

第二重构模块23，用于根据若干二维图信息得到二维投影平面结构；

点云重建模块24，用于利用二维投影平面结构重建点云。

本实施例提供的解码装置可以实现上述实施例五所述的解码方法，详细过程在此不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于二维规则化平面投影的点云编码方法，其特征在于，包括：

获取原始点云数据；

对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；

根据所述二维投影平面结构得到若干二维图信息；

对所述若干二维图信息进行编码，得到码流信息。

2.根据权利要求1所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构，包括：

初始化二维投影平面结构；

确定所述原始点云数据与所述二维投影平面结构的映射关系，以将所述原始点云数据投影到所述二维投影平面结构上。

3.根据权利要求1所述的基于二维规则化平面投影的点云编码方法，其特征在于，所述若干二维图信息包括几何信息图，所述几何信息图包括占位信息图、深度信息图、投影残差信息图以及坐标转换误差信息图。

4.根据权利要求3所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述若干二维图信息进行编码，得到码流信息，包括：

对所述占位信息图、所述深度信息图、所述投影残差信息图以及所述坐标转换误差信息图进行编码，分别得到占位信息码流、深度信息码流、投影残差信息码流以及坐标转换误差信息码流；

根据所述占位信息码流、所述深度信息码流、所述投影残差信息码流以及所述坐标转换误差信息码流得到几何信息码流。

5.根据权利要求4所述的基于二维规则化平面投影的点云编码方法，其特征在于，在得到几何信息码流之后还包括：

根据所述几何信息码流进行几何重建，得到重建后的点云几何信息；

基于重建后的点云几何信息对所述原始点云数据的属性信息进行编码，得到属性信息码流。

6.根据权利要求3所述的基于二维规则化平面投影的点云编码方法，其特征在于，所述若干二维图信息还包括属性信息图。

7.根据权利要求6所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述若干二维图信息进行编码，得到码流信息，还包括：

对所述属性信息图进行编码，得到属性信息码流。

8.一种基于二维规则化平面投影的点云编码装置，其特征在于，包括：

第一数据获取模块(11)，用于获取原始点云数据；

投影模块(12)，用于对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；

数据处理模块(13)，用于根据所述二维投影平面结构得到若干二维图信息；

编码模块(14)，用于对所述若干二维图信息进行编码，得到码流信息。

9.一种基于二维规则化平面投影的点云解码方法，其特征在于，包括：

获取码流信息并进行解码，得到解析数据；

根据所述解析数据重构若干二维图信息；

根据所述若干二维图信息得到二维投影平面结构；

利用所述二维投影平面结构重建点云。

10.一种基于二维规则化平面投影的点云解码装置，其特征在于，包括：

第二数据获取模块(21)，用于获取码流信息并进行解码，得到解析数据；

第一重构模块(22)，用于根据所述解析数据重构若干二维图信息；

第二重构模块(23)，用于根据所述若干二维图信息得到二维投影平面结构；

点云重建模块(24)，用于利用所述二维投影平面结构重建点云。

Images