CN114915792B - 基于二维规则化平面投影的点云编解码方法及装置 - Google Patents

基于二维规则化平面投影的点云编解码方法及装置 Download PDF

Info

Publication number
CN114915792B
CN114915792B CN202110171905.5A CN202110171905A CN114915792B CN 114915792 B CN114915792 B CN 114915792B CN 202110171905 A CN202110171905 A CN 202110171905A CN 114915792 B CN114915792 B CN 114915792B
Authority
CN
China
Prior art keywords
dimensional
depth information
point cloud
information
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110171905.5A
Other languages
English (en)
Other versions
CN114915792A (zh
Inventor
杨付正
张伟
于有光
杜雨欣
孙泽星
陈天
张可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110171905.5A priority Critical patent/CN114915792B/zh
Priority to US18/032,414 priority patent/US20230396800A1/en
Priority to PCT/CN2022/075409 priority patent/WO2022166967A1/zh
Priority to EP22749246.9A priority patent/EP4207762A4/en
Publication of CN114915792A publication Critical patent/CN114915792A/zh
Application granted granted Critical
Publication of CN114915792B publication Critical patent/CN114915792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于二维规则化平面投影的点云编解码方法及装置，编码方法包括：获取原始点云数据；对原始点云数据进行二维规则化平面投影，得到二维投影平面结构；根据二维投影平面结构得到若干二维图信息；对若干二维图信息进行编码，得到码流信息。本发明通过二维规则化平面投影技术得到点云在二维投影平面结构上的强相关性表示，从而更好的体现了点云的空间相关性，使得后续在对二维规则化投影平面结构所得到的深度信息图进行编码时，能够极大地利用点云的空间相关性，提升点云的编码效率；同时在对深度信息图进行编码时，利用了占位信息图进行辅助，进一步提升了编码效率。

Description

基于二维规则化平面投影的点云编解码方法及装置
技术领域
本发明属于编解码技术领域，具体涉及一种基于二维规则化平面投影的点云编解码方法及装置。
背景技术
随着硬件处理能力的提升和计算机视觉的飞速发展，三维点云成为继音频、图像、视频之后的新一代沉浸式多媒体，被广泛的应用于虚拟现实、增强现实、自动驾驶和环境建模等。然而三维点云通常具有较大的数据量，十分不利于点云数据的传输及存储，因此研究高效的点云编解码技术具有重要意义。
在现有的基于几何的点云压缩编码(G-PCC,Geometry-based Point CloudCompression)框架中，点云的几何信息和属性信息是分开进行编码的。目前G-PCC的几何编解码可分为基于八叉树的几何编解码和基于预测树的几何编解码。
基于八叉树的几何编解码：在编码端，首先，对点云的几何信息进行预处理，这包括点云的坐标转换和体素化过程。然后，按照广度优先遍历的顺序不断对点云所在的包围盒进行树划分(八叉树/四叉树/二叉树)。最后，对每个节点的占位码进行编码，并编码每个叶子节点中包含的点数，生成二进制码流。在解码端，首先按照广度优先遍历的顺序，不断解析得到每个节点的占位码。然后，依次不断进行树划分，直至划分得到1x1x1的单位立方体时停止划分。最后，解析得到每个叶子节点中包含的点数，最终得到重构的点云几何信息。
基于预测树的几何编解码：在编码端，首先对输入点云进行排序。然后，建立预测树结构，通过将每个点归类到所属的激光扫描器上，并按照不同的激光扫描器建立预测树结构。接下来，遍历预测树中的每个节点，通过选取不同的预测模式对节点的几何信息进行预测得到预测残差，并利用量化参数对预测残差进行量化。最后，对预测树结构、量化参数以及节点几何信息的预测残差等进行编码，生成二进制码流。在解码端，首先解析码流，其次重构预测树结构，然后通过解析得到的每个节点的几何信息预测残差以及量化参数，对预测残差进行反量化，最终恢复得到每个节点的重构几何信息，即完成了点云几何信息的重建。
然而，由于点云具有较强的空间稀疏性，对于使用八叉树结构的点云编码技术而言，该结构会导致划分得到的空节点占比较高，且无法充分体现点云的空间相关性，从而不利于点云的预测及熵编码。基于预测树的点云编解码技术利用激光雷达设备的部分参数来建立树结构，在此基础上利用树结构进行预测编码，然而该树结构并未充分体现点云的空间相关性，从而不利于点云的预测及熵编码。因而，上述两种点云编解码技术均存在编码效率不够高的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于二维规则化平面投影的点云编解码方法及装置。本发明要解决的技术问题通过以下技术方案实现：
一种基于二维规则化平面投影的点云编码方法，包括：
获取原始点云数据；
对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
根据所述二维投影平面结构得到若干二维图信息；
对所述若干二维图信息进行编码，得到码流信息。
在本发明的一个实施例中，所述若干二维图信息包括深度信息图。
在本发明的一个实施例中，对所述若干二维图信息进行编码，得到码流信息，包括：
对所述深度信息图进行编码，得到深度信息码流。
在本发明的一个实施例中，对所述深度信息图进行编码，得到深度信息码流，包括：
基于占位信息图对所述深度信息图中的像素进行预测，得到预测残差；或者
基于已编解码像素的重建深度信息对所述深度信息图中的像素进行预测，得到预测残差；
对所述预测残差进行编码，得到深度信息码流。
在本发明的一个实施例中，在对所述深度信息图进行编码之前，还包括：
按照预设的顺序遍历所述深度信息图，并在当前像素为空像素时对该空像素进行深度信息填充。
在本发明的一个实施例中，基于占位信息图对所述深度信息图中的像素进行预测，得到预测残差，包括：
按照一定的扫描顺序遍历所述深度信息图中的像素；
根据占位信息图确定当前像素是否非空，并利用已编解码的非空像素的重建深度信息对当前非空像素的深度信息进行预测，得到预测残差。
本发明的另一个实施例还提供了一种基于二维规则化平面投影的点云编码装置，包括：
第一数据获取模块，用于获取原始点云数据；
投影模块，用于对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块，用于根据所述二维投影平面结构得到若干二维图信息；
编码模块，用于对所述若干二维图信息进行编码，得到码流信息。
本发明的又一个实施例还提供了一种基于二维规则化平面投影的点云解码方法，包括：
获取码流信息并进行解码，得到解析数据；
根据所述解析数据重构若干二维图信息；
根据所述若干二维图信息得到二维投影平面结构；
利用所述二维投影平面结构重建点云。
在本发明的一个实施例中，根据所述解析数据重构若干二维图信息，包括：
根据所述解析数据中的深度信息图的预测残差对深度信息图进行重构，得到重构的深度信息图。
本发明的再一个实施例还提供了一种基于二维规则化平面投影的点云解码装置，包括：
第二数据获取模块，用于获取码流信息并进行解码，得到解析数据；
第一重构模块，用于根据所述解析数据重构若干二维图信息；
第二重构模块，用于根据所述若干二维图信息得到二维投影平面结构；
点云重建模块，用于利用所述二维投影平面结构重建点云。
本发明的有益效果：
1、本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而避免了三维表示结构中存在的稀疏性，又更好的体现了点云的空间相关性；使得后续在对二维规则化投影平面结构所得到的若干二维图信息进行编码时，能够极大地利用点云的空间相关性，减小空间冗余，从而进一步提升点云的编码效率；
2、本发明利用了占位信息图辅助深度信息图进行编码，提升了编码效率；
3、本发明还可利用深度信息图辅助其他二维图进行编码，以提升编码效率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于二维规则化平面投影的点云编码方法示意图；
图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图；
图3是本发明实施例提供的点云的二维投影平面结构示意图；
图4是本发明实施例提供的一种深度信息图的编码框图；
图5是本发明实施例提供的空像素深度信息的填充示意图；
图6是本发明实施例提供的像素深度信息的预测示意图；
图7是本发明实施例提供的深度信息预测残差的熵编码流程图；
图8是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图；
图9是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图；
图10是本发明实施例提供的深度信息图的解码框图；
图11是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的基于二维规则化平面投影的点云编码方法示意图，包括：
S1：获取原始点云数据。
具体地，原始点云数据通常由一组三维空间点组成，每个空间点都记录了自身的几何位置信息，以及颜色、反射率、法线等额外的属性信息。其中，点云的几何位置信息一般是基于笛卡尔坐标系进行表示的，即利用点的x，y，z坐标进行表示。原始点云数据可通过3D扫描设备例如激光雷达等获取，也可通过各种平台提供的公共数据集获得。在本实施例中，设获取到的原始点云数据的几何位置信息基于笛卡尔坐标系进行表示。需要说明的是，原始点云数据的几何位置信息的表示方法不限于笛卡尔坐标。
S2：对原始点云数据进行二维规则化平面投影，得到二维投影平面结构。
具体的，在本实施例中，在对原始点云进行二维规则化平面投影之前，还可以对原始点云数据进行预处理，如体素化处理等，以方便后续编码。
首先，初始化二维投影平面结构。
初始化点云的二维规则化投影平面结构需要利用规则化参数。规则化参数通常由制造厂商进行精细测定并作为必备的数据之一提供给消费者，例如激光雷达的采集范围，水平方位角的采样角分辨率或采样点数，以及每个激光扫描器的距离校正因子、激光扫描器沿垂直方向和水平方向的偏移信息Vo和Ho、激光扫描器沿俯仰角和水平方位角的偏移信息θ0和α。
需要说明的是，规则化参数不限于以上给出的这些参数，其可以利用给定的激光雷达的标定参数，也可以在激光雷达的标定参数没有给定的情况下，通过优化估计、数据拟合等方式得到。
点云的二维规则化投影平面结构为一个包含M行、N列像素的数据结构，三维点云中的点经过投影后与该数据结构中的像素对应。并且该数据结构中的像素(i,j)可与柱面坐标分量(θ,φ)相关联，如可利用以下公式找到柱面坐标(r,θ,φ)对应的像素(i,j)。
具体地，请参见图2，图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图。
需要说明的是，此处像素的对应并不限于柱面坐标。
进一步地，二维规则化投影平面的分辨率可由规则化参数获得，如假设二维规则化投影平面的分辨率为M×N，则可利用规则化参数中激光扫描器的个数来初始化M，并利用水平方位角的采样角分辨率(或者激光扫描器的采样点数)来初始化N，例如可采用如下公式，最终即可完成二维投影平面结构的初始化，得到一个包含M×N个像素的平面结构。
M＝laserNum；
或N＝pointNumPerLaser。
其次，确定原始点云数据与二维投影平面结构的映射关系，以将原始点云数据投影到二维投影平面结构上。
该部分通过逐点判断原始点云在二维投影平面结构中的位置，将原本在笛卡尔坐标系下杂乱分布的点云映射至均匀分布的二维规则化投影平面结构中。具体的，针对原始点云中的每一个点，在二维投影平面结构中确定对应的像素，例如可选择与点在二维平面中投影位置空间距离最小的像素作为该点的对应像素。
若利用柱面坐标系进行二维投影，则确定原始点云对应像素的具体流程如下：
a.确定原始点云数据中当前点的柱面坐标分量r，具体的，利用以下公式进行计算：
b.确定当前点在二维投影平面结构中的搜索区域。具体的，可选择直接将整个二维投影平面结构作为搜索区域，进一步的，为了减小计算量，还可通过当前点的柱面坐标分量俯仰角θ和方位角φ来确定对应像素在二维投影平面结构中的搜索区域，以减小搜索区域。
c.确定搜索区域后，对其中的每个像素(i,j)，利用规则化参数即激光雷达第i个激光扫描器的标定参数θ0、Vo、Ho和α，计算当前像素在笛卡尔坐标系中的位置(xl,yl,zl)，具体计算公式如下：
θi＝θ0
xl＝r·sin(φj-α)-Ho·cos(φj-α)
yl＝r·cos(φj-α)+Ho·sin(φj-α)
zl＝r·tanθi+Vo
d.得到当前像素在笛卡尔坐标系中的位置(xl,yl,zl)后，计算其与当前点(x,y,z)之间的空间距离并将其作为误差Err，即：
Err＝dist{(x,y,z),(xl,yl,zl)}
若该误差Err小于当前最小误差minErr，则用其更新最小误差minErr，并用当前像素对应的i和j更新当前点所对应像素的i和j；若该误差Err大于最小误差minErr，则不进行以上更新过程。
e.当搜索区域内的所有像素均被遍历完成后，即可确定当前点在二维投影平面结构中的对应像素(i,j)。
当原始点云中的所有点均完成上述操作后，即完成了点云的二维规则化平面投影。具体地，请参见图3，图3是本发明实施例提供的点云的二维投影平面结构示意图，其中，原始点云数据中的每个点均被映射至该结构中的对应像素。
需要说明的是，在点云的二维规则化平面投影过程中，可能会出现点云中的多个点对应到二维投影平面结构中的同一像素。若要避免这种情况发生，可选择在投影时将这些空间点投影到不同的像素中，例如，对某一点进行投影时，若其对应的像素中已有对应点，则将该点投影至该像素的邻近空像素中。此外，若点云中的多个点已投影到二维投影平面结构中的同一像素，则在基于二维投影平面结构进行编码时，应额外编码每个像素中的对应点数，并根据该点数对像素中的每个对应点信息进行编码。
S3：根据二维投影平面结构得到若干二维图信息。
在本实施例中，若干二维图信息包括深度信息图。
具体地，深度信息图用来表示二维规则化投影平面结构中每个被占据像素的对应点与坐标原点之间的距离。如可采用该像素对应点的柱面坐标r分量作为该像素的深度。假设像素对应点的笛卡尔坐标为(x,y,z)，则利用公式可得该点的柱面坐标r分量即像素的深度。基于此，二维规则化投影平面结构中每个被占据的像素都会有一个深度值，从而得到对应的深度信息图。
S4：对若干二维图信息进行编码，得到码流信息。
相应的，对若干二维图信息进行编码，得到码流信息包括：对深度信息图进行编码，得到深度信息码流。具体需要先对深度信息图进行预测，得到深度信息的预测残差，然后对该预测残差进行编码。
在本实施例中，可利用占位信息图和已编解码像素的重建深度信息对深度信息图中的像素进行预测，得到预测残差，然后对残差进行编码，得到深度信息码流。其中，占位信息图用来标识二维规则化投影平面结构中每个像素是否被占据，即每个像素是否与点云中的点相对应，若被占据，则称该像素非空，否则，称该像素为空。如可采用0和1进行表示，1：代表当前像素被占用；0：代表当前像素没有被占用，其可由点云的二维投影平面结构直接得到。
请参见图4，图4是本发明实施例提供的一种深度信息图的编码框图，具体包括：
41)填充空像素的深度信息。
进一步地，由于空像素是不被占据的，因此点云中没有与该类像素对应的点，因此该像素没有对应的深度信息，此时可选择是否对空像素的深度信息进行填充，为其添加深度信息，从而可以更加方便的进行像素深度信息的预测或利用视频/图像编解码方法对深度信息图进行变换和压缩。
具体地，按照预设的顺序遍历深度信息图，例如Z字形，利用占位信息图判断当前像素是否为空像素，然后对每个空像素进行深度信息填充，当遍历到当前空像素时，该空像素之前的像素均已具备深度信息，因此可利用以下公式对当前空像素相邻区域像素的深度信息进行线性拟合，得到当前像素的深度信息，并将该深度信息作为当前空像素填充的深度信息R_cur。
其中Ri(i＝1,2...N)代表相邻区域内像素的深度信息，N为当前像素相邻区域内用于参考的像素个数。最终，当遍历并处理完深度信息图中的每个像素后，即得到填充后的深度信息图。请参见图5，图5是本发明实施例提供的空像素深度信息的填充示意图，其中，代表当前空像素，○代表当前像素相邻区域可用于参考的像素。
42)预测像素深度信息
编码像素的深度信息前，需对当前像素的深度信息进行预测，可利用占位信息图和已编解码像素的重建深度信息来预测当前像素的深度信息。
可采用的预测方法如：对当前像素相邻区域内已处理像素的深度信息进行平均作为当前像素深度信息的预测值。
具体的，可按照某种扫描顺序遍历深度信息图中的像素，如Z字扫描，然后根据占位信息图确定当前像素是否非空，接下来对每个非空像素的深度信息进行预测。如图6所示，图6是本发明实施例提供的像素深度信息的预测示意图。其中，☆代表当前非空像素，○代表当前像素相邻区域可用于参考的像素。
在对当前像素的深度信息进行预测时，可利用当前像素相邻区域即图6中虚线框内像素的深度信息插值出当前像素深度信息的预测值R_pred，预测值的计算公式如下：
其中，Ri(i＝1,2...M)代表当前像素相邻区域像素的深度信息，M为该相邻区域内的像素数目。得到当前像素深度信息的预测值后，计算当前像素原始深度信息和预测深度信息的差值，即得到当前像素深度信息的预测残差。
本发明在进行深度信息编码时，利用了占位信息图辅助深度信息图的预测，进而提升了编码效率。
在本发明的另一个实施例中，还可以采用传统的编码方法，直接根据已编解码像素的重建深度信息对深度信息图中的像素进行预测，得到预测残差。
此外，还可以通过率失真优化模型在若干预设的预测模式中选取最优的预测模式对深度信息图中的像素进行预测，得到预测残差。
例如，可以设置六种预测模式如下：
Mode0：直接模式，不预测直接压缩；
Mode1：向左预测，使用左侧的像素作为参考像素；
Mode2：向上预测，使用上方的像素作为参考像素；
Mode3；左上方预测，使用左上方的像素作为参考像素；
Mode4：右上方预测，使用右上方的像素作为参考像素；
Mode5：使用左侧、上方、左上方、右上方的像素作为参考像素。
通过率失真模型选择其中最优的一种模式进行预测，得到预测残差。
43)对预测残差进行编码，得到深度信息码流。
在完成深度信息的预测之后，需要对预测残差进行编码。需要说明的是，当对深度信息图进行有损编码时，需对深度信息的预测残差进行量化，之后再进行编码。当对深度信息图进行无损编码时，则不需要对预测残差进行量化。
具体的，本实施例采用基于上下文的熵编码方式来实现，例如可利用图7所示的熵编码流程对预测残差进行编码。具体的编码过程如下：
a.首先，判断当前像素深度信息的预测残差是否为0，如果为0，则对该0标识进行编码，并且不进行后续编码；
b.否则，判断当前像素深度信息的预测残差是否为1，如果为1，则对该1标识进行编码，并且不进行后续的编码；
c.否则，对当前预测残差值减2，然后判断预测残差是否大于一定阈值，如果小于一定阈值，那么对当前预测残差设计上下文模型；否则采用如下的方式进行编码：
对小于阈值部分的预测残差信息设计上下文进行编码；
对大于阈值部分的预测残差信息进行指数哥伦布编码。
至此，完成深度信息图的编码。
此外，在本发明的另一个实施例中，若对深度信息图进行了填充，则还可以使用图像\视频压缩方式对深度信息图进行编码，此处可使用的编码方案包含但不限于：JPEG、JPEG2000、HEIF、H.264\AVC、H.265\HEVC等。
在本发明的另一个实施例中，还可以对根据二维投影平面结构得到的其他信息图，例如占位信息图、投影残差信息图、坐标转换误差信息图、以及属性信息图等进行编码，得到对应的码流信息。
本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而避免了三维表示结构中存在的稀疏性，又更好的体现了点云的空间相关性；使得后续在对二维规则化投影平面结构所得到的深度信息图及其他二维图信息进行编码时，能够极大地利用点云的空间相关性，减小空间冗余，从而进一步提升点云的编码效率。
实施例二
在上述实施例一的基础上，本实施例提供了一种基于二维规则化平面投影的点云编码装置，请参见图8，图8是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图，其包括：
第一数据获取模块11，用于获取原始点云数据；
投影模块12，用于对原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块13，用于根据二维投影平面结构得到若干二维图信息；
编码模块14，用于对若干二维图信息进行编码，得到码流信息。
本实施例提供的编码装置可以实现上述实施例一所述的编码方法，详细过程在此不再赘述。
实施例三
请参见图9，图9是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图，该方法包括：
步骤1：获取码流信息并进行解码，得到解析数据；
解码端获取压缩的码流信息，并采用与编码端相应的现有熵解码技术对码流信息进行相应的解码，得到解析后的数据。
具体的解码过程如下：
a.首先，解析当前像素深度信息的预测残差是否为0，如果为0，则当前像素的预测残差为0，并且不进行后续解码；
b.否则，解析当前像素深度信息的预测残差是否为1，如果为1，则当前像素的预测残差为1，并且不进行后续的解码；
c.否则，对当前预测残差设计相应的上下文模型进行解码，然后判断解析得到的预测残差是否大于一定阈值，如果小于一定阈值，那么不进行后续解码；否则利用指数哥伦布解码方式解码大于阈值部分的预测残差值。最终对预测残差值加2作为最终解析得到的深度信息的预测残差。
需要说明的是，若编码端对深度信息的预测残差进行了量化，则此处需对解析出的预测残差进行反量化。
步骤2：根据解析数据重构若干二维图信息。
在本实施例中，步骤2可以包括：
根据解析数据中的深度信息图的预测残差对深度信息图进行重构，得到重构的深度信息图。
具体地，由于在编码端，若干二维图信息可以包括深度信息图，也即对深度信息图进行了编码，相应的，解码端的码流信息也包括深度信息码流。更具体地，码流信息通过解码得到的解析数据包括深度信息的预测残差。
由于编码端在上述实施例一中采用了某种扫描顺序遍历深度信息图中的像素并对其中非空像素的深度信息进行编码，那么解码端所得到的像素深度信息的预测残差同样是按照此种顺序，且解码端可通过规则化参数获得深度信息图的分辨率，具体参见实施例一中S2初始化二维投影平面结构部分。因此，解码端根据深度信息图的分辨率和占位信息图可获知当前待重构像素在二维图中的位置。
请参见图10，图10是本发明实施例提供的深度信息图的解码框图。若编码端对空像素的深度信息进行了填充，则解码端同样的利用占位信息图和已编解码的重建深度信息对当前空像素的深度信息进行线性拟合并填充。其次，根据占位信息图和已编解码像素的重建深度信息对当前待重构像素的深度信息进行预测，即与编码端的预测方法一致，利用当前待重构像素相邻区域像素的深度信息插值出当前待重构像素深度信息的预测值，然后根据得到的预测值和解析出来的预测残差重建当前像素的深度信息。当重构完所有像素的深度信息后，即得到重构的深度信息图。
步骤3：根据若干二维图信息得到二维投影平面结构；
由于二维投影平面结构的分辨率与深度信息图一致，且深度信息图已被重构，因此可知二维投影平面结构中每个非空像素的深度信息，从而得到重构的二维投影平面结构。
步骤4：利用二维投影平面结构重建点云。
按照某一扫描顺序遍历重构的二维投影平面结构中的像素，可知每个非空像素的深度信息。若当前像素(i,j)为非空，且知其深度信息为r，则利用其它信息，如坐标转换误差信息等，重构该像素对应的空间点(x,y,z)。具体的，当前像素(i,j)的对应位置可表示为(φj,i)，那么可利用规则化参数和以下公式将当前像素逆投影回笛卡尔坐标系，得到对应的笛卡尔坐标(xl,yl,zl)：
θi＝θ0
xl＝r·sin(φj-α)-Ho·cos(φj-α)
yl＝r·cos(φj-α)+Ho·sin(φj-α)
zl＝r·tanθi+Vo
接下来利用其他信息，如坐标转换误差信息(Δx,Δy,Δz)来重建当前像素对应的空间点(x,y,z)，即(x,y,z)＝(xl,yl,zl)+(Δx,Δy,Δz)。最后根据以上计算即可对二维投影结构中的每个非空像素重构其对应的空间点，从而得到重建点云。
实施例四
在上述实施例三的基础上，本实施例提供了一种基于二维规则化平面投影的点云解码装置，请参见图11，图11是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图，其包括：
第二数据获取模块21，用于获取码流信息并进行解码，得到解析数据；
第一重构模块22，用于根据解析数据重构若干二维图信息；
第二重构模块23，用于根据若干二维图信息得到二维投影平面结构；
点云重建模块24，用于利用二维投影平面结构重建点云。
本实施例提供的解码装置可以实现上述实施例五所述的解码方法，详细过程在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (16)

1.一种基于二维规则化平面投影的点云编码方法，其特征在于，包括：
获取原始点云数据；所述原始点云数据是通过激光雷达获得的点云数据；
对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
根据所述二维投影平面结构得到若干二维图信息；所述若干二维图信息包括深度信息图和占位信息图；
基于所述占位信息图对所述深度信息图中的像素进行编码，得到深度信息码流；
所述基于所述占位信息图对所述深度信息图中的像素进行编码，得到深度信息码流，包括：
基于所述占位信息图对所述深度信息图中的像素进行预测，得到预测残差；对所述预测残差进行编码，得到深度信息码流。
2.根据权利要求1所述的基于二维规则化平面投影的点云编码方法，其特征在于，根据所述二维投影平面结构得到若干二维图信息；所述若干二维图信息还包括坐标转换误差信息，所述坐标转换误差信息用于在重建原始点云数据时减小坐标转换误差。
3.根据权利要求1所述的基于二维规则化平面投影的点云编码方法，其特征在于，在对所述深度信息图进行编码之前，还包括：
按照预设的顺序遍历所述深度信息图，并在当前像素为空像素时对该空像素进行深度信息填充。
4.根据权利要求1所述的基于二维规则化平面投影的点云编码方法，其特征在于，基于占位信息图对所述深度信息图中的像素进行预测，得到预测残差，包括：
按照一定的扫描顺序遍历所述深度信息图中的像素；
根据占位信息图确定当前像素是否非空，并利用已编解码的非空像素的重建深度信息对当前非空像素的深度信息进行预测，得到预测残差。
5.根据权利要求1所述的基于二维规则化平面投影的点云编码方法，其特征在于，所述基于所述占位信息图对所述深度信息图中的像素进行编码，得到深度信息码流，还包括：
基于已编解码像素的重建深度信息对所述深度信息图中的像素进行预测，得到预测残差；
对所述预测残差进行编码，得到深度信息码流。
6.根据权利要求1或5所述的基于二维规则化平面投影的点云编码方法，其特征在于，
通过在若干预设的预测模式中选取最优的预测模式对深度信息图中的像素进行预测，得到预测残差。
7.根据权利要求1或5所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述预测残差进行编码，得到深度信息码流，具体包括：
判断当前像素深度信息的预测残差是否为0，如果为0，则对该0标识进行编码。
8.根据权利要求7所述的基于二维规则化平面投影的点云编码方法，其特征在于，判断当前像素深度信息的预测残差是否为0，若所述预测残差不为0，则判断当前像素深度信息的预测残差是否为1，如果为1，则对该1标识进行编码，并且不进行后续的编码。
9.一种基于二维规则化平面投影的点云编码装置，其特征在于，包括：
第一数据获取模块(11)，用于获取原始点云数据；所述原始点云数据是通过激光雷达获得的点云数据；
投影模块(12)，用于对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块(13)，用于根据所述二维投影平面结构得到若干二维图信息；所述若干二维图信息包括深度信息图和占位信息图；
编码模块(14)，用于基于所述占位信息图对所述深度信息图中的像素进行预测，得到预测残差；对所述预测残差进行编码，得到深度信息码流。
10.一种基于二维规则化平面投影的点云解码方法，其特征在于，包括：
获取码流信息并进行解码，得到解析数据；所述码流信息为深度信息码流，所述解析数据包括深度信息图中的像素；
根据所述解析数据重构若干二维图信息；所述若干二维图信息包括所述深度信息图和占位信息图；
根据所述若干二维图信息得到二维投影平面结构；
利用所述二维投影平面结构重建点云；
根据所述解析数据重构若干二维图信息，包括：
根据所述解析数据中的深度信息图的预测残差对深度信息图进行重构，得到重构的深度信息图。
11.根据权利要求10所述的基于二维规则化平面投影的点云解码方法，其特征在于，根据所述解析数据重构若干二维图信息；所述若干二维图信息还包括坐标转换误差信息，所述坐标转换误差信息用于在重建原始点云数据时减小坐标转换误差。
12.根据权利要求10所述的基于二维规则化平面投影的点云解码方法，其特征在于，获取码流信息并进行解码，得到解析数据包括：
判断解析当前像素深度信息的预测残差是否为0，如果预测残差为0，则当前像素的预测残差为0。
13.根据权利要求12所述的基于二维规则化平面投影的点云解码方法，其特征在于，
判断解析当前像素深度信息的预测残差是否为0，如果预测残差不为0，则判断解析当前像素深度信息的预测残差是否为1，如果为1，则当前像素的预测残差为1，并且不进行后续的解码。
14.根据权利要求10所述的基于二维规则化平面投影的点云解码方法，其特征在于，获取码流信息并进行解码，得到解析数据包括：
利用占位信息图和已编解码的重建深度信息对当前空像素的深度信息进行线性拟合并填充。
15.根据权利要求10所述的基于二维规则化平面投影的点云解码方法，其特征在于，根据所述解析数据中的深度信息图的预测残差对深度信息图进行重构，得到重构的深度信息图，包括：
根据占位信息图和已编解码像素的重建深度信息预测当前待重构像素的深度信息的预测值；
根据得到的预测值和解析出来的预测残差重建当前像素的深度信息。
16.一种基于二维规则化平面投影的点云解码装置，其特征在于，包括：
第二数据获取模块(21)，用于获取码流信息并进行解码，得到解析数据；所述码流信息为深度信息码流，所述解析数据包括深度信息图中的像素；
第一重构模块(22)，用于根据所述解析数据重构若干二维图信息；所述若干二维图信息包括所述深度信息图和占位信息图；
第二重构模块(23)，用于根据所述若干二维图信息得到二维投影平面结构；
点云重建模块(24)，用于利用所述二维投影平面结构重建点云；
所述第一重构模块(22)，具体用于根据所述解析数据中的深度信息图的预测残差对深度信息图进行重构，得到重构的深度信息图。
CN202110171905.5A 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置 Active CN114915792B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110171905.5A CN114915792B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置
US18/032,414 US20230396800A1 (en) 2021-02-08 2022-02-07 Point cloud encoding and decoding method and device based on two-dimensional regularization plane projection
PCT/CN2022/075409 WO2022166967A1 (zh) 2021-02-08 2022-02-07 基于二维规则化平面投影的点云编解码方法及装置
EP22749246.9A EP4207762A4 (en) 2021-02-08 2022-02-07 METHOD AND DEVICE FOR POINT CLOUD ENCODING/DECODING BASED ON TWO-DIMENSIONAL REGULARIZATION PLANE PROJECTION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171905.5A CN114915792B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Publications (2)

Publication Number Publication Date
CN114915792A CN114915792A (zh) 2022-08-16
CN114915792B true CN114915792B (zh) 2024-05-07

Family

ID=82742017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171905.5A Active CN114915792B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Country Status (4)

Country Link
US (1) US20230396800A1 (zh)
EP (1) EP4207762A4 (zh)
CN (1) CN114915792B (zh)
WO (1) WO2022166967A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065408A1 (zh) * 2022-09-29 2024-04-04 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3614672A1 (en) * 2018-08-23 2020-02-26 InterDigital VC Holdings, Inc. A method and apparatus for encoding/decoding a point cloud representing a 3d object
WO2020187140A1 (en) * 2019-03-15 2020-09-24 Mediatek Inc. Method and apparatus of patch segmentation for video-based point cloud coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708529B (zh) * 2018-07-09 2020-08-14 上海交通大学 动态点云投影压缩方法、系统、装置及介质
US10929995B2 (en) * 2019-06-24 2021-02-23 Great Wall Motor Company Limited Method and apparatus for predicting depth completion error-map for high-confidence dense point-cloud

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3614672A1 (en) * 2018-08-23 2020-02-26 InterDigital VC Holdings, Inc. A method and apparatus for encoding/decoding a point cloud representing a 3d object
WO2020187140A1 (en) * 2019-03-15 2020-09-24 Mediatek Inc. Method and apparatus of patch segmentation for video-based point cloud coding

Also Published As

Publication number Publication date
EP4207762A4 (en) 2024-04-17
US20230396800A1 (en) 2023-12-07
EP4207762A1 (en) 2023-07-05
CN114915792A (zh) 2022-08-16
WO2022166967A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
US11375208B2 (en) Trisoup node size per slice
EP3942830A1 (en) Methods and devices for predictive point cloud attribute coding
WO2022166963A1 (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915792B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915793B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915790B (zh) 面向大规模点云的二维规则化平面投影及编解码方法
CN114915791B (zh) 基于二维规则化平面投影的点云序列编解码方法及装置
CN114915796B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915794B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN118103731A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant