CN114915793B - 基于二维规则化平面投影的点云编解码方法及装置 - Google Patents

基于二维规则化平面投影的点云编解码方法及装置 Download PDF

Info

Publication number
CN114915793B
CN114915793B CN202110171969.5A CN202110171969A CN114915793B CN 114915793 B CN114915793 B CN 114915793B CN 202110171969 A CN202110171969 A CN 202110171969A CN 114915793 B CN114915793 B CN 114915793B
Authority
CN
China
Prior art keywords
information
coordinate conversion
dimensional
conversion error
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110171969.5A
Other languages
English (en)
Other versions
CN114915793A (zh
Inventor
杨付正
张伟
陈天
杜雨欣
孙泽星
于有光
张可
宋佳润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110171969.5A priority Critical patent/CN114915793B/zh
Priority to EP22749247.7A priority patent/EP4236322A4/en
Priority to US18/036,493 priority patent/US20240013444A1/en
Priority to PCT/CN2022/075410 priority patent/WO2022166968A1/zh
Publication of CN114915793A publication Critical patent/CN114915793A/zh
Application granted granted Critical
Publication of CN114915793B publication Critical patent/CN114915793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于二维规则化平面投影的点云编解码方法及装置，编码方法包括：获取原始点云数据；对原始点云数据进行二维规则化平面投影，得到二维投影平面结构；根据二维投影平面结构得到若干二维图信息；对若干二维图信息进行编码，得到码流信息。本发明通过二维规则化平面投影技术得到点云在二维投影平面结构上的强相关性表示，从而更好的体现了点云的空间相关性，使得后续在对二维规则化投影平面结构所得到的坐标转换误差信息图进行编码时，能够极大地利用点云的空间相关性，提升点云了的编码效率；同时在对坐标转换误差信息图进行编码时，利用了占位信息图、深度信息图和投影残差信息图进行辅助，进一步提升了编码效率。

Description

基于二维规则化平面投影的点云编解码方法及装置
技术领域
本发明属于编解码技术领域，具体涉及一种基于二维规则化平面投影的点云编解码方法及装置。
背景技术
随着硬件处理能力的提升和计算机视觉的飞速发展，三维点云成为继音频、图像、视频之后的新一代沉浸式多媒体，被广泛的应用于虚拟现实、增强现实、自动驾驶和环境建模等。然而三维点云通常具有较大的数据量，十分不利于点云数据的传输及存储，因此研究高效的点云编解码技术具有重要意义。
在现有的基于几何的点云压缩编码(G-PCC,Geometry-based Point CloudCompression)框架中，点云的几何信息和属性信息是分开进行编码的。目前G-PCC的几何编解码可分为基于八叉树的几何编解码和基于预测树的几何编解码。
基于八叉树的几何编解码：在编码端，首先，对点云的几何信息进行预处理，这包括点云的坐标转换和体素化过程。然后，按照广度优先遍历的顺序不断对点云所在的包围盒进行树划分(八叉树/四叉树/二叉树)。最后，对每个节点的占位码进行编码，并编码每个叶子节点中包含的点数，生成二进制码流。在解码端，首先按照广度优先遍历的顺序，不断解析得到每个节点的占位码。然后，依次不断进行树划分，直至划分得到1x1x1的单位立方体时停止划分。最后，解析得到每个叶子节点中包含的点数，最终得到重构的点云几何信息。
基于预测树的几何编解码：在编码端，首先对输入点云进行排序。然后，建立预测树结构，通过将每个点归类到所属的激光扫描器上，并按照不同的激光扫描器建立预测树结构。接下来，遍历预测树中的每个节点，通过选取不同的预测模式对节点的几何信息进行预测得到预测残差，并利用量化参数对预测残差进行量化。最后，对预测树结构、量化参数以及节点几何信息的预测残差等进行编码，生成二进制码流。在解码端，首先解析码流，其次重构预测树结构，然后通过解析得到的每个节点的几何信息预测残差以及量化参数，对预测残差进行反量化，最终恢复得到每个节点的重构几何信息，即完成了点云几何信息的重建。
然而，由于点云具有较强的空间稀疏性，对于使用八叉树结构的点云编码技术而言，该结构会导致划分得到的空节点占比较高，且无法充分体现点云的空间相关性，从而不利于点云的预测及熵编码。基于预测树的点云编解码技术利用激光雷达设备的部分参数来建立树结构，在此基础上利用树结构进行预测编码，然而该树结构并未充分体现点云的空间相关性，从而不利于点云的预测及熵编码。因而，上述两种点云编解码技术均存在编码效率不够高的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于二维规则化平面投影的点云编解码方法及装置。本发明要解决的技术问题通过以下技术方案实现：
一种基于二维规则化平面投影的点云编码方法，包括：
获取原始点云数据；
对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
根据所述二维投影平面结构得到若干二维图信息；
对所述若干二维图信息进行编码，得到码流信息。
在本发明的一个实施例中，所述若干二维图信息包括坐标转换误差信息图。
在本发明的一个实施例中，对所述若干二维图信息进行编码，得到码流信息，包括：对所述坐标转换误差信息图进行编码，得到坐标转换误差信息码流。
在本发明的一个实施例中，对所述坐标转换误差信息图进行编码，得到坐标转换误差信息码流，包括：
基于占位信息图、深度信息图以及投影残差信息图对所述坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差；或者
基于已编解码像素的重建坐标转换误差信息对所述坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差；
对所述坐标转换误差的预测残差进行编码，得到坐标转换误差信息码流。
在本发明的一个实施例中，基于占位信息图、深度信息图以及投影残差信息图对所述坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差，包括：
按照一定的扫描顺序遍历所述坐标转换误差信息图中的像素，并根据占位信息图标识出当前非空像素相邻区域内已编解码的非空像素；
利用所述已编解码的非空像素建立深度信息与坐标转换误差信息之间的关系；同时，利用所述已编解码的非空像素建立投影残差信息与坐标转换误差信息之间的关系；
根据深度信息与坐标转换误差信息之间的关系和投影残差信息与坐标转换误差信息之间的关系，估计当前像素对应的坐标转换误差信息，得到当前像素坐标转换误差的估计值；
将上述估计值作为当前像素坐标转换误差的预测值，以得到当前像素坐标转换误差的预测残差。
在本发明的一个实施例中，对所述坐标转换误差信息图进行编码，得到坐标转换误差信息码流，还包括：
基于占位信息图、深度信息图以及投影残差信息图中的部分信息图对所述坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差。
对所述坐标转换误差的预测残差进行编码，得到坐标转换误差信息码流。
本发明的另一个实施例还提供了一种基于二维规则化平面投影的点云编码装置，包括：
第一数据获取模块，用于获取原始点云数据；
投影模块，用于对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块，用于根据所述二维投影平面结构得到若干二维图信息；
编码模块，用于对所述若干二维图信息进行编码，得到码流信息。
本发明的又一个实施例还提供了一种基于二维规则化平面投影的点云解码方法，包括：
获取码流信息并进行解码，得到解析数据；
根据所述解析数据重构若干二维图信息；
根据所述若干二维图信息得到二维投影平面结构；
利用所述二维投影平面结构重建点云。
在本发明的一个实施例中，根据所述解析数据重构若干二维图信息，包括：
根据所述解析数据中的坐标转换误差信息图的预测残差对坐标转换误差信息图进行重构，得到重构的坐标转换误差信息图。
本发明的再一个实施例还提供了一种基于二维规则化平面投影的点云解码装置，包括：
第二数据获取模块，用于获取码流信息并进行解码，得到解析数据；
第一重构模块，用于根据所述解析数据重构若干二维图信息；
第二重构模块，用于根据所述若干二维图信息得到二维投影平面结构；
点云重建模块，用于利用所述二维投影平面结构重建点云。
本发明的有益效果：
1、本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而避免了三维表示结构中存在的稀疏性，又更好的体现了点云的空间相关性；使得后续在对二维规则化投影平面结构所得到的坐标转换误差信息图进行编码时，能够极大地利用点云的空间相关性，减小空间冗余，从而进一步提升点云的编码效率；
2、本发明利用了占位信息图、深度信息图以及投影残差信息图辅助坐标转换误差信息图进行预测编码，提升了编码效率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于二维规则化平面投影的点云编码方法示意图；
图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图；
图3是本发明实施例提供的点云的二维投影平面结构示意图；
图4是本发明实施例提供的坐标转换误差信息图的编码框图；
图5是本发明实施例提供的坐标转换误差的预测示意图；
图6是本发明实施例提供的坐标转换误差的预测残差的熵编码流程图；
图7是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图；
图8是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图；
图9是本发明实施例提供的坐标转换误差信息图的解码框图；
图10是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的基于二维规则化平面投影的点云编码方法示意图，包括：
S1：获取原始点云数据。
具体地，原始点云数据通常由一组三维空间点组成，每个空间点都记录了自身的几何位置信息，以及颜色、反射率、法线等额外的属性信息。其中，点云的几何位置信息一般是基于笛卡尔坐标系进行表示的，即利用点的X，Y，Z坐标进行表示。原始点云数据可通过3D扫描设备例如激光雷达等获取，也可通过各种平台提供的公共数据集获得。在本实施例中，设获取到的原始点云数据的几何位置信息基于笛卡尔坐标系进行表示。需要说明的是，原始点云数据的几何位置信息的表示方法不限于笛卡尔坐标。
S2：对原始点云数据进行二维规则化平面投影，得到二维投影平面结构。
具体的，在本实施例中，在对原始点云进行二维规则化平面投影之前，还可以对原始点云数据进行预处理，如体素化处理等，以方便后续编码。
首先，初始化二维投影平面结构。
初始化点云的二维规则化投影平面结构需要利用规则化参数。规则化参数通常由制造厂商进行精细测定并作为必备的数据之一提供给消费者，例如激光雷达的采集范围，水平方位角的采样角分辨率或采样点数，以及每个激光扫描器的距离校正因子、激光扫描器沿垂直方向和水平方向的偏移信息Vo和Ho、激光扫描器沿俯仰角和水平方位角的偏移信息θ0和α。
需要说明的是，规则化参数不限于以上给出的这些参数，其可以利用给定的激光雷达的标定参数，也可以在激光雷达的标定参数没有给定的情况下，通过优化估计、数据拟合等方式得到。
点云的二维规则化投影平面结构为一个包含M行、N列像素的数据结构，三维点云中的点经过投影后与该数据结构中的像素对应。并且该数据结构中的像素(i,j)可与柱面坐标分量(θ,φ)相关联，如可利用以下公式找到柱面坐标(r,θ,φ)对应的像素(i,j)。
具体地，请参见图2，图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图。
需要说明的是，此处像素的对应并不限于柱面坐标。
进一步地，二维规则化投影平面的分辨率可由规则化参数获得，如假设二维规则化投影平面的分辨率为M×N，则可利用规则化参数中激光扫描器的个数来初始化M，并利用水平方位角的采样角分辨率(或者激光扫描器的采样点数)来初始化N，例如可采用如下公式，最终即可完成二维投影平面结构的初始化，得到一个包含M×N个像素的平面结构。
M＝laserNum；
或N＝pointNumPerLaser。
其次，确定原始点云数据与二维投影平面结构的映射关系，以将原始点云数据投影到二维投影平面结构上。
该部分通过逐点判断原始点云在二维投影平面结构中的位置，将原本在笛卡尔坐标系下杂乱分布的点云映射至均匀分布的二维规则化投影平面结构中。具体的，针对原始点云中的每一个点，在二维投影平面结构中确定对应的像素，例如可选择与点在二维平面中投影位置空间距离最小的像素作为该点的对应像素。
若利用柱面坐标系进行二维投影，则确定原始点云对应像素的具体流程如下：
a.确定原始点云数据中当前点的柱面坐标分量r，具体的，利用以下公式进行计算：
b.确定当前点在二维投影平面结构中的搜索区域。具体的，可选择直接将整个二维投影平面结构作为搜索区域，进一步的，为了减小计算量，还可通过当前点的柱面坐标分量俯仰角θ和方位角φ来确定对应像素在二维投影平面结构中的搜索区域，以减小搜索区域。
c.确定搜索区域后，对其中的每个像素(i,j)，利用规则化参数即激光雷达第i个激光扫描器的标定参数θ0、Vo、Ho和α，计算当前像素在笛卡尔坐标系中的位置(xl,yl,zl)，具体计算公式如下：
θi＝θ0
xl＝r·sin(φj-α)-Ho·cos(φj-α)
yl＝r·cos(φj-α)+Ho·sin(φj-α)
zl＝r·tanθi+Vo
d.得到当前像素在笛卡尔坐标系中的位置(xl,yl,zl)后，计算其与当前点(x,y,z)之间的空间距离并将其作为误差Err，即：
Err＝dist{(x,y,z),(xl,yl,zl)}
若该误差Err小于当前最小误差minErr，则用其更新最小误差minErr，并用当前像素对应的i和j更新当前点所对应像素的i和j；若该误差Err大于最小误差minErr，则不进行以上更新过程。
e.当搜索区域内的所有像素均被遍历完成后，即可确定当前点在二维投影平面结构中的对应像素(i,j)。
当原始点云中的所有点均完成上述操作后，即完成了点云的二维规则化平面投影。具体地，请参见图3，图3是本发明实施例提供的点云的二维投影平面结构示意图，其中，原始点云数据中的每个点均被映射至该结构中的对应像素。
需要说明的是，在点云的二维规则化平面投影过程中，可能会出现点云中的多个点对应到二维投影平面结构中的同一像素。若要避免这种情况发生，可选择在投影时将这些空间点投影到不同的像素中，例如，对某一点进行投影时，若其对应的像素中已有对应点，则将该点投影至该像素的邻近空像素中。此外，若点云中的多个点已投影到二维投影平面结构中的同一像素，则在基于二维投影平面结构进行编码时，应额外编码每个像素中的对应点数，并根据该点数对像素中的每个对应点信息进行编码。
S3：根据二维投影平面结构得到若干二维图信息。
在本实施例中，若干二维图信息包括坐标转换误差信息图。
具体地，坐标转换误差信息图用来表示二维规则化投影平面结构中每个被占据像素逆投影所得的空间位置与该像素对应原始点的空间位置之间的残差。
如可采用以下方式计算像素的坐标转换误差。假设当前像素为(i,j)，其对应点的笛卡尔坐标为(x,y,z)，则利用规则化参数和以下公式可将该像素逆转换回笛卡尔坐标系，得到对应的笛卡尔坐标(xl,yl,zl)：
θi＝θ0
xl＝r·sin(φj-α)-Ho·cos(φj-α)
yl＝r·cos(φj-α)+Ho·sin(φj-α)
zl＝r·tanθi+Vo
接下来由以下公式即可计算得到当前像素的坐标转换误差(Δx,Δy,Δz)：
Δx＝x-xl
Δy＝y-yl
Δz＝z-zl
基于以上计算，二维规则化投影平面结构中每个被占据的像素都会有一个坐标转换误差，从而得到点云对应的坐标转换误差信息图。
S4：对若干二维图信息进行编码，得到码流信息。
相应的，对若干二维图信息进行编码，得到码流信息包括：对坐标转换误差信息图进行编码，得到坐标转换误差信息码流。具体需要先对坐标转换误差信息图进行预测，得到坐标转换误差信息的预测残差，然后对该预测残差进行编码。
在本实施例中，可利用占位信息图、深度信息图、投影残差信息图和已编解码像素的重建坐标转换误差信息对坐标转换误差信息图中的像素进行预测，得到预测残差。
其中，占位信息图用来标识二维规则化投影平面结构中像素是否被占据，即每个像素是否与点云中的点相对应，若被占据，则称该像素非空，否则，称该像素为空。由此可根据点云的二维投影平面结构得到其占位信息图。
深度信息图用来表示二维规则化投影平面结构中每个被占据像素的对应点与坐标原点之间的距离。如可采用该像素对应点的柱面坐标r分量作为该像素的深度。基于此，二维规则化投影平面结构中每个被占据的像素都会有一个深度值，从而得到对应的深度信息图。
投影残差信息图用来表示二维规则化投影平面结构中每个被占据像素的对应位置与实际投影位置之间的残差。基于此，二维规则化投影平面中每个被占据的像素都会有一个投影残差，从而得到点云对应的投影残差信息图。
上述占位信息图、深度信息图以及投影残差信息图均可由二维投影平面结构直接得到。
请参见图4，图4是本发明实施例提供的坐标转换误差信息图的编码框图，具体包括：
41)预测像素的坐标转换误差
在本实施例中，可基于点云的占位信息图、深度信息图、投影残差信息图和已编解码像素的重建坐标转换误差信息来预测当前像素的坐标转换误差。具体包括：
41a)按照一定的扫描顺序遍历坐标转换误差信息图中的每个像素，并根据占位信息图标识出当前非空像素相邻区域内已编解码的非空像素。
例如，本实施例可以按照Z字扫描法遍历坐标转换误差信息图中的每个像素。
41b)利用已编解码的非空像素建立深度信息与重建坐标转换误差信息之间的关系，同时，利用已编解码的非空像素建立投影残差信息与重建坐标转换误差信息之间的关系。
例如，可建立一种简单关系即可从当前非空像素相邻区域内已编解码的非空像素中选择出与当前像素深度信息和投影残差信息相近的作为参考像素。
具体地，请参见图5，图5是本发明实施例提供的坐标转换误差的预测示意图，其中，☆代表当前像素，○代表相邻区域内的可参考像素，代表和当前像素深度信息相差较大的邻域像素，/>代表和当前像素投影残差信息相差较大的邻域像素，/>代表已编解码的未被占据的空像素。
在对当前像素的坐标转换误差进行预测时，首先利用占位信息图判断当前像素相邻区域即虚线框内已编解码像素被占据的情况，然后标识出其中的非空像素，接下来可以利用这些已编解码的非空像素简单的建立深度信息与重建坐标转换误差之间的关系，例如可以构建如下关系：若两像素的深度信息相近，则它们的坐标转换误差也相近，同样，也可以利用这些已编解码的非空像素简单的建立投影残差信息与重建坐标转换误差之间的关系，例如可以构建如下关系：若两像素的投影残差相近，则它们的坐标转换误差也相近，那么可以从这些已编解码的非空像素中选择出与当前像素深度信息以及投影残差信息相近的像素作为参考像素，并对这些参考像素的重建坐标转换误差信息进行平均作为当前像素坐标转换误差信息的预测值(Δx_pred,Δy_pred,Δz_pred)，具体计算公式如下：
其中，(Δxi,Δyi,Δzi),i＝1,2...N为当前像素的邻居参考像素的重建坐标转换误差，N为该相邻区域内的参考像素数目。得到当前像素坐标转换误差的预测值后，计算当前像素原始坐标转换误差和预测坐标转换误差的差值，即得到当前像素坐标转换误差的预测残差。
在本实施例中，还可以基于占位信息图、深度信息图以及投影残差信息图中的部分信息图对坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差，详细过程在此不再赘述。
本发明在进行坐标转换误差信息编码时，利用了占位信息图、深度信息图和投影残差信息图辅助坐标转换误差信息图的预测，进而提升了编码效率。
在本发明的另一个实施例中，还可以采用传统的编码方法，直接根据已编解码像素的重建坐标转换误差信息对坐标转换误差信息图中的像素进行预测，得到预测残差。
此外，还可以通过率失真优化模型在若干预设的预测模式中选取最优的预测模式对坐标转换误差信息图中的像素进行预测，得到预测残差。
例如，可以设置六种预测模式如下：
Mode0：直接模式，不预测直接压缩；
Mode1：向左预测，使用左侧的非空像素作为参考像素；
Mode2：向上预测，使用上方的非空像素作为参考像素；
Mode3；左上方预测，使用左上方的非空像素作为参考像素；
Mode4：右上方预测，使用右上方的非空像素作为参考像素；
Mode5：使用左侧、上方、左上方、右上方的非空像素作为参考像素。
通过率失真模型选择其中最优的一种模式进行预测，得到预测残差。
42)对预测残差进行编码，得到坐标转换误差信息码流。
在完成坐标转换误差信息的预测之后，需要对预测残差进行编码。需要说明的是，当对坐标转换信息图进行有损编码时，需对坐标转换误差信息的预测残差进行量化，之后再进行编码。当对坐标转换信息图进行无损编码时，则不需要对预测残差进行量化。
具体的，本实施例采用基于上下文的熵编码方式来实现，例如可利用图6所示的熵编码流程对预测残差进行编码，其中，Cnt代表预测残差分量连续分布为零的个数。具体的编码过程如下：
a.首先，判断当前像素坐标转换误差的预测残差是否为0，如果为0，则令Cnt加1，并且不进行后续编码；
b.否则，对Cnt进行编码，并且判断当前像素坐标转换误差的预测残差是否为1，如果为1，则对该1标识进行编码，并且不进行后续的编码；
c.否则，判断当前像素坐标转换误差的预测残差是否为2，如果为2，则对该2标识进行编码，并且不进行后续的编码；
d.否则，对当前像素坐标转换误差的预测残差值减3，然后判断预测残差是否大于一定阈值，如果小于一定阈值，那么对当前预测残差设计上下文模型；否则采用如下的方式进行编码：
对小于阈值部分的预测残差信息设计上下文进行编码；
对大于阈值部分的预测残差信息进行指数哥伦布编码。
此外，在本发明的另一个实施例中，还可以借助图像\视频压缩方式对坐标转换误差信息图进行编码，此处可使用的编码方案包含但不限于：JPEG、JPEG2000、HEIF、H.264\AVC、H.265\HEVC等。
在本发明的另一个实施例中，还可以对根据二维投影平面结构得到的其他信息图，例如占位信息图、深度信息图、投影残差信息图、以及属性信息图等进行编码，得到对应的码流信息。
本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而避免了三维表示结构中存在的稀疏性，又更好的体现了点云的空间相关性；使得后续在对二维规则化投影平面结构所得到的坐标转换误差信息图进行编码时，能够极大地利用点云的空间相关性，减小空间冗余，从而进一步提升点云的编码效率。
实施例二
在上述实施例一的基础上，本实施例提供了一种基于二维规则化平面投影的点云编码装置，请参见图7，图7是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图，其包括：
第一数据获取模块11，用于获取原始点云数据；
投影模块12，用于对原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块13，用于根据二维投影平面结构得到若干二维图信息；
编码模块14，用于对若干二维图信息进行编码，得到码流信息。
本实施例提供的编码装置可以实现上述实施例一所述的编码方法，详细过程在此不再赘述。
实施例三
请参见图8，图8是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图，该方法包括：
S1：获取码流信息并进行解码，得到解析数据；
解码端获取压缩的码流信息，并采用相应的现有熵解码技术对码流信息进行相应的解码，得到解析后的数据。
具体的解码过程如下：
a.首先，解析Cnt是否大于等于1，如果是，则当前像素的预测残差为0，并且不进行后续解码；其中，Cnt代表预测残差连续分布为零的个数；
b.否则，解析当前像素坐标转换误差的预测残差信息是否为1，如果为1，则当前像素的预测残差为1，并且不进行后续的解码；
c.否则，解析当前像素坐标转换误差的预测残差信息是否为2，如果为2，则当前像素的预测残差为2，并且不进行后续的解码；
d.否则，对当前像素坐标转换误差的预测残差设计相应的上下文模型进行解码，然后判断解析得到的预测残差是否大于一定阈值，如果小于一定阈值，那么不进行后续解码；否则利用指数哥伦布解码方式解码大于阈值部分的预测残差值。最终对预测残差值加3作为最终解析得到的坐标转换误差信息的预测残差。
需要说明的是，若编码端对坐标转换误差信息的预测残差进行了量化，则此处需对解析出的预测残差进行反量化。
S2：根据解析数据重构若干二维图信息；
在本实施例中，步骤2可以包括：
根据解析数据中的坐标转换误差信息图的预测残差对坐标转换误差信息图进行重构，得到重构的坐标转换误差信息图。
具体地，由于在编码端，若干二维图信息可以包括坐标转换误差信息图，也即对坐标转换误差信息图进行了编码，相应的，解码端的码流信息也包括坐标转换误差信息码流。更具体地，码流信息通过解码得到的解析数据包括坐标转换误差信息的预测残差。
由于编码端在上述实施例一中采用了某种扫描顺序遍历坐标转换误差信息图中的像素并对其中非空像素的坐标转换误差信息进行编码，那么解码端所得到的像素坐标转换误差信息的预测残差同样是按照此种顺序，且解码端可通过规则化参数获得坐标转换误差信息图的分辨率，具体参见实施例一中S2初始化二维投影平面结构部分。因此，解码端根据坐标转换误差信息图的分辨率和占位信息图便可获知当前待重构像素在二维图中的位置。
具体地，请参见图9，图9是本发明实施例提供的坐标转换误差信息的解码框图。根据占位信息图、深度信息图、投影残差信息图和已编解码像素的重建坐标转换误差信息对当前待重构像素的坐标转换误差信息进行预测，即与编码端的预测方法一致。首先利用占位信息图判断当前待重构像素相邻区域即虚线框内已编解码像素被占据的情况，然后标识出其中的非空像素，接下来利用编码端建立的这些已编解码的非空像素深度信息与重建坐标转换误差信息之间的关系：若两像素的深度信息相近，则它们的坐标转换误差相近，同时利用编码端建立的投影残差信息与重建坐标转换误差信息之间的关系：若两像素的投影残差信息相近，则它们的坐标转换误差也相近，从而可以从这些已编解码的非空像素中选择出与当前像素深度信息以及投影残差信息相近的像素作为参考像素，并对这些参考像素的重建坐标转换误差信息进行平均作为当前像素坐标转换误差信息的预测值。然后根据得到的预测值和解析出来的预测残差重建当前像素的坐标转换误差信息。当重构完所有像素的坐标转换误差后，即得到重构的坐标转换误差信息图。
S3：根据二维图信息得到二维投影平面结构；
由于二维投影平面结构的分辨率与坐标转换误差信息图一致，且坐标转换误差信息图已被重构，因此可知二维投影平面结构中每个非空像素的坐标转换误差信息，从而得到重构的二维投影平面结构。
S4：利用二维投影平面结构重建点云。
按照某一扫描顺序遍历重构的二维投影平面结构中的像素，可知每个非空像素的坐标转换误差信息。若当前像素(i,j)为非空，且知其坐标转换误差为(Δx,Δy,Δz)，则利用其它信息，如深度信息等，重构该像素对应的空间点(x,y,z)。具体的，当前像素(i,j)的对应位置可表示为(φj,i)，那么可利用规则化参数和其他信息，如深度信息r重构当前像素对应的空间点(x,y,z)，具体计算如下：
θi＝θ0
xl＝r·sin(φj-α)-Ho·cos(φj-α)
yl＝r·cos(φj-α)+Ho·sin(φj-α)
zl＝r·tanθi+Vo
(x,y,z)＝(xl,yl,zl)+(Δx,Δy,Δz)
最后根据以上计算即可对二维投影结构中的每个非空像素重构其对应的空间点，从而得到重建点云。
实施例四
在上述实施例三的基础上，本实施例提供了一种基于二维规则化平面投影的点云解码装置，请参见图10，图10是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图，其包括：
第二数据获取模块21，用于获取码流信息并进行解码，得到解析数据；
第一重构模块22，用于根据解析数据重构若干二维图信息；
第二重构模块23，用于根据若干二维图信息得到二维投影平面结构；
点云重建模块24，用于利用二维投影平面结构重建点云。
本实施例提供的解码装置可以实现上述实施例五所述的解码方法，详细过程在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于二维规则化平面投影的点云编码方法，其特征在于，包括：
获取原始点云数据；
对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
根据所述二维投影平面结构得到若干二维图信息和占位信息图，所述若干二维图信息包括坐标转换误差信息图；
利用所述占位信息图对所述坐标转换误差信息图进行编码，得到码流信息，其中，所述占位信息图用于标识出当前非空像素相邻区域内已编解码的非空像素。
2.根据权利要求1所述的基于二维规则化平面投影的点云编码方法，其特征在于，利用所述占位信息图对所述坐标转换误差信息图进行编码，得到码流信息，包括：
对所述坐标转换误差信息图进行编码，得到坐标转换误差信息码流。
3.根据权利要求2所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述坐标转换误差信息图进行编码，得到坐标转换误差信息码流，包括：
基于占位信息图、深度信息图以及投影残差信息图对所述坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差；或者
基于已编解码像素的重建坐标转换误差信息对所述坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差；
对所述坐标转换误差的预测残差进行编码，得到坐标转换误差信息码流。
4.根据权利要求3所述的基于二维规则化平面投影的点云编码方法，其特征在于，基于占位信息图、深度信息图以及投影残差信息图对所述坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差，包括：
按照一定的扫描顺序遍历所述坐标转换误差信息图中的像素，并根据占位信息图标识出当前非空像素相邻区域内已编解码的非空像素；
利用所述已编解码的非空像素建立深度信息与坐标转换误差信息之间的关系；同时，利用所述已编解码的非空像素建立投影残差信息与坐标转换误差信息之间的关系；
根据深度信息与坐标转换误差信息之间的关系和投影残差信息与坐标转换误差信息之间的关系，估计当前像素对应的坐标转换误差信息，得到当前像素坐标转换误差的估计值；
将上述估计值作为当前像素坐标转换误差的预测值，以得到当前像素坐标转换误差的预测残差。
5.根据权利要求2所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述坐标转换误差信息图进行编码，得到坐标转换误差信息码流，还包括：
基于占位信息图、深度信息图以及投影残差信息图中的部分信息图对所述坐标转换误差信息图中的像素进行预测，得到坐标转换误差的预测残差；
对所述坐标转换误差的预测残差进行编码，得到坐标转换误差信息码流。
6.一种基于二维规则化平面投影的点云编码装置，其特征在于，包括：
第一数据获取模块(11)，用于获取原始点云数据；
投影模块(12)，用于对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块(13)，用于根据所述二维投影平面结构得到若干二维图信息和占位信息图，所述若干二维图信息包括坐标转换误差信息图；
编码模块(14)，用于利用所述占位信息图对所述坐标转换误差信息图进行编码，得到码流信息，其中，所述占位信息图用于标识出当前非空像素相邻区域内已编解码的非空像素。
7.一种基于二维规则化平面投影的点云解码方法，其特征在于，包括：
获取码流信息并进行解码，得到解析数据，所述解析数据包括坐标转换误差信息图和占位信息图，其中，所述占位信息图用于标识出当前非空像素相邻区域内已编解码的非空像素；
根据所述坐标转换误差信息图重构若干二维图信息；
根据所述若干二维图信息和所述占位信息图得到二维投影平面结构；
利用所述二维投影平面结构重建点云。
8.根据权利要求7所述的基于二维规则化平面投影的点云解码方法，其特征在于，根据所述坐标转换误差信息图重构若干二维图信息，包括：
根据所述坐标转换误差信息图的预测残差对坐标转换误差信息图进行重构，得到重构的坐标转换误差信息图。
9.一种基于二维规则化平面投影的点云解码装置，其特征在于，包括：
第二数据获取模块(21)，用于获取码流信息并进行解码，得到解析数据，所述解析数据包括坐标转换误差信息图和占位信息图，其中，所述占位信息图用于标识出当前非空像素相邻区域内已编解码的非空像素；
第一重构模块(22)，用于根据所述坐标转换误差信息图重构若干二维图信息；
第二重构模块(23)，用于根据所述若干二维图信息和所述占位信息图得到二维投影平面结构；
点云重建模块(24)，用于利用所述二维投影平面结构重建点云。
CN202110171969.5A 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置 Active CN114915793B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110171969.5A CN114915793B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置
EP22749247.7A EP4236322A4 (en) 2021-02-08 2022-02-07 METHOD AND DEVICE FOR POINT CLOUD ENCODING/DECODING BASED ON TWO-DIMENSIONAL REGULARIZED PLANE PROJECTION
US18/036,493 US20240013444A1 (en) 2021-02-08 2022-02-07 Point cloud encoding/decoding method and apparatus based on two-dimensional regularized plane projection
PCT/CN2022/075410 WO2022166968A1 (zh) 2021-02-08 2022-02-07 基于二维规则化平面投影的点云编解码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171969.5A CN114915793B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Publications (2)

Publication Number Publication Date
CN114915793A CN114915793A (zh) 2022-08-16
CN114915793B true CN114915793B (zh) 2024-04-30

Family

ID=82742020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171969.5A Active CN114915793B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Country Status (4)

Country Link
US (1) US20240013444A1 (zh)
EP (1) EP4236322A4 (zh)
CN (1) CN114915793B (zh)
WO (1) WO2022166968A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065408A1 (zh) * 2022-09-29 2024-04-04 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019162567A1 (en) * 2018-02-23 2019-08-29 Nokia Technologies Oy Encoding and decoding of volumetric video

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019166688A1 (en) * 2018-03-01 2019-09-06 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US10909726B2 (en) * 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
CN110708529B (zh) * 2018-07-09 2020-08-14 上海交通大学 动态点云投影压缩方法、系统、装置及介质
WO2020050577A1 (ko) * 2018-09-07 2020-03-12 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치
CN111726615B (zh) * 2019-03-19 2022-10-11 华为技术有限公司 点云编解码方法及编解码器
WO2020190097A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 수신 장치, 포인트 클라우드 데이터 수신 방법, 포인트 클라우드 데이터 처리 장치 및 포인트 클라우드 데이터 처리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019162567A1 (en) * 2018-02-23 2019-08-29 Nokia Technologies Oy Encoding and decoding of volumetric video

Also Published As

Publication number Publication date
US20240013444A1 (en) 2024-01-11
EP4236322A4 (en) 2024-04-03
EP4236322A1 (en) 2023-08-30
CN114915793A (zh) 2022-08-16
WO2022166968A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
US11375208B2 (en) Trisoup node size per slice
WO2020069600A1 (en) Predictive coding of point clouds using multiple frames of references
CN114915795B (zh) 基于二维规则化平面投影的点云编解码方法及装置
WO2022166969A1 (zh) 基于二维规则化平面投影的点云序列编解码方法及装置
CN114915793B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915792B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915790B (zh) 面向大规模点云的二维规则化平面投影及编解码方法
CN114915796B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915794B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN118103731A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant