CN114915796A - 基于二维规则化平面投影的点云编解码方法及装置 - Google Patents

基于二维规则化平面投影的点云编解码方法及装置 Download PDF

Info

Publication number
CN114915796A
CN114915796A CN202110181878.XA CN202110181878A CN114915796A CN 114915796 A CN114915796 A CN 114915796A CN 202110181878 A CN202110181878 A CN 202110181878A CN 114915796 A CN114915796 A CN 114915796A
Authority
CN
China
Prior art keywords
projection
information
dimensional
point cloud
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110181878.XA
Other languages
English (en)
Other versions
CN114915796B (zh
Inventor
杨付正
张伟
张可
杜雨欣
孙泽星
于有光
陈天
邹文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202410178108.3A priority Critical patent/CN118233656A/zh
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202410177963.2A priority patent/CN118055255A/zh
Priority to CN202110181878.XA priority patent/CN114915796B/zh
Priority to KR1020237025387A priority patent/KR20230125810A/ko
Priority to JP2023541118A priority patent/JP2024508090A/ja
Priority to PCT/CN2022/075383 priority patent/WO2022166958A1/zh
Priority to EP22749237.8A priority patent/EP4240017A4/en
Priority to US18/257,378 priority patent/US20240119636A1/en
Publication of CN114915796A publication Critical patent/CN114915796A/zh
Application granted granted Critical
Publication of CN114915796B publication Critical patent/CN114915796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于二维规则化平面投影的点云编解码方法及装置，编码方法包括：获取原始点云数据；对原始点云数据进行二维规则化平面投影，得到二维投影平面结构；根据二维投影平面结构得到若干二维图信息；对若干二维图信息进行编码，得到码流信息。本发明通过二维规则化平面投影技术得到点云在二维投影平面结构上的强相关性表示，从而更好的体现了点云的空间相关性，使得后续在对二维规则化投影平面结构所得到的投影残差信息图进行编码时，能够极大地利用点云的空间相关性，提升点云了的编码效率；同时在对投影残差信息图进行编码时，利用了占位信息图和深度信息图进行辅助，进一步提升了编码效率。

Description

基于二维规则化平面投影的点云编解码方法及装置
技术领域
本发明属于编解码技术领域，具体涉及一种基于二维规则化平面投影的点云编解码方法及装置。
背景技术
随着硬件处理能力的提升和计算机视觉的飞速发展，三维点云成为继音频、图像、视频之后的新一代沉浸式多媒体，被广泛的应用于虚拟现实、增强现实、自动驾驶和环境建模等。然而三维点云通常具有较大的数据量，十分不利于点云数据的传输及存储，因此研究高效的点云编解码技术具有重要意义。
在现有的基于几何的点云压缩编码(G-PCC,Geometry-based Point CloudCompression)框架中，点云的几何信息和属性信息是分开进行编码的。目前G-PCC的几何编解码可分为基于八叉树的几何编解码和基于预测树的几何编解码。
基于八叉树的几何编解码：在编码端，首先，对点云的几何信息进行预处理，这包括点云的坐标转换和体素化过程。然后，按照广度优先遍历的顺序不断对点云所在的包围盒进行树划分(八叉树/四叉树/二叉树)。最后，对每个节点的占位码进行编码，并编码每个叶子节点中包含的点数，生成二进制码流。在解码端，首先按照广度优先遍历的顺序，不断解析得到每个节点的占位码。然后，依次不断进行树划分，直至划分得到1x1x1的单位立方体时停止划分。最后，解析得到每个叶子节点中包含的点数，最终得到重构的点云几何信息。
基于预测树的几何编解码：在编码端，首先对输入点云进行排序。然后，建立预测树结构，通过将每个点归类到所属的激光扫描器上，并按照不同的激光扫描器建立预测树结构。接下来，遍历预测树中的每个节点，通过选取不同的预测模式对节点的几何信息进行预测得到预测残差，并利用量化参数对预测残差进行量化。最后，对预测树结构、量化参数以及节点几何信息的预测残差等进行编码，生成二进制码流。在解码端，首先解析码流，其次重构预测树结构，然后通过解析得到的每个节点的几何信息预测残差以及量化参数，对预测残差进行反量化，最终恢复得到每个节点的重构几何信息，即完成了点云几何信息的重建。
然而，由于点云具有较强的空间稀疏性，对于使用八叉树结构的点云编码技术而言，该结构会导致划分得到的空节点占比较高，且无法充分体现点云的空间相关性，从而不利于点云的预测及熵编码。基于预测树的点云编解码技术利用激光雷达设备的部分参数来建立树结构，在此基础上利用树结构进行预测编码，然而该树结构并未充分体现点云的空间相关性，从而不利于点云的预测及熵编码。因而，上述两种点云编解码技术均存在编码效率不够高的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于二维规则化平面投影的点云编解码方法及装置。本发明要解决的技术问题通过以下技术方案实现：
一种基于二维规则化平面投影的点云编码方法，包括：
获取原始点云数据；
对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
根据所述二维投影平面结构得到若干二维图信息；
对所述若干二维图信息进行编码，得到码流信息。
在本发明的一个实施例中，所述若干二维图信息包括投影残差信息图。
在本发明的一个实施例中，对所述若干二维图信息进行编码，得到码流信息，包括：
对所述投影残差信息图进行编码，得到投影残差信息码流。
在本发明的一个实施例中，对所述投影残差信息图进行编码，得到投影残差信息码流，包括：
基于占位信息图和深度信息图对所述投影残差信息图中的像素进行预测，得到投影残差的预测残差；或者
基于已编解码像素的重建投影残差信息对所述投影残差信息图中的像素进行预测，得到预测残差；
对所述投影残差的预测残差进行编码，得到投影残差信息码流。
在本发明的一个实施例中，所述基于占位信息图和深度信息图对所述投影残差信息图中的像素进行预测，得到投影残差的预测残差，包括：
按照一定的扫描顺序遍历所述投影残差信息图中的像素，并根据占位信息图标识出当前非空像素相邻区域内已编解码的非空像素；
利用所述已编解码的非空像素建立深度信息与重建投影残差信息之间的关系，并根据该关系估计当前像素对应的投影残差信息，得到当前像素投影残差的估计值；
将上述估计值作为当前像素投影残差的预测值，以得到当前像素投影残差的预测残差。
在本发明的一个实施例中，对所述投影残差信息图进行编码，得到投影残差信息码流，还包括：
基于占位信息图对所述投影残差信息图中的像素进行预测，得到投影残差的预测残差；或者
基于深度信息图对所述投影残差信息图中的像素进行预测，得到投影残差的预测残差；
对所述投影残差的预测残差进行编码，得到投影残差信息码流。
本发明的另一个实施例还提供了一种基于二维规则化平面投影的点云编码装置，包括：
第一数据获取模块，用于获取原始点云数据；
投影模块，用于对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块，用于根据所述二维投影平面结构得到若干二维图信息；
编码模块，用于对所述若干二维图信息进行编码，得到码流信息。
本发明的又一个实施例还提供了一种基于二维规则化平面投影的点云解码方法，包括：
获取码流信息并进行解码，得到解析数据；
根据所述解析数据重构若干二维图信息；
根据所述若干二维图信息得到二维投影平面结构；
利用所述二维投影平面结构重建点云。
在本发明的一个实施例中，根据所述解析数据重构若干二维图信息，包括：
根据所述解析数据中的投影残差信息图的预测残差对投影残差信息图进行重构，得到重构的投影残差信息图。
本发明的再一个实施例还提供了一种基于二维规则化平面投影的点云解码装置，包括：
第二数据获取模块，用于获取码流信息并进行解码，得到解析数据；
第一重构模块，用于根据所述解析数据重构若干二维图信息；
第二重构模块，用于根据所述若干二维图信息得到二维投影平面结构；
点云重建模块，用于利用所述二维投影平面结构重建点云。
本发明的有益效果：
1、本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而避免了三维表示结构中存在的稀疏性，又更好的体现了点云的空间相关性；使得后续在对二维规则化投影平面结构所得到的若干二维图信息进行编码时，能够极大地利用点云的空间相关性，减小空间冗余，从而进一步提升点云的编码效率；
2、本发明利用了占位信息图和深度信息图辅助投影残差信息图进行编码，提升了编码效率；
3、本发明还可利用投影残差信息图辅助其他二维图进行编码，以提升编码效率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于二维规则化平面投影的点云编码方法示意图；
图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图；
图3是本发明实施例提供的点云的二维投影平面结构示意图；
图4是本发明实施例提供的投影残差的示意图；
图5是本发明实施例提供的投影残差信息图的编码框图；
图6是本发明实施例提供的投影残差信息的预测示意图；
图7是本发明实施例提供的投影残差的预测残差的熵编码流程图；
图8是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图；
图9是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图；
图10是本发明实施例提供的占位信息图的解码框图；
图11是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的基于二维规则化平面投影的点云编码方法示意图，包括：
S1：获取原始点云数据。
具体地，原始点云数据通常由一组三维空间点组成，每个空间点都记录了自身的几何位置信息，以及颜色、反射率、法线等额外的属性信息。其中，点云的几何位置信息一般是基于笛卡尔坐标系进行表示的，即利用点的x，y，z坐标进行表示。原始点云数据可通过3D扫描设备例如激光雷达等获取，也可通过各种平台提供的公共数据集获得。在本实施例中，设获取到的原始点云数据的几何位置信息基于笛卡尔坐标系进行表示。需要说明的是，原始点云数据的几何位置信息的表示方法不限于笛卡尔坐标。
S2：对原始点云数据进行二维规则化平面投影，得到二维投影平面结构。
具体的，在本实施例中，在对原始点云进行二维规则化平面投影之前，还可以对原始点云数据进行预处理，如体素化处理等，以方便后续编码。
首先，初始化二维投影平面结构。
初始化点云的二维规则化投影平面结构需要利用规则化参数。规则化参数通常由制造厂商进行精细测定并作为必备的数据之一提供给消费者，例如激光雷达的采集范围，水平方位角的采样角分辨率
Figure BDA0002942363850000071
或采样点数，以及每个激光扫描器的距离校正因子、激光扫描器沿垂直方向和水平方向的偏移信息Vo和Ho、激光扫描器沿俯仰角和水平方位角的偏移信息θ0和α。
需要说明的是，规则化参数不限于以上给出的这些参数，其可以利用给定的激光雷达的标定参数，也可以在激光雷达的标定参数没有给定的情况下，通过优化估计、数据拟合等方式得到。
点云的二维规则化投影平面结构为一个包含M行、N列像素的数据结构，三维点云中的点经过投影后与该数据结构中的像素对应。并且该数据结构中的像素(i,j)可与柱面坐标分量(θ,φ)相关联，如可利用以下公式找到柱面坐标(r,θ,φ)对应的像素(i,j)。
Figure BDA0002942363850000081
Figure BDA0002942363850000082
具体地，请参见图2，图2是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图。需要说明的是，此处像素的对应并不限于柱面坐标。
进一步地，二维规则化投影平面的分辨率可由规则化参数获得，如假设二维规则化投影平面的分辨率为M×N，则可利用规则化参数中激光扫描器的个数来初始化M，并利用水平方位角的采样角分辨率
Figure BDA0002942363850000083
(或者激光扫描器的采样点数)来初始化N，例如可采用如下公式，最终即可完成二维投影平面结构的初始化，得到一个包含M×N个像素的平面结构。
M＝laserNum；
Figure BDA0002942363850000084
或N＝pointNumPerLaser。
其次，确定原始点云数据与二维投影平面结构的映射关系，以将原始点云数据投影到二维投影平面结构上。
该部分通过逐点判断原始点云在二维投影平面结构中的位置，将原本在笛卡尔坐标系下杂乱分布的点云映射至均匀分布的二维规则化投影平面结构中。具体的，针对原始点云中的每一个点，在二维投影平面结构中确定对应的像素，例如可选择与点在二维平面中投影位置空间距离最小的像素作为该点的对应像素。
若利用柱面坐标系进行二维投影，则确定原始点云对应像素的具体流程如下：
a.确定原始点云数据中当前点的柱面坐标分量r，具体的，利用以下公式进行计算：
Figure BDA0002942363850000091
b.确定当前点在二维投影平面结构中的搜索区域。具体的，可选择直接将整个二维投影平面结构作为搜索区域，进一步的，为了减小计算量，还可通过当前点的柱面坐标分量俯仰角θ和方位角φ来确定对应像素在二维投影平面结构中的搜索区域，以减小搜索区域。
c.确定搜索区域后，对其中的每个像素(i,j)，利用规则化参数即激光雷达第i个激光扫描器的标定参数θ0、Vo、Ho和α，计算当前像素在笛卡尔坐标系中的位置(xl,yl,zl)，具体计算公式如下：
θi＝θ0
Figure BDA0002942363850000092
xl＝r·sin(φj-α)-Ho·cos(φj-α)
yl＝r·cos(φj-α)+Ho·sin(φj-α)
zl＝r·tanθi+Vo
d.得到当前像素在笛卡尔坐标系中的位置(xl,yl,zl)后，计算其与当前点(x,y,z)之间的空间距离并将其作为误差Err，即：
Err＝dist{(x,y,z),(xl,yl,zl)}
若该误差Err小于当前最小误差minErr，则用其更新最小误差minErr，并用当前像素对应的i和j更新当前点所对应像素的i和j；若该误差Err大于最小误差minErr，则不进行以上更新过程。
e.当搜索区域内的所有像素均被遍历完成后，即可确定当前点在二维投影平面结构中的对应像素(i,j)。
当原始点云中的所有点均完成上述操作后，即完成了点云的二维规则化平面投影。具体地，请参见图3，图3是本发明实施例提供的点云的二维投影平面结构示意图，其中，原始点云数据中的每个点均被映射至该结构中的对应像素。
需要说明的是，在点云的二维规则化平面投影过程中，可能会出现点云中的多个点对应到二维投影平面结构中的同一像素。若要避免这种情况发生，可选择在投影时将这些空间点投影到不同的像素中，例如，对某一点进行投影时，若其对应的像素中已有对应点，则将该点投影至该像素的邻近空像素中。此外，若点云中的多个点已投影到二维投影平面结构中的同一像素，则在基于二维投影平面结构进行编码时，应额外编码每个像素中的对应点数，并根据该点数对像素中的每个对应点信息进行编码。
S3：根据二维投影平面结构得到若干二维图信息。
在本实施例中，若干二维图信息包括投影残差信息图。
具体地，投影残差信息图用来表示二维规则化投影平面结构中每个被占据像素的对应位置与实际投影位置之间的残差。请参见图4，图4是本发明实施例提供的投影残差的示意图。
在本实施例中，可利用以下方式计算像素的投影残差。假设当前像素为(i,j)，其对应点的笛卡尔坐标为(x,y,z)，则该点实际的投影位置可表示为(φ',i')，其可由以下公式计算得到：
Figure BDA0002942363850000101
Figure BDA0002942363850000102
而当前像素的对应位置可表示为(φj,i)，其可由以下公式计算得到：
Figure BDA0002942363850000103
则由以下公式即可计算得到当前像素对应的投影残差(Δφ,Δi)：
Δφ＝φ'-φj
Δi＝i'-i
基于以上计算，二维规则化投影平面中每个被占据的像素都会有一个投影残差，从而得到点云对应的投影残差信息图。
S4：对若干二维图信息进行编码，得到码流信息。
相应的，对若干二维图信息进行编码，得到码流信息包括：对投影残差信息图进行编码，得到投影残差信息码流。具体需要先对投影残差信息图进行预测，得到投影残差信息的预测残差，然后对该预测残差进行编码。
在本实施例中，可利用占位信息图、深度信息图和已编解码像素的重建投影残差信息对投影残差信息图中的像素进行预测，得到预测残差。
其中，占位信息图用来标识二维规则化投影平面结构中每个像素是否被占据，即每个像素是否与点云中的点相对应，若被占据，则称该像素非空，否则，称该像素为空。由此可根据点云的二维投影平面结构得到其占位信息图。深度信息图用来表示二维规则化投影平面结构中每个被占据像素的对应点与坐标原点之间的距离。如可采用该像素对应点的柱面坐标r分量作为该像素的深度。基于此，二维规则化投影平面结构中每个被占据的像素都会有一个深度值，从而得到对应的深度信息图。上述占位信息图和深度信息图均可由二维投影平面结构直接得到。
请参见图5，图5是本发明实施例提供的投影残差信息图的编码框图，具体包括：
41)预测像素的投影残差
在本实施例中，可基于点云的占位信息图、深度信息图和已编解码像素的重建投影残差信息来预测当前像素的投影残差。
具体地，可根据占位信息图标识出当前非空像素相邻区域内的已编解码非空像素，然后利用这些已编解码的非空像素建立深度信息与重建投影残差信息之间的关系，最后通过当前像素的深度信息和该关系即可估计得到当前像素对应的投影残差信息，并将其作为当前像素投影残差的预测值。
更具体地，可先按照一定的扫描顺序，如Z字扫描，遍历投影残差信息图中的每个像素，然后根据占位信息图确定当前像素是否非空，并根据占位信息图标识出当前非空像素相邻区域内已编解码的非空像素。接下来从当前非空像素相邻区域内已编解码的非空像素中选择出若干与当前像素深度信息相近的参考像素，并将所有参考像素的重建投影残差的平均值作为当前像素投影残差的估计值。
请参见图6，图6是本发明实施例提供的投影残差信息的预测示意图，其中，☆代表当前像素，○代表相邻区域内的可参考像素，
Figure BDA0002942363850000121
代表和当前像素深度信息相差较大的邻域像素，
Figure BDA0002942363850000122
代表已编解码的未被占据的空像素。
在对当前像素的投影残差进行预测时，首先利用占位信息图判断当前像素相邻区域即虚线框内已编解码像素被占据的情况，然后标识出其中的非空像素，接下来可以利用这些已编解码的非空像素简单的建立深度信息与重建投影残差信息之间的关系，例如可以构建如下关系：若两像素的深度信息相近，则它们的投影残差也相近，那么可以从这些已编解码的非空像素中选择出与当前像素深度信息相近的像素作为参考像素，并对这些参考像素的重建投影残差信息进行平均作为当前像素投影残差信息的预测值。将当前像素投影残差信息的预测值记为(Δφ_pred,Δi_pred)，则其计算公式如下：
Figure BDA0002942363850000131
Figure BDA0002942363850000132
其中，(Δφj,Δij),j＝1,2...N为当前像素的邻居参考像素的重建投影残差，N为该相邻区域内的参考像素数目。得到当前像素投影残差的预测值后，计算当前像素原始投影残差和预测投影残差的差值，即得到当前像素投影残差的预测残差。
在本实施例中，还可以单独基于占位信息图对投影残差信息图中的像素进行预测，得到投影残差的预测残差；或者基于深度信息图对投影残差信息图中的像素进行预测，得到投影残差的预测残差，详细过程在此不再赘述。
本发明在进行投影残差信息编码时，利用了占位信息图和深度信息图辅助投影残差信息图的预测，进而提升了编码效率。
在本发明的另一个实施例中，还可以采用传统的编码方法，直接根据已编解码像素的重建投影残差信息对投影残差信息图中的像素进行预测，得到预测残差。
此外，还可以通过率失真优化模型在若干预设的预测模式中选取最优的预测模式对投影残差信息图中的像素进行预测，得到预测残差。
例如，可以设置六种预测模式如下：
Mode0：直接模式，不预测直接压缩；
Mode1：向左预测，使用左侧的非空像素作为参考像素；
Mode2：向上预测，使用上方的非空像素作为参考像素；
Mode3；左上方预测，使用左上方的非空像素作为参考像素；
Mode4：右上方预测，使用右上方的非空像素作为参考像素；
Mode5：使用左侧、上方、左上方、右上方的非空像素作为参考像素。
通过率失真模型选择其中最优的一种模式进行预测，得到预测残差。
42)对预测残差进行编码，得到投影残差信息码流。
在完成投影残差信息的预测之后，需要对预测残差进行编码。需要说明的是，当对投影残差信息图进行有损编码时，需对投影残差信息的预测残差进行量化，之后再进行编码。当对投影残差信息图进行无损编码时，则不需要对预测残差进行量化。
具体的，本实施例采用基于上下文的熵编码方式来实现，例如可利用图7所示的熵编码流程对预测残差进行编码。具体的编码过程如下：
a.首先，判断当前像素投影残差的预测残差信息是否为0，如果为0，则对该0标识进行编码，并且不进行后续编码；
b.否则，判断当前像素投影残差的预测残差信息是否为1，如果为1，则对该1标识进行编码，并且不进行后续的编码；
c.否则，判断当前像素投影残差的预测残差是否为2，如果为2，则对该2标识进行编码，并且不进行后续的编码；
d.否则，对当前预测残差值减3，然后判断预测残差是否大于一定阈值，如果小于一定阈值，那么对当前预测残差设计上下文模型；否则采用如下的方式进行编码：
对小于阈值部分的预测残差信息设计上下文进行编码；
对大于阈值部分的预测残差信息进行指数哥伦布编码。
至此，完成投影残差信息图的编码。
此外，在本发明的另一个实施例中，还可以借助图像\视频压缩方式对投影残差信息图进行编码，此处可使用的编码方案包含但不限于：JPEG、JPEG2000、HEIF、H.264\AVC、H.265\HEVC等。
在本发明的另一个实施例中，还可以对根据二维投影平面结构得到的其他信息图，例如占位信息图、深度信息图、坐标转换误差信息图以及属性信息图等进行编码，得到对应的码流信息。
本发明通过将三维空间中的点云投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，得到点云在二维投影平面结构上的强相关性表示，从而避免了三维表示结构中存在的稀疏性，又更好的体现了点云的空间相关性；使得后续在对投影残差信息图及其他二维图信息进行编码时，能够极大地利用点云的空间相关性，减小空间冗余，从而进一步提升点云的编码效率。
实施例二
在上述实施例一的基础上，本实施例提供了一种基于二维规则化平面投影的点云编码装置，请参见图8，图8是本发明实施例提供的一种基于二维规则化平面投影的点云编码装置结构示意图，其包括：
第一数据获取模块11，用于获取原始点云数据；
投影模块12，用于对原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块13，用于根据二维投影平面结构得到若干二维图信息；
编码模块14，用于对若干二维图信息进行编码，得到码流信息。
本实施例提供的编码装置可以实现上述实施例一所述的编码方法，详细过程在此不再赘述。
实施例三
请参见图9，图9是本发明实施例提供的一种基于二维规则化平面投影的点云解码方法示意图，该方法包括：
步骤1：获取码流信息并进行解码，得到解析数据；
解码端获取压缩的码流信息，并采用相应的现有熵解码技术对码流信息进行相应的解码，得到解析后的数据。
具体的解码过程如下：
a.首先，解析当前像素投影残差的预测残差信息是否为0，如果为0，则当前像素的预测残差为0，并且不进行后续解码；
b.否则，解析当前像素投影残差的预测残差信息是否为1，如果为1，则当前像素的预测残差为1，并且不进行后续的解码；
c.否则，解析当前像素投影残差的预测残差信息是否为2，如果为2，则当前像素的预测残差为2，并且不进行后续的解码；
d.否则，对当前像素投影残差的预测残差设计相应的上下文模型进行解码，然后判断解析得到的预测残差是否大于一定阈值，如果小于一定阈值，那么不进行后续解码；否则利用指数哥伦布解码方式解码大于阈值部分的预测残差值。最终对预测残差值加3作为最终解析得到的投影残差信息的预测残差。
需要说明的是，若编码端对投影残差信息的预测残差进行了量化，则此处需对解析出的预测残差进行反量化。
步骤2：根据解析数据重构若干二维图信息。
在本实施例中，步骤2可以包括：
根据解析数据中的投影残差信息图的预测残差对投影残差信息图进行重构，得到重构的投影残差信息图。
具体地，由于在编码端，若干二维图信息可以包括投影残差信息图，也即对投影残差信息图进行了编码，相应的，解码端的码流信息也包括投影残差信息码流。更具体地，码流信息通过解码得到的解析数据包括深度信息的预测残差。
由于编码端在上述实施例一中采用了某种扫描顺序遍历投影残差信息图中的像素并对其中非空像素的投影残差信息进行编码，那么解码端所得到的像素投影残差信息的预测残差同样是按照此种顺序，且解码端可通过规则化参数获得投影残差信息图的分辨率，具体参见实施例一中S2初始化二维投影平面结构部分。因此，解码端根据投影残差信息图的分辨率和占位信息图便可获知当前待重构像素在二维图中的位置。
具体地，请参见图10，图10是本发明实施例提供的深度信息图的解码框图。根据占位信息图、深度信息图和已编解码像素的重建投影残差信息对当前待重构像素的投影残差信息进行预测，即与编码端的预测方法一致。首先利用占位信息图判断当前待重构像素相邻区域内已编解码像素被占据的情况，然后标识出其中的非空像素。接下来利用编码端建立的这些已编解码的非空像素深度信息与重建投影残差信息之间的关系：若两像素的深度信息相近，则它们的投影残差也相近，可以从这些已编解码的非空像素中选择出与当前待重构像素深度信息相近的像素作为参考像素，并对这些参考像素的重建投影残差信息进行平均作为当前像素投影残差信息的预测值。然后根据得到的预测值和解析出来的预测残差重建当前像素的投影残差信息。当重构完所有像素的投影残差后，即得到重构的投影残差信息图。
步骤3：根据二维图信息得到二维投影平面结构；
由于二维投影平面结构的分辨率与投影残差信息图一致，且投影残差信息图已被重构，因此可知二维投影平面结构中每个非空像素的投影残差信息，从而得到重构的二维投影平面结构。
步骤4：利用二维投影平面结构重建点云。
按照某一扫描顺序遍历重构的二维投影平面结构中的像素，可知每个非空像素的投影残差信息。若当前像素(i,j)为非空，且知其投影残差为(Δφ,Δi)，则利用其它信息，如深度信息、坐标转换误差信息等，重构该像素对应的空间点(x,y,z)。具体的，当前像素(i,j)的对应位置可表示为(φj,i)，那么可利用规则化参数和其他信息，如深度信息r和坐标转换误差信息(Δx,Δy,Δz)重构当前像素对应的空间点(x,y,z)，具体计算如下：
Figure BDA0002942363850000181
θi＝θ0
xl＝r·sin(φj-α)-Ho·cos(φj-α)
yl＝r·cos(φj-α)+Ho·sin(φj-α)
zl＝r·tanθi+Vo
(x,y,z)＝(xl,yl,zl)+(Δx,Δy,Δz)
最后根据以上计算即可对二维投影结构中的每个非空像素重构其对应的空间点，从而得到重建点云。
实施例四
在上述实施例三的基础上，本实施例提供了一种基于二维规则化平面投影的点云解码装置，请参见图11，图11是本发明实施例提供的一种基于二维规则化平面投影的点云解码装置结构示意图，其包括：
第二数据获取模块21，用于获取码流信息并进行解码，得到解析数据；
第一重构模块22，用于根据解析数据重构若干二维图信息；
第二重构模块23，用于根据若干二维图信息得到二维投影平面结构；
点云重建模块24，用于利用二维投影平面结构重建点云。
本实施例提供的解码装置可以实现上述实施例五所述的解码方法，详细过程在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于二维规则化平面投影的点云编码方法，其特征在于，包括：
获取原始点云数据；
对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
根据所述二维投影平面结构得到若干二维图信息；
对所述若干二维图信息进行编码，得到码流信息。
2.根据权利要求1所述的基于二维规则化平面投影的点云编码方法，其特征在于，所述若干二维图信息包括投影残差信息图。
3.根据权利要求2所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述若干二维图信息进行编码，得到码流信息，包括：
对所述投影残差信息图进行编码，得到投影残差信息码流。
4.根据权利要求3所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述投影残差信息图进行编码，得到投影残差信息码流，包括：
基于占位信息图和深度信息图对所述投影残差信息图中的像素进行预测，得到投影残差的预测残差；或者
基于已编解码像素的重建投影残差信息对所述投影残差信息图中的像素进行预测，得到预测残差；
对所述投影残差的预测残差进行编码，得到投影残差信息码流。
5.根据权利要求4所述的基于二维规则化平面投影的点云编码方法，其特征在于，所述基于占位信息图和深度信息图对所述投影残差信息图中的像素进行预测，得到投影残差的预测残差，包括：
按照一定的扫描顺序遍历所述投影残差信息图中的像素，并根据占位信息图标识出当前非空像素相邻区域内已编解码的非空像素；
利用所述已编解码的非空像素建立深度信息与重建投影残差信息之间的关系，并根据该关系估计当前像素对应的投影残差信息，得到当前像素投影残差的估计值；
将上述估计值作为当前像素投影残差的预测值，以得到当前像素投影残差的预测残差。
6.根据权利要求3所述的基于二维规则化平面投影的点云编码方法，其特征在于，对所述投影残差信息图进行编码，得到投影残差信息码流，还包括：
基于占位信息图对所述投影残差信息图中的像素进行预测，得到投影残差的预测残差；或者
基于深度信息图对所述投影残差信息图中的像素进行预测，得到投影残差的预测残差；
对所述投影残差的预测残差进行编码，得到投影残差信息码流。
7.一种基于二维规则化平面投影的点云编码装置，其特征在于，包括：
第一数据获取模块(11)，用于获取原始点云数据；
投影模块(12)，用于对所述原始点云数据进行二维规则化平面投影，得到二维投影平面结构；
数据处理模块(13)，用于根据所述二维投影平面结构得到若干二维图信息；
编码模块(14)，用于对所述若干二维图信息进行编码，得到码流信息。
8.一种基于二维规则化平面投影的点云解码方法，其特征在于，包括：
获取码流信息并进行解码，得到解析数据；
根据所述解析数据重构若干二维图信息；
根据所述若干二维图信息得到二维投影平面结构；
利用所述二维投影平面结构重建点云。
9.根据权利要求8所述的基于二维规则化平面投影的点云解码方法，其特征在于，根据所述解析数据重构若干二维图信息，包括：
根据所述解析数据中的投影残差信息图的预测残差对投影残差信息图进行重构，得到重构的投影残差信息图。
10.一种基于二维规则化平面投影的点云解码装置，其特征在于，包括：
第二数据获取模块(21)，用于获取码流信息并进行解码，得到解析数据；
第一重构模块(22)，用于根据所述解析数据重构若干二维图信息；
第二重构模块(23)，用于根据所述若干二维图信息得到二维投影平面结构；
点云重建模块(24)，用于利用所述二维投影平面结构重建点云。
CN202110181878.XA 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置 Active CN114915796B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202410177963.2A CN118055255A (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置
CN202110181878.XA CN114915796B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置
CN202410178108.3A CN118233656A (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置
JP2023541118A JP2024508090A (ja) 2021-02-08 2022-02-07 二次元正則化平面投影に基づく点群符号化および復号方法ならびにデバイス
KR1020237025387A KR20230125810A (ko) 2021-02-08 2022-02-07 2차원 정규화 평면 투영에 기초한 포인트 클라우드인코딩 및 디코딩 방법 및 장치
PCT/CN2022/075383 WO2022166958A1 (zh) 2021-02-08 2022-02-07 基于二维规则化平面投影的点云编解码方法及装置
EP22749237.8A EP4240017A4 (en) 2021-02-08 2022-02-07 METHOD AND DEVICE FOR ENCODING AND DECODING A POINT CLOUD BASED ON A TWO-DIMENSIONAL REGULATORY PLANE PROJECTION
US18/257,378 US20240119636A1 (en) 2021-02-08 2022-02-07 Point cloud encoding and decoding method and device based on two-dimensional regularization plane projection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110181878.XA CN114915796B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202410178108.3A Division CN118233656A (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置
CN202410177963.2A Division CN118055255A (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Publications (2)

Publication Number Publication Date
CN114915796A true CN114915796A (zh) 2022-08-16
CN114915796B CN114915796B (zh) 2023-12-15

Family

ID=82742009

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202410178108.3A Pending CN118233656A (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置
CN202110181878.XA Active CN114915796B (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置
CN202410177963.2A Pending CN118055255A (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410178108.3A Pending CN118233656A (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410177963.2A Pending CN118055255A (zh) 2021-02-08 2021-02-08 基于二维规则化平面投影的点云编解码方法及装置

Country Status (6)

Country Link
US (1) US20240119636A1 (zh)
EP (1) EP4240017A4 (zh)
JP (1) JP2024508090A (zh)
KR (1) KR20230125810A (zh)
CN (3) CN118233656A (zh)
WO (1) WO2022166958A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150249815A1 (en) * 2013-05-01 2015-09-03 Legend3D, Inc. Method for creating 3d virtual reality from 2d images
WO2019162567A1 (en) * 2018-02-23 2019-08-29 Nokia Technologies Oy Encoding and decoding of volumetric video
WO2020013631A1 (ko) * 2018-07-12 2020-01-16 삼성전자 주식회사 3차원 영상을 부호화 하는 방법 및 장치, 및 3차원 영상을 복호화 하는 방법 및 장치
WO2020187140A1 (en) * 2019-03-15 2020-09-24 Mediatek Inc. Method and apparatus of patch segmentation for video-based point cloud coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150249815A1 (en) * 2013-05-01 2015-09-03 Legend3D, Inc. Method for creating 3d virtual reality from 2d images
WO2019162567A1 (en) * 2018-02-23 2019-08-29 Nokia Technologies Oy Encoding and decoding of volumetric video
WO2020013631A1 (ko) * 2018-07-12 2020-01-16 삼성전자 주식회사 3차원 영상을 부호화 하는 방법 및 장치, 및 3차원 영상을 복호화 하는 방법 및 장치
WO2020187140A1 (en) * 2019-03-15 2020-09-24 Mediatek Inc. Method and apparatus of patch segmentation for video-based point cloud coding

Also Published As

Publication number Publication date
EP4240017A4 (en) 2024-04-10
CN114915796B (zh) 2023-12-15
JP2024508090A (ja) 2024-02-22
CN118233656A (zh) 2024-06-21
KR20230125810A (ko) 2023-08-29
CN118055255A (zh) 2024-05-17
US20240119636A1 (en) 2024-04-11
EP4240017A1 (en) 2023-09-06
WO2022166958A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
US11375208B2 (en) Trisoup node size per slice
US10964068B2 (en) Methods and devices for predictive point cloud attribute coding
US11961268B2 (en) Predictive coding of point clouds using multiple frames of references
CN114915795B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915791B (zh) 基于二维规则化平面投影的点云序列编解码方法及装置
CN114915793B (zh) 基于二维规则化平面投影的点云编解码方法及装置
WO2022166967A1 (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915790B (zh) 面向大规模点云的二维规则化平面投影及编解码方法
CN114915796B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915794B (zh) 基于二维规则化平面投影的点云编解码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant