CN113315977A - 点云信息解码的方法和装置 - Google Patents

点云信息解码的方法和装置 Download PDF

Info

Publication number
CN113315977A
CN113315977A CN202011485202.1A CN202011485202A CN113315977A CN 113315977 A CN113315977 A CN 113315977A CN 202011485202 A CN202011485202 A CN 202011485202A CN 113315977 A CN113315977 A CN 113315977A
Authority
CN
China
Prior art keywords
point cloud
type
syntax elements
segmentation
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011485202.1A
Other languages
English (en)
Inventor
张翔
高文
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113315977A publication Critical patent/CN113315977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种对点云的信息进行解码的方法和装置。该方法包括：获取已编码的码流，所述已编码的码流包括点云的已编码信息，所述点云包括三维空间中的点的集合；及通过以下操作中的至少一个来确定用于对所述点云的信息进行编码的分割方式的类型：解析至少三个二进制语法元素的信号，或推断出至少三个二进制语法元素中的至少一个语法元素。

Description

点云信息解码的方法和装置
背景技术
近些年来，点云建模被广泛使用。例如，点云可以在自主驾驶车辆中用于对象检测和定位，可以在地理信息系统(geographic information system，GIS)中用于绘图，以及可以在文化遗产项目中用于对文化遗产对象和收藏品进行可视化和存档等。
点云包含一组高维点(通常是三维(3D))，每个高维点包括3D位置信息和附加属性，如颜色、反射率等。高维度的点集可使用多个照相机和深度传感器在各种部署方式中通过光检测和测距(Light Detection and Ranging，LIDAR)来拍摄，并且可由数千到数十亿个点组成，以真实地表示原始场景。
需要使用压缩技术来减少表示点云所需的数据量，以进行更快的传输和/或减少存储。如非专利文献1和非专利文献2中所解释的，动态图像专家组(Moving PictureExperts Group，MPEG)已创建了一个联合技术委员会(JTC 1/SC 29/WG 11)和一个特设组(MPEG-PCC)来对用于静态和/或动态点云的压缩技术进行标准化。其中，MPEG是国际标准化组织(International Organization for Standardization，ISO)和国际电工委员会(International Electrotechnical Commission，IEC)的一个工作组。
非专利文献1：点云压缩用例(Use Cases for Point Cloud Compression)，JTC1/SC29 WG11文献编号N16331，2016年6月以中文发布于日内瓦。
非专利文献2：点云压缩的需求(Requirements for Point Cloud Compression)，JTC1/SC29 WG11文献编号N16330，2016年6月以中文发布于日内瓦。
发明内容
本申请涉及点云编解码(Point Cloud Coding，PCC)。如本文所述，例如为了进行点云压缩，详细阐述了树的灵活分割表示和编解码。
根据本申请的一方面，一种对点云的已编码信息进行解码的方法可由至少一个处理器执行并且包括：获取已编码的码流，该已编码的码流包括点云的已编码信息，点云包括三维空间中的点的集合；及通过以下中的至少一个来确定用于对点云的信息进行编码的分割方式的类型：解析至少三个二进制语法元素的信号，或推断出至少三个二进制语法元素中的至少一个语法元素。
根据本申请的另一方面，该至少三个二进制语法元素可指示是否在X轴、Y轴及Z轴上进行分割。
根据本申请的另一方面，该方法还可以包括：获取已分割点云的对象的节点大小，其中，分割方式的类型可基于对象的节点大小可通过推断至少三个二进制语法元素来确定。
根据本申请的另一方面，分割方式的类型可通过以下进一步操作中的至少一个来确定：解析另外两个二进制语法元素的信号并推断该另外两个二进制语法元素。
根据本申请的另一方面，可使用以下公式来选择点云的分割类型：p^＝argmin┬p〖{D(p)+λ·R(p)}，其中p指示一种树分割模式，D(p)是失真函数，R(p)是率函数，λ是拉普拉斯系数，而p^是一种树分割模式。
根据本申请的另一方面，分割方式的类型可通过对至少三个二进制语法元素中的一个语法元素进行解析并推断该至少三个二进制语法元素中的两个语法元素来确定。
根据本申请的另一方面，确定分割方式的类型可包括推断已分割点云的后代节点的分割类型。
根据本申请的另一方面，一种用于对点云的信息进行编解码的装置可包括：至少一个存储器，用于存储计算机程序代码；以及至少一个处理器，用于访问该至少一个存储器并且根据计算机程序代码进行操作；该计算机程序代码可包括：第一获取代码，用于获取已编码的码流，该已编码的码流包括点云的已编码信息，点云包括三维空间中的点的集合；确定代码，用于通过以下操作中的至少一个来确定用于对点云的信息进行编码的分割方式的类型：解析至少三个二进制语法元素的信号，或推断至少三个二进制语法元素中的至少一个语法元素。
根据本申请的另一方面，该至少三个二进制语法元素可指示分割是否在X轴、Y轴和Z轴上进行。
根据本申请的另一方面，计算机程序代码可进一步包括：第二获取代码，用于获取已分割点云的对象的节点大小，其中，确定代码进一步用于基于对象的节点大小推断该至少三个二进制语法元素来确定分割方式的类型。
根据本申请的另一方面，确定代码可进一步用于通过以下操作中的至少一个来确定分割方式的类型：解析两个额外的二进制语法元素的信号并推断该额外二进制语法元素。
根据本申请的另一方面，可使用以下公式来选择点云的分割方式的类型：p^＝argmin┬p〖{D(p)+λ·R(p)}，其中p指示一种树分割模式，D(p)是失真函数，R(p)是率函数，λ是拉普拉斯系数，并且p^是一种树分割模式。
根据本申请的另一方面，确定代码可用于解析至少三个二进制语法元素中的一个语法元素并推断该至少三个二进制语法元素中的两个语法元素来确定分割方式的类型。
根据本申请的一方面，一种非易失性计算机可读存储介质可存储指令，所述指令可以使至少一个处理器执行以下操作：获取已编码的码流，该已编码的码流包括点云的已编码信息，点云包括三维空间中的点的集合；及通过以下操作的至少一个来确定用于对点云的信息进行编码的分割方式的类型：解析至少三个二进制语法元素的信号，或推断至少三个二进制语法元素中的至少一个语法元素中。
附图说明
图1为三维空间中的八叉树分割法的示意图。
图2为八叉树分割法和树结构的示意图。
图3为三维空间中的四叉树分割法的示意图。
图4为三维空间中的二叉树分割法的示意图。
图5为二维空间中的非对称分割法的示意图。
图6为二维空间中的二级混合分割法的示意图。
图7为对点云的已编码信息进行解码的示例过程的示意图。
图8为本申请的系统和/或方法的实施环境示例的示意图。
图9为图8中的至少一个设备的组件示例的示意图。
实施方式
MPEG测试模型13(TMC13)中的点云压缩
如非专利文献3和非专利文献4中所描述的，在MPEG公布的测试模型13(testmodel for categories 1and 3，TMC13)编解码器中，点云中的各点的几何形态信息和相关的属性，如颜色或反射率，是分别压缩的。几何形态信息(例如点云的3D坐标)及其占用信息利用八叉树分割法进行编码。然后，基于重建的几何形态结构，使用预测、提升和区域自适应分层变换技术对属性进行压缩。八叉树分割法和占用信息编码过程在下面详细描述。
非专利文献3：G-PCC编解码器说明(G-PCC Codec description)，ISO/IEC JTC1/SC29/WG11文献编号N18891，2019年10月。
非专利文献4：ISO/IEC CD 23090-9基于几何形态的点云压缩的文本(G-PCCCodec description)，ISO/IEC JTC1/SC29 WG11文献编号N18478，2019年7月，日内瓦。
八叉树分割法
在TMC13中，若使用八叉树几何形态编解码器，则几何形态编码按如下方式进行。首先，与立方体轴对齐的边界框B由两个点(0,0,0)和(2M-1,2M-1,2M-1)限定，其中2M-1限定了B的大小，M在比特流中给出。然后，以递归的方式对B进行进一步划分来建立八叉树结构。在每个阶段，一个立方体被进一步分为8个子立方体。然后，通过将每个子立方体与1个比特值进行关联来生成8比特代码，即占用码(occupancy code)，以指示其包含点(即，是否满且值为1)或不包含点(即，是否空且值为0)。只有大小大于1的满的子立方体(即，非体积元素)才被进一步细分。图1为三维空间中八叉树分割法的示意图。
图2中示出了两级八叉树分割法和对应的占用码的示例，其中，暗色立方体和节点表示它们被点占用。
对占用码进行编码
然后，每个节点的占用码由算术编码器压缩。占用码可以表示为S，S是8比特整数，并且S中的每个比特指示每个子节点的占用状态。TMC13中存在两种占用码的编码方法，即，逐位编码方法和逐字节编码方法。默认启用逐位编码。在两种方法中，采用具有上下文建模的算术编码来对占用码进行编码，其中，上下文状态在整个编码过程的开始被初始化，并且在编码过程中被更新。
对于逐位编码，以某一顺序对S中的八个二进制数进行编码，其中，通过参考相邻节点的占用状态和相邻节点的子节点的占用状态来对每个二进制数进行编码，其中相邻节点与当前节点处于相同层次。
对于逐字节编码，通过参考以下信息对S进行编码：
·自适应查找表(adaptive look up table，A-LUT)，其中记录N个(例如，32个)最频繁使用的占用码，及
·高速缓存(cache)，其中记录最近观测到的M个(例如，16个)不同的占用码。
对指示S是否在A-LUT中的二进制标志进行编码。若S在A-LUT中，则通过使用二进制算术编码器来对A-LUT中的索引进行编码。若S不在A-LUT中，则对指示S是否在高速缓存中的二进制标志进行编码。若S在高速缓存中，则通过使用二进制算术编码器来对S的索引的二进制表示进行编码。否则，若S不在高速缓存中，则通过使用二进制算术编码器来对S的二进制表示进行编码。
解码过程以解析比特流中的边界框B的维度开始。然后，通过根据已解码的占用码来对B进行细分来建立相同的八叉树结构。
尽管如此，这些方法和技术仍有改进的空间，主要是在灵活的树分割表示方面，下面将对此进行讨论(出于点云压缩的目的)。
所提出的方法和装置可单独使用或以任何顺序组合使用。此外，各方法(或实施例)、编码器和解码器中的每一个可由处理电路(例如，至少一个处理器或至少一个集成电路)实施。在一个示例中，至少一个处理器执行存储在非暂时性计算机可读介质中的程序。此外，本文的公开内容不限于与TMC13软件或MPEG-PCC标准有关的用途。
灵活的树分割
根据本文所述的实施例，公开了树的分割方法和技术。
根据各实施例和所公开的技术，树结构中的节点(例如，3D空间中的立方体)可以以不同的方式被分割，包括但不限于以下方式：四叉树分割、二叉树分割、对称分割、非对称分割、混合分割和灵活分割。
对称分割
对称八叉树(OT)分割法描述如下。如图1所示，3D空间中的立方体可被分别垂直于x轴、y轴和z轴的3个平面划分成(具有相同大小的)8个子立方体。即，可以沿x轴、y轴、z轴应用分割。
对称四叉树(QT)分割法描述如下。如图3所示，3D空间中的立方体可被2个相互垂直的平面划分成(具有相同大小的)4个子立方体。即，可以沿三个轴中的两个轴进行分割。
对称二叉树(BT)分割法描述如下。如图4所示，3D中的立方体可被垂直于x轴、y轴和z轴之一的1个平面划分成(具有相同大小的)2个子立方体。即，可以仅沿一个轴进行分割。
非对称分割
根据各实施例，当分割位置不在中间时(例如，除了上述对称分割之外)，可以进行非对称分割。图5为非对称分割的2D示意图。3D非对称分割可包括以下各项：
ο非对称OT分割。3D空间中的立方体可被分别垂直于x轴、y轴和z轴的3个平面划分成(具有不同大小的)8个子立方体。沿每一轴进行分割的位置可以在中间，也可以不在中间。
ο非对称QT分割。3D空间中的立方体可被2个相互垂直的平面划分成(具有不同大小的)4个子立方体。沿每一轴进行分割的位置可以在中间，也可以不在中间。
ο非对称BT分割。3D空间中的立方体可被垂直于x轴、y轴和z轴之一的1个平面划分成(具有不同大小的)2个子立方体。分割位置可以在中间，也可以不在中间。
根据各实施例，非对称模式中的典型分割比是1:3和3:1，然而，在其它情况下，分割比可以是任意值，只要分割是在整数位置进行。在非对称分割法中涉及一些约束，包括但不限于以下各项：
ο仅当节点大小在指定范围内时，不允许非对称分割。例如，在一些实施例中，非对称分割不用于2x2x2的立方体或甚至大于8x8x8的立方体。
ο当节点是立方体，例如只能由对称OT/QT/BT分割法进行分割的立方体时，不允许非对称分割。
混合分割
根据各实施例，节点的分割方式可以使得该节点似乎已经一次性进行多次分割，例如，节点可经混合分割方案进行分割。图6为两级混合分割方案的2D示意图，其中两级指示两次连续的分割。图6的左侧示出了沿x轴进行非对称BT分割(3:1)，然后沿y轴对下半部分的子节点进行对称BT分割(1:1)的情形。图6的右侧示出了沿x轴进行对称BT分割(1:1)，然后再次沿x轴对两个子节点进行两次对称BT分割(1:1)的情形。图6的左侧可理解为三叉树分割，因为产生了三个子节点，而图6的右侧可理解为另一种形式的四叉树分割。
在3D空间中，混合分割的组合可能会很复杂。因此，可进行简化和约束，包括但不限于以下方面，
ο不允许高于两级的混合分割，这可指示节点一次最多可被分割两次。
ο在混合分割中可以允许分割的有限组合。可以预定义一组可使用的混合分割模式。
ο仅当节点大小在指定范围内时，才允许混合分割。例如，混合分割不适用于2x2x2立方体或大于8x8x8的立方体。
ο仅当节点是立方体时才允许混合分割，即混合分割不适用于矩形长方体。
ο如果混合分割等效于非混合分割，则该混合分割无效。例如，如果对称OT分割等效于一种混合分割(对称BT加上两次对称QT)，则该类型的混合分割无效。
灵活的树分割方式的表示
本文公开了提供可加性的用于灵活树分割的技术，使得树节点可被灵活地分割。可通过率失真优化技术在编码器侧确定优选分割模式，其中优选模式使成本函数最小化，如下：
Figure BDA0002838890370000071
这里，p指示一种树分割模式，D(p)和R(p)是p方面的失真函数和率函数，λ是在率和失真项之间进行平衡的拉普拉斯系数，
Figure BDA0002838890370000072
是最小化成本函数的优选树分割模式。注意，如果属性和几何形态结构被联合编码，则失真函数D(p)可包括属性的失真。如果几何形态编解码是无损的，则可以忽略失真函数，因为在这种情况下D(p)总是0。然后，可以通过语法元素在码流中用信号表示优选分割模式。
根据各实施例，为了有效地对灵活的树结构进行编码，可以用二进制形式表示分割和占用信息。注意，以下公开的语法元素可通过旁路或通过具有上下文建模的熵编码进行编码。
对称分割
根据各实施例，为了表示对称OT、QT和BT分割，可用信号表示三个二进制语法元素split_x、split_y和split_z，分别指示是否沿x轴、y轴和z轴进行分割。这些值以如下所示指示分割模式：
表1对称分割信令
split_x split_y split_z 分割模式
1 1 1 对称OT
1 1 0 沿x-y轴的对称QT
1 0 1 沿x-z轴的对称QT
0 1 1 沿y-z轴的对称QT
1 0 0 沿x轴的对称BT
0 1 0 沿y轴的对称BT
0 0 1 沿z轴的对称BT
根据其它实施例，这些语法元素可通过推断出，而不是用信号显式地表示。
根据各实施例，如果一个维度上的节点大小低于阈值，或者满足预定条件，则可通过推断出沿该维度分割的语法元素。例如，如果节点大小是4x4x1，则split_z可被推断为零，因为z维不能被进一步划分。
根据各实施例，如果三个语法元素中的两个语法元素已知为零，则最后一个语法元素元素可被推断为等于1。例如，如果split_x和split_y用信号表示为零，则split_z可被推断为1，因为它们不能同时为0。
根据一个实施例，如果一个节点是立方体，则仅允许对称OT，因此split_x、split_y和split_z可被推断为1而无需用信号表示。
根据一个实施例，这些分割语法元素可被应用于当前节点、其子节点、其孙节点，并且甚至向下应用于叶节点。在这种情况下，可在无需用信号明确表示的情况下，推断得到后代节点的分割语法元素。
根据一个实施例，在多个分割深度的宽度优先编解码之后，剩余的子节点可被视为子树。每个子树可以以不同的方式进行分割，因此，可以为每个子树的每个分割深度用信号表示其分割语法元素。
根据一个实施例，可以假定位于相同分割深度的节点的分割语法元素相同，在这种情况下，对于每个分割深度，可以仅用信号表示一组分割语法元素。
根据一个实施例，仅当满足某些条件时才允许灵活分割模式，在这些情况下，不用信号表示分割语法元素。例如，仅当分割深度达到阈值时才允许灵活分割模式。因此，当分割深度低于阈值时，分割语法元素可被推断为1，其指示仅允许对称OT分割。
非对称分割
根据使用非对称分割的各实施例，可以使用另外的语法元素split_pos_x、split_pos_y、split_pos_z来指示分割位置。分割位置最多可采用3个值，指示分割方式是对称的(1:1)还是非对称的(1:3或3:1)。以split_pos_x为例，如果split_x等于1，则分割比可由两个比特定义如下：
表2非对称分割信令
split_pos_x 分割比
b0 1:1(对称)
b10 1:3(非对称)
b11 3:1(非对称)
根据各实施例，第一比特可指示分割是否对称(1:1)，而第二比特可指示分割比是1:3还是3:1，及分割是否非对称。如果split_x等于0，则不发信号通知split_pos_x。相同的定义可应用于split_pos_y和split_pos_z。
各实施例还公开了用于推断出而不是用信号明确表示这些语法元素的技术。
根据一个实施例，如果一个维度上的节点大小低于阈值，或者满足预定义条件，则可推断出沿该维度的分割语法元素。例如，如果仅允许对小于或等于4的节点大小应用非对称分割，则当节点大小大于4时，可不用信号表示split_pos_x、split_pos_y、split_pos_z。
根据一个实施例，当节点是立方体时，可以不允许应用非对称分割，因此在这种情况下，split_pos_x、split_pos_y、split_pos_z可被推断为等于0，而无需用信号表示。
根据一个实施例，相同的分割位置可被应用于当前节点、其子节点及其孙节点。此外，分割位置甚至可被应用于叶节点，在这种情况下，可在无需显式地用信号表示的情况下推断得到后代节点的分割语法元素。
根据一个实施例，可以假定位于相同分割深度的节点的分割语法元素相同，在这种情况下，对于每个分割深度，可以仅用信号表示一组分割语法元素。
根据一个实施例，可以仅在满足某些条件时允许应用非对称分割模式，在这些情况下，在不满足条件时可不用信号表示分割位置语法元素。例如，可以仅在分割深度达到阈值时允许非对称分割模式，因此当分割深度低于阈值时，分割位置语法元素可被推断为等于0，指示仅允许对称分割。
混合分割
根据各实施例，可以通过标志hybrid_split_flag和索引hybrid_split_index用信号表示混合分割。如果hybrid_split_flag等于1，则可用信号表示hybrid_split_index以指示参考预定义查找表的混合分割模式。如果hybrid_split_flag被设置为等于0，则不用信号表示hybrid_split_index，并且如上所述用信号表示对称和(或)非对称分割模式。查找表，例如，hybrid_split_index与混合分割模式之间的映射如下：
表3混合分割信令
Figure BDA0002838890370000101
Figure BDA0002838890370000111
与以上讨论的类似，根据各实施例，这些语法元素可被另外推断出和/或用信号表示。
根据一个实施例，仅当节点是立方体时才允许混合分割，因此hybrid_split_flag可被推断为等于0，并且当当前节点是非立方体时，不用信号表示hybrid_split_index。
根据一个实施例，相同的分割位置可被应用于当前节点、其子节点、其孙节点，甚至叶节点，在这些情况下，可在无需显式地用信号表示的情况下推断出后代节点的分割语法元素。
根据一个实施例，可以假定位于相同分割深度的节点的分割语法元素相同，在这种情况下，对于每个分割深度，可以仅用信号表示一组分割语法元素。
根据一个实施例，当满足某些条件时，不允许一些混合分割模式，在这些情况下，查找表缩小，从而可从冗余中节省位。
根据一个实施例，可以通过单个查找表统一混合分割模式及其它对称和非对称模式的信令，该查找表包括当前节点的所有可能的分割模式。在这种情况下，可以仅指示查找表中的一个索引来指示分割模式。
灵活树分割法中的占用信息编解码
本申请提供灵活树分割技术，可将节点划分成少于八个子节点并且每一子节点可具有不同大小。例如，3D中的非对称QT分割法可以产生具有不同大小的4个子节点。因此，根据各实施例，占用代码并不总是8比特。如果节点被划分成N个子节点，则占用代码是N比特，其中每一比特表示相应的子节点是被占用还是空的。不同的节点大小对占用信息编解码中的上下文建模产生影响。
图7是用于对点云的已编码信息进行解码的示例方法700的流程图。在一些实施方案中，图7的至少一个方法框可由用户设备810执行。在一些实施方案中，图7的至少一个方法框可由与用户设备810分离或包括用户设备810的另一设备或一组设备执行，例如平台820。
如图7所示，方法700可包括获取已编码的码流，该已编码的码流包括点云的已编码信息，点云包括三维空间中的点的集合(框710)。
点云可以是3D空间中的点的集合，每一点具有相关联的属性，例如颜色、材质特性等。
如图7进一步所示，方法700可包括通过以下方式中的至少一个来确定用于对点云的信息进行编码的分割方式的类型：解析至少三个二进制语法元素的信号或推断出至少三个二进制语法元素中的至少一个语法元素。(框720)。
图8是可以实现本文描述的系统和/或方法的通信系统800示例的示意图。如图8所示，通信系统800可包括用户设备810、平台820和网络830。通信系统800的设备可经由有线连接、无线连接或者有线连接和无线连接的组合进行互连。
通信系统800可以支持数据的单向传输。例如，第一用户设备810可以在本地位置处对视频数据进行编码，以便经由网络830传输到第二用户设备810。第二用户设备810可以从网络830接收第一用户设备810的已编码视频数据，对已编码数据进行解码并显示恢复的视频数据。单向数据传输在媒体服务应用等中较为常见。
通信系统800可以支持数据的双向传输。例如，通信系统800可以支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输，每个用户设备810可以对在本地位置处采集的视频数据进行编码，以便经由网络830传输到另一用户设备810。每个用户设备810还可以接收由另一用户设备810传输的已编码视频数据，可以对已编码数据进行解码，并且可以在本地显示设备上显示恢复的视频数据。
用户设备810包括一个或多个设备，该一个或多个设备能够接收、生成、存储、处理、和/或提供与平台820相关联的信息。例如，用户设备810可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，智能眼镜或智能手表)，或相似设备。在一些实施方式中，用户设备810可以从平台820接收信息和/或向平台820发送信息。
平台820包括如本文中其它地方所描述的可以向用户设备810提供信息的至少一个设备。在一些实施方式中，平台220可以包括云服务器或云服务器组。在一些实施方式中，平台820可以采用模块化设计，使得可以根据特定需要换入或换出软件组件。这样，可以针对不同的用途容易地和/或快速地重新配置平台820。
在一些实施方式中，如图所示，平台820可以被托管(hosted)在云计算环境822中。值得注意的是，虽然本文所述的实施方式将平台820描述为托管在云计算环境822中，但是在一些实施方式中，平台820可能不是基于云的(即，可以在云计算环境外部实现)或者可以是部分基于云的。
云计算环境822包括托管平台820的环境。云计算环境822可以提供计算、软件、数据存取、存储等服务，这些服务不需要终端用户(例如，用户设备810)了解托管平台820的系统和/或设备的物理位置和配置。如图所示，云计算环境822可以包括一组计算资源824(统称为“计算资源(computing resources)824”，分别称为“计算资源(computing resource)824”)。
计算资源824包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实施方式中，计算资源824可以托管平台820。云资源可以包括在计算资源824中执行的计算实例、在计算资源824中提供的存储设备、由计算资源824提供的数据传输设备，等。在一些实施方式中，计算资源824可以通过有线连接、无线连接或有线和无线连接的组合与其它计算资源824通信。
进一步如图8所示，计算资源824包括一组云资源，例如一个或多个应用程序(application，APP)824-1、一个或多个虚拟机(virtual machine，VM)824-2、虚拟化存储(virtualized storage，VS)824-3、一个或多个管理程序(hypervisor，“HYP”)824-4等。
应用程序824-1包括一个或多个软件应用程序，其可以提供给用户设备810和/或平台820，或由用户设备810和/或平台820访问。应用程序824-1使得用户设备810无需安装和执行软件应用程序。例如，应用程序824-1可以包括与平台820关联的软件，和/或，能够通过云计算环境822提供的任何其它软件。在一些实施方式中，一个应用程序824-1可以通过虚拟机824-2向/从一个或多个其它应用程序824-1发送/接收信息。
虚拟机824-2包括机器(例如，计算机)的软件实现，虚拟机824-2像物理机那样执行程序。虚拟机824-2可以是系统虚拟机，也可以是进程虚拟机，这取决于虚拟机824-2对任何真实机的使用和对应程度。系统虚拟机可以提供完整系统平台，其支持完整操作系统(“OS”)的执行。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实施方式中，虚拟机824-2可以代表用户(例如，用户设备810)执行，并且可以管理云计算环境822的基础架构，例如数据管理、同步、或长期数据传输。
虚拟化存储824-3包括一个或多个存储系统和/或一个或多个设备，该一个或多个存储系统和/或设备在计算资源824的存储系统或设备内使用虚拟化技术。在一些实施方式中，在存储系统的上下文内，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指从物理存储抽象(或分离)出逻辑存储，从而可以在不考虑物理存储或异构结构的情况下访问存储系统。上述分离可以允许存储系统的管理员灵活地管理终端用户的存储。文件虚拟化可以消除在文件层次存取的数据与物理存储文件的位置之间的依赖性。这可以优化存储使用、服务器整合、和/或无中断文件迁移的性能。
管理程序(Hypervisor)824-4可以提供硬件虚拟化技术，其允许多个操作系统(例如，“客户操作系统”)在诸如计算资源824的主计算机上同时执行。管理程序824-4可以向客户操作系统提供虚拟操作平台，并且可以管理客户操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。
网络830包括一个或多个有线和/或无线网络。例如，网络830可以包括蜂窝网络(例如，第五代(fifth generation,5G)网络、长期演进(Long-Term Evolution,LTE)网络、第三代(third generation,3G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PublicLand Mobile Network,PLMN)、局域网(Local Area Network,LAN)、广域网(Wide AreaNetwork,WAN)、城域网(Metropolitan Area Network,MAN)、电话网络(例如，公共交换电话网络(Public Switched Telephone Network,PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络等，和/或这些或其它类型的网络的组合。
图8所示的设备和网络的数量和排列是提供的一个示例。实际中，与图8所示的设备和/或网络相比，可以有更多的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或排列不同的设备和/或网络。此外，图8所示的两个或更多个设备可以在单个设备内实现，或者图8所示的单个设备可以由多个分布式设备实现。另外或可替代地，环境800的一组设备(例如，一个或多个设备)可以执行被描述为由环境200的另一组设备执行的一个或多个功能。
图9是设备900的示例组件的示意图。设备900可以对应于用户设备810和/或平台820。如图9所示，设备900可以包括总线910、处理器920、存储器930、存储组件940、输入组件950、输出组件960和通信接口970。
总线910包括允许设备900的组件之间进行通信的组件。处理器920以硬件、固件或硬件和软件的组合来实现。处理器920是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或另一类型的处理组件。在一些实施方式中，处理器920包括一个或多个能够被编程以执行功能的处理器。存储器930包括随机存取存储器(RAM)、只读存储器(ROM)和/或另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)，其存储供处理器920使用的信息和/或指令。
存储组件940存储与设备900的操作和使用相关的信息和/或软件。例如，存储组件940可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光盘(CD)、数字通用盘(DVD)、软盘、盒式磁带、磁带和/或另一类型的非易失性计算机可读介质，以及相应的驱动器。
输入组件950包括允许设备900例如通过用户输入接收信息的组件，例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风。另外或可替代地，输入组件950可以包括用于感测信息的传感器(例如，全球定位系统(GPS)组件、加速计、陀螺仪和/或致动器)。输出组件960包括提供来自设备300的输出信息的组件，例如，显示器、扬声器和/或一个或多个发光二极管(LED)。
通信接口970包括类似收发器的组件(例如，收发器和/或单独的接收器和发送器)，该组件使设备900能够例如通过有线连接、无线连接或有线和无线连接的组合与其它设备通信。通信接口970可以允许设备900从另一设备接收信息和/或向另一设备提供信息。例如，通信接口970可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。
设备900可以执行本文中所描述的一个或多个过程。设备900可以响应于处理器920执行由非易失性计算机可读介质(例如存储器930和/或存储组件940)存储的软件指令来执行这些过程。计算机可读介质在本文中被定义为非易失性存储器设备。存储器设备包括单个物理存储设备内的存储空间或分布在多个物理存储设备上的存储空间。
软件指令可以通过通信接口970从另一计算机可读介质或从另一设备读入存储器930和/或存储组件940。当被执行时，存储在存储器930和/或存储组件940中的软件指令可以使处理器920执行本文中所描述的一个或多个过程。另外或可替代地，可以使用硬件连线电路来代替软件指令或与软件指令结合以执行本文中所描述的一个或多个过程。因此，本文中所描述的实施方式不限于硬件电路和软件的任何特定组合。
图9所示的组件的数量和排列是提供的一个示例。实际中，与图9所示的组件相比，设备900可能包括更多的组件、更少的组件、不同的组件或排列不同的组件。另外或可替代地，设备900的一组组件(例如，一个或多个组件)可以执行被描述为由设备900的另一组组件执行的一个或多个功能。
前述公开内容提供了说明和描述，但并不旨在穷举或将实现方式限制为所公开的精确形式。根据上述公开，修改和变化是可能的，或者可从实现方式的实践中获取。
如本文所用，术语组件旨在被广泛地解释为硬件、固件或硬件和软件的组合。
显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限于这些实现方式。因此，在不参考特定软件代码的情况下在本文描述了系统和/或方法的操作和行为——应当理解，可基于在本文的描述来设计软件和硬件以实现系统和/或方法。
虽然特征的特定组合在权利要求中引用和/或在说明书中公开，但是这些组合并不旨在对可能的实现方式的公开进行限制。事实上，这些特征中的许多特征可以以权利要求中未具体列举和/或说明书中未公开的方式组合。虽然下面列出的每个从属权利要求可直接从属于仅一个权利要求，但是可能的实现方式的公开包括与权利要求组中的每个其它权利要求组合的每个从属权利要求。
本文中使用的元件、动作或指令都不应被解释为关键的或必要的，除非明确地如此描述。此外，如本文所用，冠词“一”和“一个”旨在包括一个或多个项目，并且可与“一个或多个”互换使用。此外，如本文所用，术语“集”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，并且可与“一个或多个”互换使用。当仅意指一个项目时，使用术语“一个”或类似语言。此外，如本文所用，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式术语。进一步地，短语“基于”旨在表示“至少部分地基于”，除非另外明确声明。

Claims (20)

1.一种对点云的已编码信息进行解码的方法，由至少一个处理器执行，其特征在于，所述方法包括：
获取已编码的码流，所述已编码的码流包括点云的已编码信息，所述点云包括三维空间中的点的集合；及
通过以下操作中的至少一个来确定用于对所述点云的信息进行编码的分割方式的类型：解析至少三个二进制语法元素的信号，或推断出至少三个二进制语法元素中的至少一个语法元素。
2.根据权利要求1所述的方法，其特征在于，所述至少三个二进制语法元素指示是否在X轴、Y轴及Z轴上进行分割。
3.根据权利要求1所述的方法，其特征在于，进一步包括：
获取已分割的所述点云的一个对象的节点大小，
其中，确定用于对所述点云的信息进行编码的分割方式的类型包括：
通过基于所述对象的节点大小推断出所述至少三个二进制语法元素来确定所述分割方式的类型。
4.根据权利要求1至3中任一权利要求所述的方法，其特征在于，确定用于对所述点云的信息进行编码的分割方式的类型包括以下中的至少一个：解析另外两个二进制语法元素的信号，及推断出所述另外两个二进制语法元素。
5.根据权利要求4所述的方法，其特征在于，所述另外两个二进制语法元素指示所述分割方式的类型是对称方式，以及当所述分割方式的类型是非对称方式时，指示所述分割方式的类型的分割比。
6.根据权利要求4所述的方法，其特征在于，进一步包括：
获取已分割的所述点云的一个对象的节点大小，
其中，确定用于对所述点云的信息进行编码的分割方式的类型包括：
通过基于所述对象的节点大小推断出所述至少三个二进制语法元素来确定所述分割方式的类型。
7.根据权利要求4所述的方法，其特征在于，进一步包括：
获取已分割的所述点云的一个对象的节点形状，
其中，确定用于对所述点云的信息进行编码的分割方式的类型包括：
通过基于所述对象的节点形状推断出所述至少三个二进制语法元素来确定所述分割方式的类型。
8.根据权利要求1至3中任一权利要求所述的方法，其特征在于，所述点云的分割方式的类型使用以下公式来选择：
Figure FDA0002838890360000021
其中p指示一种树分割模式，D(p)是失真函数，R(p)是率函数，λ是拉普拉斯系数，而p^是一种树分割模式。
9.根据权利要求1至3中任一权利要求所述的方法，其特征在于，确定用于对所述点云的信息进行编码的分割方式的类型包括：
通过对所述至少三个二进制语法元素中的一个语法元素进行解析并推断出该至少三个二进制语法元素中的两个语法元素来确定所述分割方式的类型。
10.根据权利要求1至3中任一权利要求所述的方法，其特征在于，确定用于对所述点云的信息进行编码的分割方式的类型包括：
推断出已分割的所述点云的后代节点的分割类型。
11.一种用于对点云的信息进行解码的装置，其特征在于，包括：
至少一个存储器，用于存储程序代码；及
至少一个处理器，用于访问所述至少一个存储器并且根据所述计算机程序代码进行操作；所述计算机程序代码包括：
第一获取代码，用于获取已编码的码流，所述已编码的码流包括点云的已编码信息，所述点云包括三维空间中的点的集合；及
确定代码，用于通过以下操作中的至少一个来确定用于对所述点云的信息进行编码的分割方式的类型：解析至少三个二进制语法元素的信号，或推断出至少三个二进制语法元素中的至少一个语法元素。
12.根据权利要求11所述的装置，其特征在于，所述至少三个二进制语法元素指示是否在X轴、Y轴及Z轴上进行分割。
13.根据权利要求11所述的装置，其特征在于，所述计算机程序代码进一步包括：
第二获取代码，用于获取已分割的所述点云的一个对象的节点大小，
其中，所述确定代码进一步用于通过基于所述对象的节点大小推断出所述至少三个二进制语法元素来确定所述分割方式的类型。
14.根据权利要求11至13中任一权利要求所述的装置，其特征在于，所述确定代码进一步用于通过以下进一步操作中的至少一个来确定所述分割方式的类型：解析另外两个二进制语法元素的信号并推断出所述另外两个二进制语法元素。
15.根据权利要求14所述的装置，其特征在于，所述另外两个二进制语法元素指示所述分割方式的类型是对称方式，以及当所述分割方式的类型是非对称方式时，指示所述分割方式的类型的分割比。
16.根据权利要求14所述的装置，其特征在于，所述计算机程序代码进一步包括：
第二获取代码，用于获取已分割的所述点云的一个对象的节点大小，
其中，所述确定代码用于通过基于所述对象的节点大小推断出所述至少三个二进制语法元素来确定所述分割方式的类型。
17.根据权利要求14所述的装置，其特征在于，所述计算机程序代码进一步包括：
第二获取代码，用于获取已分割的所述点云的一个对象的节点形状，
其中，所述确定代码用于通过基于所述对象的节点形状推断出所述至少三个二进制语法元素来确定所述分割方式的类型。
18.根据权利要求11至13中任一权利要求所述的装置，其特征在于，所述点云的分割方式的类型使用以下公式来选择：
Figure FDA0002838890360000031
其中p指示一种树分割模式，D(p)是失真函数，R(p)是率函数，λ是拉普拉斯系数，而p^是一种树分割模式。
19.根据权利要求11至13中任一权利要求所述的方法，其特征在于，所述确定代码用于通过对所述至少三个二进制语法元素中的一个语法元素进行解析并推断出该至少三个二进制语法元素中的两个语法元素来确定所述分割方式的类型。
20.一种非易失性计算机可读存储介质，存储有指令，其特征在于，所述指令可使至少一个处理器执行如权利要求1-10中任一权利要求所述的方法。
CN202011485202.1A 2020-02-10 2020-12-16 点云信息解码的方法和装置 Pending CN113315977A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062972161P 2020-02-10 2020-02-10
US62/972,161 2020-02-10
US17/085,395 US11252439B2 (en) 2020-02-10 2020-10-30 Flexible tree partition and representation for point cloud coding
US17/085,395 2020-10-30

Publications (1)

Publication Number Publication Date
CN113315977A true CN113315977A (zh) 2021-08-27

Family

ID=77176947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011485202.1A Pending CN113315977A (zh) 2020-02-10 2020-12-16 点云信息解码的方法和装置

Country Status (2)

Country Link
US (2) US11252439B2 (zh)
CN (1) CN113315977A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000241A1 (zh) * 2019-07-01 2021-01-07 Oppo广东移动通信有限公司 点云模型重建方法、编码器、解码器、及存储介质
US11514612B2 (en) 2020-04-02 2022-11-29 Tencent America LLC Method and apparatus for point cloud coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
CN111406408B (zh) * 2019-01-11 2023-02-21 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
WO2020248562A1 (zh) * 2019-06-14 2020-12-17 深圳市大疆创新科技有限公司 一种用于点云处理、解码的方法、设备及存储介质
US20210105313A1 (en) * 2019-10-02 2021-04-08 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling a region in spatially grouped immersive media data tracks
US20220398784A1 (en) * 2019-10-31 2022-12-15 Blackberry Limited Method and system for azimuthal angular prior and tree repesentation for cloud compression

Also Published As

Publication number Publication date
US20220132168A1 (en) 2022-04-28
US11563984B2 (en) 2023-01-24
US11252439B2 (en) 2022-02-15
US20210250618A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
CN113256746B (zh) 点云编解码的方法、装置和存储介质
US11741637B2 (en) Node-based geometry and attribute coding for a point cloud
US11310528B2 (en) Methods of coding duplicate and isolated points for point cloud coding
US11417030B2 (en) Context modeling of occupancy coding for point cloud coding
US11710260B2 (en) Context modeling of occupancy coding for point cloud coding
CN113544747B (zh) 用于点云编解码的几何合并模式的方法和装置
US11563984B2 (en) Flexible tree partition and representation for point cloud coding
CN113179411A (zh) 点云属性编解码方法、装置、计算机设备及存储介质
KR102650334B1 (ko) 포인트 클라우드 코딩을 위한 방법 및 장치
US20240177356A1 (en) Improvement on predictive tree-based geometry coding for a point cloud
JP7553592B2 (ja) ３ｄジオメトリを構築するための方法、装置およびプログラム
CN115152225A (zh) 用于点云译码的方法和设备
RU2814612C1 (ru) Способы кодирования дублированных и изолированных точек для кодирования облака точек

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051203

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination