CN112385236B - 点云的编码和解码方法、编码器和解码器、以及存储介质 - Google Patents

点云的编码和解码方法、编码器和解码器、以及存储介质 Download PDF

Info

Publication number
CN112385236B
CN112385236B CN202080003877.XA CN202080003877A CN112385236B CN 112385236 B CN112385236 B CN 112385236B CN 202080003877 A CN202080003877 A CN 202080003877A CN 112385236 B CN112385236 B CN 112385236B
Authority
CN
China
Prior art keywords
threshold
parent
node
nodes
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080003877.XA
Other languages
English (en)
Other versions
CN112385236A (zh
Inventor
张伟
玛丽-卢克·乔治斯·亨瑞·坎姆佩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Xidian University
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Beijing Xiaomi Mobile Software Co Ltd filed Critical Xidian University
Publication of CN112385236A publication Critical patent/CN112385236A/zh
Application granted granted Critical
Publication of CN112385236B publication Critical patent/CN112385236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3066—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction by means of a mask or a bit-map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本文提供了用于对点云的属性进行编码和解码的方法、编码器和解码器、以及存储介质。其中，用于对点云中的点的属性进行编码以生成压缩点云数据的比特流的方法，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述方法包括以下步骤：通过对当前节点的属性应用区域自适应层级变换RAHT来确定真实变换系数；确定当前父节点与和所述当前节点共享面或边的第一组父节点中的每个父节点的属性之间的差值，其中，所述当前父节点是所述当前节点的父节点；根据所述差值从第一组父节点中选择第二组，其中，优选地，所述第二组父节点包括所述当前父节点；根据所述第二组父节点的属性确定所述当前节点的属性的预测值；通过对所述当前节点的属性的预测值应用RAHT来确定预测变换系数；从所述真实变换系数和所述预测变换系数确定残差；以及对所述残差进行编码以针对所述比特流生成所述点云的属性的编码数据。

Description

点云的编码和解码方法、编码器和解码器、以及存储介质
技术领域
本申请总体涉及点云中的点的属性压缩，本申请尤其涉及用于改进点云属性的编码的编码方法和解码方法、编码器和解码器以及存储介质。
背景技术
3D点云替代3D网格，最近成为流行的3D媒体信息表征。与点云数据相关联的用例非常多样化，并且包括：
·电影制作中的3D资产(asset)，
·用于实时3D沉浸式临场感或虚拟现实(VR)应用的3D资产，
·3D自由视点视频(例如，用于观看体育运动)，
·地理信息系统(制图)，
·文化遗产(以数字形式存储易损资产)，
·自动驾驶(大型3D环境映射)，等等。
点云是3D空间中的点集，每个点都具有关联的属性，例如颜色、材质特性等。可利用点云将对象或场景重构为这些点的组合。可利用具有不同设置的多个摄像机和深度传感器来采集点云，点云可由数千个甚至多达数十亿个点组成，以便真实地再现重构的场景。
需要存储点云的各个点的位置(通常将X、Y、Z信息编码为32位或64位的浮点数)及其属性(通常至少呈现24位编码的RGB颜色)。有时点云中具有数十亿个点，因而很容易解释点云的原始数据可多达数千兆字节。因此，迫切需要压缩技术以减少表征点云所需的数据量。
针对点云压缩，开发了两种不同的方法：
第一，在基于视频的点云压缩(VPCC)方法中，点云压缩通过以下方式进行：使点云在3个不同的轴X、Y、Z和不同深度上进行多次投影，从而所有的点都出现在一个投影图像中。然后，将投影得到的多个投影图像处理成多个部分(patch)以消除冗余，并重新排列得到最终图像，在该最终图像中附加的元数据被用来将像素位置转换为空间中的点位置。然后，使用传统的图像/视频MPEG编码器执行压缩。这种方法的优势在于，其再利用现有的编码器并且自然地支持动态点云(使用视频编码器)，但是这种方法几乎不适用于稀疏点云，并且预期使用点云专用方法可以提高压缩增益。
第二，在基于几何结构的点云压缩(GPCC)方法中，点位置(通常称为几何结构)和相应点的属性(颜色、透明度等)被分别编码。为了对几何结构进行编码，使用了八叉树结构。将整个点云适配到一个立方体，不断地将该立方体分割为八个子立方体，直到每个子立方体只包含单个点。因此，点的位置被树的每个节点的占位信息所取代。
属性可以通过区域自适应层级变换(RAHT)进行编码。RAHT是已知技术，例如参考US 10,223,810 B2，并且是关于由体素位置的Morton代码定义的层级的两点变换。在八叉树的深度上从下到上，例如，从八叉树的叶到根，递归地执行RAHT。在树的各深度处，RAHT在每个节点上循环。对于每个节点，RAHT在三个方向上循环。其中，DC系数或高通系数被保留以用于下一步骤，而AC系数或低通系数被量化并编码到比特流中。
本发明的目的是提供一种有效的编码和解码方法以及编码器和解码器，以提供改进的点云属性压缩。
发明内容
在本公开的一方面，提供一种用于对点云中的点的属性进行编码以生成压缩点云数据的比特流的方法，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述方法包括以下步骤：
通过对当前节点的属性应用区域自适应层级变换RAHT来确定真实变换系数；
确定当前父节点与和所述当前节点共享面或边的第一组节点中的每个父节点的属性之间的差值，其中，所述当前父节点是所述当前节点的父节点；
根据所述差值从第一组父节点中选择第二组，其中，优选地，所述第二组父节点包括所述当前父节点；
根据所述第二组父节点的属性确定所述当前节点的属性的预测值；
通过对所述当前节点的属性的预测值应用RAHT来确定预测变换系数；
从所述真实变换系数和所述预测变换系数确定残差；以及
对所述残差进行编码以针对所述比特流生成所述点云的属性的编码数据。
其中，为了对要编码的当前节点进行编码，通过对当前节点的属性应用RAHT来确定真实变换系数。此外，确定要解码的当前节点的属性的预测值，并且再次将RAHT应用于预测值以确定当前节点的属性的预测变换系数。
从预测变换系数和真变换系数来确定残差，并且优选地通过熵编码将残差包含到比特流中，以产生点的属性的编码数据。
其中，为了确定当前节点的属性的预测值，确定当前节点的父节点(表示为当前父节点)与和要编码的当前节点共享面或边的第一组节点中的每个父节点的属性之间的差值。其中，与当前节点共享面或边的一组节点总包含六个节点。根据所确定的差值从六个节点的组中选择第二组。优选地，当前父节点也包括在第二组中。因此，第二组可以包括1到7个父节点(在树结构中处于级别D-1处)，以便预测当前节点(在树结构中处于级别D处)的属性的预测值。根据预测值，通过应用RAHT来确定预测变换系数，其中，预测变换系数被用于确定当前节点的属性的残差。
其中，针对每个被占位节点从树的根到叶重复上述步骤，以确定树结构中每个被占位节点的残差。然后，对所述残差进行编码，并且优选地将所述残差熵编码到比特流中。
因此，为了确定预测值，不总是考虑与当前节点共享面或边的全部父节点。根据第一组父节点中的每个父节点与当前父节点之间的属性的差值，只考虑第一组父节点中的那些父节点。因此，不需要选择第一组父节点中的全部父节点和当前父节点。结果，尤其地，如果父节点存在显著变化，可以确定改进的预测值。然后，根据用于预测所述预测值的差值，排除偏离当前节点的属性的真实值过多的父节点。
因此，当前节点的属性的预测值更接近当前节点的属性的原始值或真实值，从而减少残差。因此，在比特流中包含的残差必须较小，以提高属性的编码效率。
优选地，确定所述当前父节点与所述第一组节点中的每个父节点的属性之间的差值包括：
确定所述第一组父节点中的每个父节点与所述当前父节点之间的最大差值，以对全部节点的属性的同质性进行量化；
提供第一阈值；以及
如果所述最大差值小于所述第一阈值(即，如果属性值在所有节点之间非常同质)，则选择所述第一组父节点中的全部父节点。
因此，如果第一组节点中的每个父节点与当前节点之间的最大差值小于所提供的第一阈值，相应的父节点表现为属于点云中的同质区域，因此可以将全部节点选择至第二组中，并用于预测当前节点的属性的预测值。因此，在点云的同质区域中，与当前节点和当前父节点共享面或边的所有父节点被用于预测所述预测值。
优选地，确定所述当前父节点与所述第一组节点中的每个父节点的属性之间的差值包括：
确定所述第一组父节点中的每个父节点与所述当前父节点之间的差值，以量化所有节点之间的属性值的非同质性；
提供第二阈值；以及
如果相应差值小于所述第二阈值，则选择所述第一组父节点中的父节点。
因此，对于第一组父节点中的每个节点i，确定差值deltaAttri，并将其与第二阈值进行比较。如果特定节点i的差值小于第二阈值，则该节点被选择在第二组中并且被考虑用于预测当前节点的属性的预测值。因此，只选择那些差别不大、即不超过给定第二阈值的那些节点。因此，尤其在点云中的属性的非同质区域中，在确定当前节点的属性的预测值时因而排除具有偏差属性的父节点。由此，减少了当前节点的属性的预测值与真实值之间的偏差，提供了更准确的预测值，从而减少了要编码到比特流中的残差。
优选地，所述第一阈值是固定的并且为编码器和解码器所知。备选地或附加地，所述第二阈值是固定的。因此，所述第一阈值和/或所述第二阈值可以实现在编码器或解码器中，并且不需要编码到比特流中。
优选地，所述第一阈值是根据所述完整点云内的所述属性的分布而确定的。因此，点云内的属性的分布越同质化，第一阈值可以越低。备选地或附加地，第二阈值是根据所述完整点云内的所述属性的分布而确定的。其中，所述第一阈值和/或所述第二阈值可以被包括在每个点云的比特流中，例如，包括在元数据中。因此，第一阈值和/或第二阈值对于完整点云是固定的，但是在两个连续点云之间可以不同。
优选地，所述第一阈值和/或所述第二阈值是根据所述第一组父节点而确定的。因此，对于每一个当前节点，可以确定单个第一阈值和/或单个第二阈值，并因此适应于围绕当前节点的属性的特定变化。其中，第一阈值和/或第二阈值可以包括在比特流中，以从编码器转发到解码器以进行解码。
优选地，所述第一阈值和/或所述第二阈值是根据第一组父节点而确定的，并且由所有子节点继承，直到所述第一阈值或所述第二阈值的不同值被分配给第一组父节点的子树。因此，对于每个当前节点，单个第一阈值和/或单个第二阈值可以被确定，并因此适应于围绕当前节点的属性的特定变化。其中，所述第一阈值和/或所述第二阈值可以包括在比特流中以被从编码器转发到解码器，以在其涉及或被继承(并因此未包括在比特流中)的子树的顶部对于不在此子树顶部的节点进行解码。
优选地，所述第二阈值是所述第一阈值的百分比。因此，如果所述第一阈值增加，则作为所述第一阈值的百分比的第二阈值相应地增加。其中，百分比可以是固定的，根据完整点云内的属性分布确定，或者根据第一组父节点内的属性分布确定。因此，所述第一阈值或所述第二阈值与各自的百分比一起被包括在比特流中以被从编码器转发到解码器。
优选地，所述第一阈值和/或所述第二阈值是根据所述当前节点的属性与所述第一组父节点中的父节点的属性之间的比率而确定的。其中，针对所述比率，确定并考虑所述第一组父节点中的父节点的属性的平均值、最大值、最小值中的一个。备选地，当前节点的属性与所述第一组父节点中的每个父节点的属性之间的比率被用来确定所述第一阈值和/或所述第二阈值。
优选地，所述第一阈值和/或所述第二阈值被包括在所述比特流中。
优选地，所述第一阈值和/或所述第二阈值仅包括在应使用所述第一阈值和/或所述第二阈值的基于体素的结构的至少一个子树的顶部处的比特流中，并且由所述子树中没有其他的第一或第二阈值的显式信令的所有节点继承。因此，所述第一阈值和所述第二阈值如果被更新，则仅包括在比特流中，并且只要不更新就对子树保持有效。如果所述第一阈值和/或所述第二阈值通过在比特流中发送第一阈值或第二阈值来更新，则新的子树从更新的阈值开始。
优选地，第一阈值和第二阈值相等。备选地，第一阈值和第二阈值是不同的。
在本公开的一方面，提供一种用于对压缩点云数据的比特流进行解码以生成重构点云中的点的属性的方法，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述方法包括以下步骤：
从所述比特流对所述点云的当前节点的属性的残差进行解码；
确定当前父节点与和所述当前节点共享面或边的第一组节点中的每个父节点的属性之间的差值，其中，所述当前父节点是所述当前节点的父节点；
根据所述差值，从所述第一组父节点中选择第二组，其中，优选地，所述第二组父节点包括所述当前父节点；
根据所述第二组父节点的属性，确定所述当前节点的属性的预测值；
通过对所述当前节点的属性的预测值应用RAHT来确定预测变换系数；以及
通过应用逆RAHT从所述残差和所述预测变换系数确定所述当前节点的属性。
优选地，根据上述关于编码方法的特征进一步构建解码方法。这些特征可以与解码方法自由组合。
在本发明的一方面，提供了一种编码器，用于对点云进行编码以生成压缩点云数据的比特流，其中，所述点云的几何结构是通过具有多个节点的基于八叉树的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与基于八叉树的结构的节点相关联，所述编码器包括：
处理器，以及
存储器存储设备，其中，所述存储器存储设备中存储有能够由所述处理器执行的指令，当所述指令被执行时，促使所述处理器执行上述用于编码和解码的方法。
在本发明的一方面，提供了一种解码器，用于对压缩点云数据的比特流进行解码以生成重构点云，其中，所述点云的几何结构是通过具有多个节点的基于八叉树的结构表征的，通过将包含所述点云的体空间递归地分割成子体而使得所述多个节点具有父子关系，每个所述子体与基于八叉树的结构的节点相关联，所述解码器包括：
处理器，以及
存储器存储设备，其中，所述存储器存储设备中存储有能够由所述处理器执行的指令，当所述指令被执行时，促使所述处理器执行上述解码的方法。
在本公开的一方面，提供了一种非暂时性计算机可读存储介质，该介质存储有处理器执行的指令，当所述指令由处理器执行时，促使所述处理器执行上述编码和/或解码的方法。
附图说明
现在将以举例的方式参考附图，其中附图示出了本申请的示例性实施例，在附图中：
图1示出根据本发明的编码方法的实施例；
图2示出根据本发明的解码方法的实施例；
图3示出根据本发明的编码步骤的示例；
图4示出根据本发明的解码步骤的示例；
图5示出根据本发明的用于确定预测值的图示；
图6示出本发明的详细实施例；
图7示出本发明的详细实施例；
图8示出编码器设备的示意图；以及
图9示出解码器设备的示意图。
具体实施方式
本申请描述了对点云中的点的属性进行编码和解码的方法，以及用于对点云中的点的属性进行编码和解码的编码器和解码器。
本发明涉及一种对点云中的点的属性进行编码以生成压缩点云数据的比特流的方法，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述方法包括以下步骤：
通过对当前节点的属性应用区域自适应层级变换RAHT来确定真实变换系数；
确定当前父节点与和当前节点共享面或边的第一组父节点中的每个父节点的属性之间的差值，其中当前父节点是当前节点的父节点；
根据所述差值从第一组父节点中选择第二组，其中，优选地，第二组父节点包括当前父节点；
根据第二组父节点的属性确定当前节点的属性的预测值；
通过对当前节点的属性的预测值应用RAHT来确定预测变换系数；
从真实变换系数和预测变换系数确定残差；以及
对残差进行编码以生成比特流的点云属性的编码数据。
通过结合附图研读以下对示例的描述，本领域的普通技术人员将理解本申请的其他方面和特征。
有时在下面的描述中，术语“节点”和“子体”可以互换使用。应理解的是，节点与子体相关联。节点是树上的特定点，该特定点可以是内部节点或叶节点。子体是节点表征的有界物理空间。术语“体”可用来指用于包含点云而定义的最大有界空间。为了建立互连节点的树结构以对点云数据进行编码，将体递归地划分为子体。此外，术语“父节点”是指树的下一更高级别的节点。当节点可能位于树中的级别或深度D时，父节点是位于级别或深度D-1的节点。
点云是三维坐标系中的点的集合。这些点通常旨在表征一个或多个对象的外表面。每个点在三维坐标系中都有一个定位(位置)。该位置可以由笛卡尔坐标系或任何其他坐标系中的三个坐标(X，Y，Z)表示。这些点进一步具有例如颜色的关联属性，在某些情况下也可以是例如R、G、B或Y、Cb、Cr的三分量值。其他关联属性可以包括透明度、反射率、法线矢量等，这取决于所期望的点云数据的应用。
点云可以是静态的，也可以是动态的。例如，对物体或地形的详细扫描或映射可以是静态点云数据。用于机器视觉用途的基于LiDAR的环境扫描可以是动态点云数据，因为点云(至少潜在地)随时间(例如，随着“体”的每次连续扫描)而变化。因此，动态点云是按时间排序的点云序列。
点云数据可以用于许多应用中，例如，包括保藏(对历史文物的扫描)、地图绘制、机器视觉(例如，自动驾驶或半自动驾驶汽车)和虚拟现实系统。用于如机器视觉等应用的动态点云数据可以与用于如保藏用途的静态点云数据完全不同。例如，汽车视觉通常涉及相对较低的分辨率、无色彩且高动态性点云，所述点云是通过具有高采集频率的LiDAR(或类似)传感器获得的。这种点云的目的不是供人类使用或查看，而是用于决策过程中的机器对象检测/分类。例如，典型LiDAR框架(frame)包含顺序的数万个点，而高质量的虚拟现实应用则需要数百万个点。可以预期，随着计算速度提高和新应用出现，随着时间的推移，将会需要更高分辨率的数据。
尽管点云数据很有用，但对这种点云的属性和几何结构，缺乏有效和高效的压缩、即编码和解码处理，可能会妨碍采用和部署。
用于对点云数据进行编码的较为常见机制之一是使用基于树的结构。在基于树的结构中，将点云的有界三维体递归地划分为子体。树的节点对应于子体。可以基于树的分辨率和/或子体中是否包含任何点来确定是否进一步划分子体。叶节点可以具有占位标志，该占位标志指示其关联子体是否包含点。分割标志可以表示节点是否具有子节点(即，当前体是否已被进一步分割为子体)。在一些情况下，可以对这些标志进行熵编码，并且在一些情况下，可以使用预测编码。常用的树结构是八叉树。在这种结构中，体/子体都是立方体，并且子体的每次分割都会进一步产生八个子体/子立方体。
用于创建八叉树以对点云进行编码的基本处理可以包括：
在坐标系中从包含点云的有界体(立方体)开始；
1.将该有界体分割成8个子体(八个子立方体)；
2.对于每个子体，如果该子体为空，则用0标记该子体；或者，如果该子体中有至少一个点，则用1标记该子体；
3.对于所有标记为1的子体，重复(1)以分割这些子体，直到达到最大分割深度；以及
4.对于所有最大深度的叶子体(子立方体)，如果叶立方体不是空的，则将其标记为1，否则标记为0。
可以以预定顺序(在每个划分出的子体内，在宽度上优先或在深度上优先，并且根据扫描模式/顺序)遍历树，以产生表征各节点的占位模式的比特序列。
如上所述，点云中的点可以包括属性。这些属性的编码独立于点云的几何结构的编码。因此，每个被占位的节点，即包括点云的至少一个点的节点，与一个或多个属性相关联，以便进一步指明点云的属性。
本发明提供一种用于对点云中的点的属性进行编码的方法。所述方法在图1中示出。
提供一种用于对点云中的点的属性进行编码以生成压缩点云数据的比特流的方法，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述方法包括以下步骤：
通过对当前节点的属性应用区域自适应层级变换RAHT来确定真实变换系数(步骤S01)；
确定当前父节点与和当前节点共享面或边的第一组父节点中的每个父节点的属性之间的差值，其中当前父节点是当前节点的父节点(步骤S02)；
根据所述差值从第一组父节点中选择第二组，其中，优选地，第二组父节点包括当前父节点(步骤S03)；
根据第二组父节点的属性确定当前节点的属性的预测值(步骤S04)；
通过对当前节点的属性的预测值应用RAHT来确定预测变换系数(步骤S05)；
由真实变换系数和预测变换系数确定残差(步骤S06)；以及
对残差进行编码以生成比特流的点云属性的编码数据(步骤S07)。
参照图3，示出了对当前节点的属性进行编码的方法。在图3的示例中，在八叉树结构12的级别D处描绘了一定数量的占位节点10。未阴影化的立方体与未占位节点相关。其中，例如，在当前步骤应将当前节点14的属性编码到比特流中。其中，在图3的图a)中，占位节点由真实属性表征。根据步骤S01，通过区域自适应层级变换(RAHT)对图片a)的这些真实属性进行变换，以获得真实变换系数。RAHT是众所周知的技术，例如参考US 10,223,810B2，该文档的全文通过引用而被包括在本文中。其中，在图a)中，其他父节点可以包含在级别D处的其他占位节点，这些占位节点为清晰起见而被省略。
此外，根据图3的图b)，考虑当前父节点18的相邻父节点16，其中，当前父节点18包含要编码的当前节点14。因此，在图3的图b)中，只有那些不是空的相邻父节点16被阴影化，即这些父节点包括点云的至少一个点。通常，有六个相邻父节点与当前父节点18共享一个面，并且有十二个相邻父节点与当前父节点18共享一条边。这些节点中的一个节点、这些节点中的一个以上节点、或者这些节点的全部可以为空的，或者可以包括点云的点并且因此不是空的。其中，当前父节点18和相邻父节点16位于树结构中的深度D-1处。
根据步骤S02，确定当前父节点18的属性与相邻的占位父节点的属性之间的差值。然而，并非针对每个当前父节点以及相邻的占位父节点16来计算当前父节点18和相邻父节点16的属性之间的差值。第一组父节点仅包括与树结构中深度D处的当前节点14共享面或边的那些相邻父节点16。因此，如果第一组父节点的全部父节点被点云的点占位，包括当前父节点18本身，则第一组父节点可以包括最多七个父节点。在图3的示例中，对于当前节点14，第一组包括三个相邻父节点20(其中，假设在当前父节点18后面，相邻父节点16为空的)。
按照所确定的当前父节点18和第一组父节点20的属性之间的差值，根据所确定的差值选择第二组。另外，当前父节点18也包括在第二组中。在图3的示例中，取决于属性的差值，第二组可以包含1至4个节点。
根据步骤S04，根据第二组父节点的属性来确定当前节点14的属性的预测值。其中，图4示出了在2D中确定预测值的步骤的实施例。在2D的示例中，第二组父节点可以仅包含四个父节点，包括当前父节点。为了在图4的示例中确定当前节点14的属性的预测值，考虑与当前节点14共享边或面的所有相邻父节点22，包括当前节点14的当前父节点24。按照第二组的父节点22、24的属性ak，根据以下公式对当前节点14的预测值apredicted进行加权预测：
Figure GDA0002882573100000131
其中，dk表示当前节点14的中心与相应的父节点22、24的中心之间的距离。如上所述，在图4中，考虑第二组的所有父节点。但是，所考虑的父节点的数量可能会更少。
回到图3。在图3的图c)中，示出了当前节点14的预测值。其中，对当前父节点18中的其他占位节点10重复上述步骤。因此，如图3的图c)所示，为当前父节点18中深度D处的每个占位节点10确定预测值。通过应用RAHT对每个预测值进行变换，以获得当前父节点18内每个占位节点10的预测变换系数。
根据步骤S06，按照预测变换系数和真实变换系数，为包括当前节点14的各个节点确定残差。根据步骤S07，对残差进行熵编码以产生比特流的属性的编码数据。
因此，根据当前父节点18与和当前节点14共享面或边的相邻父节点20之间的属性的差值，在第二组中仅选择那些彼此偏差足够小的相邻父节点20。因此，减少了每个节点的残差，提高了将属性编码到比特流的效率。
例如，在图3的图b)中，如果相邻父节点25属于点云中具有与当前节点14的颜色相偏离的不同颜色的区域，则在确定预测值的步骤中包括这些相邻父节点会增加要编码的残差，从而导致预测失败。因此，在此示例中，来自第一组父节点的相邻父节点25将不会被选择包括在第二组中，因此在如上所述的加权预测中不会考虑这些父节点25的属性。
本发明提供一种用于对点云中的点的属性进行解码的方法。所述方法在图2中示出。
提供了一种用于对压缩点云数据的比特流进行解码以生成重构点云中的点的属性的方法，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述方法包括以下步骤：
从比特流对点云的当前节点的属性的残差进行解码(步骤S10)；
确定当前父节点与和当前节点共享面或边的第一组父节点的每个父节点的属性之间的差值，其中，当前父节点是当前节点的父节点(步骤S11)；
根据所述差值，从第一组父节点中选择第二组，其中，优选地，第二组父节点包括当前父节点(步骤S12)；
根据第二组父节点的属性，确定当前节点的属性的预测值(步骤S13)；
通过对当前节点的属性的预测值应用RAHT来确定预测变换系数(步骤S14)；以及
通过应用逆RAHT从残差预测的变换系数确定当前节点的属性(步骤S15)。
图4中进一步描绘了对比特流进行解码以获得点云中的当前点的属性的方法的步骤，其中，图4的图d)中表示的残差由经解码的比特流提供。这些残差与预测值组合，其中，图4的图b)和图c)中描绘的预测与上述相应编码的步骤相同。其中，应注意，解码是从根到叶来执行。因此，深度D-1处与当前节点14共享面或边的父节点的属性是已知的。
按照通过RAHT变换的预测值和通过对比特流进行解码提供的残差，通过逆RAHT获得当前节点14的属性。
参照图6，示出了详细的实施例。其中，确定当前父节点与第一组父节点的每个父节点的属性之间的差值包括：
确定第一组父节点中的每个父节点与当前父节点之间的最大差值(步骤S21)；
提供第一阈值(步骤S22)；以及
如果最大差值小于第一阈值，则选择第一组父节点的所有父节点(步骤S23)。
因此，通过确定第一组父节点中的每个父节点与当前父节点之间的最大差值，确定点云中所考虑的体的同质性(homogeneity)。因此，如果所述差值小于第一阈值，则所述属性足够同质化从而全部都能被考虑来预测当前节点14的属性的预测值。
参照图7，示出了详细的实施例。其中，确定当前父节点与第一组父节点的每个父节点的属性之间的差值包括：
确定第一组父节点中的每个父节点与当前父节点之间的差值(步骤S31)；
提供第二阈值(步骤S32)；以及
如果相应差值小于第二阈值，则选择第一组父节点中的父节点(步骤S33)。
特别地，如果点云的所考虑的体中属性的同质性，即第一组父节点中每个当前父节点之间的最大差值超过第一阈值，则确定第一组父节点中每个父节点i的属性ai与当前父节点的属性aPresentParentNode的差值deltaAttri，其中，deltaAttri＝ai-aPresent Parent Node。其中，选择第一组父节点中的deltaAttri小于第二阈值的那些父节点。
当然，确定第一组父节点的每个父节点与当前父节点之间的差值并将此差值与第二阈值进行比较以选择第一组父节点中的父节点，可以独立于如前所述确定所考虑的体中属性的同质性来使用。
在一个实施例中，第一阈值是固定的。因此，所述固定的第一阈值为编码器和解码器所知，并且不需要包括在发送的比特流中。
在一个实施例中，第二阈值是固定的。因此，所述固定的第二阈值为编码器和解码器所知，并且不需要包括在发送的比特流中。
在一个实施例中，第一阈值包括在要从编码器转发到解码器的比特流中。
在一个实施例中，第二阈值包括在要从编码器转发到解码器的比特流中。
在一个实施例中，根据完整点云内的属性分布来确定第一阈值。因此，对于属性的非同质化分布，可以相应地调整第一阈值。其中，所确定的要编码到比特流中的第一阈值，对于每个点云只需要发送一次，例如将所确定的第一阈值编码到元数据中。
在一个实施例中，根据完整点云内的属性分布来确定第二阈值。因此，对于属性的非同质化分布，可以相应地调整第二阈值。其中，所确定的要编码到比特流中的第二阈值，对于每个点云只需要发送一次，例如将所确定的第二阈值编码到元数据中。
在一个实施例中，根据第一组父节点来确定第一阈值。因此，可以根据第一组父节点中的父节点之间的属性分布来单独调整第一阈值。在这种情况下，可以单独地提供和相应地调整用于每个节点的预测步骤的单个阈值，以便提供足够的结果。或者，可以根据第一组中的属性相对于当前父节点的属性的平均值来确定第一阈值。或者，可以根据第一组中的属性相对于当前父节点的属性的最小值或最大值来确定第一阈值。其中，第一阈值需要包括在要从编码器发送到解码器的比特流中。
在一个实施例中，根据第一组父节点来确定第二阈值。因此，第二阈值可以根据第一组父节点中的父节点之间的属性分布来单独调整。在这种情况下，可以单独地提供和相应地调整用于每个节点的预测步骤的单个阈值，以便提供足够的结果。或者，第二阈值可以根据第一组中的属性相对于当前父节点的属性的平均值来确定。或者，第二阈值可以根据第一组中的属性相对于当前父节点的属性的最小值或最大值来确定。其中，第二阈值需要包括在要从编码器发送到解码器的比特流中。
在一个实施例中，根据第一组父节点来确定第一阈值和/或第二阈值，并且使其被所有子节点继承，直到第一阈值或第二阈值的不同值被分配给第一组父节点的子树。因此，对于每个当前节点，可以确定单个第一阈值和/或单个第二阈值，并由此使其适应于围绕当前节点的属性的特定变化。其中，第一阈值和/或第二阈值可以包括在将从编码器被转发到解码器的比特流中，以在其涉及或被继承(并因此未包括在比特流中)的子树的顶部对于不在此类子树的顶部的节点解码。
在一个实施例中，第二阈值是第一阈值的百分比。因此，如果第一阈值增加，作为第一阈值的百分比的第二阈值也相应地增加。其中，百分比可以是固定的，根据完整点云内的属性分布确定，或者根据第一组父节点内的属性分布确定。其中，第一阈值和百分比包括在比特流中。如果第一个阈值或百分比是固定的，则无需传输此信息，因此只需包括其余信息。
在一个实施例中，第一阈值和第二阈值被设置为相等。在另一个实施例中，第一阈值和第二阈值是不同的。
在一个实施例中，根据当前节点的属性与第一组父节点中的父节点的属性之间的比率来确定第一阈值。其中，可以根据第一组父节点中的属性的平均值、最大值或最小值来确定该比率。或者，可以针对第一组父节点中的每个父节点单独地确定，作为当前父节点的属性与第一组父节点中的相应父节点的属性的比率的第一阈值。
在一个实施例中，根据当前节点的属性与第一组父节点中的父节点的属性之间的比率来确定第二阈值。其中，可以根据第一组父节点中的属性的平均值、最大值或最小值来确定该比率。或者，可以针对第一组父节点中的每个父节点单独地确定，作为当前父节点的属性与第一组父节点中的相应父节点的属性的比率的第二阈值。
可以自由组合不同的实施例。特别地，可以从上述实施例中自由地选择第一阈值和第二阈值的不同定义，并根据特定应用的需要进行定制。
因此，根据本发明，在预测要编码的当前节点的预测值时考虑属性分布/偏差。因此，没有考虑所有可能的信息。相反，仅考虑与要编码的当前节点的属性充分相似的用于确定预测值的那些信息。由此，减少了预测误差，充分考虑了点云内属性分布的非同质性，并且不会导致预测误差的增加。结果，由于减少了预测误差，也减少了残差，从而提高了将这些残差编码到点云的比特流中的效率。
因此，相对于先前的用于对点云的属性进行编码的编码方法，可以实现至少1％的显著数据缩减。
C1试验条件下的结果
Luma 色度Cb 色度Cr 反射率
Cat-A序列 -0.7％ -0.8％ -0.9％ N/A
Cat3融合序列 -2.8％ -1.9％ -1.8％ -1.0％
平均值 -1.0％ -0.9％ -1.0％ -1.0％
C2试验条件下的结果
Luma 色度Cb 色度Cr 反射率
Cat-A序列 -0.7％ -0.5％ -0.5％ N/A
Cat3融合序列 -1.1％ -1.3％ -1.3％ -0.7％
平均值 -0.7％ -0.6％ -0.6％ -0.7％
上表中所示的仿真是在最新的TMC13v10平台上执行的，在所有序列中，两个阈值，即第一阈值和第二阈值，都是固定值。
现在参考图8，其示出了编码器1100的示例实施例的简化框图。编码器1100包括处理器1102和存储器存储设备1104。存储器存储设备1104可以存储包含指令的计算机程序或应用，该指令在被执行时促使处理器1102执行诸如本文所述的操作。例如，指令可以编码和输出根据本文描述的方法编码的比特流。应理解的是，指令可以存储在非暂时性计算机可读介质上，例如压缩盘、闪存设备、随机存取存储器、硬盘驱动器等。当指令被执行时，处理器1102执行指令中指定的操作和功能，以便用作实现上述处理的专用处理器。在一些示例中，这样的处理器可以被称为“处理器电路”或“处理器回路”。
现在还参考图9，其示出了解码器1200的示例实施例的简化框图。解码器1200包括处理器1202和存储器存储设备1204。存储器存储设备1204可以包括包含指令的计算机程序或应用，该指令在被执行时促使处理器1202执行诸如本文所述的操作。应理解的是，指令可以存储在计算机可读介质上，例如压缩盘、闪存设备、随机存取存储器、硬盘驱动器等。当指令被执行时，处理器1202执行指令中指定的操作和功能，以便用作实现上述处理和方法的专用处理器。在一些示例中，这样的处理器可以被称为“处理器电路”或“处理器回路”。
应理解，根据本申请的解码器和/或编码器可以在多个计算设备中实现，包括但不限于服务器、适当编程的通用计算机、机器视觉系统和移动设备。可以通过包含用于配置一个或多个处理器以执行本文所述功能的指令的软件来实现解码器或编码器。可以将软件指令存储在任何合适的非暂时性计算机可读存储器上，包括CD、RAM、ROM、闪存等。
应理解，本文中描述的解码器和/或编码器以及实现所描述的用于配置编码器或解码器的方法/处理的模块、例程、处理、线程或其他软件组件可以使用标准的计算机编程技术和语言来实现。本申请不限于特定的处理器、计算机语言、计算机编程协议、数据结构，其他这样的实现细节。本领域技术人员将认识到，所描述的处理可以被实现为存储在易失性或非易失性存储器中的计算机可执行代码的一部分、作为专用集成芯片(ASIC)的一部分等。
本申请还提供了对通过根据本申请的编码处理的应用而产生的数据进行编码的计算机可读信号。
可以对所描述的实施例进行某些调整和修改。因此，以上讨论的实施例被认为是说明性的而非限制性的。特别地，实施例可以彼此自由地组合。

Claims (25)

1.一种用于对点云中的点的属性进行编码以生成压缩点云数据的比特流的方法，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述方法包括以下步骤：
通过对当前节点的属性应用区域自适应层级变换RAHT来确定真实变换系数；
确定当前父节点与和所述当前节点共享面或边的第一组节点中的每个父节点的属性之间的差值，其中，所述当前父节点是所述当前节点的父节点；
根据所述差值从第一组父节点中选择第二组父节点，其中，所述第二组父节点包括所述当前父节点；
根据所述第二组父节点的属性确定所述当前节点的属性的预测值；
通过对所述当前节点的属性的预测值应用RAHT来确定预测变换系数；
从所述真实变换系数和所述预测变换系数确定残差；以及
对所述残差进行编码以针对所述比特流生成所述点云的属性的编码数据。
2.根据权利要求1所述的方法，其中，确定所述当前父节点与所述第一组节点中的每个父节点的属性之间的差值包括：
确定所述第一组父节点中的每个父节点与所述当前父节点的属性之间的最大差值；
提供第一阈值；以及
如果所述最大差值小于所述第一阈值，则选择所述第一组父节点中的全部父节点。
3.根据权利要求2所述的方法，其中，确定所述当前父节点与所述第一组节点中的每个父节点的属性之间的差值包括：
确定所述第一组父节点中的每个父节点与所述当前父节点的属性之间的差值；
提供第二阈值；以及
如果相应差值小于所述第二阈值，则选择所述第一组父节点中的父节点。
4.根据权利要求3所述的方法，其中，所述第一阈值和/或所述第二阈值是固定的。
5.根据权利要求3所述的方法，其中，所述第一阈值和/或所述第二阈值是根据完整点云内的所述属性的分布而确定的。
6.根据权利要求3所述的方法，其中，所述第一阈值和/或所述第二阈值是根据所述第一组父节点而确定的。
7.根据权利要求3所述的方法，其中，所述第二阈值是所述第一阈值的百分比。
8.根据权利要求3所述的方法，其中，所述第一阈值和所述第二阈值是相等的或不同的。
9.根据权利要求3所述的方法，其中，所述第一阈值和/或所述第二阈值是根据所述当前节点的属性与所述第一组父节点中的父节点的属性之间的比率而确定的。
10.根据权利要求3所述的方法，其中，所述第一阈值和/或所述第二阈值被包括在所述比特流中。
11.根据权利要求10所述的方法，其中，所述第一阈值和/或所述第二阈值仅包括在应使用所述第一阈值和/或所述第二阈值的至少一个子树的顶部处的比特流中，并且由所述子树中没有其他的第一或第二阈值的显式信令的所有节点继承。
12.一种用于对压缩点云数据的比特流进行解码以生成重构点云中的点的属性的方法，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述方法包括以下步骤：
从所述比特流对所述点云的当前节点的属性的残差进行解码；
确定当前父节点与和所述当前节点共享面或边的第一组节点的每个父节点的属性之间的差值，其中，所述当前父节点是所述当前节点的父节点；
根据所述差值，从所述第一组父节点中选择第二组父节点，其中，所述第二组父节点包括所述当前父节点；
根据所述第二组父节点的属性，确定所述当前节点的属性的预测值；
通过对所述当前节点的属性的预测值应用RAHT来确定预测变换系数；以及
通过应用逆RAHT从所述残差和所述预测变换系数确定所述当前节点的属性。
13.根据权利要求12所述的方法，其中，确定所述当前父节点与所述第一组节点中的每个父节点的属性之间的差值包括：
确定所述第一组父节点中的每个父节点与所述当前父节点的属性之间的最大差值；
提供第一阈值；以及
如果所述最大差值小于所述第一阈值，则选择所述第一组父节点中的全部父节点。
14.根据权利要求13所述的方法，其中，确定所述当前父节点与所述第一组节点中的每个父节点的属性之间的差值包括：
确定所述第一组父节点中的每个父节点与所述当前父节点的属性之间的差值；
提供第二阈值；以及
如果相应差值小于所述第二阈值，则选择所述第一组父节点中的父节点。
15.根据权利要求14所述的方法，其中，所述第一阈值和/或所述第二阈值是固定的。
16.根据权利要求14所述的方法，其中，所述第一阈值和/或所述第二阈值是根据完整点云内的所述属性的分布而确定的。
17.根据权利要求14所述的方法，其中，所述第一阈值和/或所述第二阈值是根据所述第一组父节点而确定的。
18.根据权利要求14所述的方法，其中，所述第二阈值是所述第一阈值的百分比。
19.根据权利要求14所述的方法，其中，所述第一阈值和所述第二阈值是相等的或不同的。
20.根据权利要求14所述的方法，其中，所述第一阈值和/或所述第二阈值是根据所述当前节点的属性与所述第一组父节点中的父节点的属性之间的比率而确定的。
21.根据权利要求14所述的方法，其中，所述第一阈值和/或所述第二阈值被包括在所述比特流中。
22.根据权利要求21所述的方法，其中，所述第一阈值和/或所述第二阈值仅包括在应使用所述第一阈值和/或所述第二阈值的至少一个子树的顶部处的比特流中，并且由所述子树中没有其他的第一或第二阈值的显式信令的所有节点继承。
23.一种用于对点云中的点的属性进行编码以生成压缩点云数据的比特流的编码器，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述编码器包括：
处理器，以及
存储器存储设备，其中，所述存储器存储设备中存储有能够由所述处理器执行的指令，当所述指令被执行时，促使所述处理器执行权利要求1至11中任一项所述的方法。
24.一种用于对压缩点云数据的比特流进行解码以生成重构点云中的点的属性的解码器，其中，所述点云的几何结构是通过具有多个节点的基于体素的结构表征的，通过将包含所述点云的体空间递归地分割成多个子体而使得所述多个节点具有父子关系，每个所述子体与所述基于体素的结构的节点相关联，所述解码器包括：
处理器，以及
存储器存储设备，其中，所述存储器存储设备中存储有能够由所述处理器执行的指令，当所述指令被执行时，促使所述处理器执行权利要求12至22中任一项所述的方法。
25.一种非暂时性计算机可读存储介质，存储有处理器执行的指令，当所述指令由处理器执行时，促使所述处理器执行权利要求1至11或12至22中任一项所述的方法。
CN202080003877.XA 2020-06-24 2020-06-24 点云的编码和解码方法、编码器和解码器、以及存储介质 Active CN112385236B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/098272 WO2021258374A1 (en) 2020-06-24 2020-06-24 Method for encoding and decoding a point cloud

Publications (2)

Publication Number Publication Date
CN112385236A CN112385236A (zh) 2021-02-19
CN112385236B true CN112385236B (zh) 2022-07-15

Family

ID=72560447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080003877.XA Active CN112385236B (zh) 2020-06-24 2020-06-24 点云的编码和解码方法、编码器和解码器、以及存储介质

Country Status (7)

Country Link
US (1) US20230267651A1 (zh)
EP (1) EP3929873A1 (zh)
JP (1) JP7425899B2 (zh)
KR (1) KR20230023667A (zh)
CN (1) CN112385236B (zh)
BR (1) BR112022026363A2 (zh)
WO (1) WO2021258374A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412716B (zh) * 2021-05-26 2024-06-04 荣耀终端有限公司 一种点云坐标转换残差的编解码方法及装置
EP4160925A1 (en) * 2021-09-30 2023-04-05 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2023080606A1 (ko) * 2021-11-03 2023-05-11 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN116233435A (zh) * 2021-12-03 2023-06-06 维沃移动通信有限公司 点云编码方法、解码方法、装置及电子设备
EP4199362A1 (en) * 2021-12-20 2023-06-21 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding sensed point cloud geometry data
EP4220561A1 (en) * 2022-02-01 2023-08-02 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding a slice of point cloud data
CN118696538A (zh) * 2022-02-15 2024-09-24 上海交通大学 预测的方法和装置、编码器、解码器和编解码系统
WO2024051617A1 (en) * 2022-09-09 2024-03-14 Douyin Vision Co., Ltd. Method, apparatus, and medium for point cloud coding
WO2024182978A1 (zh) * 2023-03-06 2024-09-12 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2024188332A1 (en) * 2023-03-16 2024-09-19 Douyin Vision Co., Ltd. Temporal and spatial filtering for region-adaptive hierarchical transform

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418135A (zh) * 2019-08-05 2019-11-05 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
CN111145090A (zh) * 2019-11-29 2020-05-12 鹏城实验室 一种点云属性编码方法、解码方法、编码设备及解码设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
EP3553747B1 (en) 2018-04-09 2021-09-01 BlackBerry Limited Methods and devices for predictive coding of point clouds
US10904564B2 (en) * 2018-07-10 2021-01-26 Tencent America LLC Method and apparatus for video coding
CN110572655B (zh) * 2019-09-30 2023-01-10 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418135A (zh) * 2019-08-05 2019-11-05 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
CN111145090A (zh) * 2019-11-29 2020-05-12 鹏城实验室 一种点云属性编码方法、解码方法、编码设备及解码设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hierachical segmentation based point cloud attribute compression;Zhang Ke et al.;《Speech and Signal Processing(ICASSP)》;20181231;全文 *

Also Published As

Publication number Publication date
US20230267651A1 (en) 2023-08-24
JP2023530365A (ja) 2023-07-14
JP7425899B2 (ja) 2024-01-31
KR20230023667A (ko) 2023-02-17
EP3929873A1 (en) 2021-12-29
BR112022026363A2 (pt) 2023-01-17
CN112385236A (zh) 2021-02-19
WO2021258374A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
CN112385236B (zh) 点云的编码和解码方法、编码器和解码器、以及存储介质
US20240078714A1 (en) Methods and devices for entropy coding point clouds
CN112272922B (zh) 点云的二进制熵编码的方法和设备
CN112438049B (zh) 编码和解码方法、编码器、解码器以及存储介质
EP3896657B1 (en) Method and apparatus for processing a point cloud
KR20200108875A (ko) 포인트 클라우드 압축에서 직접 코딩을 사용하는 방법 및 디바이스
EP3942830A1 (en) Methods and devices for predictive point cloud attribute coding
WO2022073156A1 (en) Method of encoding and decoding, encoder, decoder and software
WO2023272730A1 (en) Method for encoding and decoding a point cloud
RU2800579C1 (ru) Способ кодирования и декодирования облака точек
WO2023056677A1 (en) Method of encoding and decoding, encoder, decoder and software for encoding and decoding a point cloud
WO2024082145A1 (en) Method for encoding and decoding a point cloud
JP7573052B2 (ja) 符号化及び復号方法、エンコーダ、デコーダ及びソフトウェア
CN116997931A (zh) 用于编码及解码trisoup顶点位置的方法
CN118648023A (zh) 用于编码及解码3d点云的方法、编码器及解码器
CN118661195A (zh) 用于编码和解码3d点云的方法、编码器、解码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant