CN114556429A - 针对点云压缩的预测编码 - Google Patents

针对点云压缩的预测编码 Download PDF

Info

Publication number
CN114556429A
CN114556429A CN202080069858.7A CN202080069858A CN114556429A CN 114556429 A CN114556429 A CN 114556429A CN 202080069858 A CN202080069858 A CN 202080069858A CN 114556429 A CN114556429 A CN 114556429A
Authority
CN
China
Prior art keywords
node
prediction
points
nodes
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080069858.7A
Other languages
English (en)
Inventor
K·玛姆
D·弗林
A·图拉皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN114556429A publication Critical patent/CN114556429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

编码器被配置为使用预测树来压缩点云几何信息。添加到该预测树的节点的祖先节点可用于根据预测技术来确定要添加的该节点的预测值。该预测树可被编码并且可被提供用于传输到可重新生成点云的解码器。

Description

针对点云压缩的预测编码
背景技术
技术领域
本公开整体涉及包括多个点的点云的压缩和解压缩，每个点具有相关联的空间和/或属性信息。
相关技术描述
各种类型的传感器(诸如光检测和测距(LIDAR)系统、3D相机、3D扫描仪等)可以捕获指示点在三维空间中的位置(例如在X、Y和Z平面中的位置)的数据。另外，此类系统除了针对相应点的空间信息之外还可捕获属性信息，诸如颜色信息(例如，RGB值)、强度属性、反射率属性、运动相关属性、模态属性或各种其他属性。在一些情况下，可以将附加属性分配给相应点，诸如捕获该点时的时间戳。由此类传感器捕获的点可以构成“点云”，该“点云”包括各自具有相关联的空间信息和一个或多个相关联的属性的一组点。在一些情况下，点云可以包括数千个点、数十万个点、数百万个点或甚至更多的点。另外，在一些情况下，与正由一个或多个传感器捕获的点云不同，可以例如在软件中生成点云。在任一种情况下，此类点云可包括大量数据，并且存储和传输这些点云可能成本高且耗时。
发明内容
在各种实施方案中，实现预测编码技术来压缩或以其他方式编码关于点云的信息，诸如空间或其他几何信息或其他属性值。可生成预测树，该预测树用于通过包括预测技术和预测技术所应用于的预测树中的一个或多个祖先节点来预测关于点云中的个别点的信息。该预测树可被编码以用于发送信号通知点云信息，并且随后被解码以便在目的地重构点云。
附图说明
图1示出了根据一些实施方案的系统，该系统包括捕获关于点云的点的信息的传感器和压缩点云的属性信息和/或空间信息的编码器，其中压缩的点云信息被发送至解码器。
图2A是示出根据一些实施方案的用于对点云进行预测编码的各种技术的高级流程图。
图2B是根据一些实施方案的示例性预测树。
图3是示出根据一些实施方案的用于根据空间填充曲线来生成预测树的各种技术的高级流程图。
图4是示出根据一些实施方案的用于根据可能的预测因子的缓冲区来生成预测树的各种技术的高级流程图。
图5是示出根据一些实施方案的示例性拓扑抽取操作的逻辑图。
图6是示出根据一些实施方案的用于对针对点云的预测树进行解码的各种技术的高级流程图。
图7A示出了根据一些实施方案的编码器的部件。
图7B示出了根据一些实施方案的解码器的部件。
图8示出了根据一些实施方案的正在3D应用中使用的压缩点云信息。
图9示出了根据一些实施方案的正在虚拟现实应用中使用的压缩点云信息。
图10示出了根据一些实施方案的可实现编码器或解码器的示例性计算机系统。
本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
“包括”，该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112(f)。此外，“被配置为”可包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
“基于”。如本文所用，该术语用于描述影响确定的一个或多个因素。该术语不排除影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。
具体实施方式
随着数据采集和显示技术变得更加先进，增强了(诸如经由LIDAR系统)捕获包括2D或3D空间中成千上万个点的点云的能力。而且，先进显示技术(诸如虚拟现实或增强现实系统)的发展增加了点云的潜在用途。然而，点云文件通常非常大，并且存储和传输这些点云文件可能成本高且耗时。例如，点云通过私有网络或公共网络(诸如互联网)的通信可能需要相当大量的时间和/或网络资源，使得点云数据的一些使用(诸如实时使用)可能受到限制。另外，点云文件的存储要求可能消耗存储点云文件的设备的显著量的存储容量，这也可能限制潜在应用使用点云数据。
在一些实施方案中，编码器可用于生成压缩点云以降低与存储和传输大的点云文件相关联的成本和时间。在一些实施方案中，系统可包括压缩点云文件的属性信息和/或空间信息(在本文中也称为几何信息)的编码器，使得点云文件可比非压缩点云更快地被存储和传输，并且以点云文件可比非压缩点云占据更少的存储空间的方式被存储和传输。在一些实施方案中，点云中的点的空间信息和/或属性的压缩可使点云能够实时地或几乎实时地通过网络传送。例如，系统可包括传感器，该传感器捕获关于该传感器所在环境中的点的空间信息和/或属性信息，其中所捕获的点和对应的属性构成点云。该系统还可包括压缩所捕获的点云的属性信息的编码器。点云的压缩属性信息可通过网络实时或几乎实时地发送到对点云的压缩属性信息进行解压缩的解码器解码器。该解压缩点云可被进一步处理，例如以基于传感器位置处的周围环境做出控制决策。然后可将控制决策传送回传感器位置处或其附近的设备，其中接收控制决策的设备实时地或几乎实时地实现控制决策。在一些实施方案中，解码器可以与增强现实系统相关联，并且解压缩空间和/或属性信息可以由增强现实系统显示或以其他方式使用。在一些实施方案中，可将关于点云的压缩属性信息与关于点云的点的压缩空间信息一起发送。在其他实施方案中，空间信息和属性信息可以被分别编码和/或分别发送到解码器。
在一些实施方案中，系统可包括解码器，该解码器经由网络从远程服务器或存储一个或多个点云文件的其他存储设备处接收包括压缩属性信息的一个或多个点云文件。例如，可实时地或几乎实时地操纵3D显示器、全息显示器或头戴式显示器来显示由点云表示的虚拟世界的不同部分。为了更新3D显示器、全息显示器或头戴式显示器，与解码器相关联的系统可以基于显示器的用户操纵从远程服务器请求点云文件，并且这些点云文件可以从远程服务器传输到解码器并由解码器实时地或几乎实时地进行解码。然后可用响应于用户操纵的更新点云数据(诸如更新的点属性)来更新显示器。
在一些实施方案中，一种系统可包括一个或多个LIDAR系统、3D相机、3D扫描仪等，并且此类传感器设备可捕获空间信息，诸如传感器设备的视图中的点的X、Y和Z坐标。在一些实施方案中，空间信息可相对于局部坐标系或可相对于全局坐标系(例如，笛卡尔坐标系可具有固定参考点诸如地球上的固定点，或者可具有不固定的局部参考点诸如传感器位置)。
在一些实施方案中，此类传感器还可以捕获关于一个或多个点的属性信息，诸如颜色属性、反射率属性、速度属性、加速度属性、时间属性、模态和/或各种其他属性。在一些实施方案中，除了LIDAR系统、3D相机、3D扫描仪等之外，其他传感器可以捕获待包括在点云中的属性信息。例如，在一些实施方案中，陀螺仪或加速度计可以捕获待包括在点云中的运动信息作为与该点云的一个或多个点相关联的属性。例如，配备有LIDAR系统、3D相机或3D扫描仪的车辆可能会在由LIDAR系统、3D相机或3D扫描仪捕获的点云中包括车辆的方向和速率。例如，当捕获到车辆视野中的点时，这些点可以被包括在点云中，其中该点云包括捕获到的点以及与捕获到点时车辆的状态对应的相关联的运动信息。
在一些实施方案中，属性信息可包括字符串值，诸如不同的模态。例如，属性信息可包括指示模态诸如“步行”、“跑步”、“驾驶”等的字符串值。在一些实施方案中，编码器可包括“字符串值”到整数索引，其中某些字符串与某些对应的整数值相关联。在一些实施方案中，点云可以通过包括与该字符串值相关联的整数作为该点的属性来指示针对该点的字符串值。编码器和解码器都可以将公共字符串值存储为整数索引，使得解码器可以基于在与解码器的字符串值到整数索引匹配或类似的解码器的字符串值到整数索引中查找该点的字符串属性的整数值来确定针对点的字符串值。
在一些实施方案中，除了压缩关于点云的点的属性的属性信息之外，编码器还对点云的几何或其他空间信息进行压缩和编码。
在一些实施方案中，一些应用可能对于对点云进行编码和解码的所花费的时延或时间敏感。虽然一些点云编码技术可以实现提供良好压缩结果的特征，诸如在基于几何的点云压缩(G-PCC)中利用的八叉树，但是对点云数据进行编码和解码的时间可能限制压缩在时延敏感应用中的利用。例如，虽然八叉树技术可为致密点云提供极佳的压缩结果，但是稀疏点云的增益(例如，稀疏激光雷达点云)可能不是这样的效果，因为构建八叉树并计算八叉树的特征(诸如相邻占用信息)的计算复杂性可能导致计算成本超过所获得的压缩增益。此外，在一些情况下，一些编码技术(如基于八叉树的编码)可能引起高时延(例如，通过在压缩/解压缩过程可能开始之前使用大量的点)。在各种实施方案中，预测编码技术可提供各种性能益处，包括低时延具体实施，这些低时延具体实施可以实现更高性能的计算成本和时间成本。例如，下文所讨论的预测编码技术可被实现用于低时延或其他时延敏感的应用，允许低延迟流，并且用低复杂性解码来实现。
图1示出了根据一些实施方案的系统，该系统包括捕获关于点云的点的信息的传感器和压缩点云的空间和/或属性信息的编码器，其中压缩的空间和/或属性信息被发送至解码器。
系统100包括传感器102和编码器104。传感器102捕获点云110，该点云包括表示传感器102的视图108中的结构106的点。例如，在一些实施方案中，结构106可以是山脉、建筑、标牌、街道周围的环境或任何其他类型的结构。在一些实施方案中，捕获点云(诸如捕获点云110)可包括关于包括在该点云中的点的空间信息和属性信息。例如，捕获点云110的点A包括X、Y、Z坐标以及属性1、2和3。在一些实施方案中，点的属性可包括属性诸如R,G,B颜色值、该点处的速度、该点处的加速度、结构在该点处的反射率、指示何时捕获该点的时间戳、指示捕获该点时的模态的字符串值例如“步行”或其他属性。捕获点云110可被提供给编码器104，其中编码器104生成该点云的压缩版本(压缩的点云信息112)，该压缩版本经由网络114传输到解码器116。在一些实施方案中，点云的压缩版本(诸如压缩的点云信息112)可被包括在公共压缩点云中，该公共压缩点云还包括关于该点云中的点的压缩空间信息，或者在一些实施方案中，压缩空间信息和压缩属性信息可以作为单独的文件进行传送。
在一些实施方案中，编码器104可与传感器102成一体。例如，编码器104可在包括在传感器设备(诸如传感器102)中的硬件或软件中实现。在其他实施方案中，编码器104可在邻近传感器102的独立计算设备上实现。
图2A是示出根据一些实施方案的用于对点云进行预测编码的各种技术的高级流程图。如210处所指示的，在各种实施方案中，可以生成预测树，该预测树包括来自构成从传感器捕获的点云的点的多个节点。在一些实施方案中，预测树可用作预测结构，其中点云中的每个点与预测树的节点(有时被称为顶点)相关联。在一些实施方案中，可仅从树中的节点的祖先预测每个节点。
作为生成预测树的一部分，可选择点云中的个别点用于包括在预测树中，如220处所指示的。如230处所指示的，在一些实施方案中，可根据应用于预测树中的祖先节点的预测技术针对该个别点确定预测节点值。下文所讨论的图3和图4提供了示例性预测树生成技术。
可实现各种预测技术来从祖先节点预测节点。可将这些预测技术作为预测模式或预测指示符(例如，映射到预测模式值“0”＝预测技术A，“1”＝预测技术B，依此类推)进行发送信号通知。在一些实施方案中，预测树中的节点(与点云中的一个点对应)可能不具有预测技术，因为该节点可能是预测树的第一个节点或根节点。在一些实施方案中，这种节点的预测模式可以被指示为“无”或“根”。可对关于这种节点的实际信息(例如，空间信息和/或属性信息)进行编码，而不是对用于推导出实际信息的树中的其他节点的预测信息进行编码。
如图2B所示，预测树260可包括根据应用于一个或多个祖先节点的预测技术预测的各种节点，其由箭头指示。例如，根据下文所讨论的预测技术中的各种预测技术，可通过祖先节点266预测叶节点264。可能不预测一些节点(如根节点262)，但使用实际值对其进行编码作为预测树260的一部分。
在一些实施方案中，可实现或支持差量(delta)预测作为预测技术。差量预测可使用当前节点的父节点的位置作为当前节点的预测因子。
在一些实施方案中，可实现或支持线性预测作为预测技术。例如，在线性预测中，点“p0”可以是父节点的位置，并且“p1”可以是祖父节点的位置。当前节点的位置可被预测为(2×p0–p1)。
在一些实施方案中，可实现或支持平行四边形预测作为预测技术。例如，在平行四边形预测中，“p0”可以是父节点的位置，“p1”是祖父节点的位置，并且“p2”是曾祖父节点的位置。然后可将当前节点的位置确定为(p0+p1–p2)。
在一些实施方案中，可实现或支持矩形预测作为预测技术。例如，在矩形预测中，“p0”可以是父节点的位置，“p1”是祖父节点的位置，并且“p2”是曾祖父节点的位置。然后可将当前节点的位置确定为(p0+p2–p1)。
在一些实施方案中，可实现或支持极性预测作为预测技术。例如，在极性预测中，(θ0,r0,z0)可以是父节点的极性坐标，并且(θ1,r1,z1)可以是祖父节点的极性坐标。当前节点的位置被预测为
Figure BDA0003578999590000071
在一些实施方案中，可实现或支持经修改的极性预测作为预测技术。例如，在经修改的极性预测中，(θ0,r0,z0)可以是父节点的极性坐标，并且(θ1,r1,z1)是祖父节点的极性坐标。当前节点的位置可被预测为(2θ0-θ1,r0,z0)。
在一些实施方案中，可实现或支持平均预测作为预测技术。例如，在平均预测中，“p0”可以是父节点的位置，并且“p1”是祖父节点的位置。当前节点的位置可被预测为((p0+p1)/2)。
在一些实施方案中，可实现或支持3阶的平均预测作为预测技术。例如，在3阶的平均预测中，“p0”可以是父节点的位置，“p1”可以是祖父节点节点的位置，并且“p2”可以是曾祖父节点的位置。当前节点的位置可被预测为((p0+p1+p2)/3)。
在一些实施方案中，可实现或支持k阶的平均预测作为预测技术。例如，在k阶的平均预测中，当前节点的祖先节点的位置可被平均为至多k阶的祖先节点。
在一些实施方案中，可根据速率失真优化过程确定对要应用于预测树的每个节点的预测技术的选择。在一些实施方案中，该选择可适应于每个节点或每组节点。在一些实施方案中，可在比特流中显式地发送信号通知该选择，或者可基于预测图中节点的位置以及节点祖先的经解码位置和预测模式来隐式地推导出该选择。
如240处所指示的，可对预测树进行编码，该预测树包括应用于确定预测节点值的预测技术。例如，可将节点和许多子节点以及用于确定每个子节点的相应预测模式一起进行编码(在一些实施方案中，这些预测模式可对于每个子节点是相同的，对于每个子节点是不同的，或者针对每个子节点独立地确定(即使被确定是相同的))。在各种实施方案中，可通过按预定义顺序(例如，深度优先、宽度优先)遍历树并且针对每个节点对其子节点的数量进行编码来对预测树进行编码。在一些实施方案中，可通过以下方式来对节点的位置进行编码：首先对所选预测模式进行编码，然后在预测之后对所获得的残差进行编码。在一些实施方案中，可将节点的残差值与针对节点的预测模式一起进行编码作为使用所指示的预测模式预测的预测节点值的校正值。在一些实施方案中，可基于点中与给定节点对应的一个点的预测空间位置和点云中的点的空间位置之间的空间差来确定残差。另外，在一些实施方案中，可基于点中与给定节点对应的一个点的预测属性值和点云中的点的属性值之间的属性值差来确定残差。在各种实施方案中，子节点的数量、预测模式和预测残差可被熵编码(例如，算术编码)以便进一步利用统计相关性。在一些实施方案中，可通过压缩每个残差的符号、最高有效位的位置(等于Floor(Log2(Abs(残差))))和剩余位的二进制表示来对残差进行编码。在一些实施方案中，可通过使用不同熵/算术上下文基于第一经编码组分的经编码值来利用X、Y、Z坐标之间的相关性。
如250所指示的，可根据上文关于图1和下文关于图7A、图8和图9所讨论的各种示例发送或存储针对点云的经编码预测树。
图3是示出根据一些实施方案的用于根据空间填充曲线来生成预测树的各种技术的高级流程图。如310处所指示的，在一些实施方案中，空间填充曲线(例如，Morton顺序)可用于确定点云中的点的值(例如，Morton码)。如320处所指示的，在一些实施方案中，可根据空间填充曲线值选择第一个或下一个点，以将其作为节点添加到预测树中。
如330处所指示的，在一些实施方案中，可根据从先前所选择的点确定的可能预测因子的k维(k-d)树来确定所选择点的k个最近邻。如340处所指示的，在一些实施方案中，可从k个最近邻中选择节点作为用于要添加的节点的预测因子。例如，在一些实施方案中，可根据预测残差的量值、节点所具有的子节点的数量和/或所选预测模式的频率来选择该节点。如350处所指示的，在一些实施方案中，可将该子节点作为所选择节点的子节点添加到预测树。如360所指示的，在一些实施方案中，可将用于所添加节点的新的可能预测因子(例如，根据上文所讨论的预测技术生成的预测值)添加到k-d树。如380处所指示的，如果仍有另一点要添加到预测树，则可重复技术的特征。如380处所指示的，当所有点都被添加时，可提供预测树用于编码。
在一些实施方案中，在执行图3所示的技术之前，可将点解压缩成各种细节级别(LOD)。例如，可从最粗LOD开始到最细LOD的顺序对LOD进行编码。在这种实施方案中，k-d树中的可能预测因子和预测位置。在一些实施方案中，不同的量化参数可用于不同的LOD(例如，更小的量化步骤用于最粗LOD)以便获得更好的RD性能。在一些实施方案中，可利用LOD或其他分级预测结构来实现时间可伸缩性、空间可伸缩性、质量可伸缩性和渐进传输的功能。以此方式，在一些实施方案中，可首先对粗LOD进行流式传输和解码，然后可基于网络条件、终端能力和点云距观看者的距离对粒度逐渐增大的LOD进行自适应地流式传输和解码。
在一些实施方案中，可对关于多个时刻的点云(诸如关于动态点云)的节点信息进行编码。在一些此类实施方案中，节点信息中包括的用于子节点中的个别子节点的预测技术中的至少一些预测技术可包括：使用时间帧中的其他时间帧中包括的子节点中的个别子节点的祖先节点来预测该时间帧中的不同时间帧中的节点中的个别节点的节点值的预测技术。例如，当前时刻的预测技术可使用当前时刻或先前时刻的子节点作为预测技术的输入。
对于较低时延方法(当与图3的技术相比时)，在一些实施方案中，编码器可按与接收输入点云的顺序相同的顺序处理该输入点云。在一些实施方案中，可实现有限缓冲的缓冲区N，其根据允许缓冲点的数量为B(例如，B＝1024个点)来测量。B可以是可根据应用时延要求的严格程度来调整的解码器参数。在一些实施方案中，当寻找用于每个顶点的最佳预测因子时，编码器将仅考虑缓冲区中的点。图4是示出根据一些实施方案的用于根据可能的预测因子的缓冲区来生成预测树的各种技术的高级流程图。
如410处所指示的，在一些实施方案中，可将来自点云的点添加到大小为N的点的缓冲区。如420处所指示的，在一些实施方案中，可从该缓冲区中选择要作为节点添加到预测树的点。如430处所指示的，缓冲区中的剩余点可被评估为用于所选择点的可能预测因子。例如，如上文关于图3所讨论的，在一些实施方案中，可根据预测残差的量值、点的对应节点所具有的子节点的数量和/或所选预测模式的频率来评估缓冲区中的剩余点。
如440处所指示的，在一些实施方案中，可将该节点作为所评估的可能预测因子中的一个预测因子的子节点添加到预测树。如果仍有另一点要添加到预测树，则如由450的正出口所指示的，可将元素410到440添加到预测树。在一些实施方案中，当所有点都已经被添加到预测树时，可提供该预测树用于编码。
在一些实施方案中，预测树可用于对空间信息(诸如几何形状)或各种其他属性(例如，颜色信息)进行压缩或以其他方式进行编码。在一些情况下，可使用不同节点的相同预测因子，并且在针对属性的比特流中对这些相同预测因子进行可能地显式地编码。可伸缩性和低时延性质可直接从预测树生成策略继承。
在另选实施方案中，预测编码技术可仅应用于空间信息，而另选技术可用于对属性进行编码(例如，根据G-PCC属性编码方案的针对属性的升降、区域自适应分级变换(RAHT)或预测方案)。为了实现低时延应用，在一些实施方案中，将禁用在属性编码之前原本将应用的点的Morton重新排序。
在一些实施方案中，可修改分级预测和升降方案(例如，在G-PCC中定义)，以利用预测方案来指导抽取过程和最近邻的检测过程。例如，可通过使用边缘塌缩操纵子或任何其他拓扑抽取操纵子来应用抽取过程。图5是示出根据一些实施方案的示例性拓扑抽取操作的逻辑图。拓扑抽取操作500可将vu和vt塌缩或组合成vs。
在一些实施方案中，选择要应用于生成LOD的边缘塌缩操作或其他拓扑抽取操作的标准可通过距离标准(即，合并点之间的距离)和/或被编码器包括在比特流中的显式信息来指导。在一些实施方案中，最近邻检索可限于树结构中的邻点，或者可使用预测树结构来加速该最近邻检索。
图6是示出根据一些实施方案的用于对针对点云的预测树进行解码的各种技术的高级流程图。如610处所指示的，在一些实施方案中，可接收针对点云中的点的经编码预测树。如620处所指示的，可对针对点云中的点的预测树进行解码。例如，可执行用于解开熵或其他编码技术的技术。
在至少一些实施方案中，经编码预测树可包括足以根据预测树的解码内容生成预测树的信息(例如，不执行与上文关于图3和图4所讨论的相同的树生成技术)。例如，如630处所指示的，所选择节点(例如，根节点)可被(解码为)作为点云中的第一个点。然后，如640处所指示的，在一些实施方案中，可根据用于子节点的所包括的预测技术来对所选择节点中的任何子节点进行解码。
如650处所指示的，在一些实施方案中，可进行关于子节点中的任一个子节点是否具有其自身的子节点的确定。例如，可针对每个所包括的点考虑所包括的子节点数量。在一些实施方案中，如果存在任何子节点，则可再次执行640处的技术。如660处所指示的，一旦完成，就可输出来自预测树的经解码点云(例如，以用于进一步处理、显示和/或存储)。
图7A示出了根据一些实施方案的编码器的部件。
编码器702可以是与图1A中所示的编码器104类似的编码器。编码器702包括空间编码器704、八叉树树生成器710、预测/校正评估器706、输入数据接口714和输出数据接口708。编码器702还包括上下文存储器716和配置存储器718。
在一些实施方案中，空间编码器(诸如空间编码器704)可压缩与点云中的点相关联的空间信息，使得可以压缩格式来存储或传输空间信息。在一些实施方案中，空间编码器(诸如空间编码器704)可利用八叉树来压缩关于点云中的点的空间信息，如本文更详细地讨论的。
在一些实施方案中，压缩空间信息可以与压缩属性信息一起存储或传输，或者可以分开存储或传输。在任一种情况下，接收针对点云的点的压缩属性信息的解码器也可以接收针对该点云的这些点的压缩空间信息，或者可以获得针对该点云的这些点的空间信息。
预测树生成器(诸如预测树生成器710)可实现上文所讨论的各种技术来生成要编码的预测树。
预测/校正评估器(诸如编码器702的预测/校正评估器706)可基于逆距离插值方法使用正在预测属性值所针对的点的K个最近相邻点的属性值来确定针对点云中的点的预测属性值。预测/校正评估器还可将正被评估的点的预测属性值与非压缩点云中的该点的原始属性值进行比较以确定属性校正值。在一些实施方案中，预测/校正评估器(诸如编码器702的预测/校正评估器706)可基于对邻域中的点的属性值的可变性的测量来自适应地调整用于预测点的给定邻域中的点的属性值的预测策略。
传出数据编码器(诸如编码器702的传出数据编码器708)可对包括在针对点云的压缩属性信息文件中的属性校正值和分配属性值进行编码。在一些实施方案中，传出数据编码器(诸如传出数据编码器708)可基于包括在值(诸如分配属性值或属性校正值)中的符号的数量来选择用于对该值进行编码的编码上下文。在一些实施方案中，可以使用包括Golomb指数编码的编码上下文来编码具有更多符号的值，而可以使用算术编码来编码具有更少符号的值。在一些实施方案中，编码上下文可包括多于一个的编码技术。例如，可以使用算术编码来编码值的一部分，而可以使用Golomb指数编码来编码值的另一部分。在一些实施方案中，编码器(诸如编码器702)可包括上下文存储器诸如上下文存储器716，该上下文存储器存储由传出数据编码器诸如传出数据编码器708所使用的编码上下文，以对属性校正值和分配属性值进行编码。
在一些实施方案中，编码器诸如编码器702还可包括传入数据接口诸如传入数据接口714。在一些实施方案中，编码器可以从一个或多个传感器处接收传入数据，所述一个或多个传感器捕获点云的点或捕获与点云的点相关联的属性信息。例如，在一些实施方案中，编码器可从LIDAR系统、3D相机、3D扫描仪等处接收数据，并且还可从其他传感器诸如陀螺仪、加速度计等处接收数据。另外，编码器可从系统时钟等处接收其他数据，诸如当前时间。在一些实施方案中，此类不同类型的数据可由编码器经由传入数据接口(诸如编码器702的传入数据接口714)接收。
在一些实施方案中，编码器(诸如编码器702)还可包括配置接口(诸如配置接口712)，其中编码器用来压缩点云的一个或多个参数可经由配置接口进行调整。在一些实施方案中，配置接口(诸如配置接口712)可为程序化接口，诸如API。编码器(诸如编码器702)所使用的配置可存储在配置存储器(诸如配置存储器718)中。
在一些实施方案中，编码器(诸如编码器702)可包括比图7A所示更多或更少的部件。
在一些实施方案中，传出数据编码器(诸如传出数据编码器708)可根据语法诸如以下语法对树结构、每节点预测模式和预测残差进行编码：
Figure BDA0003578999590000131
Figure BDA0003578999590000132
Figure BDA0003578999590000141
其中，ptn_child_cnt[nodeIdx]是在几何预测树中存在的当前预测树节点的直接子节点的数量。
其中，ptn_pred_mode[nodeIdx]是用于预测与当前节点相关联的位置的模式。当ptn_pred_mode[nodeIdx]等于0时，当前节点的预测点位置为零。当ptn_pred_mode[nodeIdx]等于1时，当前节点的预测点位置是当前节点的父节点的重建位置。当ptn_pred_mode[nodeIdx]等于2时，当前节点的预测点位置是从当前节点的父节点和祖父节点的重建位置线性预测的。当ptn_pred_mode[nodeIdx]等于3时，当前节点的预测点位置是使用平行四边形预测根据当前节点的父节点、祖父节点和曾祖父节点的重建位置来确定的。
其中，ptn_residual_eq0_flag[k]、ptn_residual_sign_flag[k]、ptn_residual_abs_log2[k]和ptn_residual_abs_remaining[k]一起指定nodeIdx-th节点的第k个几何位置分量的预测残差。ptn_residual_eq0_flag[k]指定残差分量是否等于零。ptn_residual_sign_flag[k]等于1指示残差分量的符号为正。ptn_residual_sign_flag[k]等于0指示残差分量的符号为负。不存在的ptn_residual_sign_flag[k]、ptn_residual_abs_log2[k]或ptn_residual_abs_remaining[k]中的任一者被推断为0。
与当前树节点相关联的第一预测残差可如下进行推导：for(k＝0；k<3；k++)
PtnResidual[nodeIdx][k]＝(2×ptn_residual_sign_flag–1)
×(！ptn_residual_eq0_flag[k]
+((1<<ptn_residual_abs_log2[k])>>1)
+ptn_residual_abs_remaining[k])
图7B示出了根据一些实施方案的解码器的部件。解码器720可以是与图1A中示出的解码器116类似的解码器。解码器720包括经编码数据接口726、空间解码器722、预测评估器724、上下文存储器730、配置存储器732和经解码数据接口728。
解码器(诸如解码器720)可接收针对点云的点的经编码压缩点云和/或经编码压缩属性信息文件。例如，解码器(诸如解码器720)可接收压缩属性信息文件和/或压缩空间信息文件。解码器可经由经编码数据接口(诸如经编码数据接口726)来接收压缩属性信息文件和/或压缩空间信息文件。解码器可以使用编码压缩点云来确定针对该点云的点的空间信息。例如，包括在压缩点云中的点云中的点的空间信息可由空间解码器(诸如空间解码器722)来生成。在一些实施方案中，可经由经编码数据接口(诸如经编码数据接口726)从存储设备或其他中间源接收压缩点云，其中该压缩点云先前由编码器(诸如编码器104)进行编码。在一些实施方案中，经编码数据接口(诸如经编码数据接口726)可对空间信息进行解码。例如，空间信息可能已经使用如本文所述的各种编码技术来进行了编码，诸如用于将几何或其他空间信息和/或属性信息编码为预测树的各种技术。
解码器的预测评估器(诸如预测评估器724)可基于包括在压缩属性信息文件中的分配起始点来选择最小生成树的起始点。在一些实施方案中，压缩属性信息文件可包括针对起始点的一个或多个对应属性的一个或多个分配值。在一些实施方案中，预测评估器(诸如预测评估器724)可基于包括在压缩属性信息文件中的针对起始点的分配值将值分配给正被解压缩的点云的解压缩模型中的起始点的一个或多个属性。预测评估器(诸如预测评估器724)还可利用起始点的属性的分配值来确定相邻点的属性值。例如，预测评估器可以选择距起始点最近的相邻点作为待评估的下一个点，其中基于在最小生成树中从起始点到相邻点的最短距离来选择下一个最近相邻点。需注意，因为最小生成树是基于与在编码器上生成最小生成树所使用的相同或类似的空间信息在解码器上生成的，所以解码器可以通过识别最小生成树中的下一个最近相邻点来确定与评估在编码器处确定的用于正被解压缩点云的点相同的评估次序。
解码器(诸如解码器720)可经由经解码数据接口(诸如经解码数据接口728)将基于接收到的压缩点云和/或接收到的压缩属性信息文件生成的解压缩点云提供给接收设备或应用程序。解压缩点云可包括点云的点和针对该点云的点的属性的属性值。在一些实施方案中，解码器可以解码针对点云的属性的一些属性值，而无需解码针对点云的其他属性的其他属性值。例如，点云可包括针对点云的点的颜色属性，并且还可包括针对该点云的点的其他属性，诸如速度。在此类情况下，解码器可以对点云的点的一个或多个属性(诸如速度属性)进行解码，而无需对点云的点的其他属性(诸如颜色属性)进行解码。
在一些实施方案中，解压缩点云和/或解压缩属性信息文件可以用于生成视觉显示器，诸如用于头戴式显示器。另外，在一些实施方案中，可将解压缩点云和/或解压缩属性信息文件提供给决策引擎，该决策引擎使用解压缩点云和/或解压缩属性信息文件来做出一个或多个控制决策。在一些实施方案中，解压缩点云和/或解压缩属性信息文件可用于各种其他应用或用于各种其他目的。
用于点云压缩和解压缩的示例应用
图8示出了根据一些实施方案的在3D应用中使用的压缩点云。
在一些实施方案中，传感器(诸如传感器102)、编码器(诸如编码器104或编码器202)和解码器(诸如解码器116或解码器220)可用于在3D应用中传送点云。例如，在1002处，传感器(诸如传感器102)可捕获3D图像，并且在1004处，传感器或与传感器相关联的处理器可以基于感测到的数据执行3D重构以生成点云。
在806处，编码器(诸如编码器104或202)可对点云进行压缩，并且在808处，编码器或后处理器可打包压缩点云并经由网络810传输压缩点云。在812处，可在包括解码器(诸如解码器116或解码器220)的目标位置处接收数据包。在814处，解码器可对点云进行解压缩，并且在816处，可渲染解压缩点云。在一些实施方案中，3D应用可实时地传输点云数据，使得816处的显示表示正在802处观察到的图像。例如，在816处，峡谷中的相机可允许远程用户体验穿行虚拟峡谷。
图9示出了根据一些实施方案的正在虚拟现实(VR)或增强现实(AR)应用中使用的压缩点云。
在一些实施方案中，点云可在软件中生成(例如，与由传感器捕获相反)。例如，在902处，产生虚拟现实或增强现实内容。虚拟现实或增强现实内容可包括点云数据和非点云数据。例如，作为一个示例，非点云字符可横穿由点云表示的地形。在904处，可压缩点云数据，并且在906处，可将压缩点云数据和非点云数据打包并经由网络908传输这些数据。例如，在902处产生的虚拟现实或增强现实内容可在远程服务器处产生并经由网络908传送至VR或AR内容消费者。在910处，数据包可在VR或AR消费者的设备处被接收并同步。在912处，在VR或AR消费者的设备处运作的解码器可对压缩点云进行解压缩，并且点云和非点云数据可例如在VR或AR消费者的设备的头戴式显示器中被实时渲染。在一些实施方案中，可响应于VR或AR消费者操纵头戴式显示器以看向不同的方向来生成、压缩、解压缩和渲染点云数据。
在一些实施方案中，如本文所述的点云压缩可用于各种其他应用诸如地理信息系统、体育赛事直播、博物馆展示、自主导航等中。
示例性计算机系统
图10示出了根据一些实施方案的示例性计算机系统1000，该示例性计算机系统可实现编码器或解码器或本文所述的部件中的任何其他部件(例如，上文参考图1至图9描述的部件中的任何部件)。计算机系统1000可被配置为执行上文所述的任意或全部实施方案。在不同的实施方案中，计算机系统1000可为各种类型的设备中的任一者，包括但不限于：个人计算机系统、台式计算机、膝上型电脑、笔记本电脑、平板电脑、一体电脑、平板电脑或上网本电脑、大型计算机系统、手持式计算机、工作站、网络计算机、相机、机顶盒、移动设备、消费者设备、视频游戏控制器、手持式视频游戏设备、应用服务器、存储设备、电视、视频记录设备、外围设备(诸如交换机、调制解调器、路由器)或一般性的任何类型的计算或电子设备。
如本文所述的点云编码器或解码器的各种实施方案可在一个或多个计算机系统1000中执行，该计算机系统可与各种其他设备交互。需注意，根据各种实施方案，上文相对于图1至图11所述的任何部件、动作或功能性可实现于被配置为图10的计算机系统1000的一个或多个计算机上。在所示出的实施方案中，计算机系统1000包括经由输入/输出(I/O)接口1030联接到系统存储器1020的一个或多个处理器1010。计算机系统1000还包括联接到I/O接口1030的网络接口1040，以及一个或多个输入/输出设备1050，诸如光标控制设备1060、键盘1070和一个或多个显示器1080。在一些情况下，可以想到实施方案可使用计算机系统1000的单个实例来实现，而在其他实施方案中，多个此类系统或者构成计算机系统1000的多个节点可被配置为托管实施方案的不同部分或实例。例如，在一个实施方案中，一些元素可经由计算机系统1000的与实现其他元素的那些节点不同的一个或多个节点来实现。
在各种实施方案中，计算机系统1000可以是包括一个处理器1010的单处理器系统，或者是包括若干个处理器1010(例如，两个、四个、八个或另一合适数量)的多处理器系统。处理器1010可以是能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器1010可以是实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC或MIPS ISA或任何其他合适的ISA)中的任一种的通用或嵌入式处理器。在多处理器系统中，处理器1010中的每个处理器通常可以但并非必须实现相同的ISA。
系统存储器1020可被配置为存储点云压缩或点云解压缩程序指令1022和/或能够由处理器1010访问的传感器数据。在各种实施方案中，系统存储器1020可使用任何合适的存储器技术来实现，诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器或任何其他类型的存储器。在所示出的实施方案中，程序指令1022可被配置为实现结合上文所述功能性中的任一种的图像传感器控制应用程序。在一些实施方案中，程序指令和/或数据可被接收、发送或存储在与系统存储器1020或计算机系统1000分开的不同类型的计算机可访问介质上或类似介质上。尽管将计算机系统1000描述为实施前面各图的功能框的功能性，但可通过这种计算机系统实施本文描述的任何功能性。
在一个实施方案中，I/O接口1030可被配置为协调设备中的处理器1010、系统存储器1020和任何外围设备(包括网络接口1040或其它外围设备接口，诸如输入/输出设备1050)之间的I/O通信。在一些实施方案中，I/O接口1030可执行任何必要的协议、定时或其他数据变换以将来自一个部件(例如系统存储器1020)的数据信号转换成适于由另一部件(例如处理器1010)使用的格式。在一些实施方案中，I/O接口1030可包括对例如通过各种类型的外围总线(诸如，外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型)附接的设备的支持。在一些实施方案中，I/O接口1030的功能例如可被划分到两个或更多个单独部件中，诸如北桥接件和南桥接件。此外，在一些实施方案中，I/O接口1030(诸如到系统存储器1020的接口)的功能中的一些或全部可直接并入处理器1010中。
网络接口1040可被配置为允许在计算机系统1000和附接到网络1085的其他设备(例如，承载器或代理设备)之间或者在计算机系统1000的节点之间交换数据。在各种实施方案中，网络1085可包括一种或多种网络，包括但不限于局域网(LAN)(例如，以太网或企业网)、广域网(WAN)(例如，互联网)、无线数据网、某种其他电子数据网络或它们的某种组合。在各种实施方案中，网络接口1040可支持经由有线或无线通用数据网络(诸如任何合适类型的以太网网络)的通信，例如；经由电信/电话网络(诸如模拟语音网络或数字光纤通信网络)的通信；经由存储区域网络(诸如光纤通道SAN)、或经由任何其他合适类型的网络和/或协议的通信。
在一些实施方案中，输入/输出设备1050可包括一个或多个显示终端、键盘、小键盘、触控板、扫描设备、语音或光学识别设备或适于由一个或多个计算机系统1000输入或访问数据的任何其他设备。多个输入/输出设备1050可存在于计算机系统1000中，或者可分布在计算机系统1000的各个节点上。在一些实施方案中，类似的输入/输出设备可与计算机系统1000分开，并且可通过有线或无线连接(诸如通过网络接口1040)与计算机系统1000的一个或多个节点进行交互。
如图10所示，存储器1020可包括程序指令1022，这些程序指令可能够由处理器执行，以实现上文所述的任何元素或动作。在一个实施方案中，程序指令可执行上文所述的方法。在其他实施方案中，可包括不同的元件和数据。需注意，数据可包括上文所述的任何数据或信息。
本领域的技术人员应当理解，计算机系统1000仅仅是例示性的，而并非旨在限制实施方案的范围。具体地，计算机系统和设备可包括可执行所指示的功能的硬件或软件的任何组合，包括计算机、网络设备、互联网设备、个人数字助理(PDA)、无线电话、寻呼机等。计算机系统1000还可连接到未示出的其他设备，或者反之可作为独立的系统进行操作。此外，由所示出的部件所提供的功能在一些实施方案中可被组合在更少的部件中或者被分布在附加部件中。类似地，在一些实施方案中，所示出的部件中的一些部件的功能可不被提供，和/或其他附加功能可能是可用的。
本领域的技术人员还将认识到，虽然各种项目被示出为在被使用期间被存储在存储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在存储器和其他存储设备之间进行传输。另选地，在其他实施方案中，这些软件部件中的一些或全部软件部件可以在另一设备上的存储器中执行，并且经由计算机间通信来与例示的计算机系统进行通信。系统部件或数据结构中的一些或全部也可(例如作为指令或结构化数据)被存储在计算机可访问介质或便携式制品上以由合适的驱动器读取，其多种示例在上文中被描述。在一些实施方案中，存储在与计算机系统1000分开的计算机可访问介质上的指令可通过传输介质或信号(诸如通过通信介质诸如网络和/或无线链路而传送的电信号、电磁信号或数字信号)传输到计算机系统1000。各种实施方案还可包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来讲，计算机可访问介质可包括非暂态计算机可读存储介质或存储器介质，诸如磁介质或光学介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等。在一些实施方案中，计算机可访问介质可包括传输介质或信号，诸如经由通信介质诸如网络和/或无线链路而传送的电气信号、电磁信号、或数字信号。
在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种或多种非暂态计算机可读存储介质，所述一种或多种非暂态计算机可读存储介质存储程序指令，所述程序指令当在一个或多个计算设备上或跨所述一个或多个计算设备执行时使得所述一个或多个计算设备：
生成预测树，所述预测树包括多个节点，所述多个节点与构成点云的多个点对应，所述点云从一个或多个传感器捕获，其中所述点中的相应点包括所述点的空间信息，并且其中在生成所述预测树时，所述程序指令使得所述一个或多个计算设备：
选择所述多个点中的个别点用于包括在所述预测树中的所述多个节点中；
确定根据应用于所述点中的所述个别点的一个或多个祖先节点的相应预测技术确定的所述点中的所述个别点的相应预测节点值，其中所述祖先节点被包括在所述预测树中；
对来自所述预测树的关于所述多个节点的节点信息进行编码，其中对于给定节点，编码后的节点信息包括为了确定所述给定节点的相应预测节点值所应用的相应预测技术的指示符；以及
发送或存储所述编码后的节点信息。
2.根据权利要求1所述的一种或多种非暂态计算机可读存储介质，其中所述预测节点值是所选择点中的所述个别点的预测空间值。
3.根据权利要求1所述的一种或多种非暂态计算机可读存储介质，其中所述预测节点值是所选择点中的所述个别点的预测属性值。
4.根据权利要求1所述的一种或多种非暂态计算机可读存储介质，其中所述程序指令还使得所述一个或多个计算设备：
确定所述预测节点值的校正值，其中基于以下项来确定所述校正值：
所述点中的所述个别点中与所述节点对应的一个点的预测空间位置和所述点云中的所述个别点的空间位置之间的空间差；或者
所述点中的所述个别点中与所述节点对应的一个点的预测属性值和所述点云中的所述个别点的属性值之间的属性值差，
其中对来自所述预测树的所述节点信息进行编码包括对与所述预测树的所述节点相关联的所确定的校正值进行编码。
5.根据权利要求1所述的一种或多种非暂态计算机可读存储介质，其中所述程序指令还使得所述一个或多个计算设备：
针对所述预测树的相应节点确定属于所述预测树的相应节点中的个别节点的子节点的数量，
其中对来自所述预测树的所述节点信息进行编码包括对关于所述预测树的相应节点的子节点信息进行编码。
6.根据权利要求1所述的一种或多种非暂态计算机可读存储介质，其中用于确定所述预测节点值中的一个预测节点值的相应预测技术不同于用于确定所述预测节点值中的另一个预测节点值的相应预测技术。
7.根据权利要求1所述的一种或多种非暂态计算机可读存储介质，其中用于确定所述相应节点的预测节点值的所述预测技术选自一组支持的预测技术，包括：
不预测，其中对子节点的节点值在不进行预测的情况下编码；
差量预测技术，其中子节点的节点值被预测为与父节点的节点值的差值；
线性预测技术，其中基于子节点的父节点和祖父节点之间的关系来预测所述子节点的节点值；
平行四边形预测技术，其中基于子节点的父节点、祖父节点和曾祖父节点之间的关系来确定所述子节点的节点值。
8.根据权利要求1所述的一种或多种非暂态计算机可读存储介质，
其中，在所述选择所述多个点中的所述个别点用于包括在所述预测树中的所述多个节点中时，所述程序指令使得所述一个或多个计算设备：
根据针对所述多个点确定的空间填充曲线值来选择所述多个点；并且
其中，在确定根据应用于所述预测树中的一个或多个祖先节点的相应预测技术确定的所述点中的所述个别点的相应预测节点值时，所述程序指令使得所述一个或多个计算设备：
基于先前添加到所述预测树的节点的节点值来评估可能的祖先节点的k-d树。
9.根据权利要求1所述的一种或多种非暂态计算机可读存储介质，
其中，在选择所述多个点中的所述个别点用于包括在所述预测树中的所述多个节点中时，所述程序指令使得所述一个或多个计算设备：
根据接收到所述多个点的顺序来选择所述多个点；并且
其中，在确定根据应用于所述预测树中的一个或多个祖先节点的相应预测技术确定的所述点中的所述个别点的相应预测节点值时，所述程序指令使得所述一个或多个计算设备：
基于所述多个点中的至少一些点的缓冲区中包括的节点的节点值，将所述缓冲区评估为可能的祖先节点。
10.一种或多种非暂态计算机可读存储介质，所述一种或多种非暂态计算机可读存储介质存储程序指令，所述程序指令当在一个或多个计算设备上或跨所述一个或多个计算设备执行时使得所述一个或多个计算设备：
接收关于与点云中的多个点对应的节点的经编码节点信息；
对所述经编码节点信息进行解码，其中在对所述经编码节点信息进行解码时，所述程序指令使得所述一个或多个计算设备进一步：
根据所述节点信息中包括的用于子节点的预测技术来对相应指示的子节点进行解码；以及
存储或渲染从所述节点信息解码的所述点云中的所述多个点。
11.根据权利要求10所述的一种或多种非暂态计算机可读存储介质，其中所述经编码节点信息还包括所述预测节点值的校正值，
其中为了对所述相应指示的子节点进行解码，所述程序指令当在所述一个或多个计算设备上执行或跨所述一个或多个计算设备执行时使得所述一个或多个计算设备进一步：
基于所述节点信息中包括的用于所述子节点中的个别子节点的相应预测技术来确定所述子节点中的所述个别子节点的相应预测节点值，其中将所述预测技术应用于所述个别子节点的一个或多个祖先节点来预测所述个别子节点的所述节点值；以及
应用所述节点信息中包括的关于所述相应节点的所述校正值来确定所述子节点中的所述个别子节点的重建节点值。
12.根据权利要求11所述的一种或多种非暂态计算机可读存储介质，其中所述子节点中的所述个别子节点的所述重建节点值包括：
关于所述子节点中的所述个别子节点的重建空间信息；或者
所述子节点中的所述个别子节点的重建属性值。
13.根据权利要求10所述的一种或多种非暂态计算机可读存储介质，其中所述经编码节点信息另外指示所述子节点中的所述个别子节点的祖先节点-子节点关系，其中所述节点信息中包括的用于所述子节点中的所述个别子节点的所述预测技术指示所述个别子节点的祖先节点，来自所述祖先节点的节点值在用于所述个别子节点的所述预测技术中用作输入。
14.根据权利要求10所述的一种或多种非暂态计算机可读存储介质，其中所接收到的经编码节点信息是关于所述点云的第一细节级别(LOD)的节点的，其中所述程序指令当由所述一个或多个计算设备执行时还使得所述一个或多个计算设备：
接收关于所述点云的第二细节级别的其他节点的附加经编码节点信息；
对所述附加经编码节点信息进行解码，其中在对所述附加经编码节点信息进行解码时，所述程序指令使得所述一个或多个计算设备进一步：
根据所述附加节点信息中包括的用于所述第二细节级别的子节点的预测技术对所述第二细节级别的相应指示的子节点进行解码；以及
存储或渲染所述点云中的所述多个点，包括所述第一细节级别(LOD)的点和所述第二细节级别(LOD)的点。
15.根据权利要求14所述的一种或多种非暂态计算机可读存储介质，其中对于所述第二细节级别的所述子节点中的至少一些子节点，用于所述至少一些子节点的所述预测技术基于所述第一细节级别中的祖先节点的节点值来预测所述第二细节级别的所述子节点的节点值。
16.根据权利要求10所述的一种或多种非暂态计算机可读存储介质，其中所述经编码节点信息包括关于多个时间帧的节点信息，并且
其中所述节点信息中包括的用于所述子节点中的所述个别子节点的所述预测技术中的至少一些预测技术包括：使用所述时间帧中的其他时间帧中包括的所述子节点中的所述个别子节点的祖先节点来预测所述时间帧中的不同时间帧中的所述节点中的所述个别节点的节点值的预测技术。
17.一种系统，所述系统包括：
存储器，所述存储器存储程序指令；和
一个或多个处理器，所述一个或多个处理器被配置为执行所述程序指令以进行以下操作：
生成预测树，所述预测树包括多个节点，所述多个节点与构成点云的多个点对应，所述点云从一个或多个传感器捕获，其中所述点中的相应点包括所述点的空间信息，并且其中在生成所述预测树时，所述程序指令使得所述一个或多个计算设备：
选择所述多个点中的个别点用于包括在所述预测树中的所述多个节点中；
确定根据应用于所述预测树中的一个或多个祖先节点的相应预测技术确定的所述点中的所述个别点的相应预测节点值；
对来自所述预测树的节点信息进行编码，其中对于给定节点，编码后的节点信息包括为了确定所述给定节点的相应预测节点值所应用的相应预测技术的指示符；以及
发送或存储所述编码后的节点信息。
18.根据权利要求17所述的系统，还包括：
所述一个或多个传感器，其中所述一个或多个传感器是LIDAR传感器。
19.根据权利要求17所述的系统，其中所述程序指令当由所述一个或多个处理器执行时还使得所述一个或多个处理器：
确定所述预测节点值的校正值，其中基于以下项来确定所述校正值：
所述点中的所述个别点中与所述节点对应的一个点的预测空间位置和所述点云中的所述个别点的空间位置之间的空间差；或者
所述点中的所述个别点中与所述节点对应的一个点的预测属性值和所述点云中的所述个别点的属性值之间的属性值差，
其中对来自所述预测树的所述节点信息进行编码包括对与所述预测树的所述节点相关联的所确定的校正值进行编码。
20.根据权利要求17所述的系统，其中所述程序指令当由所述一个或多个处理器执行时还使得所述一个或多个处理器：
执行速率失真优化(RDO)分析以选择要用于预测所述预测树的节点的节点值的所述相应预测技术。
CN202080069858.7A 2019-10-02 2020-10-02 针对点云压缩的预测编码 Pending CN114556429A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962909693P 2019-10-02 2019-10-02
US62/909,693 2019-10-02
US17/061,450 2020-10-01
US17/061,450 US11538196B2 (en) 2019-10-02 2020-10-01 Predictive coding for point cloud compression
PCT/US2020/054145 WO2021067869A1 (en) 2019-10-02 2020-10-02 Predictive coding for point cloud compression

Publications (1)

Publication Number Publication Date
CN114556429A true CN114556429A (zh) 2022-05-27

Family

ID=75273617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080069858.7A Pending CN114556429A (zh) 2019-10-02 2020-10-02 针对点云压缩的预测编码

Country Status (4)

Country Link
US (1) US11538196B2 (zh)
EP (1) EP4022573A1 (zh)
CN (1) CN114556429A (zh)
WO (1) WO2021067869A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
WO2021207431A1 (en) 2020-04-07 2021-10-14 Apple Inc. Improved predictive coding for point cloud compression
WO2021246837A1 (ko) * 2020-06-05 2021-12-09 엘지전자 주식회사 포인트 클라우드 데이터 처리 디바이스 및 처리 방법
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
EP4340363A1 (en) * 2021-05-11 2024-03-20 LG Electronics Inc. Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
WO2023059089A1 (ko) * 2021-10-06 2023-04-13 엘지전자 주식회사 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
WO2023075389A1 (ko) * 2021-10-27 2023-05-04 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2023085609A1 (ko) * 2021-11-09 2023-05-19 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN118216152A (zh) * 2021-11-10 2024-06-18 Lg 电子株式会社 点云数据发送方法、点云数据发送设备、点云数据接收方法和点云数据接收设备
WO2023136618A1 (ko) * 2022-01-12 2023-07-20 엘지전자 주식회사 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치

Family Cites Families (303)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA309618A (en) 1931-03-24 Kylberg Folke Razor blade package
US3040355A (en) 1960-05-16 1962-06-26 Peter S Vosbikian Mop with extracting mechanism
US3055070A (en) 1960-12-08 1962-09-25 Louis H Morin Offset heel for separable fastener stringer scoops
US6256041B1 (en) 1995-08-04 2001-07-03 Sun Microsystems, Inc. Decompression of three-dimensional geometry data representing a regularly tiled surface portion of a graphical object
US6525722B1 (en) 1995-08-04 2003-02-25 Sun Microsystems, Inc. Geometry compression for regular and irregular mesh structures
US5793371A (en) 1995-08-04 1998-08-11 Sun Microsystems, Inc. Method and apparatus for geometric compression of three-dimensional graphics data
US6747644B1 (en) 1995-08-04 2004-06-08 Sun Microsystems, Inc. Decompression of surface normals in three-dimensional graphics data
US6215500B1 (en) 1995-08-04 2001-04-10 Sun Microsystems, Inc. Compression of three-dimensional geometry data representing a regularly tiled surface portion of a graphical object
US6018353A (en) 1995-08-04 2000-01-25 Sun Microsystems, Inc. Three-dimensional graphics accelerator with an improved vertex buffer for more efficient vertex processing
US5842004A (en) 1995-08-04 1998-11-24 Sun Microsystems, Inc. Method and apparatus for decompression of compressed geometric three-dimensional graphics data
WO1997044956A1 (en) 1996-05-17 1997-11-27 Matsushita Electric Industrial Co., Ltd. Picture encoder, picture decoder, picture encoding method, picture decoding method, picture encoding program recording medium, and picture decoding program recording medium
US6858826B2 (en) 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
WO1998029269A1 (fr) 1996-12-27 1998-07-09 Bridgestone Corporation Procedes de conception de pneumatiques
AU1941797A (en) 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6459428B1 (en) 1998-02-17 2002-10-01 Sun Microsystems, Inc. Programmable sample filtering for image rendering
US6563499B1 (en) 1998-07-20 2003-05-13 Geometrix, Inc. Method and apparatus for generating a 3D region from a surrounding imagery
US6429867B1 (en) 1999-03-15 2002-08-06 Sun Microsystems, Inc. System and method for generating and playback of three-dimensional movies
US7071935B1 (en) 1999-06-14 2006-07-04 Sun Microsystems, Inc. Graphics system with just-in-time decompression of compressed graphics data
US6628277B1 (en) 1999-06-14 2003-09-30 Sun Microsystems, Inc. Decompression of three-dimensional graphics data using mesh buffer references to reduce redundancy of processing
US6459429B1 (en) 1999-06-14 2002-10-01 Sun Microsystems, Inc. Segmenting compressed graphics data for parallel decompression and rendering
US6525725B1 (en) 2000-03-15 2003-02-25 Sun Microsystems, Inc. Morphing decompression in a graphics system
US6959120B1 (en) 2000-10-27 2005-10-25 Microsoft Corporation Rebinning methods and arrangements for use in compressing image-based rendering (IBR) data
JP3790126B2 (ja) 2001-05-30 2006-06-28 株式会社東芝 時空間領域情報処理方法及び時空間領域情報処理システム
KR100450823B1 (ko) 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
US20040217956A1 (en) 2002-02-28 2004-11-04 Paul Besl Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data
RU2352638C2 (ru) 2002-07-29 2009-04-20 Монсанто Текнолоджи Ллс Растения-трансформанты кукурузы pv-zmir13 (mon863) и композиции и способы их обнаружения
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US7215810B2 (en) 2003-07-23 2007-05-08 Orametrix, Inc. Method for creating single 3D surface model from a point cloud
US8468772B2 (en) 2003-08-11 2013-06-25 Interface, Inc. Carpet tiles and carpet tile installations
WO2005060629A2 (en) 2003-12-11 2005-07-07 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
US7373473B2 (en) 2004-03-10 2008-05-13 Leica Geosystems Hds Llc System and method for efficient storage and manipulation of extremely large amounts of scan data
CN101230618A (zh) 2005-06-06 2008-07-30 邱则有 一种现浇砼空心板
KR100723505B1 (ko) 2005-10-06 2007-05-30 삼성전자주식회사 하이브리드 방식의 영상 데이터 처리 시스템 및 영상데이터 처리 방법
JP4643453B2 (ja) 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
WO2007116551A1 (ja) 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US7881544B2 (en) 2006-08-24 2011-02-01 Dell Products L.P. Methods and apparatus for reducing storage size
US7885988B2 (en) 2006-08-24 2011-02-08 Dell Products L.P. Methods and apparatus for reducing storage size
US7737985B2 (en) 2006-11-09 2010-06-15 Qualcomm Incorporated Pixel cache for 3D graphics circuitry
WO2008075359A2 (en) 2006-12-21 2008-06-26 Yeda Research And Development Co. Ltd. Method and apparatus for matching local self-similarities
DE102006061325B4 (de) 2006-12-22 2008-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur computergestützten Identifikation der von einem Richtstrahl durchschnittenen Kinderoktanten eines Elternoktants in einer Octree-Datenstruktur mittels Look-up-Tabellen
JP4506875B2 (ja) 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法
TW201005673A (en) 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US8706910B2 (en) 2008-10-28 2014-04-22 Panzura, Inc. Dynamically adaptive network-based data processing system and method
US8131046B2 (en) 2008-10-29 2012-03-06 Allegheny-Singer Research Institute Magnetic resonance imager using cylindrical offset region of excitation, and method
EP2216750A1 (en) 2009-02-06 2010-08-11 Thomson Licensing Method and apparatus for encoding 3D mesh models, and method and apparatus for decoding encoded 3D mesh models
EP2222086A1 (de) 2009-02-18 2010-08-25 EcoDisc Technology AG Verfahren und Vorrichtung zur Vermeidung von Rundungsfehlern nach Durchführung einer inversen diskreten orthogonalen Transformation
JP2010245938A (ja) 2009-04-08 2010-10-28 Sony Corp 信号処理装置、信号処理方法、プログラム
US20100296579A1 (en) 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding
US9753124B2 (en) 2009-07-13 2017-09-05 Celartem, Inc. LIDAR point cloud compression
KR101669873B1 (ko) 2009-10-16 2016-10-27 삼성전자주식회사 삼차원 메쉬 압축장치 및 방법
US9317965B2 (en) 2009-11-16 2016-04-19 Autodesk, Inc. Uniform point cloud decimation
TW201121332A (en) 2009-12-11 2011-06-16 Acer Inc Device for decoding audio and video data
US8345930B2 (en) 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
EP2529356A1 (en) 2010-01-25 2012-12-05 Thomson Licensing Method for encoding normals of a 3d mesh model, method for decoding normals of a 3d mesh model, encoder and decoder
JP5297403B2 (ja) 2010-02-26 2013-09-25 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体
US9237366B2 (en) 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials
EP2606472A2 (en) 2010-06-11 2013-06-26 Estill, James A. System and method for manipulating data having spatial coordinates
FR2961930B1 (fr) 2010-06-29 2013-01-04 Fittingbox Procede de compression / decompression de maillage tridimensionnel
KR101654777B1 (ko) 2010-07-19 2016-09-06 삼성전자주식회사 3차원 메쉬 가변 부호화 장치 및 방법, 그리고 3차원 메쉬 가변 복호화 장치 및 방법
US8520740B2 (en) 2010-09-02 2013-08-27 International Business Machines Corporation Arithmetic decoding acceleration
US20140125671A1 (en) 2010-09-16 2014-05-08 Borys Vorobyov System and Method for Detailed Automated Feature Extraction from Data Having Spatial Coordinates
US9300321B2 (en) 2010-11-05 2016-03-29 University of Maribor Light detection and ranging (LiDAR)data compression and decompression methods and apparatus
WO2012095914A1 (ja) 2011-01-13 2012-07-19 パナソニック株式会社 立体画像処理装置、立体画像処理方法およびプログラム
US8908013B2 (en) 2011-01-20 2014-12-09 Canon Kabushiki Kaisha Systems and methods for collaborative image capturing
WO2012140904A1 (ja) 2011-04-15 2012-10-18 パナソニック株式会社 画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置
CN103503459A (zh) 2011-04-28 2014-01-08 索尼公司 图像处理装置和图像处理方法
US10123053B2 (en) 2011-05-23 2018-11-06 Texas Instruments Incorporated Acceleration of bypass binary symbol processing in video coding
US8780112B2 (en) 2011-06-08 2014-07-15 Pacific Data Images Llc Coherent out-of-core point-based global illumination
US9521434B2 (en) 2011-06-09 2016-12-13 Qualcomm Incorporated Internal bit depth increase in video coding
EP2734980B1 (en) 2011-07-18 2018-03-21 Thomson Licensing Method for adaptive entropy coding of tree structures
US9014496B2 (en) 2011-08-04 2015-04-21 Arm Limited Methods of and apparatus for encoding and decoding data in data processing systems
US20130034150A1 (en) 2011-08-05 2013-02-07 Texas Instruments Incorporated Systems and methods for multimedia data encoding and decoding
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9712819B2 (en) 2011-10-12 2017-07-18 Lg Electronics Inc. Image encoding method and image decoding method
US8643515B2 (en) 2011-10-28 2014-02-04 International Business Machines Corporation Compressing data using an encoding table
US9191670B2 (en) 2012-01-17 2015-11-17 Qualcomm Incorporated Throughput improvement for CABAC coefficient level coding
TWI775701B (zh) 2012-01-20 2022-08-21 美商Ｇｅ影像壓縮有限公司 允許平行處理之編碼器、解碼器、傳送解多工器、系統、儲存媒體、方法及電腦程式
US11094137B2 (en) 2012-02-24 2021-08-17 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10089312B2 (en) 2012-03-01 2018-10-02 Trimble Ab Methods and apparatus for point cloud data management
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9219916B2 (en) 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
US9836483B1 (en) 2012-08-29 2017-12-05 Google Llc Using a mobile device for coarse shape matching against cloud-based 3D model database
US8996228B1 (en) 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
US9234618B1 (en) 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US9488492B2 (en) 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US9210432B2 (en) 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US20140198097A1 (en) 2013-01-16 2014-07-17 Microsoft Corporation Continuous and dynamic level of detail for efficient point cloud object rendering
US20140204088A1 (en) 2013-01-18 2014-07-24 Microsoft Corporation Surface codec using reprojection onto depth maps
US9530225B1 (en) 2013-03-11 2016-12-27 Exelis, Inc. Point cloud data processing for scalable compression
US8756085B1 (en) 2013-03-15 2014-06-17 State Farm Mutual Automobile Insurance Company Systems and methods for assessing property damage
GB2513110A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
US9098773B2 (en) 2013-06-27 2015-08-04 Chevron U.S.A. Inc. System and method of detecting objects in scene point cloud
KR101712109B1 (ko) 2013-07-12 2017-03-03 삼성전자 주식회사 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 복호화 방법 및 그 장치, 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 부호화 방법 및 장치
JP6449892B2 (ja) 2013-09-20 2019-01-09 ヴィド スケール インコーポレイテッド ３ｄルックアップテーブル符号化に色域スケーラビリティを提供するシステムおよび方法
US9351003B2 (en) 2013-09-27 2016-05-24 Apple Inc. Context re-mapping in CABAC encoder
US9223765B1 (en) 2013-10-09 2015-12-29 Google Inc. Encoding and decoding data using context model grouping
US9424672B2 (en) 2013-11-07 2016-08-23 Here Global B.V. Method and apparatus for processing and aligning data point clouds
US9445115B2 (en) 2013-11-21 2016-09-13 Bae Systems Information And Electronic Systems Integration Inc. Coded image system and method thereof
US9412040B2 (en) 2013-12-04 2016-08-09 Mitsubishi Electric Research Laboratories, Inc. Method for extracting planes from 3D point cloud sensor data
US9386303B2 (en) 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US9613388B2 (en) 2014-01-24 2017-04-04 Here Global B.V. Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes
GB2523348B (en) 2014-02-20 2016-03-30 Gurulogic Microsystems Oy Encoder, decoder and method
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9996976B2 (en) 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
GB2527607B (en) 2014-06-27 2016-10-05 Gurulogic Microsystems Oy Encoder, decoder and method
KR101663668B1 (ko) 2014-06-27 2016-10-07 삼성전자주식회사 영상 패딩영역의 비디오 복호화 및 부호화 장치 및 방법
US9292961B1 (en) 2014-08-26 2016-03-22 The Boeing Company System and method for detecting a structural opening in a three dimensional point cloud
US10235338B2 (en) 2014-09-04 2019-03-19 Nvidia Corporation Short stack traversal of tree data structures
US9734595B2 (en) 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
US11195317B2 (en) 2014-11-05 2021-12-07 Jean Claude Colin Method for producing animated images
US10104361B2 (en) 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN104408689B (zh) 2014-12-10 2017-10-24 武汉大学 基于全景影像的街景面片优化方法
US10257344B2 (en) 2016-04-20 2019-04-09 Stephen Rhyne System, device, and method for tracking and monitoring mobile phone usage while operating a vehicle in order to deter and prevent such usage
US11373272B2 (en) 2015-06-05 2022-06-28 MindAptiv, LLC Digital gradient signal processing system and method for signals comprising at least three dimensions
US10277248B2 (en) 2015-07-07 2019-04-30 Tidal Systems, Inc. Compression engine with consistent throughput
US10887430B2 (en) 2015-10-21 2021-01-05 Dragonwave-X, Llc Compression in communications
EP3163536B1 (en) 2015-10-30 2021-12-08 Dassault Systèmes Compression of a three-dimensional modeled object
JP6300119B2 (ja) 2015-11-05 2018-03-28 コニカミノルタ株式会社 測色値取得方法及び画像形成装置並びに測色値取得制御プログラム
US20170214943A1 (en) 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US10416667B2 (en) 2016-02-03 2019-09-17 Sony Corporation System and method for utilization of multiple-camera network to capture static and/or motion scenes
WO2017137311A1 (en) 2016-02-11 2017-08-17 Thomson Licensing Method and device for encoding/decoding an image unit comprising image data represented by a luminance channel and at least one chrominance channel
US10319101B2 (en) 2016-02-24 2019-06-11 Quantum Spatial, Inc. Systems and methods for deriving spatial attributes for imaged objects utilizing three-dimensional information
US10482196B2 (en) 2016-02-26 2019-11-19 Nvidia Corporation Modeling point cloud data using hierarchies of Gaussian mixture models
KR102520957B1 (ko) 2016-04-15 2023-04-12 삼성전자주식회사 인코딩 장치, 디코딩 장치 및 이의 제어 방법
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US9959604B2 (en) 2016-06-13 2018-05-01 Gopro, Inc. Dynamic global tone mapping with integrated 3D color look-up table
US10259164B2 (en) 2016-06-22 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for 3D printing of point cloud data
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10944976B2 (en) 2016-07-22 2021-03-09 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling
US20180053324A1 (en) 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
CN108541322B (zh) 2016-08-29 2021-09-14 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention
KR102352933B1 (ko) 2016-09-09 2022-01-20 삼성전자주식회사 3차원 이미지를 프로세싱하기 위한 방법 및 장치
EP3608876A1 (en) 2016-09-13 2020-02-12 Dassault Systèmes Compressing a signal that represents a physical attribute
US10372728B2 (en) 2016-09-16 2019-08-06 Oracle International Corporation System and method providing a scalable and efficient space filling curve approach to point cloud feature generation
JP6970100B2 (ja) 2016-09-16 2021-11-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 三次元データ作成方法及び三次元データ作成装置
KR20190052089A (ko) 2016-09-19 2019-05-15 인터디지털 브이씨 홀딩스 인코포레이티드 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스
CN106651942B (zh) 2016-09-29 2019-09-17 苏州中科广视文化科技有限公司 基于特征点的三维旋转运动检测与旋转轴定位方法
US9787321B1 (en) 2016-11-17 2017-10-10 Google Inc. Point cloud data compression using a space-filling curve
US10715618B2 (en) 2016-12-12 2020-07-14 Hughes Network Systems, Llc Compressibility estimation for lossless data compression
US10785279B2 (en) 2016-12-29 2020-09-22 Facebook, Inc. Video encoding using starve mode
GB2558314B (en) 2017-01-02 2020-07-29 Canon Kk Improved attribute mapping to encode and decode 3D models
EP3349182A1 (en) 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
US10546415B2 (en) 2017-02-07 2020-01-28 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
US11514613B2 (en) 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US10242458B2 (en) 2017-04-21 2019-03-26 Qualcomm Incorporated Registration of range images using virtual gimbal information
US20190340306A1 (en) 2017-04-27 2019-11-07 Ecosense Lighting Inc. Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations
US10467756B2 (en) 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image
US10511696B2 (en) 2017-05-17 2019-12-17 CodeShop, B.V. System and method for aggregation, archiving and compression of internet of things wireless sensor data
GB2563019B (en) 2017-05-29 2021-07-28 Canon Kk Improved valence-based encoding and decoding of connectivity data in a 3D model
US10325409B2 (en) 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
EP3646593A4 (en) 2017-06-26 2021-03-31 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
EP3649776A4 (en) 2017-07-03 2020-11-04 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
EP3642800A4 (en) 2017-07-10 2020-05-20 Samsung Electronics Co., Ltd. POINT CLOUD AND NETWORK COMPRESSION WITH IMAGE / VIDEO CODECS
US10474524B2 (en) 2017-07-12 2019-11-12 Topcon Positioning Systems, Inc. Point cloud filter method and apparatus
EP3429212A1 (en) 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
EP3429210A1 (en) 2017-07-13 2019-01-16 Thomson Licensing Methods, devices and stream for encoding and decoding volumetric video
US10587883B2 (en) 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
US10395419B1 (en) 2017-08-04 2019-08-27 Bentley Systems, Incorporated Non-destructive multi-resolution surface clipping
US11109066B2 (en) 2017-08-15 2021-08-31 Nokia Technologies Oy Encoding and decoding of volumetric video
WO2019034807A1 (en) 2017-08-15 2019-02-21 Nokia Technologies Oy SEQUENTIAL CODING AND DECODING OF VOLUMETRIC VIDEO
US10462485B2 (en) 2017-09-06 2019-10-29 Apple Inc. Point cloud geometry compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10805646B2 (en) 2018-06-22 2020-10-13 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
KR102119300B1 (ko) 2017-09-15 2020-06-04 서울과학기술대학교 산학협력단 360도 영상 부호화 장치 및 방법, 이를 수행하기 위한 기록 매체
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US20200275129A1 (en) 2017-09-29 2020-08-27 Sharp Kabushiki Kaisha Systems and methods for signaling information associated with a constituent picture
EP3462415A1 (en) 2017-09-29 2019-04-03 Thomson Licensing Method and device for modifying attributes of points of a 3d scene
KR20200058398A (ko) 2017-09-29 2020-05-27 소니 주식회사 정보 처리 장치 및 방법
EP3694110A4 (en) 2017-10-05 2020-11-18 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
EP3468182A1 (en) 2017-10-06 2019-04-10 InterDigital VC Holdings, Inc. A method and apparatus for encoding a point cloud representing three-dimensional objects
EP3695597A4 (en) 2017-10-11 2021-06-30 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
US10499054B2 (en) 2017-10-12 2019-12-03 Mitsubishi Electric Research Laboratories, Inc. System and method for inter-frame predictive compression for point clouds
US10726299B2 (en) 2017-10-12 2020-07-28 Sony Corporation Sorted geometry with color clustering (SGCC) for point cloud compression
US11270470B2 (en) 2017-10-12 2022-03-08 Sony Group Corporation Color leaking suppression in anchor point cloud compression
US10559126B2 (en) 2017-10-13 2020-02-11 Samsung Electronics Co., Ltd. 6DoF media consumption architecture using 2D video decoder
GB201717012D0 (en) 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for coding volumetric video
EP3474562A1 (en) 2017-10-20 2019-04-24 Thomson Licensing Method, apparatus and stream for volumetric video format
US10424083B2 (en) 2017-10-21 2019-09-24 Samsung Electronics Co., Ltd. Point cloud compression using hybrid transforms
US10535161B2 (en) 2017-11-09 2020-01-14 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection
WO2019093834A1 (en) 2017-11-09 2019-05-16 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10789733B2 (en) 2017-11-22 2020-09-29 Apple Inc. Point cloud compression with multi-layer projection
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
EP3489900A1 (en) 2017-11-23 2019-05-29 Thomson Licensing Method, apparatus and stream for encoding/decoding volumetric video
EP3496388A1 (en) 2017-12-05 2019-06-12 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects
US10783668B2 (en) 2017-12-22 2020-09-22 Samsung Electronics Co., Ltd. Handling duplicate points in point cloud compression
WO2019129923A1 (en) 2017-12-29 2019-07-04 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
WO2019135024A1 (en) 2018-01-02 2019-07-11 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
WO2019142667A1 (ja) 2018-01-17 2019-07-25 ソニー株式会社 画像処理装置および方法
EP3515068A1 (en) 2018-01-19 2019-07-24 Thomson Licensing A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream
US11949889B2 (en) 2018-01-19 2024-04-02 Interdigital Vc Holdings, Inc. Processing a point cloud
CN112041889A (zh) 2018-02-08 2020-12-04 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
US11044495B1 (en) 2018-02-13 2021-06-22 Cyborg Inc. Systems and methods for variable length codeword based data encoding and decoding using dynamic memory allocation
GB2571306A (en) 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
US10916041B2 (en) 2018-03-30 2021-02-09 Samsung Electronics Co., Ltd. Method for depth image di coding
KR20190117287A (ko) 2018-04-06 2019-10-16 삼성전자주식회사 중복 포인트 처리 방법 및 장치
WO2019196475A1 (zh) 2018-04-09 2019-10-17 华为技术有限公司 全局匹配patch的获取方法及装置
US11523135B2 (en) 2018-04-09 2022-12-06 Nokia Technologies Oy Apparatus, a method and a computer program for volumetric video
EP3553746B1 (en) * 2018-04-09 2021-08-25 BlackBerry Limited Methods and devices for predictive coding of point clouds
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
CA3096184A1 (en) 2018-04-10 2019-10-17 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, tree-dimensional data encoding device, and three-dimensional data decoding device
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
JPWO2019198523A1 (ja) 2018-04-11 2021-05-13 ソニーグループ株式会社 画像処理装置および方法
EP3780626A1 (en) 2018-04-11 2021-02-17 Samsung Electronics Co., Ltd. Device and method for processing data in multimedia system
US10984541B2 (en) 2018-04-12 2021-04-20 Samsung Electronics Co., Ltd. 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud
US10657689B2 (en) 2018-04-13 2020-05-19 Sony Corporation Method and apparatus for point cloud color processing
WO2019199415A1 (en) 2018-04-13 2019-10-17 Futurewei Technologies, Inc. Differential coding method for patch side information
AU2019256021B2 (en) * 2018-04-19 2024-05-16 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11146284B2 (en) * 2018-05-03 2021-10-12 Sap Se Space-filling curve dictionary-based compression
CN108833927B (zh) 2018-05-03 2019-08-16 北京大学深圳研究生院 一种基于删除量化矩阵中0元素的点云属性压缩方法
CN108632607B (zh) 2018-05-09 2019-06-21 北京大学深圳研究生院 一种基于多角度自适应帧内预测的点云属性压缩方法
EP3579194A1 (en) 2018-06-08 2019-12-11 My Virtual Reality Software AS Indexation of massive point cloud data for efficient visualization
CN112385221B (zh) 2018-06-26 2022-08-26 华为技术有限公司 用于点云译码的高级语法设计
US11501507B2 (en) 2018-06-26 2022-11-15 Sony Group Corporation Motion compensation of geometry information
US11010955B2 (en) 2018-06-27 2021-05-18 Sony Group Corporation Point cloud mapping
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11044478B2 (en) 2018-07-02 2021-06-22 Apple Inc. Compression with multi-level encoding
EP3591975A1 (en) 2018-07-03 2020-01-08 Industrial Technology Research Institute Method and apparatus for processing patches of a point cloud
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11095908B2 (en) 2018-07-09 2021-08-17 Samsung Electronics Co., Ltd. Point cloud compression using interpolation
US11348283B2 (en) 2018-07-10 2022-05-31 Samsung Electronics Co., Ltd. Point cloud compression via color smoothing of point cloud prior to texture video generation
US10911787B2 (en) 2018-07-10 2021-02-02 Apple Inc. Hierarchical point cloud compression
WO2020012967A1 (ja) 2018-07-11 2020-01-16 ソニー株式会社 画像処理装置および方法
US11138762B2 (en) 2018-07-11 2021-10-05 Samsung Electronics Co., Ltd. Visual quality of video based point cloud compression using one or more additional patches
EP3821608A4 (en) 2018-07-11 2022-04-13 Nokia Technologies Oy METHOD AND DEVICE FOR STORAGE AND SIGNALING OF COMPRESSED POINT CLOUDS
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
CN112438046B (zh) 2018-07-17 2024-06-11 华为技术有限公司 点云译码（pcc）中的预测类型信令和时间顺序信令
US10783698B2 (en) 2018-07-31 2020-09-22 Intel Corporation Point cloud operations
US20200045344A1 (en) 2018-07-31 2020-02-06 Intel Corporation Video processing mechanism
EP3614674A1 (en) 2018-08-23 2020-02-26 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
BR112021004798A2 (pt) 2018-09-14 2021-06-08 Huawei Technologies Co., Ltd. suporte de atributo melhorado em codificação de nuvem de pontos
CN112740277A (zh) 2018-09-28 2021-04-30 索尼公司 图像处理装置和图像处理方法
US11132818B2 (en) 2018-09-28 2021-09-28 Apple Inc. Predicting attributes for point cloud compression according to a space filling curve
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
WO2020071703A1 (ko) 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
WO2020071416A1 (ja) 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11166048B2 (en) 2018-10-02 2021-11-02 Tencent America LLC Method and apparatus for video coding
US11122279B2 (en) 2018-10-02 2021-09-14 Samsung Electronics Co., Ltd. Point cloud compression using continuous surface codes
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US10853973B2 (en) 2018-10-03 2020-12-01 Apple Inc. Point cloud compression using fixed-point numbers
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
EP3861752A1 (en) 2018-10-05 2021-08-11 InterDigital VC Holdings, Inc. A method and device for encoding and reconstructing missing points of a point cloud
WO2020075780A1 (ja) 2018-10-09 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020100866A1 (ja) 2018-11-13 2020-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
BR112021007095A2 (pt) 2018-11-16 2021-07-27 Panasonic Intellectual Property Corporation Of America método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais, e dispositivo de decodificação de dados tridimensionais
US10867430B2 (en) 2018-11-19 2020-12-15 Intel Corporation Method and system of 3D reconstruction with volume-based filtering for image processing
US11010907B1 (en) 2018-11-27 2021-05-18 Zoox, Inc. Bounding box selection
US10762667B2 (en) 2018-11-30 2020-09-01 Point Cloud Compression, B.V. Method and apparatus for compression of point cloud data
JPWO2020116563A1 (ja) 2018-12-06 2021-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US10812818B2 (en) 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header
US11095900B2 (en) 2018-12-19 2021-08-17 Sony Group Corporation Point cloud coding structure
US11288843B2 (en) 2019-01-04 2022-03-29 Samsung Electronics Co., Ltd. Lossy compression of point cloud occupancy maps
US11284091B2 (en) 2019-03-25 2022-03-22 Apple Inc. Video based point cloud compression-patch alignment and size determination in bounding box
US11454710B2 (en) 2019-01-08 2022-09-27 Apple Inc. Point cloud compression using a space filling curve for level of detail generation
US11348284B2 (en) 2019-01-08 2022-05-31 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression
US11373338B2 (en) 2019-01-09 2022-06-28 Samsung Electronics Co., Ltd. Image padding in video-based point-cloud compression CODEC
US10977773B2 (en) 2019-02-19 2021-04-13 Google Llc Cost-driven framework for progressive compression of textured meshes
US11393132B2 (en) 2019-03-07 2022-07-19 Samsung Electronics Co., Ltd. Mesh compression
US10587286B1 (en) 2019-03-18 2020-03-10 Blackberry Limited Methods and devices for handling equiprobable symbols in entropy coding
CN110097639B (zh) * 2019-03-18 2023-04-18 北京工业大学 一种三维人体姿态估计方法
US10964068B2 (en) * 2019-03-18 2021-03-30 Blackberry Limited Methods and devices for predictive point cloud attribute coding
US11334969B2 (en) 2019-03-19 2022-05-17 Sony Group Corporation Point cloud geometry padding
US11200701B2 (en) 2019-03-19 2021-12-14 Nokia Technologies Oy Method and apparatus for storage and signaling of static point cloud data
US20200302655A1 (en) 2019-03-20 2020-09-24 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
EP3751857A1 (en) 2019-06-14 2020-12-16 Nokia Technologies Oy A method, an apparatus and a computer program product for volumetric video encoding and decoding
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11122102B2 (en) 2019-07-03 2021-09-14 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
WO2021002633A2 (ko) 2019-07-04 2021-01-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021002657A1 (ko) 2019-07-04 2021-01-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11368717B2 (en) 2019-09-16 2022-06-21 Tencent America LLC Method and apparatus for point cloud compression
US11450030B2 (en) 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder
US11202078B2 (en) 2019-09-27 2021-12-14 Apple Inc. Dynamic point cloud compression using inter-prediction
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11409998B2 (en) 2019-10-02 2022-08-09 Apple Inc. Trimming search space for nearest neighbor determinations in point cloud compression
US11398833B2 (en) 2019-10-02 2022-07-26 Apple Inc. Low-latency encoding using a bypass sub-stream and an entropy encoded sub-stream
US11568571B2 (en) 2019-10-03 2023-01-31 Tencent America LLC Techniques and apparatus for lossless lifting for attribute coding
WO2021066312A1 (ko) 2019-10-03 2021-04-08 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11417029B2 (en) 2019-12-02 2022-08-16 Tencent America LLC Method and apparatus for point cloud coding
US11223836B2 (en) 2019-12-02 2022-01-11 Tencent America LLC Method and apparatus for point cloud coding
US11477483B2 (en) 2020-01-08 2022-10-18 Apple Inc. Video-based point cloud compression with variable patch scaling
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11710259B2 (en) * 2020-02-10 2023-07-25 Tencent America LLC Predictive tree coding for point cloud coding
US11741637B2 (en) * 2020-02-10 2023-08-29 Tencent America LLC Node-based geometry and attribute coding for a point cloud
EP4115624A4 (en) 2020-03-03 2024-03-27 Nokia Technologies Oy EFFICIENT READOUT OF VOLUMETRIC VIDEO ATLASBIT STREAMS
US11450031B2 (en) 2020-04-14 2022-09-20 Apple Inc. Significant coefficient flag encoding for point cloud attribute compression
US11321928B2 (en) 2020-05-14 2022-05-03 Qualcomm Incorporated Methods and apparatus for atlas management of augmented reality content
US11375208B2 (en) * 2020-06-23 2022-06-28 Sony Group Corporation Trisoup node size per slice
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US20220164994A1 (en) 2020-11-24 2022-05-26 Samsung Electronics Co., Ltd. Overlapped patches for mesh coding for video based point cloud compression

Also Published As

Publication number Publication date
US20210104075A1 (en) 2021-04-08
EP4022573A1 (en) 2022-07-06
WO2021067869A1 (en) 2021-04-08
US11538196B2 (en) 2022-12-27

Similar Documents

Publication Publication Date Title
US11538196B2 (en) Predictive coding for point cloud compression
US11132818B2 (en) Predicting attributes for point cloud compression according to a space filling curve
US11895307B2 (en) Block-based predictive coding for point cloud compression
US11450031B2 (en) Significant coefficient flag encoding for point cloud attribute compression
US11475605B2 (en) Geometry encoding of duplicate points
KR102362066B1 (ko) 포인트 클라우드 기하학적 압축
US11754685B2 (en) Point cloud compression using a space filling curve for level of detail generation
US11202078B2 (en) Dynamic point cloud compression using inter-prediction
KR102317576B1 (ko) 포인트 클라우드 압축
US11010928B2 (en) Adaptive distance based point cloud compression
US10909727B2 (en) Hierarchical point cloud compression with smoothing
CN115918088A (zh) 使用具有切片的八叉树的点云压缩
CN115702563A (zh) 使用具有多种扫描顺序的八叉树的点云几何压缩
CN115380536A (zh) 用于点云压缩的改进的预测编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination