CN114365502A - 用于点云编码的多分量属性的编码 - Google Patents

用于点云编码的多分量属性的编码 Download PDF

Info

Publication number
CN114365502A
CN114365502A CN202180002868.3A CN202180002868A CN114365502A CN 114365502 A CN114365502 A CN 114365502A CN 202180002868 A CN202180002868 A CN 202180002868A CN 114365502 A CN114365502 A CN 114365502A
Authority
CN
China
Prior art keywords
prediction residual
reconstructed
prediction
predicted
model parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180002868.3A
Other languages
English (en)
Inventor
张翔
高文
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN114365502A publication Critical patent/CN114365502A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了一种用于点云编码的方法、计算机程序和计算机系统。该方法包括：从比特流接收与点云相对应的数据；从数据获得与点云相关联的多个属性分量之中的第一分量的第一预测残差；重建第一预测残差；基于重建的第一预测残差和至少一个模型参数来确定预测的第二预测残差；基于预测的第二预测残差获得多个分量之中的第二分量的第二预测残差；重建第二预测残差；以及基于重建的第一预测残差和重建的第二预测残差来对与点云相对应的数据进行解码。

Description

用于点云编码的多分量属性的编码
相关申请的交叉引用
本申请要求2021年5月27日在美国专利商标局提交的美国专利申请第17/332,213号的优先权的权益，该美国专利申请要求基于2020年8月14日在美国专利商标局提交的美国临时申请第63/066,121号的优先权，上述申请通过引用整体并入本文。
技术领域
本公开内容一般涉及数据处理领域，并且更具体地涉及点云编码。
背景技术
近年来，点云已经被广泛地使用。例如，点云在自动驾驶车辆中用于对象检测和定位；点云还在地理信息系统(geographic information systems，GIS)中用于绘图，并且在文化遗产中用于对文化遗产对象和收藏等进行可视化和归档。点云包含一组高维点，通常为三维(three dimensional，3D)，每一个高维点包括3D位置信息和诸如颜色、反射率等的附加属性。这些高维点可以使用多个相机和深度传感器捕获，或者可以使用在各种装置中的激光雷达捕获，并且可以由数千至数十亿个点组成，以现实地表示原始场景。需要压缩技术来减少表示点云所需的数据量，以用于更快的传输或减少存储。
发明内容
实施方式涉及一种用于点云编码的方法、系统和计算机可读介质。根据一个方面，提供了一种用于点云编码的方法。该方法可以包括：从比特流接收与点云相对应的数据；从数据获得与点云相关联的多个属性分量之中的第一分量的第一预测残差；重建第一预测残差；基于重建的第一预测残差和至少一个模型参数来确定预测的第二预测残差；基于预测的第二预测残差获得多个分量之中的第二分量的第二预测残差；重建第二预测残差；以及基于重建的第一预测残差和重建的第二预测残差来对与点云相对应的数据进行解码。
根据另一方面，提供了一种用于点云编码的计算机系统。该计算机系统可以包括：一个或更多个处理器；一个或更多个计算机可读存储器；一个或更多个计算机可读有形存储设备；以及程序指令，其被存储在一个或更多个存储设备中的至少一个上，以经由一个或更多个存储器中的至少一个由一个或更多个处理器中的至少一个执行，由此，计算机系统能够执行方法。该方法可以包括：从比特流接收与点云相对应的数据；从数据获得与点云相关联的多个属性分量之中的第一分量的第一预测残差；重建第一预测残差；基于重建的第一预测残差和至少一个模型参数来确定预测的第二预测残差；基于预测的第二预测残差获得多个分量之中的第二分量的第二预测残差；重建第二预测残差；以及基于重建的第一预测残差和重建的第二预测残差来对与点云相对应的数据进行解码。
根据又一方面，提供了一种用于点云编码的计算机可读介质。计算机可读介质可以包括：一个或更多个计算机可读存储设备；以及存储在一个或更多个有形存储设备中的至少一个上的程序指令，该程序指令能够由处理器执行。该程序指令能够由处理器执行，以用于执行可以相应地包括以下步骤的方法：从比特流接收与点云相对应的数据；从数据获得与点云相关联的多个属性分量之中的第一分量的第一预测残差；重建第一预测残差；基于重建的第一预测残差和至少一个模型参数来确定预测的第二预测残差；基于预测的第二预测残差获得多个分量之中的第二分量的第二预测残差；重建第二预测残差；以及基于重建的第一预测残差和重建的第二预测残差来对与点云相对应的数据进行解码。
附图说明
根据要结合附图阅读的以下说明性实施方式的详细描述，这些和其他目的、特征和优点将变得明显。附图的各种特征不是按比例的，因为该图示是为了在便于本领域技术人员结合详细描述进行理解方面是清楚的。在附图中：
图1示出了根据至少一个实施方式的联网计算机环境；
图2A至图2B是根据至少一个实施方式的点云更新系统的框图；
图2C是根据至少一个实施方式的区域自适应分层变换(region adaptivehierarchical transform，RAHT)的图；
图2D是根据至少一个实施方式的预测残差的语法元素表；
图3A至图3B是示出了根据至少一个实施方式的通过用于点云编码的程序执行的步骤的操作流程图；
图4是根据至少一个实施方式的图1中描绘的计算机和服务器的内部部件和外部部件的框图；
图5是根据至少一个实施方式的包括图1中描绘的计算机系统的说明性云计算环境的框图；以及
图6是根据至少一个实施方式的图5的说明性云计算环境的功能层的框图。
具体实施方式
本文中公开了所要求保护的结构和方法的详细实施方式；然而，可以理解，所公开的实施方式仅仅是对可以以各种形式实现的所要求保护的结构和方法的说明。然而，这些结构和方法可以以许多不同的形式来实现，并且不应被解释为限于本文中阐述的示例性实施方式。相反，提供这些示例性实施方式使得本公开内容将是透彻且完整的并且将向本领域技术人员完整地传达范围。在说明书中，可以省略公知特征和技术的细节，以避免不必要地模糊所呈现的实施方式。
实施方式一般涉及数据处理领域，并且更具体地涉及点云编码。以下描述的示例性实施方式提供了一种使用用于对点云属性数据进行编码的分量间相关性方法等的系统、方法和计算机程序。因此，一些实施方式具有如下能力：通过允许不要求找到点云数据的最近邻的点云数据而增加点云编码的效率来改进计算领域。
如前所述，近年来，点云已被广泛地使用。例如，点云在自动驾驶车辆中用于对象检测和定位；点云还在地理信息系统(geographic information systems，GIS)中用于绘图，并且在文化遗产中用于对文化遗产对象和收藏等进行可视化和归档。点云包含一组高维点，通常为三维(three dimensional，3D)，每一个高维点包括3D位置信息和诸如颜色、反射率等的附加属性。点云可以使用多个相机和深度传感器捕获，或者可以使用在各种装置中的激光雷达捕获，并且可以由数千至数十亿个点组成，以如实地表示原始场景。需要压缩技术来减少表示点云所需的数据量，以用于更快的传输或减少存储。在基于预测的属性编码中，根据接近当前点的已经编码的点来预测当前点的属性。
在TMC13模型中，单独地压缩几何信息和诸如颜色或反射率的相关联属性。作为点云的3D坐标的几何信息由八叉树分割及其占用信息进行编码。然后，使用预测、提升和区域自适应分层变换技术基于重建的几何结构来压缩属性。然而，找到每一个点的3D空间中的最近点可能是昂贵的。另外，对于多个通道属性，例如RGB颜色的无损和近无损编码，多个通道被直接处理而无需颜色空间转换，并且被独立地编码。然而，在不同颜色通道之间通常存在强的相关性，特别是在RGB域中。不利用这种相关性可能导致在编码效率方面的性能损失。因此，使用分量间相关性可能是有利的。
本文中参照根据各种实施方式的方法、装置(系统)和计算机可读介质的流程图图示和/或框图来描述各方面。应当理解，流程图图示和/或框图的每一个框，以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令来实现。
现在参照图1，联网计算机环境的功能框图示出了用于编码点云数据的点云编码系统100(在下文中称为“系统”)。应当理解，图1仅提供了一个实现方式的图示，并且并不暗示关于可以实现不同实施方式的环境的任何限制。可以基于设计和实现要求进行对所描绘的环境的许多修改。
系统100可以包括计算机102和服务器计算机114。计算机102可以经由通信网络110(在下文中称为“网络”)与服务器计算机114进行通信。计算机102可以包括处理器104和存储在数据存储设备106上的软件程序108，并且能够与用户接口并与服务器计算机114进行通信。如下面将参照图4讨论的，计算机102可以分别包括内部部件800A和外部部件900A，并且服务器计算机114可以分别包括内部部件800B和外部部件900B。计算机102可以是例如，移动设备、电话、个人数字助理、上网本、膝上型计算机、平板电脑、台式计算机或者能够运行程序、访问网络和访问数据库的任何类型的计算设备。
服务器计算机114还可以在云计算服务模型，例如软件即服务(software as aservice，SaaS)、平台即服务(platform as a service，PaaS)或基础设施即服务(Infrastructure as a service，IaaS)中操作，如下面关于图5和图6讨论的。服务器计算机114还可以位于云计算部署模型，例如私有云、社区云、公共云或混合云中。
可以用于点云编码的服务器计算机114能够运行可以与数据库112交互的点云编码程序116(在下文中称为“程序”)。下面关于图3A至图3B更详细说明点云编码程序方法。在一个实施方式中，计算机102可以操作为包括用户接口的输入设备，同时程序116可以主要在服务器计算机114上运行。在替选实施方式中，程序116可以主要在一个或更多个计算机102上运行，同时服务器计算机114可以用于处理和存储由程序116所使用的数据。应当注意，程序116可以是独立程序，或者可以集成到更大的点云编码程序中。
然而，应该注意，在某些情况下，程序116的处理可以以任何比率在计算机102和服务器计算机114之间共享。在另一实施方式中，程序116可以在多于一个计算机、服务器计算机或者计算机和服务器计算机的一些组合，例如，与单个服务器计算机114通过网络110进行通信的多个计算机102上操作。在另一实施方式中，例如，程序116可以在与多个客户端计算机通过网络110进行通信的多个服务器计算机114上操作。替选地，该程序可以在与服务器和多个客户端计算机通过网络进行通信的网络服务器上操作。
网络110可以包括有线连接、无线连接、光纤连接或其某种组合。通常，网络110可以是将支持计算机102与服务器计算机114之间的通信的连接和协议的任何组合。网络110可以包括各种类型的网络，例如局域网(local area network，LAN)、诸如因特网的广域网(wide area netowrk，WAN)、诸如公共交换电话网络(public switched telephonenetwork，PSTN)的电信网络、无线网络、公共交换网络、卫星网络、蜂窝网络(例如，第五代(fifth generation，5G)网络、长期演进(long-term evolution，LTE)网络、第三代(thirdgeneration，3G)网络、码分多址(code division multiple access，CDMA)网络等)、公共陆地移动网络(public land mobile network，PLMN)、城域网(metropolitan area network，MAN)、专用网络、自组织网络、内联网、基于光纤的网络等、以及/或者这些或其他类型的网络的组合。
图1中所示的设备和网络的数目和布置作为示例被提供。实际上，可以存在附加的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或者与图1中所示的设备和/或网络不同布置的设备和/或网络。此外，图1中所示的两个或更多个设备可以在单个设备内实现，或者图1中所示的单个设备可以实现为多个分布式设备。另外地或替选地，系统100的一组设备(例如，一个或更多个设备)可以执行被描述为由系统100的另一组设备执行的一个或更多个功能。
现在参照图2A和图2B，描绘了点云更新系统的框图200A和200B。框图200A可以描绘提升方案中的直接或正向变换。框图200B可以描绘提升方案中的逆变换。
对于基于预测的属性编码，令(Pi)i＝1...N是与点云点相关联的一组位置，并且令(Mi)i＝1...N是与(Pi)i＝1...N相关联的Morton码。首先，根据其相关联的Morton码以升序对点进行排序。令I是根据该过程排序的点索引的数组。编码器/解码器根据由I定义的顺序分别对点进行压缩/解压缩。在每一个迭代i处，选择点Pi。分析Pi到S(例如，s＝64)个先前点的距离，并且选择Pi的k(例如，k＝3)个最近邻以用于预测。更确切地，通过使用基于点i的最近邻的距离的线性插值过程来预测属性值(ai)i∈0...k-1。令
Figure BDA0003298253840000061
是当前点i的k个最近邻的集合，并且令
Figure BDA0003298253840000062
是其解码/重建的属性值，并且令
Figure BDA0003298253840000063
是其到当前点的距离。预测的属性值
Figure BDA0003298253840000064
由如下给出：
Figure BDA0003298253840000065
在基于预测的编码上构建基于提升的属性编码。与基于预测的方案相比，主要差异是引入了两个附加的步骤。第一是引入更新算子。第二是使用自适应量化策略。
现在参照图2C，描绘了区域自适应分层变换(region adaptive hierarchicaltransform，RAHT)的图200C。框图200C可以描绘正向变换202A和逆变换202B。对于RAHT编码，
Figure BDA0003298253840000066
和
Figure BDA0003298253840000067
并且W0是输入系数Fl+1，2n的权重的符号，而w1是Fl+1，2n+1的权重的符号。
为了利用不同分量之间的相关性，可以在不同的属性编码方法，例如基于预测的属性编码、基于提升的属性编码和基于RAHT的属性编码中应用预测方案。可以将跨分量预测(cross component prediction)应用于原始信号或预测残差或变换系数(在应用任何变换技术，例如RAHT的情况下)。在以下实施方式中，基于预测的属性编码用作示例，并且将跨分量预测方案应用于不同通道(或分量)的预测残差。
可以构建不同的模型，例如线性模型、二次模型和其他多项式模型来预测跨分量的信号。在以下实施方式中，线性模型用作示例。
跨分量预测不仅限于RGB颜色属性，而且其还可以用于任何其他属性，只要存在多于一种类型的要被编码的属性并且在其之间存在相关性。在以下实施方式中，RGB颜色属性将被用作示例。
假设用于R分量、G分量和B分量的预测残差分别是r0、r1、r2，并且假设这些信号线性相关。这些分量可以以任何顺序编码。编码顺序可以针对所有情况固定，或者可以逐情况被不同地配置，并且在比特流中被指定为高级语法的一部分，例如序列参数集、几何参数集或切片头等。在以下实施方式中，假设编码顺序首先是R，之后是G和B。因此，当对G的预测残差进行编码时，可以使用R的重建的预测残差作为预测；当对B的预测残差进行编码时，可以将R和G的重建的预测残差用于预测。
更具体地，假设R分量的预测残差，即r0首先被编码，并且在量化/逆量化之后其重建值是R0。然后，G分量的预测残差，即r1可以通过R0预测如下：p1＝α0R0+β0，其中，α0和β0是线性模型参数，并且p1是G的预测的预测残差。因此，代替直接对预测残差，即r1进行编码，可以对r1与p1之间的二阶残差，即r′1＝r1-p1进行编码。然后，G的二阶残差，即r1′被编码，并且在量化/逆量化之后其重建值是R1′，并且G分量的重建的预测残差是R1＝R′1+p1。最后，B分量的预测残差，即r2可以通过R0和R1两者预测如下：p2＝α1R0+β1R1+γ1，其中，α1、β1和γ1是线性模型参数，并且p2是B的预测的预测残差。因此，代替直接对预测残差，即r2进行编码，可以对r2与p2之间的二阶残差，即，r′2＝r2-p2进行编码。然后，B的二阶残差，即r2′被编码，并且在量化/逆量化之后其重建值是R2′，并且B分量的重建的预测残差是R2＝R′2+p2。
如下面所建议的，可以以许多方式简化线性模型。但是，注意的是，简化方法可以是任何其他类似的形式。在一个实施方式中，线性模型被简化如下：
p1＝α0R0，p2＝α1R0+β1R1，
其中，β0和γ1被固定为零。在另一实施方式中，线性模型可以被简化如下：
p1＝α0R0，p2＝α1R0，
其中，β0和γ1和β1被固定为零。在另一实施方式中，线性模型可以被简化如下：
p1＝α0R0，p2＝β1R1，
其中，β0和γ1和α1被固定为零。在另一实施方式中，线性模型可以被简化如下：
p1＝α0R0，p2＝α0R0，
其中，β0和γ1和β1被固定为零，并且α1＝α0。在另一实施方式中，线性模型可以被简化如下：
p1＝α0Ro，p2＝αoR1，
其中，β0和γ1和α1被固定为零，并且β1＝α0。
在以上提到的线性模型中，可以针对编码器和解码器二者以及所有情况来固定模型参数。在一个实施方式中，可以将预测导出为：
p1＝R0，p2＝R0；
p1＝R0，p2＝R1；或者
p1＝R0，
Figure BDA0003298253840000081
然而，对于不同的点云，模型参数可以是不同的，并且可以在高级语法中，例如在序列参数集、属性参数集或切片头等中用信令通知参数。
在其他实施方式中，模型参数也可以被标记为“低级语法”，这意味着每一个编码单元(节点)可以具有不同的参数集。
在另一实施方式中，为了避免显式地用信令通知模型参数，可以根据重建的预测残差在运行中自适应地学习参数。通过最小化均方误差，编码器和解码器可以在编码时进行相同的训练阶段。
现在参照图2D，描绘了用于预测残差的语法元素的表200D。为了更有效地对预测残差进行编码，不同的属性分量可以使用单独的上下文。在一个实施方式中，R分量、G分量和B分量都使用不同的上下文模型。prediction_residual_is_zero[i]指定第i分量的预测残差是否等于0。prediction_residual_is_one[i]指定第i分量的预测残差是否等于1。prediction_residual_is_two[i]指定第i分量的预测残差是否等于2。prediction_residual_minus_three[i]将第i分量的预测残差指定为prediction_residual_minus_three[i]+3。在另一实施方式中，R分量使用单独的上下文模型，并且G和B分量使用相同的上下文模型。
图3A和图3B是示出了用于点云编码的示例过程300A和300B的流程图。可以借助于图1以及图2A至图2D来描述图3A至图3B。在实施方式中，可以以任何顺序组合过程300A和过程300B的一个或更多个框。例如，在实施方式中，可以在过程300A的框之后，使用来自过程300A的结果执行过程300B的框。
如图3A中所示，过程300A可以包括从比特流接收与点云相对应的数据(框311)。
如图3A中进一步所示，过程300A可以包括从数据获得与点云相关联的多个属性分量之中的第一分量的第一预测残差(框312)。
如图3A中进一步所示，过程300A可以包括重建第一预测残差(框313)。
如图3A中进一步所示，过程300A可以包括基于重建的第一预测残差和至少一个模型参数来确定预测的第二预测残差(框314)。
如图3A中进一步所示，过程300A可以包括基于预测的第二预测残差获得多个分量之中的第二分量的第二预测残差(框315)。
如图3A中进一步所示，过程300A可以包括重建第二预测残差(框316)。
如图3A中进一步所示，过程300A可以包括基于重建的第一预测残差和重建的第二预测残差来对与点云相对应的数据进行解码(框317)。
如图3B中所示，过程300B可以包括基于重建的第一预测残差、重建的第二预测残差和至少一个模型参数来确定预测的第三预测残差(框321)。
如图3B中进一步所示，过程300B可以包括基于预测的第三预测残差获得多个分量之中的第三分量的第三预测残差(框322)。
如图3B中进一步所示，过程300B可以包括重建第三预测残差(框323)。
如图3B中进一步所示，过程300B可以包括基于重建的第一预测残差、重建的第二预测残差和重建的第三预测残差来对与点云相对应的数据进行解码(框324)。
在实施方式中，第一分量、第二分量和第三分量可以对应于以上关于图1以及图2A至图2C讨论的分量。例如，第一分量、第二分量和第三分量可以不同地对应于以上讨论的R分量、G分量和B分量，或者根据需要对应于任何其他分量或通道。
在实施方式中，可以使用以上讨论的任意等式来执行过程300A和过程300B的框。例如，在实施方式中，R0可以表示重建的第一预测残差，P1可以表示预测的第二预测残差，R1可以表示重建的第二预测残差，P2可以表示预测的第三预测残差，并且α0、α1、β1和γ1可以表示至少一个模型参数的模型参数。
在实施方式中，对应于至少一个模型参数的模型可以包括线性模型、二次模型和多项式模型中的至少一个。
在实施方式中，可以在数据中用信令通知至少一个模型参数。
在实施方式中，至少一个模型参数可以是预定的模型参数。
在实施方式中，可以基于重建的第一预测残差和重建的第二预测残差中的至少一个来自适应地学习至少一个模型参数。
在实施方式中，第一分量可以与第一上下文模型相关联，并且第二分量可以和与第一上下文模型不同的第二上下文模型相关联。
可以理解，图3A至图3B仅提供了实现的图示，并且不暗示关于可以如何实现不同实施方式的任何限制。可以基于设计和实现要求进行对所描绘的环境的许多修改。
图4是根据说明性实施方式的图1中描绘的计算机的内部部件和外部部件的框图400。应当理解，图4仅提供了一个实现的图示，并且并不暗示关于可以实现不同实施方式的环境的任何限制。可以基于设计和实现要求进行对所描绘的环境的许多修改。
计算机102(图1)和服务器计算机114(图1)可以包括在图5中示出的内部部件800A、800B和外部部件900A、900B的相应组。内部部件800的组中的每一组包括一个或更多个总线826上的一个或更多个处理器820、一个或更多个计算机可读RAM 822以及一个或更多个计算机可读ROM 824、一个或更多个操作系统828以及一个或更多个计算机可读有形存储设备830。
处理器820以硬件、固件或者硬件和软件的组合来实现。处理器820是中央处理单元(central processing unit，CPU)、图形处理单元(graphics processing unit，GPU)、加速处理单元(accelerated processing unit，APU)、微处理器、微控制器、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(field-programmable gatearray，FPGA)、专用集成电路(application-specific integrated circuit，ASIC)或其他类型的处理部件。在一些实现中，处理器820包括能够被编程以执行功能的一个或更多个处理器。总线826包括允许内部部件800A、800B之间的通信的部件。
一个或更多个操作系统828、软件程序108(图1)和服务器计算机114(图1)上的点云编码程序116(图1)被存储在相应的计算机可读有形存储设备830中的一个或更多个上以经由相应的RAM 822(其通常包括高速缓冲存储器)中的一个或更多个由相应的处理器820中的一个或更多个执行。在图4中示出的实施方式中，计算机可读有形存储设备830中的每一个是内部硬盘驱动器的磁盘存储设备。替选地，计算机可读有形存储设备830中的每一个是半导体存储设备，例如ROM 824、EPROM、闪速存储器、光盘、磁光盘、固态盘、致密盘(compact disc，CD)、数字通用光盘(digital versatile disc，DVD)、软盘、盒、磁带以及/或者可以存储计算机程序和数字信息的另一类型的非暂态计算机可读有形存储设备。
每一组内部部件800A、800B还包括R/W驱动器或接口832，以从一个或更多个便携式计算机可读有形存储设备936，例如CD-ROM、DVD、记忆棒、磁带、磁盘、光盘或半导体存储设备读取和向其写入。软件程序，例如软件程序108(图1)和点云编码程序116(图1)可以被存储在相应的便携式计算机可读有形存储设备936中的一个或更多个上，经由相应的R/W驱动器或接口832读取并加载到相应的硬盘驱动器830中。
每一组内部部件800A、800B还包括网络适配器或接口836，例如TCP/IP适配器卡；无线Wi-Fi接口卡；或者3G、4G或5G无线接口卡或其他有线或无线通信链路。软件程序108(图1)和服务器计算机114(图1)上的点云编码程序116(图1)可以经由网络(例如，因特网、局域网或其他、广域网)和相应的网络适配器或接口836从外部计算机下载到计算机102(图1)和服务器计算机114。从网络适配器或接口836，软件程序108和服务器计算机114上的点云编码程序116被加载到相应的硬盘驱动器830中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
外部部件900A、900B的组中的每一组可以包括计算机显示监视器920、键盘930和计算机鼠标934。外部部件900A、900B还可以包括触摸屏、虚拟键盘、触摸板、定点设备和其他人机接口设备。内部部件800A、800B的组中的每一组还包括设备驱动器840，以与计算机显示监视器920、键盘930和计算机鼠标934接口。设备驱动器840、R/W驱动器或接口832以及网络适配器或接口836包括硬件和软件(存储在存储设备830和/或ROM 824中)。
预先理解的是，尽管本公开内容包括关于云计算的详细描述，但是本文中所述的教导的实现不限于云计算环境。相反，一些实施方式能够结合现在已知或以后开发的任何其他类型的计算环境来实现。
云计算是用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储设备、应用程序、虚拟机和服务)的共享池的方便、按需网络访问的服务递送模型，该可配置计算资源可以以最小的管理努力或与服务提供商的互动快速地供应和发布。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
特性如下：
按需自助服务：云消费者可以单方面地根据需要自动地供应计算能力，例如服务器时间和网络存储，而不需要与服务的提供商的人机交互。
广泛的网络访问：能力可通过网络获得，并且通过促进由异构的瘦客户端平台或厚客户端平台(例如，移动电话、膝上型计算机和PDA)使用的标准机制来访问。
资源池化：提供商的计算资源被池化以使用多租户模型来服务多个消费者，其中不同的物理资源和虚拟资源根据需求被动态地分配和重新分配。存在位置无关的感觉，因为消费者通常不控制或不知道所提供的资源的确切位置，但是能够在更高的抽象层次(例如,国家、州或数据中心)指定位置。
快速弹性：能力可以快速且弹性地供应(在某些情况下是自动地)以快速地横向扩展(scale out)，并且能力可以快速地发布以快速地纵向扩展(scale in)。对于消费者，可用于供应的能力通常看起来不受限制，并且可以在任何时间以任何数量购置。
测量服务：云系统通过在适合于服务类型(例如，存储、处理、带宽和活动用户账户)的某种抽象层次利用计量能力来自动控制和优化资源使用。可以监视、控制和报告资源使用，从而为所利用的服务的提供商和消费者两者提供透明度。
服务模型如下：
软件即服务(software as a service，SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供商的应用。可通过诸如web浏览器(例如，基于web的电子邮件)的瘦客户端界面从各种客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储设备、或甚至个别应用能力的底层云基础设施，可能的例外是有限的用户特定应用配置设置。
平台即服务(platform as a service，PaaS)：提供给消费者的能力是将使用由提供商支持的编程语言和工具创建的消费者创建或获取的应用部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储设备的底层云基础设施，但是具有对部署的应用和可能的应用托管环境配置的控制。
基础设施即服务(infrastructure as a service，IaaS)：提供给消费者的能力是供应处理、存储、网络以及消费者能够部署和运行任意软件的其他基本计算资源，所述软件可以包括操作系统和应用。消费者不管理或控制底层云基础设施，但是具有对操作系统、存储、部署的应用的控制，以及可能对选择联网部件(例如，主机防火墙)的有限控制。
部署模型如下：
私有云：云基础设施仅为组织操作。其可以由组织或第三方管理，并且可以存在于场所内或场所外。
社区云：云基础设施由若干组织共享，并且支持具有共享关注(例如，任务、安全要求、策略和合规性考虑)的特定社区。其可以由组织或第三方管理，并且可以存在于本地(on-premises)或外部(off-premises)。
公共云：云基础设施可供一般公众或大型行业团体使用，并且由销售云服务的组织所有。
混合云：云基础设施是两个或更多个云(私有、社区或公共)的组合，所述两个或更多个云仍然是唯一的实体，但是通过标准化或专有技术绑定在一起，该技术实现数据和应用的可移植性(例如，用于云之间的负载平衡的云爆发)。
云计算环境是面向服务的，其焦点在于无状态、低耦合、模块性和语义互操作性。在云计算的核心是包括互连节点的网络的基础设施。
参照图5，描绘了说明性云计算环境500。如所示地，云计算环境500包括一个或更多个云计算节点10，由云消费者使用的本地计算设备，例如个人数字助理(personaldigital assistant，PDA)或蜂窝电话54A、台式计算机54B、膝上型计算机54C和/或汽车计算机系统54N可以与所述一个或更多个云计算节点10进行通信。云计算节点10可以彼此通信。其可以被物理地或虚拟地分组(未示出)在一个或更多个网络，例如如上文描述的私有云、社区云、公共云或混合云，或其组合中。这允许云计算环境500提供基础设施、平台和/或软件作为服务，云消费者不需要为其维护本地计算设备上的资源。应当理解，图5中所示的计算设备54A至54N的类型仅旨在是说明性的，并且云计算节点10和云计算环境500可以通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化设备进行通信。
参照图6，示出了由云计算环境500(图5)提供的一组功能抽象层600。应当预先理解的是，图6中所示的部件、层和功能仅旨在是说明性的，并且实施方式不限于此。如所描绘的，提供了以下层和相应的功能：
硬件和软件层60包括硬件部件和软件组件。硬件部件的示例包括：大型主机61；基于RISC(Reduced Instruction Set Computer，精简指令集计算机)架构的服务器62；服务器63；刀片式服务器64；存储设备65；以及网络和网络部件66。在一些实施方式中，软件组件包括网络应用服务器软件67和数据库软件68。
虚拟化层70提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器71；虚拟存储设备72；包括虚拟专用网络的虚拟网络73；虚拟应用和操作系统74；以及虚拟客户端75。
在一个示例中，管理层80可以提供以下描述的功能。资源供应81提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价82提供了在云计算环境内利用资源时的成本跟踪，以及对这些资源的消耗的帐单或发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户83为消费者和系统管理员提供对云计算环境的访问。服务级别管理84提供云计算资源分配和管理，使得满足所需的服务级别。服务级别协议(service levelagreement，SLA)规划和履行85提供对云计算资源的预安排和采购，根据SLA预期对该云计算资源的未来需求。
工作负载层90提供了可以利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括：绘图和导航91；软件开发和生命周期管理92；虚拟课堂教学交付93；数据分析处理94；交易处理95；以及点云编码96。点云编码96可以基于分量间相关性来对点云数据进行解码。
一些实施方式可以涉及任何可能的技术细节集成水平的系统、方法和/或计算机可读介质。计算机可读介质可以包括计算机可读非暂态存储介质(或多个介质)，在该计算机可读非暂态存储介质上具有用于使处理器执行操作的计算机可读程序指令。
计算机可读存储介质可以是有形设备，该有形设备可以保留和存储由指令执行设备使用的指令。计算机可读存储介质例如可以是但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更多具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM或闪速存储器)、静态随机存取存储器(static random access memory，SRAM)、便携式致密盘只读存储器(portable compactdisc read-only memory，CD-ROM)、数字通用光盘(digital versatile disk，DVD)、记忆棒、软盘、机械编码设备例如穿孔卡或其上记录有指令的凹槽中的凸起结构、以及前述的任何合适的组合。如本文中所使用的计算机可读存储介质不应被解释为本身是暂态信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤线缆的光脉冲)或通过引线传输的电信号。
本文中描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。该网络可以包括铜传输线缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每一个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(instruction-set-architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据或者以一种或更多种编程语言的任意组合编写的源代码或目标代码，所述一种或更多种编程语言包括诸如Smalltalk、C++等的面向对象的编程语言和诸如“C”编程语言或类似编程语言的过程编程语言。计算机可读程序指令可以全部在用户的计算机上执行、部分在用户的计算机上执行、作为独立的软件包执行、部分在用户的计算机上且部分在远程计算机上执行或者全部在远程计算机或服务器上执行。在全部在远程计算机或服务器上执行的情况下，远程计算机可以通过包括局域网(local areanetwork，LAN)或广域网(wide area network，WAN)的任何类型的网络连接至用户的计算机,或者可以(例如，通过使用因特网服务提供商的因特网)与外部计算机进行连接。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(field-programmable gatearrays，FPGA)或可编程逻辑阵列(programmable logic arrays，PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行各方面或操作。
可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个框或多个框中所指定的功能/动作的装置。这些计算机可读程序指令还可以被存储在计算机可读存储介质中，该计算机可读存储介质可以以特定的方式引导计算机、可编程数据处理装置和/或其他设备起作用，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个框或多个框中所指定的功能/动作各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个框或多个框中指定的功能/动作。
图中的流程图和框图示出了根据各种实施方式的系统、方法和计算机可读介质的可能实现的架构、功能和操作。在这方面，流程图或框图中的每一个框可以表示模块、段或部分指令，该模块、段或部分指令包括用于实现指定的逻辑功能的一个或更多个可执行指令。方法、计算机系统和计算机可读介质可以包括与图中所描绘的这些框相比附加的框、更少的框、不同的框或不同布置的框。在一些替选实现中，框中指出的功能可以不按图中指出的顺序发生。例如，连续示出的两个框实际上可以同时或基本上同时执行，或者框有时可以根据所涉及的功能而以相反的顺序执行。还将注意的是，可以通过基于专用硬件的系统来实现框图和/或流程图图示中的每一个框以及框图和/或流程图图示中的框的组合，该基于专用硬件的系统执行指定功能或动作，或者实现专用硬件和计算机指令的组合。
将明显的是，本文中所描述的系统和/或方法可以以不同形式的硬件、固件、或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际的专用控制硬件或软件代码并不限制实现。因此，本文中在不参考特定软件代码的情况下描述了系统和/或方法的操作和行为——应当理解的是，可以基于本文中的描述将软件和硬件设计成实现系统和/或方法。
除非对此明确地描述，否则本文中使用的元素、动作或指令均不应当被解释为关键的或必要的。而且，如本文中使用的，冠词“一种”和“一个”旨在包括一个或更多个项，并且可以与“一个或更多个”互换使用。此外，如本文中所使用的，术语“组”旨在包括一个或更多个项(例如，相关项、不相关项、相关项与不相关项的组合等)，并且可以与“一个或更多个”互换使用。在意指仅一项的情况下，使用术语“一”或类似语言。而且，如本文中使用的，术语“具有”、“有”、“含有”等旨在是开放式的术语。此外，除非另有明确说明，否则短语“基于”旨在是指“至少部分地基于”。
已经出于说明的目的呈现了对各个方面和实施方式的描述，但是了对各个方面和实施方式的描述不旨在是穷举的或限于所公开的实施方式。尽管在权利要求中记载了以及/或者在说明书中公开了特征的组合，但是这些组合不旨在限制可能的实现的公开内容。实际上，这些特征中的许多特征可以以权利要求中未具体记载以及/或者说明书中未具体公开的方式组合。尽管以下列出的每一个从属权利要求可以直接引用仅一个权利要求，但是可能的实现的公开内容包括与权利要求组中的每一个其他权利要求组合的每一个从属权利要求。在不偏离所描述的实施方式的范围的情况下，许多修改和变化对于本领域普通技术人员而言将是明显的。本文中所使用的术语被选择以最好地解释实施方式的原理、实际应用或相对于市场上发现的技术的技术改进，或者使得本领域普通技术人员能够理解本文中所公开的实施方式。

Claims (20)

1.一种点云编码的方法，所述方法能够由处理器执行，所述方法包括：
从比特流接收与点云相对应的数据；
从所述数据获得与所述点云相关联的多个属性分量之中的第一分量的第一预测残差；
重建所述第一预测残差；
基于重建的第一预测残差和至少一个模型参数来确定预测的第二预测残差；
基于预测的第二预测残差获得所述多个分量之中的第二分量的第二预测残差；
重建所述第二预测残差；以及
基于重建的第一预测残差和重建的第二预测残差来对与所述点云相对应的所述数据进行解码。
2.根据权利要求1所述的方法，其中，与所述至少一个模型参数相对应的模型包括线性模型、二次模型和多项式模型中的至少一个。
3.根据权利要求1所述的方法，还包括：
基于重建的第一预测残差、重建的第二预测残差和所述至少一个模型参数来确定预测的第三预测残差；
基于预测的第三预测残差获得所述多个分量之中的第三分量的第三预测残差；
重建所述第三预测残差；以及
基于重建的第一预测残差、重建的第二预测残差和重建的第三预测残差来对与所述点云相对应的所述数据进行解码。
4.根据权利要求3所述的方法，其中，使用以下的第一等式来确定预测的第二预测残差：
p1＝α0R0，
其中，使用以下的第二等式来确定预测的第三预测残差：
p2＝α1R0+β1R1，以及
其中，R0表示重建的第一预测残差，p1表示预测的第二预测残差，R1表示重建的第二预测残差，p2表示预测的第三预测残差，以及
其中，α0、α1和β1表示所述至少一个模型参数的模型参数。
5.根据权利要求3所述的方法，其中，使用以下的第一等式来确定预测的第二预测残差：
p1＝α0R0，
其中，使用以下的第二等式来确定预测的第三预测残差：
p2＝α1R0，以及
其中，R0表示重建的第一预测残差，p1表示预测的第二预测残差，p2表示预测的第三预测残差，以及
其中，α0和α1表示所述至少一个模型参数的模型参数。
6.根据权利要求3所述的方法，其中，使用以下的第一等式来确定预测的第二预测残差：
p1＝α0R0，
其中，使用以下的第二等式来确定预测的第三预测残差：
p2＝β1R1，以及
其中，R0表示重建的第一预测残差，p1表示预测的第二预测残差，R1表示重建的第二预测残差，p2表示预测的第三预测残差，以及
其中，α0和β1表示所述至少一个模型参数的模型参数。
7.根据权利要求3所述的方法，其中，使用以下的第一等式来确定预测的第二预测残差：
p1＝α0R0，
其中，使用以下的第二等式来确定预测的第三预测残差：
p2＝α0R0，
其中，R0表示重建的第一预测残差，p1表示预测的第二预测残差，并且p2表示预测的第三预测残差，以及
其中，α0表示所述至少一个模型参数的模型参数。
8.根据权利要求3所述的方法，其中，使用以下的第一等式来确定预测的第二预测残差：
p1＝α0R0，
其中，使用以下的第二等式来确定预测的第三预测残差：
p2＝α0R1，以及
其中，R0表示重建的第一预测残差，p1表示预测的第二预测残差，R1表示重建的第二预测残差，p2表示预测的第三预测残差，以及
其中，α0表示所述至少一个模型参数的模型参数。
9.根据权利要求1所述的方法，其中，在所述数据中用信令通知所述至少一个模型参数。
10.根据权利要求1所述的方法，其中，所述至少一个模型参数是预定的模型参数。
11.根据权利要求1所述的方法，其中，基于重建的第一预测残差和重建的第二预测残差中的至少一个来自适应地学习所述至少一个模型参数。
12.根据权利要求1所述的方法，其中，所述第一分量与第一上下文模型相关联，并且
其中，所述第二分量和与所述第一上下文模型不同的第二上下文模型相关联。
13.一种用于点云编码的计算机系统，所述计算机系统包括：
被配置成存储计算机程序代码的一个或更多个计算机可读非暂态存储介质；以及
一个或更多个处理器，所述一个或更多个处理器被配置成访问所述计算机程序代码并按照所述计算机程序代码指示操作，所述计算机程序代码包括：
接收代码，被配置成使所述一个或更多个处理器从比特流接收与点云相对应的数据；
第一获得代码，被配置成使所述一个或更多个处理器从所述数据获得与所述点云相关联的多个属性分量之中的第一分量的第一预测残差；
第一重建代码，被配置成使所述一个或更多个处理器重建所述第一预测残差；
第一确定代码，被配置成使所述一个或更多个处理器基于重建的第一预测残差和至少一个模型参数来确定预测的第二预测残差；
第二获得代码，被配置成使所述一个或更多个处理器基于预测的第二预测残差获得所述多个分量之中的第二分量的第二预测残差；
第二重建代码，被配置成使所述一个或更多个处理器重建所述第二预测残差；以及
第一解码代码，被配置成使所述一个或更多个处理器基于重建的第一预测残差和重建的第二预测残差来对与所述点云相对应的所述数据进行解码。
14.根据权利要求13所述的计算机系统，其中，与所述至少一个模型参数相对应的模型包括线性模型、二次模型和多项式模型中的至少一个。
15.根据权利要求13所述的计算机系统，其中，所述计算机程序代码还包括：
第三确定代码，被配置成使所述一个或更多个处理器基于重建的第一预测残差、重建的第二预测残差和所述至少一个模型参数来确定预测的第三预测残差；
第三获得代码，被配置成使所述一个或更多个处理器基于预测的第三预测残差获得所述多个分量之中的第三分量的第三预测残差；
第三重建代码，被配置成使所述一个或更多个处理器重建所述第三预测残差；以及
第二解码代码，被配置成使所述一个或更多个处理器基于重建的第一预测残差、重建的第二预测残差和重建的第三预测残差来对与所述点云相对应的所述数据进行解码。
16.根据权利要求13所述的计算机系统，其中，所述至少一个模型参数被在所述数据中用信令通知。
17.根据权利要求13所述的计算机系统，其中，所述至少一个模型参数是预定的模型参数。
18.根据权利要求13所述的计算机系统，其中，基于重建的第一预测残差和重建的第二预测残差中的至少一个来自适应地学习所述至少一个模型参数。
19.根据权利要求13所述的计算机系统，其中，所述第一分量与第一上下文模型相关联，并且
其中，所述第二分量和与所述第一上下文模型不同的第二上下文模型相关联。
20.一种非暂态计算机可读介质，在所述非暂态计算机可读介质上存储有用于点云编码的计算机程序，所述计算机程序被配置成使一个或更多个计算机处理器执行以下操作：
从比特流接收与点云相对应的数据；
从所述数据获得与所述点云相关联的多个属性分量之中的第一分量的第一预测残差；
重建所述第一预测残差；
基于重建的第一预测残差和至少一个模型参数来确定预测的第二预测残差；
基于预测的第二预测残差获得所述多个分量之中的第二分量的第二预测残差；
重建所述第二预测残差；以及
基于重建的第一预测残差和重建的第二预测残差来对与所述点云相对应的所述数据进行解码。
CN202180002868.3A 2020-08-14 2021-06-16 用于点云编码的多分量属性的编码 Pending CN114365502A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063066121P 2020-08-14 2020-08-14
US63/066,121 2020-08-14
US17/332,213 US11816868B2 (en) 2020-08-14 2021-05-27 Coding of multiple-component attributes for point cloud coding
US17/332,213 2021-05-27
PCT/US2021/037638 WO2022035505A1 (en) 2020-08-14 2021-06-16 Coding of multiple-component attributes for point cloud coding

Publications (1)

Publication Number Publication Date
CN114365502A true CN114365502A (zh) 2022-04-15

Family

ID=80224271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180002868.3A Pending CN114365502A (zh) 2020-08-14 2021-06-16 用于点云编码的多分量属性的编码

Country Status (8)

Country Link
US (2) US11816868B2 (zh)
EP (1) EP3984230A4 (zh)
JP (1) JP7276974B2 (zh)
KR (1) KR102589714B1 (zh)
CN (1) CN114365502A (zh)
AU (1) AU2021257959A1 (zh)
CA (1) CA3137654A1 (zh)
WO (1) WO2022035505A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379188A (zh) * 2022-08-18 2022-11-22 腾讯科技（深圳）有限公司 点云数据处理方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014205A1 (ja) * 2022-07-13 2024-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号方法、符号化方法、復号装置及び符号化装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130077684A1 (en) * 2011-09-27 2013-03-28 Broadcom Corporation Signaling of prediction size unit in accordance with video coding
US20140023139A1 (en) * 2011-11-07 2014-01-23 Lidong Xu Cross-channel residual prediction
US20160227210A1 (en) * 2013-10-18 2016-08-04 Ge Video Compression, Llc Multi-component picture or video coding concept
US20200111236A1 (en) * 2018-10-03 2020-04-09 Apple Inc. Point cloud compression using fixed-point numbers
CN111385555A (zh) * 2018-12-28 2020-07-07 上海天荷电子信息有限公司 原始和/或残差数据用分量间预测的数据压缩方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753124B2 (en) * 2009-07-13 2017-09-05 Celartem, Inc. LIDAR point cloud compression
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10897269B2 (en) * 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909726B2 (en) * 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10909727B2 (en) * 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
MX2020013271A (es) 2018-06-13 2021-02-18 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo codificador de datos tridimensionales y dispositivo decodificador de datos tridimensionales.
CN112438047B (zh) * 2018-06-26 2022-08-09 华为技术有限公司 用于点云译码的高级语法设计
CA3104630A1 (en) * 2018-06-27 2020-01-02 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
BR112021004798A2 (pt) 2018-09-14 2021-06-08 Huawei Technologies Co., Ltd. suporte de atributo melhorado em codificação de nuvem de pontos
US11166048B2 (en) * 2018-10-02 2021-11-02 Tencent America LLC Method and apparatus for video coding
WO2020123686A1 (en) * 2018-12-14 2020-06-18 Pcms Holdings, Inc. System and method for procedurally colorizing spatial data
WO2020130134A1 (ja) * 2018-12-21 2020-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11284091B2 (en) * 2019-03-25 2022-03-22 Apple Inc. Video based point cloud compression-patch alignment and size determination in bounding box
WO2020190075A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11202054B2 (en) * 2019-07-05 2021-12-14 Tencent America LLC Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US11368717B2 (en) * 2019-09-16 2022-06-21 Tencent America LLC Method and apparatus for point cloud compression
CN114820831A (zh) * 2019-09-30 2022-07-29 Oppo广东移动通信有限公司 划分方法、编码器、解码器以及计算机存储介质
EP4026094A4 (en) * 2019-10-07 2022-11-09 Huawei Technologies Co., Ltd. VIDEO-BASED POINT CLOUD COMPRESSION (V-PCC) TIME INFORMATION
US11417029B2 (en) * 2019-12-02 2022-08-16 Tencent America LLC Method and apparatus for point cloud coding
WO2021187737A1 (ko) * 2020-03-18 2021-09-23 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11770562B2 (en) * 2020-06-23 2023-09-26 Qualcomm Incorporated High-level syntax for geometry-based point cloud compression
US11967120B2 (en) * 2020-08-26 2024-04-23 Tencent America LLC Attribute coding of duplicate points for point cloud coding
US20230196663A1 (en) * 2021-12-20 2023-06-22 Tencent America LLC Checking overlapping-free property for patches in mesh compression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130077684A1 (en) * 2011-09-27 2013-03-28 Broadcom Corporation Signaling of prediction size unit in accordance with video coding
US20140023139A1 (en) * 2011-11-07 2014-01-23 Lidong Xu Cross-channel residual prediction
US20160227210A1 (en) * 2013-10-18 2016-08-04 Ge Video Compression, Llc Multi-component picture or video coding concept
US20200111236A1 (en) * 2018-10-03 2020-04-09 Apple Inc. Point cloud compression using fixed-point numbers
CN111385555A (zh) * 2018-12-28 2020-07-07 上海天荷电子信息有限公司 原始和/或残差数据用分量间预测的数据压缩方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3DG: "G-PCC codec description v7", 《MPEG METTING, MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC 1/SC 29/WG 11》, pages 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379188A (zh) * 2022-08-18 2022-11-22 腾讯科技（深圳）有限公司 点云数据处理方法、装置、设备及存储介质
CN115379188B (zh) * 2022-08-18 2023-05-26 腾讯科技（深圳）有限公司 点云数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20220021919A (ko) 2022-02-22
KR102589714B1 (ko) 2023-10-13
AU2021257959A1 (en) 2022-03-03
US11816868B2 (en) 2023-11-14
JP2022547759A (ja) 2022-11-16
JP7276974B2 (ja) 2023-05-18
CA3137654A1 (en) 2022-02-14
US20220051447A1 (en) 2022-02-17
EP3984230A1 (en) 2022-04-20
US20240013445A1 (en) 2024-01-11
EP3984230A4 (en) 2023-01-11
WO2022035505A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US11580671B2 (en) Hash-based attribute prediction for point cloud coding
JP7467630B2 (ja) 点群コーディングのための方法、コンピュータプログラム、システム、および非一時的コンピュータ読み取り可能媒体
US20240013445A1 (en) Coding of multiple-component attributes for point cloud coding
WO2021247172A1 (en) Context modeling of occupancy coding for point cloud coding
CN114556321A (zh) 用于点云编码的几何占用信息的基于哈希的访问
JP7337193B2 (ja) ポイントクラウド符号化のための占有符号化のコンテキストモデリング
US11158116B2 (en) Geometry model for point cloud coding
US11600038B2 (en) Geometry model for point cloud coding
KR20220046681A (ko) 포인트 클라우드에 대한 예측 트리-기반 기하학적 코딩
RU2784416C1 (ru) Кодирование многокомпонентных атрибутов для кодирования облака точек
US11259055B2 (en) Extended maximum coding unit size
RU2817735C1 (ru) Контекстное моделирование кодирования занятости для кодирования облака точек

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40070668

Country of ref document: HK