CN112771583B - 处理点云数据的方法、装置和存储介质 - Google Patents

处理点云数据的方法、装置和存储介质 Download PDF

Info

Publication number
CN112771583B
CN112771583B CN201980063320.2A CN201980063320A CN112771583B CN 112771583 B CN112771583 B CN 112771583B CN 201980063320 A CN201980063320 A CN 201980063320A CN 112771583 B CN112771583 B CN 112771583B
Authority
CN
China
Prior art keywords
points
reconstructed
prediction
point
current point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980063320.2A
Other languages
English (en)
Other versions
CN112771583A (zh
Inventor
芮世薰
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN112771583A publication Critical patent/CN112771583A/zh
Application granted granted Critical
Publication of CN112771583B publication Critical patent/CN112771583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种在解码器处处理点云数据的方法可以包括：接收包括第一点和当前点的点云的一组点的三维(3D)坐标。每个所述第一点都可以与重构的属性值相关联。可以根据所述第一点确定所述当前点的一组相邻点。接收指示符。所述指示符指示在提升方案的预测步骤中所述当前点的重构是否基于所述多个相邻点的重构的属性值的加权平均值预测。基于接收到的所述指示符重构所述当前点。

Description

处理点云数据的方法、装置和存储介质
相关申请的交叉引用
本申请要求于2019年9月11日提交的标题为“METHOD AND APPARATUS FOR VIDEOCODING”的美国专利申请第16/567,814号(其要求了2018年10月2日提交的美国临时申请第62/740,306号和2018年10月10 日提交的美国临时申请第62/743,948号的优先权权益)的优先权权益，其全部内容通过引用并入本文中。
技术领域
本发明描述了总体上涉及视频编码的实施例。
背景技术
本文提供的背景描述是为了总体上呈现本发明上下文的目的。在该背景部分中描述的范围内，目前命名的发明人的作品以及提交之时不可另行具备现有技术资格的本描述的各方面既未明确、亦未默示地承认为本发明的现有技术。
世界的三维(3D)表示使能更加沉浸式的交互和通信形式，并且还使机器能够理解、解释和探索世界。点云已成为这样的3D使能表示形式之一。运动图像专家组(MPEG)已经标识了许多与点云数据相关的用例，并针对点云表示和压缩提出了相应的要求。
发明内容
本发明的各方面提供了用于视频编码/解码的方法和装置。
根据本发明的实施例，可以提供一种在解码器中处理云点数据的方法。在所述方法中，接收点云的一组点的三维(3D)坐标。所述一组点包括第一点和当前点。每个第一点都可以与重构的属性值相关联。可以从第一点中确定出当前点的一组相邻点。接收指示符。所述指示符指示在提升方案中的预测步骤中当前点的重构是否基于多个相邻点的重构的属性值的加权平均值预测。基于接收到的指示符重构当前点。
根据本发明的实施例，可以提供在解码器中处理云点数据的另一种方法。在所述方法中，接收点云的一组点的三维(3D)坐标。所述一组点包括第一点和当前点，并且每个第一点与重构的属性值相关联。从第一点中确定出当前点的多个相邻点。此外，当多个相邻点的重构的属性值的差异量(measurement of variability)低于阈值时，基于加权和函数来确定在提升方案中的预测步骤中使用的当前点的属性值预测器。在所述方法中，在提升方案中的更新步骤之前执行预测步骤。
根据本发明的实施例，可以提供在解码器中处理云点数据的另一种方法。在所述方法中，接收点云的一组点的三维(3D)坐标。所述一组点包括第一点和当前点，并且每个第一点与重构的属性值相关联。从第一点中确定出当前点的多个相邻点。接收指示符。所述指示符指示在提升方案中的预测步骤中当前点的重构是基于多个相邻点的重构的属性值的加权平均值预测还是基于多个相邻点的重构的属性值中具有最低代价的重构的属性值。基于接收到的指示符重构当前点。
此外，根据本发明的实施例，可以提供一种处理云点数据的装置。所述装置包括处理电路，该处理电路可以被配置为接收包括第一点和当前点的点云的一组点的三维(3D)坐标。每个第一点均与重构的属性值相关联。处理电路还被配置为从第一点中确定出当前点的多个相邻点。处理电路还被配置为接收指示符，所述指示符指示在提升方案中的预测步骤中当前点的重构是否基于多个相邻点的重构的属性值的加权平均值预测。处理电路还被配置为基于接收的指示符重构当前点。
附图说明
根据以下详细描述和附图，所公开的主题的进一步特征、性质和各种优点将变得更加明显。
图1示出了根据实施例的递归细分过程。
图2示出了根据实施例的细节级别(level of detail，LOD)生成过程。
图3示出了根据实施例的示例性编码器。
图4示出了根据实施例的示例性解码器。
图5示出了使用LOD结构的示例性P/U提升方案。
图6示出了使用LOD结构的示例性U/P提升方案。
图7示出了根据本发明实施例的提升方案中的示例性预测过程。
图8示出了根据本发明实施例的提升方案中的示例性预测过程。
图9示出了根据本发明实施例的提升方案中的示例性预测过程。
图10是根据实施例的计算机系统的示意图。
具体实施例
I.点云压缩系统
1、点云数据
点云数据用于表示一些新兴应用中的三维(3D)场景或对象，例如如下新兴应用：沉浸式虚拟现实(VR)/增强现实(AR)/混合现实(MR)、汽车/机器人导航、医学成像等等。点云包括各个3D点的集合。每个点与一个3D坐标集合相关联，该3D坐标集合指示该点的3D位置以及多个其他属性，例如颜色、表面法线、不透明、反射率等。在各个实施例中，可以对输入点云数据进行量化，并且随后整理成可以使用八叉树数据结构描述的3D立体体素网格。所产生的体素化八叉树有助于遍历、搜索和访问量化的点云数据。
点云是3D空间中的一组点，每个点都具有相关联的属性，例如颜色、材质属性等。点云可用于将对象或场景重构为这些点的组合。在各种设置中可以使用多个摄像机和深度传感器来捕获点云，并且点云可以由成千上万个点组成，以便真实地表示重构的场景。
需要压缩技术来减少表示一个点云所需的数据量。因此，需要技术来对点云进行有损压缩，以用于实时通信和六自由度(6DoF)虚拟现实。另外，在用于自动驾驶和文化遗产应用等的动态映射的环境中，寻求用于无损点云压缩的技术。此外，需要标准来解决几何和属性(例如颜色和反射率)的压缩、可伸缩式/渐进式编码、随时间推移捕获的点云序列的编码以及对点云子集的随机访问。
2、坐标量化
在一个实施例中，可以首先对输入云数据中的点的坐标进行量化。例如，坐标的实数值可以被量化为整数值。量化后，在某些体素中可能有多个点共享同一位置。这些重复的点可以选择性地被合并为单个点。
3、基于八叉树的几何编码
图1示出了根据一个实施例的递归细分过程(100)。可以执行处理(100) 以生成八叉树结构来表示点云中的一组点的位置。如图所示，首先定义包含一组点的立方轴对齐的边界框(101)。然后，边界框(101)被递归细分以建立八叉树结构。如图所示，在每个步骤，当前立方体可被细分为8个子立方体。可以生成一个8位的码，称为占用码，以指示8个子立方体中的每个子立方体是否都包含点。例如，每个子立方体都与一个1位值相关联。如果子立方体被占用，则相应的子立方体的位值为1；否则，相应的子立方体的位值为0。可以对占用的子立方体进行划分，直到达到预定的子立方体的最小尺寸为止。具有最小尺寸的子立方体的是对应于八叉树结构的体素。占用码的序列因此可以被生成，然后被压缩并从编码器传输到解码器。通过解码占用码(例如，执行八叉树解码处理)，解码器可以获得与编码器相同的八叉树结构，或者八叉树结构的估计。
3、属性传递
由于八叉树生成或编码过程，在编码器端，具有最小尺寸的子立方体可能包含多于一个点。因此，对应于体素(例如，各个子立方体的中心)的位置可以对应于来自多个点的多组属性。在这样的场景中，在一个实施例中，可以执行属性传递过程，以基于多组属性为各个体素确定一组属性。例如，最邻近点的子集的平均属性可以用作各个体素的属性。为了属性传递的目的，可以在各种实施例中采用不同的方法。
4、细节级别(LOD)生成
图2示出了根据一个实施例的细节级别(LOD)生成过程(200)。可以对根据八叉树解码过程排序的量化位置(例如，体素位置)执行过程(200)。作为过程(200)的结果，可以将这些点重新组织或重新排序为一组精化级别。可以在编码器和解码器处同样地执行过程(200)。可以根据由过程(200)定义的排序(称为基于LOD的排序)在编码器或解码器处执行随后的属性编码过程。
具体而言，图2显示了三个LOD：LOD0、LOD1和LOD2。可以分别为 LOD0、LOD1和LOD2指定欧几里得距离d0、d1或d2。点P0-P9的子集被包含在每个LOD中。各个LOD中每对点之间的距离大于或等于相应欧几里得距离。欧几里得距离可以以d0＞d1＞d2的方式排列。在这样的布置下，较高的细化级别包括较少彼此远离的点，并且提供了点云更粗略的表示，而较低的细化级别包括较多彼此接近的点，并且提供了点云更精细的表示。
由于上述LOD生成过程(200)，可以将从P0到P9的原始排序(八叉树解码排序)的点重新组织为基于LOD的排序：P0、P5、P4、P2、P1、P6、P3、 P9、P8和P7。
5、属性预测
可以按照LOD生成过程定义的排序对与点云相关联的属性进行编码和解码。例如，可以通过在编码器和/或解码器处执行属性预测过程，以在基于LOD 的排序中逐点确定每个当前点(当前正在处理的点)的属性预测。可以在编码器和解码器处执行类似的属性预测过程。
利用所获得的属性预测，可以在编码器处通过从当前点的相应原始属性值中减去属性预测值来生成残差信号。然后可以单独地或与其他残差信号组合地进一步压缩残差信号。例如，可以执行变换和/或量化操作，然后对所产生的信号进行熵编码。压缩的残差信号可以以比特流的形式传输到编码器。
在解码器处，可以通过执行用于编码残差信号的编码器处的编码过程的逆过程来恢复残差信号。利用与当前点对应的所获得的属性预测和恢复的残差信号，可以获得当前点的重构的属性。以类似的方式，可以在编码器处执行该重构操作以获得重构的属性。
在各种实施例中可以采用各种属性预测技术来确定属性预测。通常，使用与当前点相邻的点的先前重构的属性来执行当前点的属性预测。当属性预测过程开始时，根据基于LOD的排序，当前点之前的点的重构的属性值已经可用。此外，根据八叉树编码或解码过程中，点云中点的位置(3D坐标)也可用。因此，可以已知重构的属性和当前点的相邻点的3D坐标的情况下执行属性预测过程。
在一些实施例中，可以首先使用各种算法来确定当前点的一组相邻点。在一个示例中，可以执行基于k-d树结构的搜索过程以确定最接近当前点的一组点。
在一些实施例中，使用基于几何距离和/或属性距离的方法来确定属性预测。可以基于在编码器或解码器处的一组确定的相邻点的重构属性的加权和(或加权平均值)来确定预测属性。例如，利用一组确定的相邻点，可以在编码器或解码器处将确定的相邻点的重构属性的加权和(或加权平均值)确定为预测属性。例如，在基于加权和的技术(也称为基于插值的技术)中所使用的权重可以是几何距离或属性距离的倒数(或与几何距离或属性距离成反比)。可选地，权重可以是从基于几何距离的权重(几何权重)和基于属性距离的权重(属性权重)的组合导出的双向权重。
在一些实施例中，基于率失真(RD)的方法用于确定属性预测。例如，候选索引可以与在编码器或解码器处的一组相邻点的每个重构属性值相关联。在编码器处，可以执行基于RD优化的处理以评估相邻点的候选重构属性值中的哪一个是用作属性预测的最佳选择。例如，可以通过当前点的原始(或真实) 属性值与候选预测(候选重构的属性值)之间的差来测量失真。比率可能是对所选择的候选预测的索引进行编码的代价。可以定义拉格朗日RD代价函数以确定最佳预测信号候选。所选择的候选预测的候选索引因此可以通过信号指示给解码器。
因此，解码器可以先确定各个当前点的同一组相邻点，并且以与编码器侧相似的方式将索引与同一组相邻点的重构属性值相关联。然后，解码器可以使用通过信号指示的候选索引从相邻点的重构属性值中确定出属性预测。
6、点云压缩的编码系统示例
图3示出了根据实施例的示例性编码器(300)。编码器可以被配置为接收点云数据并且压缩点云数据以生成携带压缩的点云数据的比特流。在一个实施例中，编码器(300)可以包括位置量化模块(310)、重复点去除模块(312)、八叉树编码模块(330)、属性传递模块(320)、LOD生成模块(340)、属性预测模块(350)、残差量化模块(360)、算术编码模块(370)、逆残差量化模块 (380)、加法模块(381)和存储器(390)以存储重构的属性值。
如图所示，可以在编码器(300)处接收输入点云(301)。点云(301)的位置(3D坐标)被提供给量化模块(310)。量化模块(310)被配置为对坐标进行量化以生成量化位置。可选的重复点去除模块(312)被配置为接收量化位置并执行过滤过程以识别和去除重复点。八叉树编码模块(330)被配置为从重复点去除模块接收过滤后的位置，并且执行基于八叉树的编码处理以生成描述 3D体素网格的占用码序列。占用码被提供给算术编码模块(370)。
属性传递模块(320)被配置为接收输入点云的属性，并且当多个属性值与相应的体素相关联时，执行属性传递过程以确定每个体素的属性值。可以对从八叉树编码模块(330)输出的重新排序的点执行属性传递过程。传递操作之后的属性被提供给属性预测模块(350)。LOD生成模块(340)被配置为对从八叉树编码模块(330)输出的重新排序的点进行操作，并将这些点重新组织为不同的LOD。LOD信息被提供给属性预测模块(350)。
属性预测模块(350)根据由来自LOD生成模块(340)的LOD信息指示的基于LOD顺序来处理点。属性预测模块(350)基于存储在存储器(390)中的当前点的一组相邻点的重构属性来生成当前点的属性预测。随后可以基于从属性传递模块(320)接收的原始属性值和本地生成的属性预测来获得预测残差。当在各个属性预测处理中使用候选索引时，可以将与所选择的预测候选相对应的索引提供给算术编码模块(370)。
残差量化模块(360)被配置为从属性预测模块(350)接收预测残差，并且执行量化以生成量化的残差。量化的残差被提供给算术编码模块(370)。
逆残差量化模块(380)被配置为从残差量化模块(360)接收量化的残差，并且通过执行在残差量化模块(360)处执行的量化操作的逆过程来生成重构的预测残差。加法模块(381)被配置为从逆残差量化模块(380)接收重构的预测残差，并从属性预测模块(350)接收相应的属性预测。通过组合重构的预测残差和属性预测，生成重构的属性值并将其存储在存储器(390)。
算术编码模块(370)被配置为接收占用码、候选索引(如果使用)、量化的残差(如果生成)以及其他信息，并且执行熵编码以进一步压缩接收到的值或信息。因此，可以生成携带压缩信息的压缩的比特流(302)。比特流(302) 可以被发送或被提供给对压缩的比特流进行解码的解码器，或者可以被存储在存储设备中。
图4示出了根据实施例的示例性解码器(400)。解码器(400)可以被配置为接收压缩的比特流并且执行点云数据解压缩以解压缩比特流，从而生成解码的点云数据。在一个实施例中，解码器(400)可以包括算术解码模块(410)、逆残差量化模块(420)、八叉树解码模块(430)、LOD生成模块(440)、属性预测模块(450)和存储器(460)以存储重构的属性值。
如图所示，可以在算术解码模块(410)处接收压缩的比特流(401)。算术解码模块(410)被配置为对压缩的比特流(401)进行解码以获得量化的残差 (如果生成)和点云的占用码。八叉树解码模块(430)被配置为根据占用码确定点云中点的重构位置。LOD生成模块(440)被配置为基于重构的位置将点重新组织为不同的LOD，并确定基于LOD的排序。逆残差量化模块(420)被配置为基于从算术解码模块(410)接收的量化残差来生成重构的残差。
属性预测模块(450)被配置为执行属性预测过程，以根据基于LOD的排序来确定针对点的属性预测。例如，可以基于存储在存储器(460)中的当前点的相邻点的重构的属性值来确定当前点的属性预测。属性预测模块(450)可以将属性预测与相应的重构的残差组合以生成当前点的重构的属性。
在一个示例中，从属性预测模块(450)生成的重构的属性连通从八叉树解码模块(430)生成的重构的位置的序列对应于从解码器(400)输出的解码的点云(402)。另外，重构的属性也存储在存储器(460)中，并且可以随后用于导出后续点的属性预测。
在各种实施例中，编码器(300)和解码器(400)可以以硬件、软件或其组合的形式来实现。例如，编码器(300)和解码器(400)可以用处理电路来实现，例如使用或不使用软件运行的一个或多个集成电路(IC)、例如专用集成电路(ASIC)和现场可编程门阵列(FPGA)等。在另一示例中，编码器(300) 和解码器(400)可以被实现为包括存储在非易失性(或非暂态)计算机可读存储介质中的指令的软件或固件。在由处理电路(例如一个或多个处理器)执行时，指令使处理电路执行编码器(300)和解码器(400)的功能。
应当注意，被配置为实现本文公开的属性预测技术的属性预测模块(350) 或(450)可以包括在其他解码器或编码器中，所述其他解码器或编码器可以具有与图3和图4所示的结构相似或不同的结构。此外，各种示例中，编码器(300) 和解码器(400)可以包括在同一设备中，或者可以包括在各个设备中。
7、使用LOD分解的提升方案
提升变换建立在预测变换之上。提升方案和预测方案之间的主要区别之一是引入了更新操作符。
图5示出了测试模型类别13(Test Model Category 13，TMC13)中的预测/ 更新(P/U)提升的示例性架构。可以在提升方案的预测(P)步骤中使用基于当前样本和其他相邻样本之间的几何距离的加权平均值预测。为了便于提升中的预测和更新步骤，可以在分解的每个阶段将输入属性信号分成两组高相关信号。例如，包括LOD(N)、LOD(N-1)…LOD(1)的输入属性信号可以被分成LOD(N)和LOD(N-1)…LOD(1)。在TMC13中的提升方案中，通过利用上述的LOD结构来执行划分，在LOD结构中，可以在各个级别之间期望这种高相关性，并且每个级别都是通过最近相邻搜索来构造的，以将非均匀的点云组织为结构化数据。例如，可以是偶数样本集的LOD(N-1)…LOD(1) 可以被用作针对LOD(N)的预测器。LOD(N)可能是奇数样本集。然后，基于LOD(N)和LOD(N)预测器之间的差来生成差值信号D(N-1)。所述差值信号D(N-1)可以是高通信号。此外，在更新步骤之后可以生成低通信号 A(N-1)作为LOD(N-1)…LOD(1)的近似信号。
因此，级别N处的P/U分解步骤会产生细节信号D(N-1)和逼近信号A (N-1)，可以将其进一步分解为D(N-2)和A(N-2)。可以重复该步骤，直到获得基本层近似信号A(1)为止。因此，代替编码由LOD(N)、...LOD(1) 组成的输入属性信号本身，最终编码提升方案中的D(N-1)、D(N-2)、...D (1)、A(1)。有效的P/U步骤的应用通常会导致D(N-1)…D(1)中的子带“系数”稀疏，从而提供了变换编码增益的优势。
图6描述了根据本发明实施例的使用LOD分解的示例性U/P提升方案。下面描述的属性值自适应预测器可以应用于图5和图6所示的架构下的预测步骤。
在图6中描述的U/P提升结构与图5中描述的P/U提升结构之间的主要区别之一在于，每个更新步骤在相应的预测步骤之前执行。图6中描述的U/P提升结构的优点是：允许编码器和解码器以类似于现代视频编解码器中普遍的差分脉冲编码调制(DPCM)的方式完全的同步。也就是说，与图5中描述的提升方案不同，编码器和解码器可以具有可用于提升方案中的预测的相同的相邻样本。在图5中，编码器和解码器如图所示可能不具有在提升方案中可用于预测的相同的相邻样本，这是因为编码器可将原始(未编码)的相邻样本用于预测，而解码器可将量化的相邻样本用于预测。
由于类似DPCM的结构，即使在有损和近无损编码方案中存在量化的情况下，在图6中描述的编码器和解码器之间的这种“同步”也是可能的。在这种架构下，可以完全自由地以任意方式设计U-步骤，以创建一个合并例如边缘的存在的信息的较低子带，以构建更好的近似信号，从而有利于后续的预测步骤。
在图5和图6中描述的提升方案中，预测步骤可以使用作为当前样本与其相邻样本中的每一个样本之间的几何距离的倒数的加权因子来形成邻近属性值的加权和作为预测。在属性值是平滑变化或属性值是均匀的区域中，这往往是有效的。但是，在其他情况下，属性值的差和几何距离之间可能具有非常低的相关性，从而使基于几何的加权预测步骤对于属性编码无效。
因此，为了增强提升方案中的预测步骤的性能，可以在提升方案中的预测步骤中使用属性值自适应预测器而不是使用基于几何距离的加权平均值预测。
不使用纯粹基于几何距离的加权和作为预测，本发明描述了自适应地选择最小化代价函数的最佳候选相邻样本，该代价函数直接权衡了下面定义的属性预测失真和比率。
在一个实施例中，基于率失真(RD)决策的预测器可以用于图5和图6中描述的提升方案中的预测步骤。预测器可以根据给定的邻域NNQ选择样本Q的预测信号，如下所示：
Figure GDA0003839534520000111
在上述公式1中，NNQ是样本Q的最邻近集，a(·)代表样本的属性，w(Pi)计算每个相邻样本Pi的几何权重，L(Pi)＝D(Q，Pi)+λ·R(Pi)是相邻样本中每个样本的代价函数，该代价函数考虑了预测误差和相关联的候选索引编码率。此外， maxDiff是样本值的差异量，其被定义为相邻样本之间属性值的最大差值。如果maxDiff(NNQ)小于指定阈值，则当前样本周围的相邻区域可以是平滑且是均匀的，并且可以将相邻样本的加权平均值用作当前样本的预测。在加权平均值预测中，权重可以与当前样本到每个相邻样本的几何距离成反比。
但是，如果maxDiff(NNQ)不小于指定阈值，则可以选择相邻样本之一作为最佳候选，并将其用作当前样本的预测。在基于上述代价函数计算出的每个相邻样本的代价中，所选择的相邻样本可以具有最低的RD代价。
如上所述，应当注意，在一些示例中，不同于DPCM中的预测器，由于编码器可以将原始的(未编码的)相邻样本用于预测，而解码器可以将量化的相邻样本用于预测，因此编码器和解码器如图5所示不具有可用于提升方案中的预测的相同的重构样本。因此，上述公式中的maxDiff条件检查对于编码器和解码器可能不相同。
因此，在一些示例中，解码器可能如图5中描述的不使用提升方案中相同的相邻样本来执行相同的maxDiff条件检查。因此，编码器可以使用原始的(未编码)相邻样本来执行maxDiff条件检查，然后发送1位标志的信号来指示是否使用加权平均值预测。如果所述信号未指示使用加权平均值预测，则在对每个相邻样本执行RD代价函数后，可能必须另外通过信号指示将哪个相邻样本用作预测。在解码器侧，解码器可以接收所述1位标志，并基于所述1位标志检查是否使用了加权平均值预测。解码器还可以接收另一个标志，该标志在不使用加权平均值预测器的情况下是预测器的索引。
然而，如果在图6中描述的U/P提升结构中使用公式1，则编码器和解码器可以具有可用于预测的相同的重构的相邻样本。因此，编码器可能不需要通过信号向解码器发送标志位的信号以指示使用哪种属性预测方法，并且解码器可以在不从编码器接收信号的情况下执行maxDiff条件检查。因此，可以节省 1位信号。在这种情况下，解码器可以确定maxDiff(NNQ)是否小于指定阈值，并且如果确定maxDiff(NNQ)小于指定阈值，则可以将相邻样本的加权平均值用作当前样本的预测。在加权平均值预测中，权重可以与当前样本与每个相邻样本的几何距离成反比。如果解码器确定maxDiff(NNQ)不小于指定阈值，则解码器可以接收指示哪个相邻样本(最佳候选)用作当前样本的属性值预测器的索引。编码器可以对每个相邻样本执行RD代价函数，并且选择相邻样本之一作为最佳候选。最佳候选的索引可以通过信号指示给解码器。在基于上述代价函数计算出的每个相邻样本的代价中，所选择的相邻样本可以具有最低的RD代价。
在另一个实施例中，上述基于RD决策的预测器可以被修改为如以下所示：
Figure GDA0003839534520000131
在上述公式2中，NNQ是样本Q的最近相邻集合，a(·)代表样本的属性， w(Pi)计算每个相邻样本Pi的几何权重，L(Pi)＝D(Q，Pi)+λ·R(Pi)是在选择a(Pi)作为预测时考虑了预测误差和相关联的候选索引编码率的代价函数，并且
Figure GDA0003839534520000132
是当aavg被选作预测时相应的代价函数。应当注意，可能存在N+1个候选索引，因为当N是NNQ中的最近相邻样本的数量时，加权平均值预测器是一个附加候选。
如上所述，应当注意，在一些示例中，不同于DPCM中的预测器，由于编码器可以将原始的(未编码的)相邻样本用于预测，而解码器可以将量化的相邻样本用于预测，因此编码器和解码器可能如图5所示不具有可用于提升方案中预测的相同的重构的样本。因此，当在图5所示的P/U提升方案或者图6所示的U/P提升方案中使用公式2时，编码器可以首先基于RD代价函数来确定相邻样本中具有最低代价的相邻样本，然后将加权平均值预测器的代价与相邻样本的最低代价进行比较。编码器可以通过信号发送一个指示相邻样本中的最佳候选和加权平均值预测器的索引。如果加权平均值预测器的代价低于相邻样本的最低代价，则最佳属性值候选是加权平均值预测器。如果加权平均值预测器的代价高于或等于相邻样本的最低代价，则最佳属性值候选是具有最低代价的相邻样本。因此，不同于图5中描述的其中编码器需要通过信号发送两个标志的P/U提升方案中使用公式1，这里的编码器可以只需要通过发送一个标志，该标志是指示相邻样本中的最佳候选和加权平均值预测器的单个索引。解码器可以接收该单个索引，并且该单个索引可以指示使用加权平均值预测器还是使用相邻样本中的哪个样本作为当前样本的预测。
图7示出了概述根据本发明实施例的示例性处理(700)的流程图。处理 (700)可以用于生成在编码器侧或解码器侧的点云的当前点的属性预测。在各个实施例中，处理(700)可以由处理电路执行，例如执行编码器(300)中的属性预测模块(350)的功能的处理电路，或执行在编码器(400)中的属性预测模块(450)的功能的处理电路。在一些实施例中，处理(700)以软件指令实现，因此，当处理电路执行软件指令时，处理电路执行处理(700)。处理从 (S701)开始，并且进行到(S710)。
在(S710)，可以接收点云的一组点的3D坐标。例如，可以从八叉树编码或解码过程获得3D坐标。然而，在其他实施例中可以利用其他编码或解码处理。此外，所述一组点可以包括第一点，该第一点的属性值已经被重构并且可用于所述一组点中包括的当前点的属性预测。
在(S720)，如上所述，可以从第一点中确定出当前点的一组相邻点。例如，根据与当前点的几何距离，该组相邻点可以是一组最近的相邻点。
在(S730)，接收指示符，该指示符指示在提升方案的预测步骤中的当前点的重构是否基于多个相邻点的重构的属性值的加权平均值预测。例如，编码器可以使用原始的(未编码)相邻样本来执行上述的maxDiff条件检查，然后通过信号向解码器发送指示是否使用加权平均值预测的1位标志。
在另一示例中，编码器可以对多个相邻点的每个重构属性值执行率失真函数，并基于率失真函数来选择多个相邻点的重构属性值中具有最低代价的一个。此外，当多个相邻点的重构属性值的加权平均值的代价低于多个相邻点的重构属性值中所选择一个重构属性值的最低代价时，编码器可以基于加权平均值预测来确定在提升方案中的预测步骤中使用的当前点的属性值预测器。可以在图 5中描述的P/U提升方案中执行该方法。
在(S740)，基于接收到的指示符重构当前点。例如，当接收到的指示符指示使用加权平均值预测时，解码器可以使用加权平均值预测来重构当前点的属性值。处理(700)进行到(S799)，并在(S799)终止。
图8示出了概述根据本发明的实施例的示例性处理(800)的流程图。处理(800)可以用于生成在编码器侧或解码器侧的点云的当前点的属性预测。在各种实施例中，处理(800)可以由处理电路执行，例如执行编码器(300)中的属性预测模块(350)的功能的处理电路，或执行在编码器(400)中的属性预测模块(450)的功能的处理电路。在一些实施例中，处理(800)以软件指令实现，因此当处理电路执行软件指令时，处理电路执行处理(800)。该处理从 (S801)开始，并且进行到(S810)。
在(S810)，可以接收点云的一组点的3D坐标。例如，可以从八叉树编码或解码处理获得3D坐标。然而，在其他实施例中可以利用其他编码或解码处理。另外，所述一组点可以包括第一点，该第一点的属性值已经被重构并且可用于所述一组点中包括的当前点的属性预测。
在(S820)，如上所述，可以从第一点中确定出当前点的一组相邻点。例如，根据与当前点的几何距离，该组相邻点可以是一组最近的相邻点。
在(S830)，当多个相邻点的重构的属性值的差异量低于阈值时，基于加权和函数，在提升方案的预测步骤中确定当前点的属性值预测器，其中在提升方案中的更新步骤之前执行预测步骤。例如，解码器可以确定多个相邻点的重构属性值的差异量是否小于指定阈值，并且如果确定多个相邻点的重构属性值的差异量被小于指定阈值，则相邻样本的加权平均值可以用作当前样本的预测。确定被确定为小于指定阈值的多个相邻点的重构的属性值的差异量。多个相邻点的重构属性值的差异量可以是相邻样本中属性值的最大差值maxDiff(NNQ)。在加权平均值预测中，权重可以与当前样本与每个相邻样本的几何距离成反比。如果解码器确定maxDiff(NNQ)不小于指定阈值，则解码器可以接收指示将哪个相邻样本(最佳候选)用作当前样本的属性值预测器的索引。编码器可以对每个相邻样本执行RD代价函数，并且选择相邻样本中的一个作为最佳候选。最佳候选的索引可以通过信号发送给解码器。在基于上述代价函数计算出的每个相邻样本的代价中，所选择的相邻样本可以具有最低的RD代价。可以在图6中描述的U/P提升方案中执行该方法。处理(800)进行到(S899)，并在(S899) 终止。
图9示出了概述根据本发明实施例的示例性处理(900)的流程图。处理 (900)可以被用于生成在编码器侧或解码器侧的点云的当前点的属性预测。在各种实施例中，处理(900)可以由处理电路执行，例如执行编码器(300)中的属性预测模块(350)的功能的处理电路，或执行编码器(400)中的属性预测模块(450)的功能的处理电路。在一些实施例中，处理(900)以软件指令实现，因此，当处理电路执行软件指令时，处理电路执行处理(900)。过程从 (S901)开始，并且进行到(S910)。
在(S910)，可以接收点云的一组点的3D坐标。例如，可以从八叉树编码或解码处理获得3D坐标。然而，在其他实施例中可以利用其他编码或解码处理。另外，所述一组点可以包括第一点，该第一点的属性值已经被重构并且可用于所述一组点中包括的当前点的属性预测。
在(S920)，如上所述，可以从第一点中确定出当前点的一组相邻点。例如，根据与当前点的几何距离，该组相邻点可以是一组最近的相邻点。
在(S930)，接收指示符。指示符可以指示在提升方案的预测步骤中当前点的重构是基于多个相邻点的重构属性值的加权平均值预测还是基于多个相邻点中的重构属性值中具有最低代价的重构属性值。在一些示例中，指示符可以是基于对多个相邻点的每个重构属性值执行的率失真函数和多个相邻点的重构的属性值的加权平均值确定的索引。例如，可以通过当前点的原始(或真实)属性值与候选预测(候选重构的属性值)之间的差来测量失真。比率可能是对候选预测的索引进行编码的代价。拉格朗日RD代价函数可被用于确定最佳预测信号候选。
在(S940)，基于接收到的指示符来重构当前点。在一些示例中，将多个相邻点的重构属性值的加权平均值的代价与多个相邻点的重构属性值中的最低代价进行比较。如果编码器确定多个相邻点的重构属性值的加权平均值的代价低于多个相邻点的重构属性值中的最低代价，则编码器可以通过信号发送用于指示多个相邻点的重构属性值的加权平均值作为属性值预测器的索引。如果编码器确定多个相邻点的重构属性值的加权平均值的代价不低于多个相邻点的重构属性值中的最低代价，则编码器可以通过信号发送一个索引，该索引指示多个相邻点的重构属性值中具有最低代价的重构属性值为属性值预测器。处理(900) 进行到(S999)，并在(S999)终止。
IV.计算机系统
可以将上述技术实现为使用计算机可读指令并且物理存储在一个或多个计算机可读介质中的计算机软件。例如，图10示出了适合于实现所公开的主题的某些实施例的计算机系统(1000)。
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，可以对机器代码或计算机语言进行汇编、编译、链接或类似的机制以创建包含可以直接执行的指令或通过解释、微代码等执行的指令的代码。例如，通过一个或多个计算机中央处理单元(CPU)、图形处理单元(GPU)等。
指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板计算机、服务器、智能电话、游戏设备、物联网设备等。
图10中所示的用于计算机系统(1000)的组件本质上是示例性的，并且无意于对实现本发明的实施例的计算机软件的使用范围或功能造成任何限制。组件的配置也不应该被解释为具有与计算机系统(1000)的示例性实施例中所示的组件中的任何一个或组合有关的任何依赖性或要求。
计算机系统(1000)可以包括某些人机接口输入装置。此类人机接口输入装置可以响应于一个或多个人类用户例如通过下述的输入：触觉输入(例如：击键、划动，数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘出)。人机接口装置还可以用于捕获不一定与人的意识输入直接相关的某些媒体，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描的图像、从静止图像相机获取摄影图像)、视频(例如二维视频、包括立体视频的三维视频)等。
输入人机接口设备可能包括以下中的一项或多项(每种中仅示出一个)：键盘(1001)、鼠标(1002)、触控板(1003)、触摸屏(1010)、数据手套(未显示)、操纵杆(1005)、麦克风(1006)、扫描仪(1007)、相机(1008)。
计算机系统(1000)还可以包括某些人机接口输出设备。这样的人机接口输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感觉。这样的人机接口输出设备可以包括触觉输出设备(例如，触摸屏 (1010)、数据手套(未示出)或操纵杆(1005)的触觉反馈，但是也可以有不作为输入设备的触觉反馈设备)、音频输出设备(例如：扬声器(1009)、耳机 (未示出))、视觉输出设备(例如包括CRT屏幕、LCD屏幕、等离子屏幕、 OLED屏幕的屏幕(1010)，每种屏幕都具有或不具有触摸屏输入功能，每种屏幕都具有或不具有触觉反馈功能，其中一些屏幕可能能够通过诸如立体图像输出、虚拟现实眼镜(未示出)、全息显示器和烟雾罐(未显示)和打印机(未显示)等方式输出二维视觉输出或超过三维输出。
计算机系统(1000)还可以包括人类可访问的存储设备及其相关的介质，例如包括带有CD/DVD等介质(1021)的CD/DVD ROM/RW(1020)的光学介质、指状驱动器(1022)、可移动硬盘驱动器或固态驱动器(1023)、诸如磁带和软盘之类的传统磁性介质(未示出)、诸如安全软件狗之类的基于专用 ROM/ASIC/PLD的装置(未示出)等。
本领域技术人员还应该理解，结合当前公开的主题使用的术语“计算机可读介质”不涵盖传输介质、载波或其他瞬时信号。
计算机系统(1000)还可以包括到一个或多个通信网络的接口。网络可以例如是无线网络、有线网络、光学网络。网络可以进一步是本地网络、广域网络、城域网络、车辆的和工业用网络、实时网络、耐延迟网络等。网络的示例包括诸如以太网之类的局域网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播的TV的有线或无线电视广域数字网络、包括CANBus等的车辆和工业用网络。某些网络通常需要连接到某些通用数据端口或外围总线(1049)的外部网络接口适配器(例如计算机系统(1000)的USB端口)；其他网络通常通过如下所述连接到系统总线而集成到计算机系统(1000)的内核中(例如，连接PC计算机系统中的以太网接口或连接到智能手机计算机系统中的蜂窝网络接口)。计算机系统(1000)可以使用这些网络中的任何一个与其他实体通信。此类通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，连接到某些CANbus装置的CANbus)或双向的，例如，使用局域网或广域网数字网络连接到其他计算机系统。如上所述，可以在那些网络和网络接口的每一个上使用某些协议和协议栈。
前述的人机接口设备、人可访问的存储设备和网络接口可以被附接到计算机系统(1000)的内核(1040)。
内核(1040)可以包括一个或多个中央处理单元(CPU)(1041)、图形处理单元(GPU)(1042)、现场可编程门区域(FPGA)(1043)形式的专用可编程处理单元、用于某些任务的硬件加速器(1044)等等。这些设备以及只读存储器(ROM)(1045)、随机存取存储器(1046)、诸如内部非用户可访问的硬盘驱动器、SSD等之类的内部大容量存储器(1047)可以通过系统总线(1048) 连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线(1048)，以允许通过附加的CPU、GPU等进行扩展。外围设备可以被直接连接到内核的系统总线(1048)，也可以通过外围总线(1049)连接到内核的系统总线(1048)。外围总线的架构包括PCI、USB等。
CPU(1041)、GPU(1042)、FPGA(1043)和加速器(1044)可以执行某些指令，这些指令可以组合起来构成上述计算机代码。所述计算机代码可以被存储在ROM(1045)或RAM(1046)中。过渡数据也可以被存储在RAM中 (1046)，而永久数据可以被存储在例如内部大容量存储器(1047)中。可以通过使用高速缓存来进行到任何存储装置的快速存储及检索，该高速缓存可以与下述紧密关联：一个或多个CPU(1041)、GPU(1042)、大容量存储(1047)、 ROM(1045)、RAM(1046)等。
计算机可读介质可以在其上具有用于执行各种由计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开的目的而专门设计和构建的介质和计算机代码，或者介质和计算机代码可以是计算机软件领域的技术人员公知且可用的类型。
作为非限制性示例，可以由于一个或多个处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一种或多种有形的计算机可读介质中的软件而使得具有架构(1000)，特别是内核(1040)的计算机系统提供功能。此类计算机可读介质可以是与如上所述的用户可访问的大容量存储相关联的介质，以及某些非暂时性的内核(1040)的存储器，例如内核内部大容量存储器(1047)或ROM (1045)。可以将实施本公开的各种实施例的软件存储在此类装置中并由内核 (1040)执行。根据特定需要，计算机可读介质可以包括一个或多个存储装置或芯片。软件可以引起内核(1040)，特别是其中的处理器(包括CPU、GPU、 FPGA等)执行本文所描述的特定过程或特定过程的特定部分，包括定义存储在RAM中的数据结构(1046)以及根据由软件定义的过程来修改此类数据结构。附加地或替换地，可以由于硬连线或以其他方式体现在电路(例如，加速器(1044))中的逻辑中而使得计算机系统提供功能，该电路可以替换软件或与软件一起运行以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可以包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可以包括存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路或两者都包括。本公开包括硬件和软件的任何合适的组合。
尽管本发明描述了几个示例性实施例，但是存在落入本发明范围内的变更、置换和各种替代等效物。因此，将认识到，本领域技术人员将能够设计出尽管未在本文中明确示出或描述但体现了本发明的原理并且因此在本发明的精神和范围内的许多系统和方法。

Claims (11)

1.一种处理点云数据的方法，包括：
接收包括第一点和当前点的点云的一组点的三维（3D）坐标，所述第一点中的每一个与重构的属性值相关联；
根据所述第一点确定所述当前点的多个相邻点；
接收指示符，所述指示符指示在提升方案的预测步骤中所述当前点的重构是否基于所述多个相邻点的所述重构的属性值的加权平均值预测；以及
当所述指示符指示所述多个相邻点的所述重构的属性值的所述加权平均值的代价，低于所述多个相邻点的所述重构的属性值的代价中的最低代价时，基于所述多个相邻点的所述重构的属性值的所述加权平均值，重构所述当前点。
2.根据权利要求1所述的方法，其中，所述当前点的所述多个相邻点是几何距离最接近所述当前点的所述第一点的子集。
3. 根据权利要求1所述的方法，还包括：
当所述指示符未指示所述提升方案的所述预测步骤中的所述当前点的所述重构是基于所述多个相邻点的所述重构的属性值的所述加权平均值预测时，接收索引，所述索引指示从所述多个相邻点的所述重构的属性值中所选择的重构的属性值，由所述索引指示的所述重构的属性值是基于率失真决策函数确定的；以及
将具有所述索引的所述重构的属性值确定为所述提升方案中所述当前点的属性预测。
4.根据权利要求1所述的方法，其中，所述加权平均值预测是基于所述相邻点的所述重构的属性值的几何权重的加权和。
5.一种处理点云数据的方法，包括：
接收包括第一点和当前点的点云的一组点的三维（3D）坐标，所述第一点中的每一个与重构的属性值相关联；
根据所述第一点确定所述当前点的多个相邻点；
接收指示符，所述指示符指示在提升方案的预测步骤中所述当前点的重构是基于所述多个相邻点的所述重构的属性值的加权平均值预测还是基于在所述多个相邻点的所述重构的属性值中具有最低代价的重构的属性值；以及
当所述指示符指示所述多个相邻点的所述重构的属性值的所述加权平均值的所述代价，低于所述多个相邻点的所述重构的属性值的代价中的所述最低代价时，基于所述多个相邻点的所述重构的属性值的所述加权平均值，重构所述当前点。
6.根据权利要求5所述的方法，其中，在所述提升方案中的更新步骤之前执行所述预测步骤。
7.根据权利要求5所述的方法，其中，所述当前点的所述多个相邻点是几何距离最接近所述当前点的所述第一点的子集。
8.根据权利要求5所述的方法，其中，加权和函数是基于所述相邻点的所述重构的属性值的几何权重的所述相邻点的所述重构的属性值的加权和。
9.根据权利要求5所述的方法，其中，基于所述多个相邻点的所述重构的属性值的所述加权平均值的代价是否低于所述多个相邻点的所述重构的属性值的代价中的所述最低代价，确定所述指示符。
10.一种用于处理点云数据的装置，所述装置包括：
处理电路，配置为执行根据权利要求1至4或5至9中任一项所述的方法。
11.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使得所述处理器执行根据权利要求1至4或5至9中任一项所述的方法。
CN201980063320.2A 2018-10-02 2019-09-27 处理点云数据的方法、装置和存储介质 Active CN112771583B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862740306P 2018-10-02 2018-10-02
US62/740,306 2018-10-02
US201862743948P 2018-10-10 2018-10-10
US62/743,948 2018-10-10
US16/567,814 US11166048B2 (en) 2018-10-02 2019-09-11 Method and apparatus for video coding
US16/567,814 2019-09-11
PCT/US2019/053564 WO2020072319A1 (en) 2018-10-02 2019-09-27 Method and apparatus for video coding

Publications (2)

Publication Number Publication Date
CN112771583A CN112771583A (zh) 2021-05-07
CN112771583B true CN112771583B (zh) 2023-01-06

Family

ID=69946273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063320.2A Active CN112771583B (zh) 2018-10-02 2019-09-27 处理点云数据的方法、装置和存储介质

Country Status (4)

Country Link
US (1) US11166048B2 (zh)
EP (1) EP3776489A4 (zh)
CN (1) CN112771583B (zh)
WO (1) WO2020072319A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11039115B2 (en) * 2018-12-21 2021-06-15 Samsung Electronics Co., Ltd. Low complexity color smoothing of reconstructed point clouds
US10964068B2 (en) * 2019-03-18 2021-03-30 Blackberry Limited Methods and devices for predictive point cloud attribute coding
US11475604B2 (en) * 2019-03-26 2022-10-18 Tencent America LLC Method and apparatus for adaptive point cloud attribute coding
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11227401B1 (en) * 2019-05-22 2022-01-18 Zoox, Inc. Multiresolution voxel space
WO2020262824A1 (ko) * 2019-06-26 2020-12-30 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
CN112188199B (zh) * 2019-07-03 2024-05-10 腾讯美国有限责任公司 自适应点云属性编码的方法、装置、电子设备和存储介质
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
WO2021066312A1 (ko) * 2019-10-03 2021-04-08 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) * 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11551334B2 (en) * 2020-01-09 2023-01-10 Tencent America LLC Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
US20230059625A1 (en) * 2020-01-16 2023-02-23 Lg Electronics Inc. Transform-based image coding method and apparatus therefor
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren
US20230316584A1 (en) * 2020-08-12 2023-10-05 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11816868B2 (en) * 2020-08-14 2023-11-14 Tencent America LLC Coding of multiple-component attributes for point cloud coding
WO2022067776A1 (zh) * 2020-09-30 2022-04-07 Oppo广东移动通信有限公司 点云的解码、编码方法、解码器、编码器和编解码系统
WO2022116118A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 预测方法、编码器、解码器以及存储介质
WO2022116122A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 帧内预测方法及装置、编解码器、设备、存储介质
CN113096199B (zh) * 2021-03-12 2023-01-03 中山大学 一种基于莫顿码的点云属性预测方法、装置和介质
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
JP2022162485A (ja) * 2021-04-12 2022-10-24 Kddi株式会社 点群復号装置、点群符号化装置、点群処理システム、点群復号方法及びプログラム
CN117157973A (zh) * 2021-04-16 2023-12-01 Oppo广东移动通信有限公司 编解码方法及相关设备、存储介质
CN117751574A (zh) * 2021-08-23 2024-03-22 Oppo广东移动通信有限公司 解码方法、编码方法、解码器以及编码器
WO2023051534A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus and medium for point cloud coding
WO2023093865A1 (en) * 2021-11-26 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114612A1 (en) * 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
CN101123000B (zh) * 2007-07-05 2010-06-23 广东中大讯通软件科技有限公司 一种三维图形数据的压缩处理方法
EP2081155B1 (en) * 2008-01-21 2011-11-16 Telefonaktiebolaget LM Ericsson (publ) Prediction-based image processing
US9753124B2 (en) 2009-07-13 2017-09-05 Celartem, Inc. LIDAR point cloud compression
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
US8953854B2 (en) * 2012-08-08 2015-02-10 The Hong Kong Polytechnic University Contactless 3D biometric feature identification system and method thereof
US20150365698A1 (en) * 2013-04-11 2015-12-17 Mediatek Inc. Method and Apparatus for Prediction Value Derivation in Intra Coding
EP2811460A3 (en) 2013-06-04 2015-11-11 Technion Research & Development Foundation Limited Creating a synthetic model with organic veracity
US9503751B2 (en) * 2013-10-17 2016-11-22 Hfi Innovation Inc. Method and apparatus for simplified depth coding with extended prediction modes
EP3016075A1 (en) * 2014-11-03 2016-05-04 Graphine NV Prediction system for texture streaming
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
WO2018071416A1 (en) * 2016-10-11 2018-04-19 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN106803267B (zh) * 2017-01-10 2020-04-14 西安电子科技大学 基于Kinect的室内场景三维重建方法
GB2561824B (en) * 2017-04-19 2020-04-01 Canon Kk Encoding and decoding of geometry data in a 3D model based on evaluated regularity of the model
US10897269B2 (en) * 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression

Also Published As

Publication number Publication date
US20200107048A1 (en) 2020-04-02
US11166048B2 (en) 2021-11-02
EP3776489A4 (en) 2022-04-13
EP3776489A1 (en) 2021-02-17
WO2020072319A1 (en) 2020-04-09
CN112771583A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112771583B (zh) 处理点云数据的方法、装置和存储介质
US10904564B2 (en) Method and apparatus for video coding
US11010931B2 (en) Method and apparatus for video coding
EP3861755B1 (en) Techniques and apparatus for weighted-median prediction for point-cloud attribute coding
CN113615181B (zh) 用于点云编解码的方法、装置
JP7261300B2 (ja) 適応ポイントクラウド属性コーディングのための方法、装置、及びコンピュータプログラム
JP7384520B2 (ja) フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム
US11202054B2 (en) Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
JP7213368B2 (ja) 点群属性コーディングのためのチャネル間予測および変換の技術並びに装置
CN113632142A (zh) 点云压缩的方法和装置
US20220292730A1 (en) Method and apparatus for haar-based point cloud coding
CN113179411A (zh) 点云属性编解码方法、装置、计算机设备及存储介质
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质
CN112188199B (zh) 自适应点云属性编码的方法、装置、电子设备和存储介质
CN115486079A (zh) 用于构建三维几何的方法和装置
US20240007670A1 (en) Dynamic mesh vertex displacements coding
CN112616058A (zh) 视频编码或解码方法、装置、计算机设备和存储介质
CN112188216A (zh) 视频数据的编码方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044355

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant