CN112188197A - 通道间点云属性解码方法、装置以及可读存储介质 - Google Patents

通道间点云属性解码方法、装置以及可读存储介质 Download PDF

Info

Publication number
CN112188197A
CN112188197A CN202010625781.9A CN202010625781A CN112188197A CN 112188197 A CN112188197 A CN 112188197A CN 202010625781 A CN202010625781 A CN 202010625781A CN 112188197 A CN112188197 A CN 112188197A
Authority
CN
China
Prior art keywords
reconstructed residual
residual
quantization index
point cloud
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010625781.9A
Other languages
English (en)
Inventor
芮世薰
沃索基阿拉什
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN112188197A publication Critical patent/CN112188197A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种通道间点云属性解码方法、装置和可读存储介质。该方法包括：从视频数据获得第一重建的残差；获得第二重建的残差的量化索引；基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差；以及通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差对变换残差进行解码，重建点云的点的颜色属性。

Description

通道间点云属性解码方法、装置以及可读存储介质
本申请要求2019年7月5日提交的第62/871,081号美国临时申请以及2020年6月30日提交的第16/917,107号美国正式申请的优先权，所述两个申请的公开内容通过引用整体并入本文。
技术领域
本申请涉及视频编码和解码，特别是涉及一种通道间点云属性解码方法、装置以及可读存储介质。
背景技术
对这个世界的高级三维(3D)表示，使得更多沉浸式的互动和交流形式成为可能，并且也使机器可以理解、解读和导航我们这个世界。3D点云已经成为此类信息的一种表示。目前人们已经确定出与点云数据相关联的多个用例，并且已经开发出点云表示和压缩的相应要求。
点云是3D空间中的一组点，每个点都具有相关联的属性，例如，颜色、材质。点云可以用于将一个对象或一个场景重建为这种点的组合。点云可以用各种设置中的多个相机和深度传感器进行采集，并且可由数千个点甚至数十亿个点组成，以逼真地表示重建的场景。
减少用于表示一个点云所需的数据量，需要使用压缩技术。因此，需要有对实时通信和六自由度(6DoF)虚拟现实中使用的点云的有损压缩的技术。另外，人们也在寻求在自主驾驶应用和文化遗产应用等的动态映射上下文中使用的无损点云压缩的技术。运动图片专家组(Moving Picture Experts Group，MPEG)已经开始致力于开发标准，用于处理几何结构和属性(例如，颜色和反射率)的压缩、可缩放/渐进式编码、随时间采集的点云序列的编码、以及对点云子集的随机访问。
图1A是在基于图片的点云压缩(Graph-based Point Cloud Compression，G-PCC)中生成细节级别(Level of Detail，LOD)的方法示意图。
参考图1A所示，在当前的G-PCC属性编码中，基于每个3D点(例如，P0-P9)的距离，生成每个3D点的LoD(即，一组点)，然后通过按3D点的基于LoD的顺序110、而不是按3D点的原始顺序105应用预测，对每个LoD中的3D点的属性值进行编码。例如，3D点P2的属性值是通过计算3D点P0、P5和P4(在3D点P2之前编码或解码)的基于距离的加权平均值来预测。
G-PCC中的当前锚定方法如下进行。
首先，计算3D点的邻域的变化性，以检查不同的相邻点值的差异程度，如果其邻域的变化性低于一个阈值，则使用基于当前点i的最近相邻点的距离的线性插值过程，通过预测属性值(ai)i∈0...k-1来进行基于距离的加权平均预测的计算。假设
Figure BDA0002564668220000021
是当前点i的一组k-最近相邻点，假设
Figure BDA0002564668220000022
是它们的已解码/重建的属性值，假设
Figure BDA0002564668220000023
是它们到当前点i的距离。然后预测的属性值
Figure BDA0002564668220000024
通过下式得到：
Figure BDA0002564668220000025
请注意，当对属性进行编码时，所有点云的几何位置都已经可用。另外，相邻点及它们的重建的属性值在编码器和解码器两者处均作为k维树结构可用，所述k维树结构用于以相同的方式便于每个点的最近邻搜索。
其次，如果所述3D点的邻域的变化性高于所述阈值，则执行速率失真优化(Rate-distortion Optimized，RDO)预测器选择。基于在生成LoD过程中的相邻点搜索的结果，创建多个预测器候选或候选预测值。例如，当通过使用预测，对3D点P2的属性值进行编码时，将3D点P2分别到3D点P0、P5和P4的距离的加权平均值，设置为等于0的预测器索引。然后，将3D点P2到最近相邻点P4的距离设置为等于1的预测器索引。而且，如下表1所示，将3D点P2分别到接下来最近相邻点P5和P0的距离，设置为等于2和3的预测器索引。
表1：用于属性编码的预测器候选的样本
预测器索引 预测值
0 平均值
1 P4(第一最近点)
2 P5(第二最近点)
3 P0(第一最近点)
在创建预测器候选之后，通过应用率失真优化程序，选出最佳预测器，然后，将选定的预测器索引映射到截断一元(Truncated Unary，TU)码，对所述截断一元(TU)码的二进制数(bin)进行算术编码。请注意，在表1中，较短的TU代码将分配给较小的预测器索引。
定义预测器候选的最大数量MaxNumCand，并且将其编码到属性头中。在当前实现方式中，预测器候选的最大数量MaxNumCand被设置为等于numberOfNearestNeighborsInPrediction+1，并且用于对具有截断一元二进制化的预测器索引进行编码和解码。
用于G-PCC中的属性编码的提升变换，建立在上文描述的预测变换之上。预测方案和提升方案之间的主要区别在于引入了更新运算符(update operator)。
图1B是用于G-PCC中的P/U(预测/更新)提升的架构示意图。为了便于提升方案中的预测步骤和更新步骤的执行，必须在分解的每个阶段，将信号拆分成两组高相关性。在G-PCC中的提升方案中，通过利用LoD结构来执行拆分，在所述LoD结构中，在层次之间预计会有此类高相关性，并且每个层次是通过最近相邻点搜索来构造，以将非均匀的点云，组织成结构化数据。在层次N的P/U分解步骤会产生细节信号D(N-1)和近似信号A(N-1)，所述近似信号A(N-1)被进一步分解成D(N-2)和A(N-2)。重复应用所述步骤，直到获得基本层近似信号A(1)。
因此，不是对由LOD(N)、…、LOD(1)组成的输入属性信号本身进行编码，而是对提升方案中的D(N-1)、D(N-2)、…、D(1)、A(1)进行编码。请注意，应用高效的P/U步骤通常会导致D(N-1)、…、D(1)中的子带“系数”稀疏，从而具有变换编码增益的优势。
目前，上文描述的用于预测变换的基于距离的加权平均预测被用于提升方案中的预测步骤，作为G-PCC中的锚定方法。
对于颜色等点云属性，在通道之间可能存在显著的冗余。为了提高编码效率，可以将色彩空间转换作为预处理步骤/后处理步骤来执行。将色彩空间转换作为预处理步骤/后处理步骤执行的一个问题是，它可能缺乏正交规范性，并且在转换后的色彩空间中优化编解码器性能可能不必要地转化为原始空间中的良好质量。另外，无损颜色变换可能会具有扩展的比特深度，特别是当人们试图以良好的精度近似非整数颜色变换时。取决于许多实际系统中的实现约束，这可能是一个问题。
发明内容
本申请实施例涉及点云编解码技术。
根据本申请实施例，提供一种由至少一个处理器执行的对视频数据进行通道间点云属性解码的方法。所述方法包括：从视频数据获得第一重建的残差；获得第二重建的残差的量化索引；基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差；以及通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差，对变换残差进行解码，重建点云的点的颜色属性。
根据本申请实施例，提供一种用于对视频数据进行通道间点云属性解码的装置。所述装置包括：至少一个存储器，其被配置为存储计算机程序代码；以及至少一个处理器，其被配置为访问所述至少一个存储器并且根据所述计算机程序代码进行操作。所述计算机程序包括：第一获得代码，其被配置为使得所述至少一个处理器从视频数据获得第一重建的残差；第二获得代码，其被配置为使得所述至少一个处理器获得第二重建的残差的量化索引；第三获得代码，其被配置为使得所述至少一个处理器基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差；以及第四获得代码，其被配置为使得所述至少一个处理器通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差对变换残差进行解码，重建点云的点的颜色属性。
根据本申请实施例，提供一种用于对视频数据进行通道间点云属性解码的装置，所述装置包括：第一获得模块，用于从视频数据获得第一重建的残差；第二获得模块，用于获得第二重建的残差的量化索引；第三获得模块，用于基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差；以及第四获得模块，用于通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差对变换残差进行解码，重建点云的点的颜色属性。
根据本申请实施例，提供一种存储指令的非易失性计算机可读存储介质。所述指令使得至少一个处理器：从视频数据获得第一重建的残差；获得第二重建的残差的量化索引；基于所述第二重建的残差的量化索引和所述第一重建的残差，从所述视频数据获得所述第二重建的残差；以及通过对所述第二重建的残差进行解码，或通过基于所述获得的第二重建的残差对变换残差进行解码，重建点云的点的颜色属性。
通过本申请实施例的通道间点云属性解码方法、装置以及可读存储介质可以高效地执行通道间去相关以提高解压缩效率。
附图说明
通过以下详细描述和附图，本申请所公开主题的进一步特征、本质及各种优点将会更清楚，其中：
图1A是在G-PCC中生成LoD的方法示意图。
图1B是用于G-PCC中的P/U提升的架构示意图。
图2是根据本申请实施例的通信系统框图。
图3是根据本申请实施例的G-PCC压缩器和G-PCC解压缩器在环境中的放置示意图。
图4是根据本申请实施例的G-PCC压缩器的功能框图。
图5是根据本申请实施例的G-PCC解压缩器的功能框图。
图6是根据本申请实施例的用于对点云属性进行编码的通道间预测和变换的方法流程图。
图7是根据本申请实施例的用于对点云属性进行编码的通道间预测和变换的装置的框图。
图8A是根据本申请一个实施例的用于对点云属性进行解码的通道间预测和变换的方法流程图。
图8B是根据本申请另一个实施例的用于对点云属性进行解码的通道间预测和变换的方法流程图。
图9是根据本申请实施例的用于对点云属性进行解码的通道间预测和变换的装置的框图。
图10是适于实施实施例的计算机系统示意图。
具体实施方式
本文描述的实施例提供用于对点云属性进行编码和解码的通道间预测和变换的方法和装置。所述方法和装置高效地执行通道间去相关以提高压缩效率和解压缩效率。所描述的方法和装置涉及参考图1A描述的当前G-PCC预测器设计。所述方法和装置可以应用于针对点云设计的类似编解码器。
图2是根据本申请实施例的通信系统200的框图。通信系统200可以包括经由网络250互连的至少两个终端210和220。对于数据的单向传输，第一终端210可在本地位置对点云数据进行编码，以便将其经由网络250传输到第二终端220。第二终端220可以从网络250接收第一终端210的已编码的点云数据，对已编码的点云数据进行解码并且显示已解码的点云数据。单向数据传输在媒体服务应用等之中可能是常见的。
图2还示出了第二对终端230和240，所述第二对终端230和240被提供来支持例如在视频会议期间可能出现的已编码的点云数据的双向传输。对于数据的双向传输，每个终端230或240可以对在本地位置采集的点云数据进行编码，以便将其经由网络250传输给另一个终端。每个终端230或240还可以接收由另一个终端传输的已编码的点云数据，可以对已编码的点云数据进行解码，并且可在本地显示设备上显示已解码的点云数据。
在图2中，终端210-240可能是图示为服务器、个人计算机和智能电话，但是本申请实施例的原理不限于此。本申请实施例适用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议装备。网络250表示在终端210-240之间传送已编码的点云数据的任意数量的网络，包括例如有线和/或无线通信网络。通信网络250可在电路交换通道和/或分组交换通道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。出于本申请讨论的目的，除非在下文中另有解释，否则网络250的架构和拓扑对于本申请实施例的操作而言，可能是不重要的。
图3是根据本申请实施例的G-PCC压缩器303和G-PCC解压缩器310在环境中的放置示意图。本申请所公开的主题可以同等地适用于其他通过点云实现的应用，包括例如视频会议、数字电视、在数字介质(包括CD、DVD、记忆棒等)上存储压缩的点云数据等。
流系统300可以包括采集子系统313，所述采集子系统313可以包括点云源301，例如，数码相机，用于创建例如未压缩的点云数据302。具有较高数据量的点云数据302可由耦接到点云源301的G-PCC压缩器303处理。G-PCC压缩器303可以包括硬件、软件或其组合，以实施或实现本申请所公开主题的各方面，在下文详细描述。具有较低数据量的已编码的点云数据304可以存储在流服务器305上，以供将来使用。至少一个流客户端306和308可以访问流服务器305来检索已编码的点云数据304的副本307和309。客户端306可以包括G-PCC解压缩器310，所述G-PCC解压缩器310对已编码的点云数据的输入副本307进行解码，并且创建可在显示器312或其他呈现设备(未示出)上呈现的传出点云数据311。在一些流系统中，已编码的点云数据304、307和309可以是根据视频编码/压缩标准进行编码。这些标准的示例包括MPEG针对G-PCC开发的那些标准。
图4是根据本申请实施例的G-PCC压缩器303的功能框图。
如图4中所示，G-PCC压缩器303包括量化器405、点去除模块410、八叉树编码器415、属性传送模块420、LoD生成器425、预测模块430、量化器435和算术编码器440。
量化器405接收输入点云中的点的位置。所述位置可以是(x，y，z)坐标。量化器405还使用例如缩放算法和/或移位算法，对接收到的位置进行量化。
点去除模块410从量化器405接收量化的位置，并且从接收到的量化的位置中去除或滤除重复的位置。
八叉树编码器415从点去除模块410接收过滤后的位置，并且使用八叉树编码算法，将接收到的过滤后的位置编码成用于表示输入的点云的八叉树的占用符号。对应于八叉树的输入点云的界定框(bounding box)可以是任何3D形状，例如，立方体。
八叉树编码器415还基于对过滤后的位置进行编码，来对接收到的过滤后的位置进行重新排序。
属性传送模块420接收输入点云中的点的属性。所述属性可以包括例如每个点的颜色或RGB值和/或反射率。属性传送模块420还从八叉树编码器415接收重新排序的位置。
属性传送模块420还基于接收到的重新排序的位置，更新接收到的属性。例如，属性传送模块420可以对接收到的属性执行预处理算法中的一种或多种预处理算法，所述预处理算法包括例如对接收到的属性进行加权和平均以及对接收到的属性之外其他属性进行插值。属性传送模块420进一步将更新的属性传送到预测模块430。
LOD生成器425从八叉树编码器415接收重新排序的位置，并且获得与接收到的重新排序的位置对应的点中的每个点的LoD。每个LoD都可以认为是一组点，并且可以基于点中的每个点的距离来获得。例如，如图1A所示，点P0、P5、P4和P2可在LoDLOD0中，点P0、P5、P4、P2、P1、P6和P3可在LoD LOD1中，点P0、P5、P4、P2、P1、P6、P3、P9、P8和P7可在LoD LOD2中。
预测模块430从属性传送模块420接收传送的属性，并且从LoD生成器425接收所获得的所述点中的每个点的LoD。预测模块430通过以基于所接收到的所述点中每个点的LoD的顺序，对接收到的属性应用预测算法，以相应地获得所接收到的属性的预测残差(值)。所述预测算法可以包括各种预测算法中的任一种，例如，插值、加权平均计算、最近邻算法和RDO等。
例如，如图1A所示，LOD0中包括的点P0、P5、P4和P2的接收到的属性的预测残差，可在获得LOD1和LOD2中分别包括的点P1、P6、P3、P9、P8和P7的接收到的属性的预测残差之前，首先获得。点P2的接收到的属性的预测残差，可以通过基于点P0、P5和P4的加权平均值计算距离来获得。
量化器435从预测模块430接收所获得的预测残差，并且使用例如缩放算法和/或移位算法，对接收到的预测残差进行量化。
算术编码器440从八叉树编码器415接收占用符号，并且从量化器435接收量化的预测残差。算术编码器440对接收到的占用符号和量化的预测残差执行算术编码，以获得压缩码流。所述算术编码可以包括各种熵编码算法中的任一种，例如，上下文自适应二进制算术编码等。
图5是根据本申请实施例的G-PCC解压缩器310的功能框图。
如图5所示，G-PCC解压缩器310包括算术解码器505、八叉树解码器510、逆量化器515、LoD生成器520、逆量化器525和逆预测模块530。
算术解码器505从G-PCC压缩器303接收压缩码流，并且对接收到的压缩码流执行算术解码，以获得占用符号和量化的预测残差。算术解码可以包括各种熵解码算法中的任一种，例如，上下文自适应二进制算术解码等。
八叉树解码器510从算术解码器505接收所获得的占用符号，并且使用八叉树解码算法将接收到的占用符号解码成量化的位置。
逆量化器515从八叉树解码器510接收量化的位置，并且使用例如缩放算法和/或移位算法，对接收到的量化的位置进行逆量化，以获得输入点云中的点的重建的位置。
LoD生成器520从八叉树解码器510接收量化的位置，并且获得与接收到的量化的位置对应的点中每个点的LoD。
逆量化器525接收所获得的量化的预测残差，并且使用例如缩放算法和/或移位算法，对接收到的量化的预测残差进行逆量化，以获得重建的预测残差。
逆预测模块530从逆量化器525接收所获得的重建的预测残差，并且从LoD生成器520接收所获得的所述点中每个点的LoD。逆预测模块530通过以基于所接收到的所述点中每个点的LoD的顺序，对接收到的重建的预测残差应用预测算法，以相应地获得所接收到的重建的预测残差的重建属性。所述预测算法可以包括各种预测算法中的任一种，例如，插值、加权平均计算、最近邻算法和RDO等。重建的属性是输入点云中的点的重建的属性。
现在将详细描述用于对点云属性进行编码和解码的通道间预测和变换的方法和装置。这些方法和装置可在上文描述的G-PCC压缩器303(即，预测模块430)中实现。所述方法和装置也可在G-PCC解压缩器310(即，逆预测模块530)中实现。
A.环内颜色残差变换和预测
在本申请实施例中，有两种方法可以避免前述的为提高编码效率而使用颜色空间变换作为变换工具的问题。
一种方法是在G-PCC的差分脉冲编码调制(Differential Pulse CodeModulation，DPCM)中使用YCoCg-R变换，作为预测残差的无损环内变换(也称为预测变换)，以对通道间依赖性进行去相关，同时保持近无损重建和无损重建。Y是亮度值，Co是色度橙色值，并且Cg是色度绿色值。
另一种方法是引入额外的预测步骤，以预测G-PCC的DPCM中的其他通道的残差值。
以下详细描述上述两种方法。
1.环内颜色残差变换
YCoCg变换如下：
Figure BDA0002564668220000111
R是红色值，G是绿色值，B是蓝色值。
作为从YCoCg变换推导出的无损变换，正向YCoCg-R变换如下：
Co＝R-B
t＝B+(Co>>1)
Cg＝G-t
Y＝t+(Cg>>1) (2)
t表示一个用于驱动无损变换的中间值。
反向的YCoCg-R变换为上述过程的逆过程：
t＝Y-(Cg>>1)
G＝Cg+t
B＝t-(Co>>1)
R＝B+Co (3)
当应用所述YCoCg-R变换作为残差变换时，信号R、G和B将是由G-PCC中的每通道预测产生的每个通道的预测残差。例如，参考图4所示，预测模块430可以获得信号R、G和B，作为点云的点的颜色属性的原始预测残差，可以对所获得的原始预测残差应用YCoCg-R变换，以获得Y、Co、Cg和t信号，作为颜色属性的新的预测残差，并且可以将所获得的新的预测残差输出给量化器435。
2.通道间颜色残差预测器
另一种对多通道信号去相关的方法是使用预测器。在本申请实施例中，预测器可以用于预测通道的残差信号，从而将对二阶残差、而不是对原始残差进行量化和熵编码。
针对G-PCC预测的设计，一个版本可以描述如下，其中，带下划线的部分是对当前TMC3规范的改动。为了对这个预测进行可能的改善，可以引入任何形式的线性预测器函数或非线性预测器函数。
各符号的定义如下：
X：通道X信号
X_pred：预测的通道X信号(从G-PCC中的重建的相邻样本中获得)
X_delta_index：通道X的预测残差的量化索引
X_delta_recon：通道X的重建的残差
X_recon：重建的通道X信号
X_delta_residual_index：残差预测得到的残差的量化索引
a.编码
//G-通道
G_delta_index<-Quantize(G-G_pred)
G_delta_recon<-InverseQuantize(G_delta_index)
G_recon<-G_pred+G_delta_recon
EntopyEncode(G_delta_index)
//C-通道(‘C’可以为R或者B)
C_delta_index<-Quantize(C-C_pred)
C_delta_recon<-InverseQuantize(C_delta_index)
C_delta_residual_index<-Quantize(C_delta_recon–G_delta_recon)
C_delta_recon<-InverseQuantize(C_delta_residual_index)+G_delta_recon
C_recon<-C_pred+C_delta_recon
EntopyEncode(C_delta_residual_index)
b.解码
//G-通道
G_delta_index<-EntropyDecode()
G_delta_recon<-InverseQuantize(G_delta_index)
G_recon<-G_pred+G_delta_recon
//C-通道(‘C’可以为R或B)
C_delta_residual_index<-EntropyDecode()
C_delta_recon<-InverseQuantize(C_delta_residual_index)+G_delta_recon
C_recon<-C_pred+C_delta_recon
例如，参考图4所示，预测模块430获得绿色通道的第一重建的残差(G_delta_recon)以及红色通道或蓝色通道的第二重建的残差(C_delta_recon)。预测模块430然后从所获得的所述第二重建的残差减去所获得的所述第一重建的残差，并且对所述相减结果进行量化，以获得红色通道或蓝色通道的第二重建的残差的量化索引(C_delta_residual_index)。接下来，预测模块430对所获得的量化索引进行逆量化，并且将所述逆量化的结果加到所述第一重建的残差之上，以重新获得所述第二重建的残差。预测模块430可以将重新获得的第二重建的残差输出给量化器435。
针对G-PCC和类似点云编解码器的示例性残差预测器的优点可以包括解码过程中的变化较小。此外，通道间残差预测器可能不需要任何复杂的多通道信号模型。不同于用于通道间去相关的其他基于无损颜色变换的方法(包括上文讨论的环内残差变换)，通道间残差预测器可以控制原始域中的信号的保真度(根据Hausdorff度量)。这是因为量化可以是在原始(RGB颜色)空间中执行的。
B.改善针对G-PCC的环内颜色残差变换和预测
以下实施例将同等地适用于在G-PCC中的DPCM预测(也称为预测变换)上下文下的环内色彩残差变换和通道间色彩残差预测器两者。环内颜色残差变换和通道间颜色残差预测器被称为通道间工具。
在本申请实施例中，提供了用于决定是否将通道间工具应用于点云的当前点的条件检查的若干方法。这几种方法的示例描述如下。
(1)在至少一个实施例中，针对最近相邻点中的每个最近相邻点，可以计算三个通道的重建的残差值的最大差。具体而言，在应用通道间工具之后，解码器可以跟踪有多少相邻点的残差幅度/方差降低了设定的阈值。当三个重建的残差值相对均匀时，则很可能去相关是不成功的。当解码时，这可能需要含有一个标志的簿记，以指示每个点的所述测试的结果。此外，在作出决定时，可以进行多数表决。
(2)在至少一个实施例中，可以比较来自相邻点的三个通道的最大绝对差值。当颜色通道之间的值的变化性存在显著差异时，很有可能很难从一个通道预测另一个通道，不需要使用通道间工具。
(3)在至少一个实施例中，可以结合任何能够从相邻样本中识别通道间相关性的度量，来确定通道间工具的使用。
根据所述几种方法，所述条件检查可以判断是启用还是禁用通道间工具。所述条件检查的一个条件可以是通道间相关程度。可以用信号通知一个标志，以基于所述条件检查，启用或者禁用通道间工具。所述标志可以指示通道间相关程度。
参考图4所示，基于上文描述的条件检查中的任意条件检查，预测模块430可以判断是否将环间颜色残差变换应用于预测残差，和/或使用通道间颜色残差预测器，从原始预测残差获得新的预测残差。
图6是根据本申请实施例的用于对点云属性进行编码的通道间预测和变换的方法600的流程图。在一些实现方式中，图6的至少一个过程框可由G-PCC解压缩器310执行。在一些实现方式中，图6的至少一个过程框可由独立于或包括G-PCC解压缩器310的另一个设备或一组设备来执行，例如，G-PCC压缩器303。
参考图6所示，在第一框610中，方法600包括通过对点云的点的第一颜色属性进行编码，以获得第一重建的残差，并且通过对所述点的第二颜色属性进行编码，以获得第二重建的残差。
在第二框620中，方法600包括基于条件检查，判断是否要更新所述第二重建的残差。在判断需要更新所述第二重建的残差的基础上，方法600在第三框630中继续。
否则，方法600结束。
在第三框630中，方法600包括基于所述第一重建的残差和所述第二重建的残差，确定所述第二重建的残差的量化索引。
在第四框640中，方法600包括基于所述量化索引和所述第一重建的残差，更新所述第二重建的残差。
确认所述量化索引可以包括：从所述第二重建的残差中减去所述第一重建的残差；以及对从所述第二重建的残差中减去所述第一重建的残差的结果进行量化，以确定所述量化索引。
更新所述第二重建的残差可以包括：对所述量化索引进行逆量化；以及将逆量化的量化索引加到所述第一重建的残差之上，以更新所述第二重建的残差。
所述方法还可以包括对所述第一重建的残差和所述第二重建的残差应用YcoCg-R变换，以更新所述第一重建的残差和所述第二重建的残差，其中，YcoCg-R变换的表达式如等式(2)所示。
所述方法还可以包括基于条件检查，判断是否要应用所述YcoCg-R变换。应用所述YcoCg-R变换可以包括：在判断要应用所述YcoCg-R变换的基础上，将所述YcoCg-R变换应用于所述第一重建的残差和所述第二重建的残差。
尽管图6示出了方法600的示例框，但是在一些实现方式中，方法600可以包括图6中描绘的那些框之外的另外的框、比其更少的框、与其不同的框或与其布置不同的框。另外地或替代地，方法600的框中的两个或更多个框可以并且行地执行。
此外，所提出的方法可由处理电路(例如，至少一个处理器或至少一个集成电路)来实施。在一个示例中，至少一个处理器执行存储在非易失性计算机可读存储介质中的程序，以执行本申请所提出的方法中的至少一个方法。
图7是根据本申请实施例的用于对点云属性进行编码的通道间预测和变换的装置700的框图。
参考图7所示，装置700包括第一获得代码710、第二获得代码720和更新代码730。
第一获得代码710可以被配置为使得所述至少一个处理器对点云的点的第一颜色属性进行编码，以获得第一重建的残差，以及对所述点的第二颜色属性进行编码，以获得第二重建的残差。
第二获得代码720可以被配置为使得所述至少一个处理器基于所述第一重建的残差和所述第二重建的残差，确定所述第二重建的残差的量化索引。
更新代码730被配置为使得所述至少一个处理器基于所述量化索引和所述第一重建的残差，更新第二重建的残差。
第二获得代码720还可以被配置为使得所述至少一个处理器从所述第二重建的残差中减去所述第一重建的残差；以及对从所述第二重建的残差中减去所述第一重建的残差的结果进行量化，以确定所述量化索引。
更新代码730还可以被配置为使得所述至少一个处理器对所述量化索引进行逆量化，以及将逆量化的量化索引加到所述第一重建的残差之上，以更新所述第二重建的残差。
装置700还可以包括应用代码740，所述应用代码740被配置为使得所述至少一个处理器对所述第一重建的残差和所述第二重建的残差应用YcoCg-R变换，以更新所述第一重建的残差和所述第二重建的残差，其中，YcoCg-R变换的表达式如等式(2)。
装置700还可以包括判断代码750，所述判断代码750被配置为使得所述至少一个处理器基于条件检查，判断是否要应用所述YcoCg-R变换。应用代码740还可以被配置为使得所述至少一个处理器在判断要应用所述YcoCg-R变换的基础上，对所述第一重建的残差和所述第二重建的残差应用所述YcoCg-R变换。
判断代码750还可以被配置为使得所述至少一个处理器基于条件检查，判断是否要更新所述第二重建的残差。第二获得代码720还可以被配置为在判断要更新所述第二重建的残差的基础上，基于所述第一重建的残差和所述第二重建的残差，确定所述第二重建的残差的量化索引。
所述标志可在点云的图块级别或条带级别指示。
图8A、8B是示出了根据本申请实施例的用于对点云属性进行解码的通道间预测和变换的方法800的流程图。在一些实现方式中，图8A、8B的至少一个过程框可由G-PCC解压缩器310执行。在一些实现方式中，图8A、8B的至少一个过程框可由独立于或包括G-PCC解压缩器310的另一个设备(例如，G-PCC压缩器303)或一组设备来执行。
参考图8A、8B所示，在第一框801中，方法800包括获得第一重建的残差。
在第二框802中，方法800包括获得第二重建的残差的量化索引。获得第二重建的残差的量化索引可以包括对第二重建的残差的量化索引的已编码版本进行熵解码，以获得第二重建的残差的量化索引。
在第三框803中，方法800包括基于所述获得的第二重建的残差的量化索引和所述第一重建的残差，获得第二重建的残差。获得所述第二重建的残差可以包括对所述量化索引进行逆量化；以及将所述逆量化的量化索引加到所述第一重建的残差之上，以获得所述第二重建的残差。
在第四框804中，方法800包括通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差对变换残差进行解码，来获得点云的点的颜色属性。
根据本申请实施例，可以提供第五框805(如图8B所示)。在第五框805中，方法800可以包括对所述第一重建的残差和所述第二重建的残差应用反向YCoCg-R变换，以获得所述变换残差，并且获得第四框804中所述点云的所述点的颜色属性，可以包括对所述变换残差进行解码，以获得所述点云的所述点的颜色属性。在一些实施例中，可以省略第五框805。
根据本申请实施例，可在方法800中执行至少一个条件检查，以判断是否执行第五框805的应用反向YCoCg-R变换，和/或是否执行第三框803的基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差。所述至少一个条件检查的条件可以是通道间相关的程度(correlation)。根据至少一个条件检查的结果，可以执行或不执行方法800的所述步骤。
尽管图8A、8B示出了方法800的示例框，但是在一些实现方式中，方法800可以包括图8A、8B中描绘的那些框之外的框、比其更少的框、与其不同的框或与其布置不同的框。另外地或替代地，方法800的框中的两个或更多个框可以并行地执行。
此外，所述方法可由处理电路(例如，至少一个处理器或至少一个集成电路)来实施。在一个示例中，至少一个处理器执行存储在非易失性计算机可读存储介质中的程序，以执行本申请的方法中的至少一个方法。
图9是根据本申请实施例的用于对点云属性进行解码的通道间预测和变换的装置850的框图。
参考图9，装置850可以包括第一获得代码851、第二获得代码852、第三获得代码853和第四获得代码854。
第一获得代码851可以被配置为使得至少一个处理器获得第一重建的残差。
第二获得代码852可以被配置为使得至少一个处理器获得第二重建的残差的量化索引。第二获得代码852还可以被配置为使得所述至少一个处理器对第二重建的残差的量化索引的已编码版本进行熵解码以获得量化索引。
第三获得代码853可以被配置为使得至少一个处理器基于所述获得的所述第二重建的残差的量化索引和所述获得的所述第一重建的残差来获得所述第二重建的残差。第三获得代码853可以被配置为使得至少一个处理器基于所述获得的所述第二重建的残差的量化索引和所述获得的所述第一重建的残差来获得所述第二重建的残差。
第四获得代码854可以被配置为使得所述至少一个处理器通过对所述获得的第二重建的残差进行解码或基于所述获得的第二重建的残差对变换残差进行解码来获得点云的点的颜色属性。
根据实施例，所述装置还可以包括应用代码855。应用代码855可以被配置为使得所述至少一个处理器对所述获得的所述第一重建的残差和所述获得的第二重建的残差应用反向YCoCg-R变换以获得所述变换值。反向YCoCg-R变换可由等式(3)表达。在此类实施例中，第四获得代码854可以被配置为使得所述至少一个处理器通过对所述变换残差进行解码来获得所述点云的所述点的颜色属性。在一些实施例中，可以省略应用代码855。
根据实施例，装置850还可以包括确定代码，所述确定代码被配置为使得所述至少一个处理器基于所述获得的所述第二重建的残差的量化索引和所述获得的所述第一重建的残差来判断是否应用反向YCoCg-R变换和/或是否获得所述第二重建的残差。至少一个条件检查的条件可以是通道间相关的程度。根据至少一个条件检查的结果，通道间工具可以或可以不应用于点云的当前点。
相应地，本申请实施例还提供了一种通道间点云属性解码装置，所述装置例如包括：第一获得模块，用于从视频数据获得第一重建的残差；第二获得模块，用于获得第二重建的残差的量化索引；第三获得模块，用于基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差；以及第四获得模块，用于通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差对变换残差进行解码，重建点云的点的颜色属性。
其中，所述第二获得模块可以用于对所述第二重建的残差的量化索引的已编码版本进行熵解码，以获得所述第二重建的残差的量化索引。
所述第三获得模块可以用于：对所述量化索引进行逆量化；以及将所述逆量化的量化索引添加到所述第一重建的残差上，以获得所述第二重建的残差。
根据本申请实施例，所述装置可以进一步包括应用模块，用于对所述第一重建的残差和所述第二重建的残差应用反向YCoCg-R变换，以获得所述变换残差，其中，所述反向YCoCg-R变换的表达式如上文的等式(3)所示。在这种情况下，所述第四获得模块用于对所述变换残差进行解码，以获得所述点云的所述点的所述颜色属性。
根据本申请实施例，所述装置进一步包括判断模块，所述判断模块可以用于基于条件检查，判断是否应用所述反向YCoCg-R变换。
所述判断模块还可以用于基于条件检查，判断是否基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差。
其中，所述条件检查的条件例如是通道间相关的程度。
上文描述的技术可以用适用于点云压缩/解压缩的视频编码器和/或视频解码器实施。所述视频编码器和/或视频解码器可以以硬件、软件或其任意组合的方式实施，所述软件(如果有的话)，可以存储在至少一个非易失性计算机可读存储介质上。例如，所述方法(或实施例)、编码器和解码器中的每一个可以由处理电路(例如，至少一个处理器或者至少一个集成电路)实施。在一个示例中，所述至少一个处理器执行存储在非易失性计算机可读存储介质上的程序。
例如，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
上文描述的技术可以使用计算机可读指令实施为计算机软件，并以物理的方式存储在至少一个计算机可读介质上。例如，图10示出了适于实施本申请某些实施例的计算机系统900。
可使用任何合适的机器代码或计算机语言来编码所述计算机软件，所述机器代码或计算机语言可经受汇编、编译、链接或类似机制以创建包括指令的代码，所述指令可直接或通过解译、微码执行等而由计算机中央处理单元(central processing unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)等执行。
可在各种类型的计算机或计算机组件上执行所述指令，所述计算机或计算机组件包括例如个人计算机、平板电脑、服务器、智能电话、游戏装置、物联网装置等。
图10中所示的用于计算机系统900的组件是示范性的，并非旨在暗示关于实施本申请的实施例的计算机软件的使用或功能的范围的任何限制。也不应将组件的配置解释为对计算机系统900的非限制性实施例中所示的组件中的任一个组件或组件组合有任何依赖或需求。
计算机系统900可包括某些人机接口输入装置。此类人机接口输入装置可响应于至少一个人类用户通过例如触觉输入(例如：按键、滑动、数据手套移动)、音频输入(例如：语音、拍击)、视觉输入(例如：手势)、嗅觉输入(未描绘)进行的输入。人机接口装置还可用于捕获未必与人的有意识输入直接相关的某些媒体，例如音频(例如：话语、音乐、环境声)、图像(例如：扫描图像、从静态图像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
输入人机接口装置可包括以下至少一个(每种仅描绘一个)：键盘901、鼠标902、轨迹垫903、触摸屏910、数据手套、操纵杆905、麦克风906、扫描仪907、相机908。
计算机系统900还可包括某些人机接口输出装置。此类人机接口输出装置可通过例如触觉输出、声音、光和气味/味道刺激至少一个人类用户的感觉。此类人机接口输出装置可包括触觉输出装置(例如触摸屏910、数据手套或操纵杆905的触觉反馈，但还可存在不充当输入装置的触觉反馈装置)、音频输出装置(例如：扬声器909、头戴式耳机(未描绘))、视觉输出装置(例如屏幕910，包括阴极射线管(CRT)屏幕、液晶显示器(LCD)屏幕、等离子体屏幕、有机发光二极管(OLED)屏幕，各自具有或不具有触摸屏输入能力，各自具有或不具有触觉反馈能力--其中的一些能够通过例如立体平画输出的方式输出二维视觉输出或大于三维的输出；虚拟现实眼镜(未描绘)、全息显示器和烟雾箱(未描绘))，以及打印机(未描绘)。计算机系统900还可包括人类可访问的存储装置和存储装置的相关联介质，例如光学介质，包括具有CD/DVD等介质921的CD/DVD ROM/RW920、拇指驱动器922、可移动硬盘驱动器或固态驱动器923、磁带和软盘(未描绘)等旧版磁性媒体、基于ROM/ASIC/PLD的专用装置，例如安全保护装置(未描绘)，等等。
所属领域的技术人员还应理解，结合当前公开的主题使用的术语“计算机可读介质”并未涵盖传输介质、载波或其它瞬时信号。
计算机系统900还可包括到至少一个通信网络的接口。所述网络可例如是无线的、有线的、光学的。所述网络还可以是本地的、广域的、城域的、车载和工业的、实时的、容忍延迟的等等。网络的示例包括例如以太网、无线LAN的局域网、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线TV、卫星TV和地面广播TV的TV有线或无线广域数字网络、包括CAN总线的车载网络和工业网络等。某些网络通常需要附接到某些通用数据端口或外围总线949(例如，计算机系统900的USB端口)的外部网络接口适配器；其它网络通常通过附接到如下文所描述的系统总线而集成到计算机系统900的核心中(例如，到PC计算机系统的以太网接口，或到智能电话计算机系统的蜂窝网络接口)。通过使用这些网络中的任一网络，计算机系统900可与其它实体通信。此类通信可以是仅单向接收(例如广播TV)、仅单向发送(例如连到某些CAN总线装置的CAN总线)或是双向的，例如使用局域数字网络或广域数字网络连接到其它计算机系统。此类通信可以包括到云计算环境955的通信。可在如上文所描述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机接口装置、人类可访问存储装置和网络接口954可附接到计算机系统900的核心940。
核心940可包括至少一个中央处理单元(Central Processing Unit，CPU)941、图形处理单元(Graphics Processing Unit，GPU)942、现场可编程门区域(FieldProgrammable Gate Areas，FPGA)形式的专用可编程处理单元943、用于某些任务的硬件加速器944等等。这些装置连同只读存储器(Read-only Memory，ROM)945、随机存取存储器946、例如内部非用户可访问的硬盘驱动器、固体驱动(Solid-state Drive，SSD)等内部大容量存储装置947可通过系统总线948连接。在一些计算机系统中，系统总线948可通过至少一个物理插头形式访问以实现通过额外CPU、GPU等来扩展。外围装置可直接或通过外围总线949附接到核心的系统总线948。用于外围总线的架构包括PCI、USB等等。图形适配器950可以包括在核心940中。
CPU941、GPU942、FPGA943和加速器944可执行某些指令，所述指令组合起来可构成上述计算机代码。计算机代码可存储在ROM945或RAM946中。过渡数据也可存储在RAM946中，而永久性数据可例如存储在内部大容量存储装置947中。可通过使用高速缓冲存储器来实现对任一存储器装置的快速存储和检索，所述高速缓冲存储器可与至少一个CPU941、GPU942、大容量存储装置947、ROM945、RAM946等紧密关联。
计算机可读介质上可具有用于执行各种计算机实施的操作的计算机代码。所述介质和计算机代码可以是专为本申请的目的设计和构建的介质和计算机代码，或可属于计算机软件领域中的技术人员众所周知且可用的种类。
举例来说但不作为限制，具有架构且尤其是核心940的计算机系统900可提供因处理器(包括CPU、GPU、FPGA、加速器等)执行以至少一个有形计算机可读介质体现的软件而产生的功能。此类计算机可读介质可以是与上文所介绍的用户可访问大容量存储装置以及核心940的非暂时性质的某些存储装置(例如核心内部大容量存储装置947或ROM945)相关联的介质。实施本申请的各种实施例的软件可存储在此类装置中且由核心940执行。根据特定需求，计算机可读介质可包括至少一个存储器装置或芯片。软件可使核心940且具体地说使其中的处理器(包括CPU、GPU、FPGA等等)执行本文中所描述的特定过程或特定过程的特定部分，包括限定存储在RAM946中的数据结构以及根据由软件限定的过程修改此类数据结构。另外或作为替代方案，计算机系统可提供由硬连线的或以其它方式体现于电路(例如：加速器944)中的逻辑所产生的功能，所述逻辑可代替或连同软件一起操作以执行本文描述的特定过程或特定过程的特定部分。适当时，对软件的引用可涵盖逻辑，且反之亦然。适当时，对计算机可读介质的引用可涵盖存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路或这两种电路。本申请涵盖硬件与软件的任何合适的组合。
尽管本申请描述了若干非限制性实施例，但在本申请的范围内，可以有各种改动、排列组合方式以及各种替代等同物。因此，应该理解，在申请的精神和范围内，本领域技术人员能够设计出各种虽未在本文明确示出或描述、但可以体现本申请的原理的系统和方法。

Claims (15)

1.一种通道间点云属性解码方法，其特征在于，所述方法包括：
从视频数据获得第一重建的残差；
获得第二重建的残差的量化索引；
基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差；以及
通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差对变换残差进行解码，重建点云的点的颜色属性。
2.根据权利要求1所述的方法，其特征在于，所述获得第二重建的残差的量化索引包括：对所述第二重建的残差的量化索引的已编码版本进行熵解码，以获得所述第二重建的残差的量化索引。
3.根据权利要求1所述的方法，其特征在于，所述获得所述第二重建的残差包括：
对所述量化索引进行逆量化；以及
将所述逆量化的量化索引加到所述第一重建的残差之上，以获得所述第二重建的残差。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述第一重建的残差和所述第二重建的残差应用反向YCoCg-R变换，以获得所述变换残差，
其中，所述反向YCoCg-R变换的表达式如下：
t＝Y-(Cg>>1)
G＝Cg+t
B＝t-(Co>>1)
R＝B+Co
其中，Y是亮度值，Co是色度橙色值，Cg是色度绿色值，R是红色值，G是绿色值，B是蓝色值，以及
所述获得点云的点的颜色属性包括：对所述变换残差进行解码，以获得所述点云的所述点的所述颜色属性。
5.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：基于条件检查，判断是否应用所述反向YCoCg-R变换。
6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：基于条件检查，判断是否基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差。
7.根据权利要求6所述的方法，其特征在于，所述条件检查的条件是通道间相关的程度。
8.一种通道间点云属性解码装置，其特征在于，所述装置包括：
第一获得模块，用于从视频数据获得第一重建的残差；
第二获得模块，用于获得第二重建的残差的量化索引；
第三获得模块，用于基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差；以及
第四获得模块，用于通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差对变换残差进行解码，重建点云的点的颜色属性。
9.根据权利要求8所述的装置，其特征在于，所述第二获得模块用于对所述第二重建的残差的量化索引的已编码版本进行熵解码，以获得所述第二重建的残差的量化索引。
10.根据权利要求8所述的装置，其特征在于，所述第三获得模块用于：
对所述量化索引进行逆量化；以及
将所述逆量化的量化索引添加到所述第一重建的残差上，以获得所述第二重建的残差。
11.根据权利要求8所述的装置，其特征在于，所述装置进一步包括应用模块，用于对所述第一重建的残差和所述第二重建的残差应用反向YCoCg-R变换，以获得所述变换残差，
其中，所述反向YCoCg-R变换的表达式如下：
t＝Y-(Cg>>1)
G＝Cg+t
B＝t-(Co>>1)
R＝B+Co
其中，Y是亮度值，Co是色度橙色值，Cg是色度绿色值，R是红色值，G是绿色值，B是蓝色值，以及
所述第四获得模块用于对所述变换残差进行解码，以获得所述点云的所述点的所述颜色属性。
12.根据权利要求11所述的装置，其特征在于，所述装置进一步包括判断模块，所述判断模块用于基于条件检查，判断是否应用所述反向YCoCg-R变换。
13.根据权利要求8所述的装置，其特征在于，所述装置进一步包括判断模块，所述判断模块用于基于条件检查，判断是否基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差。
14.根据权利要求13所述的装置，其特征在于，所述条件检查的条件是通道间相关的程度。
15.一种存储指令的非易失性计算机可读存储介质，其特征在于，所述指令使得至少一个处理器执行权利要求1至7任一项权利要求的方法。
CN202010625781.9A 2019-07-05 2020-07-01 通道间点云属性解码方法、装置以及可读存储介质 Pending CN112188197A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962871081P 2019-07-05 2019-07-05
US62/871,081 2019-07-05
US16/917,107 2020-06-30
US16/917,107 US11202054B2 (en) 2019-07-05 2020-06-30 Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding

Publications (1)

Publication Number Publication Date
CN112188197A true CN112188197A (zh) 2021-01-05

Family

ID=73919840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625781.9A Pending CN112188197A (zh) 2019-07-05 2020-07-01 通道间点云属性解码方法、装置以及可读存储介质

Country Status (2)

Country Link
US (2) US11202054B2 (zh)
CN (1) CN112188197A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634457A (zh) * 2021-01-06 2021-04-09 广西科技大学 基于豪斯多夫距离和平均投影距离局部熵的点云精简方法
WO2022188164A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 点云属性解码方法和点云属性编码方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551334B2 (en) * 2020-01-09 2023-01-10 Tencent America LLC Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
US11816868B2 (en) * 2020-08-14 2023-11-14 Tencent America LLC Coding of multiple-component attributes for point cloud coding
WO2023159428A1 (zh) * 2022-02-24 2023-08-31 Oppo广东移动通信有限公司 编码方法、编码器以及存储介质
WO2024082152A1 (zh) * 2022-10-18 2024-04-25 Oppo广东移动通信有限公司 编解码方法及装置、编解码器、码流、设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085738A (ja) * 2012-09-28 2018-05-31 キヤノン株式会社 残差係数を符号化および復号するための方法、残差サンプルから残差係数を符号化する方法、装置、プログラム、およびコンピュータ可読記憶媒体
US20190052883A1 (en) * 2017-08-09 2019-02-14 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US20190156518A1 (en) * 2017-11-22 2019-05-23 Apple Inc. Point cloud compression with closed-loop color conversion
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技（深圳）有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10964102B2 (en) * 2018-07-09 2021-03-30 Sony Corporation Adaptive sub-band based coding of hierarchical transform coefficients of three-dimensional point cloud
US11284091B2 (en) * 2019-03-25 2022-03-22 Apple Inc. Video based point cloud compression-patch alignment and size determination in bounding box

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085738A (ja) * 2012-09-28 2018-05-31 キヤノン株式会社 残差係数を符号化および復号するための方法、残差サンプルから残差係数を符号化する方法、装置、プログラム、およびコンピュータ可読記憶媒体
US20190052883A1 (en) * 2017-08-09 2019-02-14 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US20190156518A1 (en) * 2017-11-22 2019-05-23 Apple Inc. Point cloud compression with closed-loop color conversion
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技（深圳）有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634457A (zh) * 2021-01-06 2021-04-09 广西科技大学 基于豪斯多夫距离和平均投影距离局部熵的点云精简方法
CN112634457B (zh) * 2021-01-06 2022-07-05 广西科技大学 基于豪斯多夫距离和平均投影距离局部熵的点云精简方法
WO2022188164A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 点云属性解码方法和点云属性编码方法

Also Published As

Publication number Publication date
US11202054B2 (en) 2021-12-14
US20210006765A1 (en) 2021-01-07
US20220030211A1 (en) 2022-01-27
US11671576B2 (en) 2023-06-06

Similar Documents

Publication Publication Date Title
JP7384520B2 (ja) フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム
CN113455007B (zh) 帧间点云属性编解码的方法和装置
US11475604B2 (en) Method and apparatus for adaptive point cloud attribute coding
CN113424547A (zh) 点云属性编解码的加权中值预测的技术和装置
US11671576B2 (en) Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
CN112218077B (zh) 通道间点云属性编码方法、装置以及可读存储介质
CN113795870B (zh) 一种对点云属性编解码的方法、装置及存储介质
RU2769460C1 (ru) Способ и устройство для кодирования коэффициентов трансформации с алфавитным разделением для сжатия облака точек
US11917205B2 (en) Techniques and apparatus for scalable lifting for point-cloud attribute coding
US11551334B2 (en) Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
CN113179411A (zh) 点云属性编解码方法、装置、计算机设备及存储介质
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质
CN112188216A (zh) 视频数据的编码方法、装置、计算机设备及存储介质
CN112616058A (zh) 视频编码或解码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination