CN113455007A - 帧间点云属性编解码的方法和装置 - Google Patents

帧间点云属性编解码的方法和装置 Download PDF

Info

Publication number
CN113455007A
CN113455007A CN202080013302.6A CN202080013302A CN113455007A CN 113455007 A CN113455007 A CN 113455007A CN 202080013302 A CN202080013302 A CN 202080013302A CN 113455007 A CN113455007 A CN 113455007A
Authority
CN
China
Prior art keywords
point cloud
motion estimation
metric
target frame
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080013302.6A
Other languages
English (en)
Other versions
CN113455007B (zh
Inventor
芮世薰
阿拉什·沃索基
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113455007A publication Critical patent/CN113455007A/zh
Application granted granted Critical
Publication of CN113455007B publication Critical patent/CN113455007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种帧间点云属性编解码的方法，由至少一个处理器执行，包括：获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，所述比率为所述目标帧中第一点云样本的数目与所述目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧中的第二点云样本。该方法还包括，确定获取的所述运动估计不可靠性度量是否大于预设阈值；基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过所述目标帧的运动补偿；以及，基于获得的所述运动估计不可靠性度量被确定为小于或等于所述预设阈值，执行所述目标帧的所述运动补偿。

Description

帧间点云属性编解码的方法和装置
相关申请
本申请要求2019年3月22日向美国专利商标局提交的第62/822,765号美国临时申请的优先权，所述申请以全文引用方式并入本申请。
背景技术
领域
各实施例的方法和装置涉及基于图的点云压缩(graph-based point cloudcompression，G-PCC)，具体地，涉及帧间点云属性编解码的方法和装置。
相关申请
世界的高级三维(3D)表示使更加沉浸式的交互和通信成为可能，并且还使机器能够理解、解释并遨游世界。3D点云(point cloud)已经成为实现此类信息的代表。目前已经发现了与点云数据相关联的多个用例，并且已经开发了对点云表示和压缩的相应要求。
点云是3D空间中的一组点，每个点具有相关联的属性，例如颜色、材料属性等。点云可用于将对象或场景重建为这种点的集合。可以在各种环境中使用多个照相机和深度传感器来获得点云，点云可以由数千到数十亿个点组成，能够真实地表示重建的场景。
需要使用压缩技术来减少用于表示点云的数据量。因此，需要针对实时通信和六自由度(six degrees of freedom，6DoF)虚拟现实中的点云进行有损压缩的技术。此外，在用于自主驾驶和文化遗产应用等的动态绘图的场景中，需要对点云进行无损压缩的技术。运动图像专家组(Moving Picture Experts Group，MPEG)已经开始研究一种处理几何和属性的压缩标准，属性可包括例如颜色和反射率、可缩放/渐进编解码、跨越一定时间获得的点云序列的编解码，以及对点云的子集的随机访问。
图1A是G-PCC中生成多细节层次(levels of detail，LoD)的方法的示意图。
如图1A所示，在当前的G-PCC属性编解码中，基于每个3D点(例如，P0-P9)的距离生成每个3D点的LoD(即，组)，然后以基于3D点的LoD的顺序110，而不是原始顺序105，进行预测来对每个LoD中的3D点的属性值进行编码。例如，通过计算编码或解码顺序在3D点P2之前的3D点P0、P5和P4的基于距离的加权平均值来预测3D点P2的一个属性值。
G-PCC中一种当前的锚定方法如下。
首先，计算3D点的邻域的变化率(variability)，以检查相邻值的差异程度，并且如果变化率低于阈值，则使用基于当前点i的一些最近相邻点的距离的线性插值过程来预测属性值(ai)i∈0…k-1，从而进行基于距离的加权均值预测的计算。设
Figure BDA0003202175480000021
为当前点i的k个最近相邻点的集合，设
Figure BDA0003202175480000022
为这些相邻点的已解码/已重建的属性值，并设
Figure BDA0003202175480000023
为它们到当前点i的距离。则预测的属性值
Figure BDA0003202175480000024
由下式给出：
Figure BDA0003202175480000025
注意，当对属性进行编码时，所有点云的几何位置已知。另外，在编码器和解码器处，各相邻点连同它们的已重建的属性值都可用作k维的树结构，该k维树结构用于支持以相同方式对每个点进行最近相邻点搜索。
其次，如果变化率高于阈值，则执行速率失真优化(rate-distortion optimized，RDO)预测因子选择。在生成LoD时，基于近相邻搜索的结果创建多个候选预测因子或候选预测值。例如，当使用预测对3D点P2的属性值进行编码时，将从3D点P2分别到3D点P0、P5和P4的距离的加权平均值的预测因子索引设置为0。然后，将从3D点P2到最近相邻点P4的距离的预测因子索引设置为1。此外，从3D点P2分别到下一个最近相邻点P5和P0的距离的预测因子索引被设置为2和3，如下表1所示。
表1：用于属性编解码的候选预测因子的样本
预测因子索引 预测值
0 平均值
1 P4(第1最近点)
2 P5(第2最近点)
3 P0(第3最近点)
在创建候选预测因子之后，通过进行速率失真优化过程来选择最佳预测因子，之后，将选定的预测因子索引映射到截断一元(truncated unary，TU)码，将对该截断一元码的二进制数进行算术编码。注意，在表1中，较短的TU码将被分配给较小的预测因子索引。
定义候选预测因子的最大数目MaxNumCand，并将其编码到属性头中。在当前实施方案中，候选预测因子的最大数目MaxNumCand被设置为等于numberOfNearestNeighborsInPrediction+1，并且用于利用截断的一元二进制化来对预测因子索引进行编码和解码。
用于G-PCC中的属性编解码的提升变换(lifting transform)建立在上述预测变换之上。预测方案和提升方案之间的主要差别是引入了更新操作符。
图1B是G-PCC中的预测/更新(Prediction/Update，P/U)提升的架构图。为了便于提升中的预测和更新步骤，必须在分解的每个阶段将信号分割成两个高相关性集合。在G-PCC的提升方案中，通过利用LoD结构来执行分割，在该LoD结构中，在各层级之间需要这种高相关性，并且每个层级是通过最近相邻点搜索来构建的，从而将非均匀的点云组织成结构化数据。层级N的P/U分解步骤产生细节信号D(N-1)和近似信号A(N-1)，D(N-1)和A(N-1)被进一步分解为D(N-2)和A(N-2)。重复进行该步骤直到获得基本层近似信号A(1)。
最后，不是对由LOD(N)，…，LOD(1)组成的输入属性信号本身进行编码，而是在提升机制中最终对D(N-1)、D(N-2)、…、D(1)、A(1)进行编码。注意，有效P/U步骤的应用通常导致D(N-1)、…、D(1)中的稀疏子带“系数”，从而提供变换编解码增益优势。
当前，上述用于预测变换的基于距离的加权均值预测作为G-PCC中的锚定法、用于提升机制中的预测步骤。
在G-PCC中的属性编解码的预测和提升中，相邻属性样本的可用性对于压缩效率是重要的，因为更多的相邻属性样本可以提供更好的预测。在没有足够的相邻点用于预测的情况下，压缩效率会受到影响。
发明内容
根据各实施例，由至少一个处理器执行一种帧间点云属性编解码的方法，包括获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，所述比率为所述目标帧中第一点云样本的数目与所述目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧中的第二点云样本。该方法还包括确定获取的所述运动估计不可靠性度量是否大于预设阈值；基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过所述目标帧的运动补偿；以及基于获得的所述运动估计不可靠性度量被确定为小于或等于所述预设阈值，执行所述目标帧的所述运动补偿。
各实施例，一种用于帧间点云属性编解码的装置包括至少一个存储器，用于存储计算机程序代码，以及至少一个处理器，用于访问所述至少一个存储器并根据所述计算机程序代码进行操作。所述计算机程序代码包括获取代码，用于使得所述至少一个处理器获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，所述比率为所述目标帧中第一点云样本的数目与所述目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧的第二点云样本。所述计算机程序代码还包括识别代码，用于使得所述至少一个处理器确定获得的所述运动估计不可靠性度量是否大于预设阈值；跳过代码，用于使得所述至少一个处理器基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过所述目标帧的运动补偿；以及执行代码，用于使得所述至少一个处理器基于获得的所述运动估计不可靠性度量被确定为小于或等于所述预设阈值，执行所述目标帧的运动补偿。
一种非易失性计算机可读存储介质，存储有指令，所述指令使得至少一个处理器获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，所述比率为所述目标帧中第一点云样本的数目与所述目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧中的第二点云样本。所述指令还使得至少一个处理器确定获取的所述运动估计不可靠性度量是否大于预设阈值；基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过所述目标帧的运动补偿；以及基于获得的所述运动估计不可靠性度量被确定为小于或等于所述预设阈值，执行所述目标帧的所述运动补偿。
附图说明
图1A是G-PCC中生成LoD的方法的示意图。
图1B是G-PCC中P/U提升的架构的示意图。
图2是一些实施例的通信系统的框图。
图3是一些实施例的G-PCC压缩器和G-PCC解压缩器在环境中的部署示意图。
图4是一些实施例的G-PCC压缩器的功能框图。
图5是一些实施例的G-PCC解压缩器的功能框图。
图6是一些实施例的帧间点云属性编码方法的流程图。
图7是一些实施例的帧间点云属性编码的装置的框图。
图8是适于实现一些实施例的计算机系统的示意图。
具体实施方式
本文描述的实施例提供了一种用于帧间点云属性编解码的方法和装置。具体地，除了使用相同点云帧内的属性值之外，还将来自不同时刻的其它点云帧的属性值用于G-PCC中的预测。该方法和装置可以用于改进差分脉冲编码调制(Differential Pulse CodeModulation，DPCM)中的预测(也称为预测变换)或G-PCC中的提升预测步骤(也称为提升变换)。空间-时间预测的方法和装置也可以用于任何具有相似结构的编解码器。通过从其它帧中的对应位置提供样本属性值，该方法和装置可以改善预测性能，尤其是当前帧中的点云样本比较稀少时。
图2是各实施例的通信系统200的框图。通信系统200可以包括经由网络250互连的至少两个终端210和220。对于数据的单向传输，第一终端210可以对本地位置处的点云数据进行编码，以经由网络250传输到第二终端220。第二终端220可以从网络250接收第一终端210的已编码的点云数据，对已编码的点云数据进行解码并显示已解码的点云数据。单向数据传输在媒体服务应用等中可能比较常见。
图2进一步示出了第二对终端230和240，第二对终端230和240用于支持已编码的点云数据的双向传输，例如在视频会议期间进行的双向传输。对于数据的双向传输，各个终端230或240可以对在本地位置处拍摄到的点云数据进行编码，以经由网络250传输到另一终端。各个终端230或240还可以接收由另一终端传输的已编码的点云数据，可以对已编码的点云数据进行解码，并且可以在本地显示设备处显示已解码的点云数据。
在图2中，终端210-240可以描绘为服务器、个人计算机和智能电话，但是各实施例的原理不限于此。实施例可用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络250表示在终端210-240之间传输已编码的点云数据的任何数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络250可以在电路交换和/或分组交换信道中交换数据。典型网络包括电信网络、局域网、广域网和/或因特网。对于实现本文的目的，除非下文中有特别解释，网络250的架构和拓扑结构对于各实施例的操作可能是不重要的。
图3是各实施例的G-PCC压缩器303和G-PCC解压缩器310在环境中的部署示意图。本申请主题可以同样适用于其它支持点云的应用，包括例如视频会议、数字电视、将已压缩的点云数据存储在数字媒体上的应用等，数字媒体包括CD、DVD、记忆棒等。
流媒体系统300可以包括拍摄子系统313。拍摄子系统313可以包括创建例如未压缩的点云数据302的点云源301，例如数码相机。具有较高数据量的点云数据302可以由与点云源301耦接的G-PCC压缩器303进行处理。G-PCC压缩器303可以包括硬件、软件或其组合，以实现或实施如下文详细描述的本申请主题的各方面。已编码的点云数据304具有较低的数据量，可以存储在流媒体服务器305上以备将来使用。一个或多个流媒体客户端306和308可以访问流媒体服务器305以提取已编码的点云数据304的副本307和309。客户端306可包括G-PCC解压缩器310。G-PCC解压缩器310对已编码的点云数据的传入副本307进行解码并且创建传出点云数据311。传出点云数据311可被呈现在显示器312或其它呈现设备(未示出)上。在一些流媒体系统中，已编码的点云数据304、307和309可以根据视频编解码/压缩标准进行编码。这些标准的示例包括由MPEG为G-PCC开发的那些标准。
图4是各实施例的G-PCC压缩器303的功能框图。
如图4所示，G-PCC压缩器303包括量化器405、点去除模块410、八叉树编码器415、属性传送模块420、LoD生成器425、预测模块430、量化器435和算术编码器440。
量化器405接收输入点云中的点的位置。位置可以是(x，y，z)坐标。量化器405进一步使用例如缩放算法和/或移位算法对所接收的位置进行量化。
点去除模块410从量化器405接收量化位置，并从所述接收的量化位置中去除或过滤掉重复的位置。
八叉树编码器415从点去除模块410接收滤波后的位置，并使用八叉树编码算法对所接收的过滤后的位置进行编码，生成表示输入点云的八叉树的占用符号。八叉树对应的输入点云的边界框可以是任何3D形状，例如立方体。
八叉树编码器415进一步基于对过滤后的位置的编码，对所述接收的过滤后的位置重新排序。
属性传送模块420接收输入点云中的点的属性。属性可以包括，例如每个点的颜色或RGB值和/或反射率。属性传送模块420进一步从八叉树编码器415接收重新排序后的位置。
属性传送模块420进一步基于所述接收的重新排序后的位置对所接收的属性进行更新。例如，属性传送模块420可以对所接收的属性执行各预处理算法中的一个或多个预处理算法。各预处理算法包括，例如对所接收的属性进行加权和平均以及对所接收的属性中的附加属性进行插值。属性传送模块420进一步将更新后的属性传送到预测模块430。
LoD生成器425从八叉树编码器415接收重新排序后的位置，并获取所接收的重新排序后的位置对应的每个点的LoD。每个LoD可以被认为是一组点，并且可以基于每个点的距离来获得。例如，如图1A所示，点P0、P5、P4和P2可以在LoD的LOD0中，点P0、P5、P4、P2、P1、P6和P3可以在LoD的LOD1中，而点P0、P5、P4、P2、P1、P6、P3、P9、P8和P7可以在LoD的LOD2中。
预测模块430从属性传送模块420接收所传送的属性，并且从LoD生成器425接收所获得的每个点的LoD。预测模块430通过以基于每个点的所接收的LoD的顺序对所接收的属性执行预测算法来分别获取所接收的属性的预测残差(值)。预测算法可以包括各种预测算法中的任一种，例如插值、加权平均计算、最近邻居算法和率失真优化(rate distortionoptimization，RDO)。
例如，如图1A所示，在获得分别包括在LoD的LOD1和LOD2中的点P1、P6、P3、P9、P8和P7的所接收属性的预测残差之前，可以首先分别获得包括在LoD的LOD0中的点P0、P5、P4和P2的所接收属性的预测残差。可以通过基于点P0、P5和P4的加权平均来计算距离，从而获得点P2的所接收属性的预测残差。
量化器435从预测模块430接收所获得的预测残差，并使用例如缩放算法和/或移位算法对所接收的预测残差进行量化。
算术编码器440从八叉树编码器415接收占用符号，并从量化器435接收量化后的预测残差。算术编码器440对所接收的占用符号和量化后的预测残差执行算术编码以获得压缩后的比特流。算术编码可以包括各种熵编码算法中的任何一种，例如上下文自适应二进制算术编码。
图5是各实施例的G-PCC解压缩器310的功能框图。
如图5所示，G-PCC解压缩器310包括算术解码器505、八叉树解码器510、逆量化器515、LoD生成器520、逆量化器525和逆预测模块530。
算术解码器505从G-PCC压缩器303接收压缩后的比特流，并对所接收的压缩后的比特流执行算术解码以获得占用符号和量化后的预测残差。算术解码可以包括各种熵解码算法中的任何一种，例如上下文自适应二进制算术解码。
八叉树解码器510从算术解码器505接收获得的占用符号，并使用八叉树解码算法对所接收的占用符号进行解码，得到量化后的位置。
逆量化器515从八叉树解码器510接收量化后的位置，并使用例如缩放算法和/或移位算法对所接收的量化后的位置进行逆量化，以获得输入点云中的点的重构位置。
LoD生成器520从八叉树解码器510接收量化后的位置，并且获取所接收的量化后的位置对应的每个点的LoD。
逆量化器525接收所获得的量化后的预测残差，并使用例如缩放算法和/或移位算法对所接收的量化后的预测残差进行逆量化，以获取得重构的预测残差。
逆预测模块530从逆量化器525接收所获得的重构的预测残差，并从LoD生成器520接收所获得的每个点的LoD。逆预测模块530通过以每个点的所接收的LoD的顺序对所接收的重构的预测残差施加预测算法来获得所接收的重构的各预测残差的重构属性。预测算法可以包括各种预测算法中的任何一种，例如插值、加权平均计算、最近邻居算法和RDO。重构属性是输入点云内的点的重构属性。
以下详细描述用于帧间点云属性编码的方法和装置。该方法和装置可以在上述G-PCC压缩器303，即预测模块430中实现。该方法和装置还可以在G-PCC解压缩器310，即逆预测模块530中实现。
运动估计和补偿
一些实施例中，可以执行基于几何或基于联合几何/属性的全局/局部运动估计。
详细地，在点云压缩的环境中，当执行属性编解码时，几何信息，例如点云的位置，是已知的。可以利用或结合该信息来执行运动估计，以补偿当前帧和参考帧中存在的任何局部或全局运动。
因为对稀疏点云数据执行运动估计可能是困难的或不可靠的，可以获取运动估计不确定度度量me_uncertianty，作为运动估计的结果。例如，运动估计不确定度量度可以基于具有相似运动匹配得分的候选目标样本的数目，或这种得分的阈值测试。可以通过一种机制，例如块匹配过程，来获得每个运动匹配分数。
运动估计不确定度度量me_uncertianty(当大于预设阈值时)可以停用/启用帧间预测，或可以在预测中确定缩放或加权因子时使用。
修改的最近相邻点搜索
一些实施例中，以类似G-PCC中的方式采用最近相邻点云的预测可以将来自其它帧的相邻样本视为附加候选项。
G-PCC设计以如下方式产生点云的多个LoD层。首先，使用Morton码对原始点云和参考点云进行排序。
接着，根据样本距离，从顶部LoD层到底部LoD层依次对原始点云进行采样。然后，对属于LoD的每个点进行最近相邻点搜索。然后为每个点云建立近邻列表，其中，几何上更接近的样本出现在列表的靠前部分。
一些实施例中，以下规定进一步便于用帧间云来建立最近相邻点列表。定义标志interframe用于指示最近相邻样本是帧内还是帧间。定义变量framenum用于指示从当前点云帧开始的图片顺序计数(Picture Order Count，POC)中的帧号或偏移量。定义帧间最近相邻样本的最大数目MaxInterNN。
此外，每当将新的候选点云样本与已经在列表中的候选点云样本进行比较时，定义距离的概念。在该帧内/帧间混合预测的环境中，引入称为时间-空间尺度(Temporal-to-Spatial Scale，TSScale)和时间-空间便宜(Temporal-to-Spatial Offset，TSOffset)的变量以反映属性值在帧间可能的变化程度。如果这些值比较大，则由于时间距离、可能的快速运动、场景变化等，属性值变化的可能性较高。在这种情况下，具有相似的3D坐标与属性值的接近度相关性较小。
一些实施例中，在最近相邻点搜索及其在预测的稍后阶段的使用中，TSScale可以用于按时间对空间距离的相对接近度进行放大/缩小，而TSOffset可以用于在对帧进行假设“合并”以在混合的帧内和帧间云样本中进行选择时，对参考帧中的点的3D坐标添加一个偏移量。此“合并”将帧间样本视为当前帧中的样本，在此情况下在相同3D位置处可能存在多个候选预测样本。
一些实施例中，增加选项以对候选最近相邻样本的顺序进行重排。编码器(G-PCC压缩器303)可以基于运动估计的置信度(即，me_uncertianty)用信号表示候选列表的构造方式或将时间维度距离反映在帧间候选点云样本的加权平均值或权重计算中的方式。
各实施例中，一种计算运动估计不可靠性度量me_uncertainty的方法包括计算其反比例值，例如具有(即，匹配或对应于)来自其它帧的至少一个帧间参考点云样本的当前目标帧点云样本的数目与当前目标帧中的点云样本的数目的比率。可以通过上述建议修改的帧间点云的最近相邻点搜索来找到来自其它帧的至少一个帧间参考点云样本。该比率越小，运动估计越不确定。这是因为，作为经建议修改的最近相邻点搜索的输出，本公开所描述的每时空距离度量的时间预测候选点将被包括在最近相邻点列表中。该列表中具有许多这样的候选点会导致比率数较大，且意味着当前目标帧和参考帧通过显式运动补偿或由于场景和对象的静态不动性质而合理地处于良好的匹配中。
一个例子中，基于运动估计不可靠性度量大于预设阈值，编码器和解码器(G-PCC解压缩器310)可以同意跳过当前或目标帧的运动补偿。这个过程是可能的，因为在编码器和解码器处都执行修改后的最近相邻点搜索。因此，不需要额外的开销信令。对于G-PCC尤其是这样。这个过程可以以自适应方式指定整个点云数据的一些部分，其中，运动补偿在预测/变换之前执行。
属性的G-PCC预测变换的应用
1、RDO索引编解码
上述实施例可以应用于如上所述的基于RDO的预测因子选择。具体地，在某些条件下提供了为时间候选项(interframe＝1)分配较高优先级的规定。一些实施例中，当运动估计不确定度度量me_uncertainty较低时，通过较早地将时间候选项加入最近相邻点列表中，从而为时间候选项分配较高的优先级，反之亦然。这包括当运动估计不确定度度量me_uncertainty高于预设阈值时，从最近相邻点列表中去除一个时间候选项。当存在多个帧间候选项时，将具有较近时间距离(如由framenum所指示)的候选点云样本较早地放入列表中。
RDO编码器(G-PCC压缩器303)和解码器(G-PCC解压缩器310)可以对帧间选择进行跟踪，并以同步方式进行自适应索引顺序切换。此外，帧间候选项的数目MaxInterNN可以根据以上条件自适应地改变。
2、基于距离的均值预测
上述实施例可以应用于上述距离加权均值预测。具体地，当运动估计不确定度度量me_uncertainty较高时，不将帧间候选项纳入加权平均值中。
各实施例中，使用如下的帧间和帧内最近相邻样本值an′s(n＝1,…,N)来定义当前点云的属性值的距离加权均值预测
Figure BDA0003202175480000101
Figure BDA0003202175480000102
这里第n个样品的权重可以以如下方式确定：
Figure BDA0003202175480000103
其中p是具有属性a的当前点云样本的位置，而pn是具有对应属性值an的第n个相邻样本的位置。参数TSScale和TSOffset按照以上对于帧间最近相邻点的描述来分配。对于帧内最近相邻点，TSScale设置为1，而TSOffset设置为0。
图6是各实施例的帧间点云属性编码的方法600的流程图。一些实施方式中，图6的一个或多个过程框可以由G-PCC解压缩器310执行。一些实施方式中，图6的一个或多个过程框可以由与G-PCC解压缩器310分离的或者包括G-PCC解压缩器310的另一设备或一组设备(例如G-PCC压缩器303)执行。
参考图6，在第一方框610中，方法600包括，获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，该比率为目标帧中第一点云样本的数目与目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧中的第二点云样本。
在第二方框620中，方法600包括，确定所获得的运动估计不可靠性度量是否大于预设阈值。
在第三方框630中，方法600包括，基于所获得的运动估计不可靠性度量被确定为大于预设阈值，跳过目标帧的运动补偿。
在第四方框640中，方法600包括，基于所获得的运动估计不可靠性度量被确定为小于或等于预设阈值，执行目标帧的运动补偿。
运动估计不可靠性度量的值较小可以指示运动估计的不确定性较大，而运动估计不可靠性度量的值较大可以指示运动估计的不确定性较小。
该方法还可以包括，使用最近相邻点搜索算法获得多个第二点云样本。
该方法还可以包括，基于所获得的运动估计不可靠性度量被确定为大于预设阈值，跳过对目标帧中包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
该方法还可以包括，执行对进行运动补偿的目标帧所包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
该属性可以包括该点的颜色值和反射率值中的两者之一或两者。
执行该预测可以包括，对该属性进行预测变换或提升变换。
尽管图6示出了方法600的示例框，但是在一些实现方式中，与图6所描绘的那些框相比，方法600可以包括更多的框、更少的框、不同的框，或者不同排列的框。另外或可替换地，方法600的两个或更多个框可以并行执行。
进一步地，所提出的方法可以由硬件模块或处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现。例如，至少一个处理器执行存储在非易失性计算机可读介质中的程序，从而实现至少一个所提出的方法。
图7是一些实施例的帧间点云属性编解码的装置700的示意框图。
参考图7，装置700包括获取代码710、识别代码720、跳过代码730和执行代码740。
获取代码710用于，使得至少一个处理器获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，该比率为目标帧中第一点云样本的数目与目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧的第二点云样本。
识别代码720用于，使得至少一个处理器确定所获得的运动估计不可靠性度量是否大于预设阈值。
跳过代码730用于，使得至少一个处理器基于所获得的运动估计不可靠性度量被确定为大于预设阈值，跳过目标帧的运动补偿。
执行代码740用于，使得至少一个处理器基于所获得的运动估计不可靠性度量被确定为小于或等于预设阈值，执行目标帧的运动补偿。
运动估计不可靠性度量的值较小可以指示运动估计的不确定性较大，而运动估计不可靠性度量的值较大可以指示运动估计的不确定性较小。
获取代码710还可以用于，使得至少一个处理器使用最近相邻点搜索算法获得多个第二点云样本。
跳过代码730还可以用于，使得至少一个处理器基于所获得的运动估计不可靠性度量被确定为大于预设阈值，跳过对目标帧中包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
执行代码740还可以用于，使得至少一个处理器执行对进行运动补偿的目标帧所包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
该属性可以包括点的颜色值和反射率值中的两者之一或两者。
执行代码740还可以用于，使得至少一个处理器对该属性进行预测变换或提升变换。
图8是适于实现各实施例的计算机系统800的示意图。
计算机软件可利用任何合适的机器代码或计算机语言来编码，可采用汇编、编译、链接或类似机制生成指令代码。这些指令代码可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过代码解释、微代码执行等操作来执行。
这些指令可在多种类型的计算机或计算机组件中执行，包括，例如，个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
图8所示的用于计算机系统800的组件本质上是示例性的，而非意图对实现本申请实施例的计算机软件的使用或功能范围做任何限制。各组件的配置方式也不应被解释为依赖或需要该非限制性实施例的计算机系统800示出的任一个组件或组件组合。
计算机系统800可包括一些人机接口输入设备。该人机接口输入设备可响应一个或多个人类用户的输入，例如触感输入(如：按键、滑动操作、数字手套移动)、音频输入(如：语音、拍手声)、可视输入(如：姿态)、嗅觉输入(未示出)。人机接口设备还可用于采集一些媒体信息，这些媒体信息不一定与人类有意识的输入直接相关，如音频(如：讲话、音乐、环境声音)、图像(如：扫描图像、从静态图像照相机获取的照片图像)、视频(如二维视频、三维视频，包括立体视频)。
人机接口输入设备可包括以下一个或多个(每种仅示出一个)：键盘801、鼠标802、触控板803、触摸屏810、操纵杆805、麦克风806、扫描仪807、照相机808。
计算机系统800还可包括一些人机接口输出设备。人机接口输出设备可激发一个或多个人类用户的感觉，通过例如，触感输出、声音、光，以及气味/味道。该人机接口输出设备可包括触感输出设备(例如触摸屏810或操纵杆805的触感反馈，但也可存在不作为输入设备的触感反馈设备)。例如，这种设备可以是音频输出设备(如：扬声器809、耳机(未示出))、通过图形适配器850耦合到系统总线848的可视输出设备(如屏幕810，包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，每一个可以具有或不具有触摸屏输入能力，每一个可以具有或不具有触感反馈能力——其中一些能够输出二维可视输出，或通过如立体显示输出等手段输出三维以上的输出；虚拟现实眼镜(未示出)、全息照相显示器和烟柜(未示出))，以及打印机(未示出)。
计算机系统800还可包括人类可访问存储设备及其相关介质，例如包括具有CD/DVD的CD/DVDROM/RW 820的光介质或类似介质821、指状驱动器822、可移除硬盘驱动器或固态驱动器823、传统磁性介质如磁带和软盘(未示出)、基于专业ROM/ASIC/PLD的设备如安全加密狗(未示出)等。
本领域技术人员还应理解，结合本申请公开的主题有关的术语“计算机可读介质”不包含传输介质、载波或其它暂时性信号。
计算机系统800还可包括可连接一个或多个通信网络855的接口。通信网络855可以是，例如，无线网络、有线网络、光网络。通信网络855还可是局域网、广域网、城域网、车连网和工业网络、实时网络、容迟网络等。通信网络855的示例包括局域网(例如以太网、无线LAN、蜂窝网络，包括GSM、3G、4G、5G、LTE等)、TV有线或无线广域数字网络(包括有线TV、卫星TV和地面广播TV)、车连网和工业网络(包括CAN总线)等。一些通信网络855通常需要外部网络接口适配器，连接至一些通用数据端口或外围设备总线849(如计算机系统800的USB端口)；其它网络通常通过连接到如下所述的系统总线而集成在计算机系统800的内核中(例如，网络接口854包括集成在PC计算机系统中的以太网接口或集成在智能电话计算机系统中的蜂窝网络接口)。利用任一种网络855，计算机系统800可与其它实体通信。该通信可为单向通信，例如仅接收(例如广播TV)、单向仅发送(例如从CAN总线到一些CAN总线设备)。该通信也可以为双向通信，例如利用局域或广域数字网络与其它计算机系统的通信。上述网络855和网络接口854的每一个可以采用某些协议和协议栈。
前述人机接口设备、人类可访问存储设备和网络接口854可连接至计算机系统800的内核840。
内核840可包括一个或多个中央处理单元(CPU)841、图形处理单元(GPU)842、现场可编程门阵列(FPGA)843形式的专用可编程处理单元，用于特定任务844的硬件加速器等。以上设备，以及只读存储器(ROM)845、随机存取存储器846、内部大容量存储847如内部非用户可访问的硬盘驱动、SSD等，可连接到系统总线848。在一些计算机系统中，系统总线848可以通过一个或多个物理插头的形式访问，从而能够利用额外的CPU、GPU等进行扩展。外围设备可直接连接到核的系统总线848，也可连接到外围设备总线849。外围设备总线的体系结构包括PCI、USB等。
CPU 841、GPU 842、FPGA 843和硬件加速器844可执行一些指令，这些指令组合起来可构成前述计算机代码。该计算机代码可存储于ROM 845或RAM 846中。中间数据还可存储在RAM 846中，永久数据可存储在，例如，内部大容量存储设备847中。可通过使用缓存设备实现对任何存储设备的快速存储和读取，该缓存设备可紧密关联到一个或多个CPU 841、GPU 842、大容量存储器847、ROM 845、RAM 846等。
计算机可读媒体中可存储有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可为本申请公开的目的专门设计和建造，或者可为计算机软件领域的技术人员所公知类型的、可用的类型。
作为示例而非限定性的、具有体系架构的计算机系统800，特别是内核840，的功能可通过处理器(包括CPU、GPU、FPGA、加速器等)执行由一个或多个有形的计算机可读介质体现的软件产生。该计算机可读介质可以是以上关联于用户可访问的大容量存储设备的介质，以及内核840中非暂存性质的一些存储设备，如核内部的大容量存储设备847或ROM845。实现本申请公开各实施例的软件可存储于上述设备并由内核840执行。根据需要，计算机可读介质可包括一个或多个存储设备或芯片。上述软件可使内核840，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文描述的过程，或上述过程的一些部分，包括定义存储于RAM 846的数据结构，根据软件定义的过程修改该数据结构。作为附加方案或替代方案，该计算机系统的功能可由电路(例如：加速器844)提供，该电路可以通过逻辑硬连线或其它方式实现。该电路运转时，可代替软件或与软件配合的方式，以执行本文描述的过程，或过程的一些部分。在适当的情况下，所说的软件可包括逻辑，反之亦然。在适当的情况下，所说的计算机可读介质可包括存储软件用于执行的(如集成电路(IC))、用于实现需要执行的逻辑的电路，或其组合。本申请公开包括任何合适的硬件和软件的组合。
尽管本申请公开已描述一些非限定性实施例，但本申请公开的范围内仍然存在一些具有小改动的实施方式、变换顺序的实施方式、以及各种替代性的等同实施方式。因此应当理解，尽管本文未明确示出或描述，本领域技术人员能够提出多种能够实现本申请公开的原理的系统和方法，因此这些系统和方法仍然属于本申请公开的精神和范围内。

Claims (20)

1.一种帧间点云属性编解码的方法，由至少一个处理器执行，其特征在于，包括：
获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，所述比率为所述目标帧中第一点云样本的数目与所述目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧中的第二点云样本；
确定获取的所述运动估计不可靠性度量是否大于预设阈值；
基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过所述目标帧的运动补偿；以及
基于获得的所述运动估计不可靠性度量被确定为小于或等于所述预设阈值，执行所述目标帧的所述运动补偿。
2.根据权利要求1所述的方法，其特征在于，所述运动估计不可靠性度量的值较小指示所述运动估计的不确定性较大，且
所述运动估计不可靠性度量的值较大指示所述运动估计的不确定性较小。
3.根据权利要求1所述的方法，其特征在于，进一步包括：使用最近相邻点搜索算法获得所述第二点云样本。
4.根据权利要求1所述的方法，其特征在于，进一步包括：基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过对所述目标帧中包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
5.根据权利要求1所述的方法，其特征在于，进一步包括：执行对进行运动补偿的所述目标帧所包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
6.根据权利要求5所述的方法，其特征在于，所述属性包括所述点的颜色值和反射率值中的两者之一或两者。
7.根据权利要求5所述的方法，其特征在于，所述执行预测包括对所述属性进行预测变换或提升变换。
8.一种用于帧间点云属性编解码的装置，其特征在于，包括：
至少一个存储器，用于存储计算机程序代码；以及
至少一个处理器，用于访问所述至少一个存储器并根据所述计算机程序代码进行操作，所述计算机程序代码包括：
获取代码，用于使得所述至少一个处理器获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，所述比率为所述目标帧中第一点云样本的数目与所述目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧的第二点云样本；
识别代码，用于使得所述至少一个处理器确定获得的所述运动估计不可靠性度量是否大于预设阈值；
跳过代码，用于使得所述至少一个处理器基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过所述目标帧的运动补偿；以及
执行代码，用于使得所述至少一个处理器基于获得的所述运动估计不可靠性度量被确定为小于或等于所述预设阈值，执行所述目标帧的运动补偿。
9.根据权利要求8所述的装置，其特征在于，所述运动估计不可靠性度量的值较小指示所述运动估计的不确定性较大，且
所述运动估计不可靠性度量的值较大指示所述运动估计的不确定性较小。
10.根据权利要求8所述的装置，其特征在于，所述获取代码进一步用于使得所述至少一个处理器使用最近相邻点搜索算法获得所述第二点云样本。
11.根据权利要求8所述的装置，其特征在于，所述跳过代码进一步用于使得所述至少一个处理器基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过对所述目标帧中包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
12.根据权利要求8所述的装置，其特征在于，所述执行代码进一步用于使得所述至少一个处理器执行对所述目标帧中包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
13.根据权利要求12所述的装置，其特征在于，所述属性包括所述点的颜色值和反射率值中的两者之一或两者。
14.根据权利要求12所述的装置，其特征在于，所述执行代码进一步用于使得所述至少一个处理器对所述属性进行预测变换或提升变换。
15.一种非易失性计算机可读存储介质，存储有指令，其特征在于，所述指令使得至少一个处理器：
获取与一比率成反比的值作为目标帧的运动估计的运动估计不可靠性度量，所述比率为所述目标帧中第一点云样本的数目与所述目标帧中的点云样本的数目的比率，其中，所述第一点云样本分别具有帧间参考帧中的第二点云样本；
确定获取的所述运动估计不可靠性度量是否大于预设阈值；
基于获得的所述运动估计不可靠性度量被确定为大于所述预设阈值，跳过所述目标帧的运动补偿；以及
基于获得的所述运动估计不可靠性度量被确定为小于或等于所述预设阈值，执行所述目标帧的所述运动补偿。
16.根据权利要求15所述的非易失性计算机可读存储介质，其特征在于，所述运动估计不可靠性度量的值较小指示所述运动估计的不确定性较大，且
所述运动估计不可靠性度量的值较大指示所述运动估计的不确定性较小。
17.根据权利要求15所述的非易失性计算机可读存储介质，其特征在于，所述指令进一步使得所述至少一个处理器使用最近相邻点搜索算法获得所述第二点云样本。
18.根据权利要求15所述的非易失性计算机可读存储介质，其特征在于，所述指令进一步使得所述至少一个处理器基于所述所获得的运动估计不可靠性度量被确定为大于所述预设阈值，跳过对所述目标帧中包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
19.根据权利要求15所述的非易失性计算机可读存储介质，其特征在于，所述指令进一步使得所述至少一个处理器执行对所述目标帧中包括的多个点云样本中的一个点云样本中的一个点的属性的预测。
20.根据权利要求19所述的非易失性计算机可读存储介质，其特征在于，所述属性包括所述点的颜色值和反射率值中的两者之一或两者。
CN202080013302.6A 2019-03-22 2020-03-20 帧间点云属性编解码的方法和装置 Active CN113455007B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962822765P 2019-03-22 2019-03-22
US62/822,765 2019-03-22
PCT/US2020/023767 WO2020197966A1 (en) 2019-03-22 2020-03-20 Method and apparatus for interframe point cloud attribute coding

Publications (2)

Publication Number Publication Date
CN113455007A true CN113455007A (zh) 2021-09-28
CN113455007B CN113455007B (zh) 2023-12-22

Family

ID=72514089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013302.6A Active CN113455007B (zh) 2019-03-22 2020-03-20 帧间点云属性编解码的方法和装置

Country Status (5)

Country Link
US (1) US10986364B2 (zh)
EP (1) EP3871421A4 (zh)
JP (1) JP7263521B2 (zh)
CN (1) CN113455007B (zh)
WO (1) WO2020197966A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114503586A (zh) * 2019-10-03 2022-05-13 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
KR102423499B1 (ko) * 2020-01-07 2022-07-22 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11551334B2 (en) * 2020-01-09 2023-01-10 Tencent America LLC Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
US20230154052A1 (en) * 2020-04-24 2023-05-18 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
WO2022075428A1 (ja) * 2020-10-09 2022-04-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20230412837A1 (en) * 2020-11-06 2023-12-21 Lg Electronics Inc. Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
CN113589274B (zh) * 2021-06-24 2023-10-13 森思泰克河北科技有限公司 脚踢信号识别方法、装置及终端
CN113344123B (zh) * 2021-06-29 2024-05-14 广州文远知行科技有限公司 点云帧匹配方法、装置、设备和存储介质
US20230045663A1 (en) * 2021-07-05 2023-02-09 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP4369716A1 (en) * 2021-07-20 2024-05-15 LG Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN113613017B (zh) * 2021-07-27 2024-04-19 闽都创新实验室 一种三维帧间预测改进v-pcc帧间预测的方法
CN117378204A (zh) * 2021-08-12 2024-01-09 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机可读存储介质
CN114025146B (zh) * 2021-11-02 2023-11-17 浙江工商大学 基于场景流网络与时间熵模型的动态点云几何压缩方法
WO2023085856A1 (ko) * 2021-11-11 2023-05-19 엘지전자 주식회사 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
WO2023131136A1 (en) * 2022-01-04 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
GB2620453A (en) * 2022-07-08 2024-01-10 Canon Kk Method and apparatus for compression and encoding of 3D dynamic point cloud

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347120A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252921A (ja) * 2004-03-08 2005-09-15 Matsushita Electric Ind Co Ltd 画像符号化方法、画像符号化装置、記録媒体、および画像復号化装置
US9426414B2 (en) * 2007-12-10 2016-08-23 Qualcomm Incorporated Reference selection for video interpolation or extrapolation
JP5834259B2 (ja) * 2011-06-30 2015-12-16 パナソニックＩｐマネジメント株式会社 薬剤計数装置およびその方法
US9930250B2 (en) * 2013-09-15 2018-03-27 Mediatek Inc. Method and apparatus for performing image processing operation based on frame/algorithm selection
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
KR20230051319A (ko) * 2016-07-08 2023-04-17 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
US10462485B2 (en) * 2017-09-06 2019-10-29 Apple Inc. Point cloud geometry compression

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347120A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOSHIYASU SUGIO等: "PCC Adaptive predictor selection for attributes coding in TMC13 related to CE13.3", MPEG MEETING *

Also Published As

Publication number Publication date
WO2020197966A1 (en) 2020-10-01
US10986364B2 (en) 2021-04-20
CN113455007B (zh) 2023-12-22
JP2022516851A (ja) 2022-03-03
US20200304829A1 (en) 2020-09-24
EP3871421A1 (en) 2021-09-01
JP7263521B2 (ja) 2023-04-24
EP3871421A4 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
CN113455007B (zh) 帧间点云属性编解码的方法和装置
CN113475083B (zh) 帧间点云属性编解码的方法和装置
CN113424547B (zh) 点云属性编解码的方法和装置
US11475604B2 (en) Method and apparatus for adaptive point cloud attribute coding
US11202054B2 (en) Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
CN113795870B (zh) 一种对点云属性编解码的方法、装置及存储介质
US20220292639A1 (en) Techniques and apparatus for alphabet-partition coding of transform coefficients for point cloud compression
US11551334B2 (en) Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
CN112218077B (zh) 通道间点云属性编码方法、装置以及可读存储介质
CN112188199B (zh) 自适应点云属性编码的方法、装置、电子设备和存储介质
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052091

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant