CN113475083B - 帧间点云属性编解码的方法和装置 - Google Patents
帧间点云属性编解码的方法和装置 Download PDFInfo
- Publication number
- CN113475083B CN113475083B CN202080013022.5A CN202080013022A CN113475083B CN 113475083 B CN113475083 B CN 113475083B CN 202080013022 A CN202080013022 A CN 202080013022A CN 113475083 B CN113475083 B CN 113475083B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- nearest neighbor
- sample
- inter
- motion estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000033001 locomotion Effects 0.000 claims abstract description 57
- 230000002123 temporal effect Effects 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
各实施例提供帧间点云属性编解码的方法和装置。一种帧间点云属性编码方法包括,基于与点云关联的几何数据计算运动估计不确定度值,响应于确定所述运动估计不确定度值小于阈值,识别所述点云对应的至少一个帧间最近相邻点云样本。该方法还包括,基于所述运动估计不确定度值对与所识别的至少一个帧间最近相邻点云样本相关联的至少一个时间候选点进行排序,并从所述至少一个时间候选点中提取至少一个样本属性值,其中所述至少一个样本属性值对应于所述几何数据。
Description
相关申请
本申请要求2019年3月20日提交的第62/821,068号美国临时申请的优先权、以及2020年3月19日提交的第16/823,994号美国申请的优先权,所述申请以全文引用方式并入本申请。
背景技术
领域
各实施例的方法和装置涉及基于图的点云压缩(graph-based point cloudcompression,G-PCC),具体涉及帧间点云属性编解码的方法和装置。
相关申请
世界的高级三维(3D)表示使更加沉浸式的交互和通信成为可能,并且还使机器能够理解、解释并遨游世界。3D点云(point cloud)已经成为实现此类信息的代表。目前已经发现了与点云数据相关联的多个用例,并且已经开发了对点云表示和压缩的相应要求。
点云是3D空间中的一组点,每个点具有相关联的属性,例如颜色、材料属性等。点云可用于将对象或场景重建为这种点的集合。可以在各种环境中使用多个照相机和深度传感器来获得点云,点云可以由数千到数十亿个点组成,能够真实地表示重建的场景。
需要使用压缩技术来减少用于表示点云的数据量。因此,需要针对实时通信和六自由度(six degrees of freedom,6DoF)虚拟现实中的点云进行有损压缩的技术。此外,在用于自主驾驶和文化遗产应用等的动态绘图的场景中,需要对点云进行无损压缩的技术。运动图像专家组(Moving Picture Experts Group,MPEG)已经开始研究一种处理几何和属性的压缩标准,属性可包括例如颜色和反射率、可缩放/渐进编解码、跨越一定时间获得的点云序列的编解码,以及对点云的子集的随机访问。
图1A是G-PCC中生成多细节层次(levels of detail,LoD)的方法的示意图。
如图1A所示,在当前的G-PCC属性编解码中,基于每个3D点(例如,P0-P9)的距离生成每个3D点的LoD(即,组),然后以基于3D点的LoD的顺序110,而不是原始顺序105,进行预测来对每个LoD中的3D点的属性值进行编码。例如,通过计算编码或解码顺序在3D点P2之前的3D点P0、P5和P4的基于距离的加权平均值来预测3D点P2的一个属性值。
G-PCC中一种当前的锚定方法如下。
首先,计算3D点的邻域的变化率(variability),以检查相邻值的差异程度,并且如果变化率低于阈值,则使用基于当前点i的一些最近相邻点的距离的线性插值过程来预测属性值(ai)i∈0…k-1,从而进行基于距离的加权均值预测的计算。设为当前点i的k个最近相邻点的集合,设/>为这些相邻点的已解码/已重建的属性值,并设/>为它们到当前点i的距离。则预测的属性值/>由下式给出:
注意,当对属性进行编码时,所有点云的几何位置已知。另外,在编码器和解码器处,各相邻点连同它们的已重建的属性值都可用作k维的树结构,该k维树结构用于支持以相同方式对每个点进行最近相邻点搜索。
其次,如果变化率高于阈值,则执行速率失真优化(rate-distortion optimized,RDO)预测因子选择。在生成LoD时,基于近相邻搜索的结果创建多个候选预测因子或候选预测值。例如,当使用预测对3D点P2的属性值进行编码时,将从3D点P2分别到3D点P0、P5和P4的距离的加权平均值的预测因子索引设置为0。然后,将从3D点P2到最近相邻点P4的距离的预测因子索引设置为1。此外,从3D点P2分别到下一个最近相邻点P5和P0的距离的预测因子索引被设置为2和3,如下表1所示。
表1:用于属性编解码的候选预测因子的样本
预测因子索引 | 预测值 |
0 | 平均值 |
1 | P4(第1最近点) |
2 | P5(第2最近点) |
3 | P0(第3最近点) |
在创建候选预测因子之后,通过进行速率失真优化过程来选择最佳预测因子,之后,将选定的预测因子索引映射到截断一元(truncated unary,TU)码,将对该截断一元码的二进制数进行算术编码。注意,在表1中,较短的TU码将被分配给较小的预测因子索引。
定义候选预测因子的最大数目MaxNumCand,并将其编码到属性头中。在当前实施方案中,候选预测因子的最大数目MaxNumCand被设置为等于numberOfNearestNeighborsInPrediction+1,并且用于利用截断的一元二进制化来对预测因子索引进行编码和解码。
用于G-PCC中的属性编解码的提升变换(lifting transform)建立在上述预测变换之上。预测方案和提升方案之间的主要差别是引入了更新操作符。
图1B是G-PCC中的预测/更新(Prediction/Update,P/U)提升的架构图。为了便于提升中的预测和更新步骤,必须在分解的每个阶段将信号分割成两个高相关性集合。在G-PCC的提升方案中,通过利用LoD结构来执行分割,在该LoD结构中,在各层级之间需要这种高相关性,并且每个层级是通过最近相邻点搜索来构建的,从而将非均匀的点云组织成结构化数据。层级N的P/U分解步骤产生细节信号D(N-1)和近似信号A(N-1),D(N-1)和A(N-1)被进一步分解为D(N-2)和A(N-2)。重复进行该步骤直到获得基本层近似信号A(1)。
最后,不是对由LOD(N),…,LOD(1)组成的输入属性信号本身进行编码,而是在提升机制中最终对D(N-1)、D(N-2)、…、D(1)、A(1)进行编码。注意,有效P/U步骤的应用通常导致D(N-1)、…、D(1)中的稀疏子带“系数”,从而提供变换编解码增益优势。
当前,上述用于预测变换的基于距离的加权均值预测作为G-PCC中的锚定法、用于提升机制中的预测步骤。
在G-PCC中的属性编解码的预测和提升中,相邻属性样本的可用性对于压缩效率是重要的,因为更多的相邻属性样本可以提供更好的预测。在没有足够的相邻点用于预测的情况下,压缩效率会受到影响。
发明内容
根据各实施例,一种帧间点云属性编码方法由至少一个处理器执行,包括,基于与点云关联的几何数据计算运动估计不确定度值,响应于确定所述运动估计不确定度值小于阈值,识别所述点云对应的至少一个帧间最近相邻点云样本。该方法还包括,基于所述运动估计不确定度值对与所识别的至少一个帧间最近相邻点云样本相关联的至少一个时间候选点进行排序,并从所述至少一个时间候选点中提取至少一个样本属性值,其中所述至少一个样本属性值对应于所述几何数据。
根据各实施例,一种用于帧间点云属性编码的装置包括至少一个存储器,用于存储计算机程序代码,以及至少一个处理器,用于访问该至少一个存储器并根据该计算机程序代码进行操作。计算机程序代码包括计算代码,用于使所述至少一个处理器基于与点云关联的几何数据计算运动估计不确定度值,以及识别代码,用于使所述至少一个处理器响应于确定所述运动估计不确定度值小于阈值,识别所述点云对应的至少一个帧间最近相邻点云样本。该计算机程序代码还包括排序代码,用于使所述至少一个处理器基于所述运动估计不确定度值对与所识别的至少一个帧间最近相邻点云样本关联的至少一个时间候选点进行排序,以及提取代码,用于使所述至少一个处理器从所述至少一个时间候选点中提取至少一个样本属性值,其中所述至少一个样本属性值对应于所述几何数据。
根据各实施例,一种非易失性计算机可读存储介质存储指令,使至少一个处理器基于与点云关联的几何数据计算运动估计不确定度值,并响应于确定所述运动估计不确定度值小于阈值,识别所述点云对应的至少一个帧间最近相邻点云。所述指令还使至少一个处理器对与识别出的至少一个帧间最近相邻点云关联的至少一个时间候选点进行排序,并从所述至少一个时间候选点中提取至少一个样本属性值,其中所述至少一个样本属性值对应于所述几何数据。
附图说明
图1A是G-PCC中生成LoD的方法的示意图。
图1B是G-PCC中P/U提升的架构的示意图。
图2是一些实施例的通信系统的框图。
图3是一些实施例的G-PCC压缩器和G-PCC解压缩器在环境中的部署示意图。
图4是一些实施例的G-PCC压缩器的功能框图。
图5是一些实施例的G-PCC解压缩器的功能框图。
图6是一些实施例的帧间点云属性编码方法的流程图。
图7是一些实施例的帧间点云属性编码的装置的框图。
图8是适于实现一些实施例的计算机系统的示意图。
具体实施方式
本文描述的实施例提供了一种用于帧间点云属性编解码的方法和装置。具体地,除了使用相同点云帧内的属性值之外,还将来自不同时刻的其它点云帧的属性值用于G-PCC中的预测。该方法和装置可以用于改进差分脉冲编码调制(Differential Pulse CodeModulation,DPCM)中的预测(也称为预测变换)或G-PCC中的提升预测步骤(也称为提升变换)。空间-时间预测的方法和装置也可以用于任何具有相似结构的编解码器。通过从其它帧中的对应位置提供样本属性值,该方法和装置可以改善预测性能,尤其是当前帧中的点云样本比较稀少时。
图2是各实施例的通信系统200的框图。通信系统200可以包括经由网络250互连的至少两个终端210和220。对于数据的单向传输,第一终端210可以对本地位置处的点云数据进行编码,以经由网络250传输到第二终端220。第二终端220可以从网络250接收第一终端210的已编码的点云数据,对已编码的点云数据进行解码并显示已解码的点云数据。单向数据传输在媒体服务应用等中可能比较常见。
图2进一步示出了第二对终端230和240,第二对终端230和240用于支持已编码的点云数据的双向传输,例如在视频会议期间进行的双向传输。对于数据的双向传输,各个终端230或240可以对在本地位置处拍摄到的点云数据进行编码,以经由网络250传输到另一终端。各个终端230或240还可以接收由另一终端传输的已编码的点云数据,可以对已编码的点云数据进行解码,并且可以在本地显示设备处显示已解码的点云数据。
在图2中,终端210-240可以描绘为服务器、个人计算机和智能电话,但是各实施例的原理不限于此。实施例可用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络250表示在终端210-240之间传输已编码的点云数据的任何数量的网络,包括例如有线通信网络和/或无线通信网络。通信网络250可以在电路交换和/或分组交换信道中交换数据。典型网络包括电信网络、局域网、广域网和/或因特网。对于实现本文的目的,除非下文中有特别解释,网络250的架构和拓扑结构对于各实施例的操作可能是不重要的。
图3是各实施例的G-PCC压缩器303和G-PCC解压缩器310在环境中的部署示意图。本申请主题可以同样适用于其它支持点云的应用,包括例如视频会议、数字电视、将已压缩的点云数据存储在数字媒体上的应用等,数字媒体包括CD、DVD、记忆棒等。
流媒体系统300可以包括拍摄子系统313。拍摄子系统313可以包括创建例如未压缩的点云数据302的点云源301,例如数码相机。具有较高数据量的点云数据302可以由与点云源301耦接的G-PCC压缩器303进行处理。G-PCC压缩器303可以包括硬件、软件或其组合,以实现或实施如下文详细描述的本申请主题的各方面。已编码的点云数据304具有较低的数据量,可以存储在流媒体服务器305上以备将来使用。一个或多个流媒体客户端306和308可以访问流媒体服务器305以提取已编码的点云数据304的副本307和309。客户端306可包括G-PCC解压缩器310。G-PCC解压缩器310对已编码的点云数据的传入副本307进行解码并且创建传出点云数据311。传出点云数据311可被呈现在显示器312或其它呈现设备(未示出)上。在一些流媒体系统中,已编码的点云数据304、307和309可以根据视频编解码/压缩标准进行编码。这些标准的示例包括由MPEG为G-PCC开发的那些标准。
图4是各实施例的G-PCC压缩器303的功能框图。
如图4所示,G-PCC压缩器303包括量化器405、点去除模块410、八叉树编码器415、属性传送模块420、LoD生成器425、预测模块430、量化器435和算术编码器440。
量化器405接收输入点云中的点的位置。位置可以是(x,y,z)坐标。量化器405进一步使用例如缩放算法和/或移位算法对所接收的位置进行量化。
点去除模块410从量化器405接收量化位置,并从所述接收的量化位置中去除或过滤掉重复的位置。
八叉树编码器415从点去除模块410接收滤波后的位置,并使用八叉树编码算法对所接收的过滤后的位置进行编码,生成表示输入点云的八叉树的占用符号。八叉树对应的输入点云的边界框可以是任何3D形状,例如立方体。
八叉树编码器415进一步基于对过滤后的位置的编码,对所述接收的过滤后的位置重新排序。
属性传送模块420接收输入点云中的点的属性。属性可以包括,例如每个点的颜色或RGB值和/或反射率。属性传送模块420进一步从八叉树编码器415接收重新排序后的位置。
属性传送模块420进一步基于所述接收的重新排序后的位置对所接收的属性进行更新。例如,属性传送模块420可以对所接收的属性执行各预处理算法中的一个或多个预处理算法。各预处理算法包括,例如对所接收的属性进行加权和平均以及对所接收的属性中的附加属性进行插值。属性传送模块420进一步将更新后的属性传送到预测模块430。
LoD生成器425从八叉树编码器415接收重新排序后的位置,并获取所接收的重新排序后的位置对应的每个点的LoD。每个LoD可以被认为是一组点,并且可以基于每个点的距离来获得。例如,如图1A所示,点P0、P5、P4和P2可以在LoD的LOD0中,点P0、P5、P4、P2、P1、P6和P3可以在LoD的LOD1中,而点P0、P5、P4、P2、P1、P6、P3、P9、P8和P7可以在LoD的LOD2中。
预测模块430从属性传送模块420接收所传送的属性,并且从LoD生成器425接收所获得的每个点的LoD。预测模块430通过以基于每个点的所接收的LoD的顺序对所接收的属性执行预测算法来分别获取所接收的属性的预测残差(值)。预测算法可以包括各种预测算法中的任一种,例如插值、加权平均计算、最近邻居算法和率失真优化(rate distortionoptimization,RDO)。
例如,如图1A所示,在获得分别包括在LoD的LOD1和LOD2中的点P1、P6、P3、P9、P8和P7的所接收属性的预测残差之前,可以首先分别获得包括在LoD的LOD0中的点P0、P5、P4和P2的所接收属性的预测残差。可以通过基于点P0、P5和P4的加权平均来计算距离,从而获得点P2的所接收属性的预测残差。
量化器435从预测模块430接收所获得的预测残差,并使用例如缩放算法和/或移位算法对所接收的预测残差进行量化。
算术编码器440从八叉树编码器415接收占用符号,并从量化器435接收量化后的预测残差。算术编码器440对所接收的占用符号和量化后的预测残差执行算术编码以获得压缩后的比特流。算术编码可以包括各种熵编码算法中的任何一种,例如上下文自适应二进制算术编码。
图5是各实施例的G-PCC解压缩器310的功能框图。
如图5所示,G-PCC解压缩器310包括算术解码器505、八叉树解码器510、逆量化器515、LoD生成器520、逆量化器525和逆预测模块530。
算术解码器505从G-PCC压缩器303接收压缩后的比特流,并对所接收的压缩后的比特流执行算术解码以获得占用符号和量化后的预测残差。算术解码可以包括各种熵解码算法中的任何一种,例如上下文自适应二进制算术解码。
八叉树解码器510从算术解码器505接收获得的占用符号,并使用八叉树解码算法对所接收的占用符号进行解码,得到量化后的位置。
逆量化器515从八叉树解码器510接收量化后的位置,并使用例如缩放算法和/或移位算法对所接收的量化后的位置进行逆量化,以获得输入点云中的点的重构位置。
LoD生成器520从八叉树解码器510接收量化后的位置,并且获取所接收的量化后的位置对应的每个点的LoD。
逆量化器525接收所获得的量化后的预测残差,并使用例如缩放算法和/或移位算法对所接收的量化后的预测残差进行逆量化,以获取得重构的预测残差。
逆预测模块530从逆量化器525接收所获得的重构的预测残差,并从LoD生成器520接收所获得的每个点的LoD。逆预测模块530通过以每个点的所接收的LoD的顺序对所接收的重构的预测残差施加预测算法来获得所接收的重构的各预测残差的重构属性。预测算法可以包括各种预测算法中的任何一种,例如插值、加权平均计算、最近邻居算法和RDO。重构属性是输入点云内的点的重构属性。
以下详细描述用于帧间点云属性编码的方法和装置。该方法和装置可以在上述G-PCC压缩器303,即预测模块430中实现。该方法和装置还可以在G-PCC解压缩器310,即逆预测模块530中实现。
运动估计和补偿
一些实施例中,可以执行基于几何或基于联合几何/属性的全局/局部运动估计。
详细地,在点云压缩的环境中,当执行属性编解码时,几何信息,例如点云的位置,是已知的。可以利用或结合该信息来执行运动估计,以补偿当前帧和参考帧中存在的任何局部或全局运动。
因为对稀疏点云数据执行运动估计可能是困难的或不可靠的,可以获取运动估计不确定度度量me_uncertianty,作为运动估计的结果。例如,运动估计不确定度量度可以基于具有相似运动匹配得分的候选目标样本的数目,或这种得分的阈值测试。可以通过一种机制,例如块匹配过程,来获得每个运动匹配分数。
运动估计不确定度度量me_uncertianty(当大于预定阈值时)可以停用/启用帧间预测,或可以在预测中确定缩放或加权因子时使用。
修改的最近相邻点搜索
一些实施例中,以类似G-PCC中的方式采用最近相邻点云的预测可以将来自其它帧的相邻样本视为附加候选项。
G-PCC设计以如下方式产生点云的多个LoD层。首先,使用Morton码对原始点云和参考点云进行排序。
接着,根据样本距离,从顶部LoD层到底部LoD层依次对原始点云进行采样。然后,对属于LoD的每个点进行最近相邻点搜索。然后为每个点云建立近邻列表,其中,几何上更接近的样本出现在列表的靠前部分。
一些实施例中,以下规定进一步便于用帧间云来建立最近相邻点列表。定义标志interframe用于指示最近相邻样本是帧内还是帧间。定义变量framenum用于指示从当前点云帧开始的图片顺序计数(Picture Order Count,POC)中的帧号或偏移量。定义帧间最近相邻样本的最大数目MaxInterNN。
此外,每当将新的候选点云样本与已经在列表中的候选点云样本进行比较时,定义距离的概念。在该帧内/帧间混合预测的环境中,引入称为时间-空间尺度(Temporal-to-Spatial Scale,TSScale)和时间-空间便宜(Temporal-to-Spatial Offset,TSOffset)的变量以反映属性值在帧间可能的变化程度。如果这些值比较大,则由于时间距离、可能的快速运动、场景变化等,属性值变化的可能性较高。在这种情况下,具有相似的3D坐标与属性值的接近度相关性较小。
一些实施例中,在最近相邻点搜索及其在预测的稍后阶段的使用中,TSScale可以用于按时间对空间距离的相对接近度进行放大/缩小,而TSOffset可以用于在对帧进行假设“合并”以在混合的帧内和帧间云样本中进行选择时,对参考帧中的点的3D坐标添加一个偏移量。此“合并”将帧间样本视为当前帧中的样本,在此情况下在相同3D位置处可能存在多个候选预测样本。
一些实施例中,增加选项以对候选最近相邻样本的顺序进行重排。编码器(G-PCC压缩器303)可以基于运动估计的置信度(即,me_uncertianty)用信号表示候选列表的构造方式或将时间维度距离反映在帧间候选点云样本的加权平均值或权重计算中的方式。
属性的G-PCC预测变换的应用
1、RDO索引编解码
上述实施例可以应用于如上所述的基于RDO的预测因子选择。具体地,在某些条件下提供了为时间候选项(interframe=1)分配较高优先级的规定。一些实施例中,当运动估计不确定度度量me_uncertainty较低时,为最近相邻点列表中较早的时间候选项分配较高的优先级,反之亦然。这包括当运动估计不确定度度量me_uncertainty高于预定阈值时,从最近相邻点列表中去除一个时间候选项。当存在多个帧间候选项时,将具有较近时间距离(如由framenum所指示)的候选点云样本较早地放入列表中。
RDO编码器(G-PCC压缩器303)可以对帧间选择进行跟踪,并进行自适应索引顺序切换。此外,帧间候选项的数目MaxInterNN可以根据以上条件自适应地改变。
2、基于距离的均值预测
上述实施例可以应用于上述距离加权均值预测。具体地,当运动估计不确定度度量me_uncertainty较高时,不将帧间候选项纳入加权平均值中。
各实施例中,使用如下的帧间和帧内最近相邻样本值an′s(n=1,…,N)来定义当前点云的属性值的距离加权均值预测
这里第n个样品的权重可以以如下方式确定:
其中p是具有属性a的当前点云样本的位置,而pn是具有对应属性值an的第n个相邻样本的位置。参数TSScale和TSOffset按照以上对于帧间最近相邻点的描述来分配。对于帧内最近相邻点,TSScale设置为1,而TSOffset设置为0。
图6是各实施例的帧间点云属性编码的方法600的流程图。一些实施方式中,图6的一个或多个过程框可以由G-PCC解压缩器310执行。一些实施方式中,图6的一个或多个过程框可以由与G-PCC解压缩器310分离的或者包括G-PCC解压缩器310的另一设备或一组设备(例如G-PCC压缩器303)执行。
参考图6,在第一框610中,方法600包括,基于与点云相关联的几何数据来计算运动估计不确定度值。
在第二框620中,方法600包括,响应于确定运动估计不确定度值小于阈值,识别点云对应的至少一个帧间最近相邻点云样本。
在第三框630中,方法600包括,基于运动估计不确定度值对所识别出的至少一个帧间最近相邻点云样本相关联的至少一个时间候选点进行排序。
在第四框640中,方法600包括,从至少一个时间候选点中提取至少一个样本属性值,其中,至少一个样本属性值对应于几何数据。
该方法可以进一步包括,基于确定运动估计不确定度值超过阈值,停止对至少一个帧间最近相邻点云样本的识别。
识别至少一个帧间最近相邻点云样本可以进一步包括:确定至少一个候选最近相邻点云样本是帧间样本;确定与点云和候选最近相邻点云样本之间的偏移量对应的最大允许帧数;计算点云和候选最近相邻点云样本之间的变化程度;及,选择具有最小偏移量和最低变化程度的候选帧间最近相邻点云样本中的至少一个帧间最近相邻点云样本。
识别至少一个帧间最近相邻点云样本可以进一步包括:基于所述运动估计不确定度值对所选择的最近相邻点云样本进行重新排序。
该方法可以进一步包括,将与点云具有最短时间距离的时间候选点排在最前。
该方法可以进一步包括,基于确定运动估计不确定度值高于阈值,从加权平均值中去除帧间点云样本。
该方法可以进一步包括,计算第一点云关联的属性值、至少一个帧间最近相邻点云样本关联的属性值和至少一个帧内最近相邻样本值关联的属性值的距离加权平均值。
尽管图6示出了方法600的示例框,但是在一些实现方式中,与图6所描绘的那些框相比,方法600可以包括更多的框、更少的框、不同的框,或者不同排列的框。另外或可替换地,方法600的两个或更多个框可以并行执行。
进一步地,所提出的方法可以由硬件模块或处理电路(例如,一个或多个处理器或一个或多个集成电路)来实现。例如,至少一个处理器执行存储在非易失性计算机可读介质中的程序,从而实现至少一个所提出的方法。
图7是一些实施例的帧间点云属性编解码的装置700的示意框图。
参考图7,装置700包括计算代码710、识别代码720、排序代码730和提取代码740。
计算代码710用于,使至少一个处理器基于点云关联的几何数据计算运动估计不确定度值。
识别代码720用于,使至少一个处理器响应于确定运动估计不确定度值小于阈值,识别点云对应的至少一个帧间最近相邻点云样本。
排序代码730用于,使至少一个处理器基于运动估计不确定度值对所识别的至少一个帧间最近相邻点云样本关联的至少一个时间候选点进行排序。
提取代码740用于,使至少一个处理器从至少一个时间候选点中提取至少一个样本属性值,其中,至少一个样本属性值对应于几何数据。
计算代码710可以进一步用于,使至少一个处理器计算第一点云关联的属性值、至少一个帧间最近相邻点云关联的属性值和至少一个帧内最近相邻样本值关联的属性值的距离加权平均值。
计算代码710可以进一步用于,使至少一个处理器基于确定运动估计不确定度值高于阈值,从加权平均值中去除帧间点云样本。
识别代码720可以进一步用于,使至少一个处理器确定至少一个候选最近相邻点云样本是帧间样本;确定与点云和候选最近相邻点云样本之间的偏移量对应的最大允许帧数;计算点云和候选最近相邻点云样本之间的变化程度;及,选择具有最小偏移量和最低变化程度的候选帧间最近相邻点云样本中的至少一个帧间最近相邻点云样本。
识别代码720可以进一步用于,使至少一个处理器基于运动估计不确定度值对所选择的最近相邻点云样本进行重新排序。
识别代码720可以进一步用于,使至少一个处理器基于确定运动估计不确定度值超过所述阈值,停止对至少一个帧间最近相邻点云样本的识别。
排序代码730可以进一步用于,使至少一个处理器向与点云具有最短时间距离的时间候选点分配最前的顺序。
图8是适于实现各实施例的计算机系统800的示意图。
计算机软件可利用任何合适的机器代码或计算机语言来编码,可采用汇编、编译、链接或类似机制生成指令代码。这些指令代码可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过代码解释、微代码执行等操作来执行。
这些指令可在多种类型的计算机或计算机组件中执行,包括,例如,个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
图8所示的用于计算机系统800的组件本质上是示例性的,而非意图对实现本申请实施例的计算机软件的使用或功能范围做任何限制。各组件的配置方式也不应被解释为依赖或需要该非限制性实施例的计算机系统800示出的任一个组件或组件组合。
计算机系统800可包括一些人机接口输入设备。该人机接口输入设备可响应一个或多个人类用户的输入,例如触感输入(如:按键、滑动操作、数字手套移动)、音频输入(如:语音、拍手声)、可视输入(如:姿态)、嗅觉输入(未示出)。人机接口设备还可用于采集一些媒体信息,这些媒体信息不一定与人类有意识的输入直接相关,如音频(如:讲话、音乐、环境声音)、图像(如:扫描图像、从静态图像照相机获取的照片图像)、视频(如二维视频、三维视频,包括立体视频)。
人机接口输入设备可包括以下一个或多个(每种仅示出一个):键盘801、鼠标802、触控板803、触摸屏810、操纵杆805、麦克风806、扫描仪807、照相机808。
计算机系统800还可包括一些人机接口输出设备。人机接口输出设备可激发一个或多个人类用户的感觉,通过例如,触感输出、声音、光,以及气味/味道。该人机接口输出设备可包括触感输出设备(例如触摸屏810或操纵杆805的触感反馈,但也可存在不作为输入设备的触感反馈设备)。例如,这种设备可以是音频输出设备(如:扬声器809、耳机(未示出))、通过图形适配器850耦合到系统总线848的可视输出设备(如屏幕810,包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕,每一个可以具有或不具有触摸屏输入能力,每一个可以具有或不具有触感反馈能力——其中一些能够输出二维可视输出,或通过如立体显示输出等手段输出三维以上的输出;虚拟现实眼镜(未示出)、全息照相显示器和烟柜(未示出)),以及打印机(未示出)。
计算机系统800还可包括人类可访问存储设备及其相关介质,例如包括具有CD/DVD的CD/DVDROM/RW 820的光介质或类似介质821、指状驱动器822、可移除硬盘驱动器或固态驱动器823、传统磁性介质如磁带和软盘(未示出)、基于专业ROM/ASIC/PLD的设备如安全加密狗(未示出)等。
本领域技术人员还应理解,结合本申请公开的主题有关的术语“计算机可读介质”不包含传输介质、载波或其它暂时性信号。
计算机系统800还可包括可连接一个或多个通信网络855的接口。通信网络855可以是,例如,无线网络、有线网络、光网络。通信网络855还可是局域网、广域网、城域网、车连网和工业网络、实时网络、容迟网络等。通信网络855的示例包括局域网(例如以太网、无线LAN、蜂窝网络,包括GSM、3G、4G、5G、LTE等)、TV有线或无线广域数字网络(包括有线TV、卫星TV和地面广播TV)、车连网和工业网络(包括CAN总线)等。一些通信网络855通常需要外部网络接口适配器,连接至一些通用数据端口或外围设备总线849(如计算机系统800的USB端口);其它网络通常通过连接到如下所述的系统总线而集成在计算机系统800的内核中(例如,网络接口854包括集成在PC计算机系统中的以太网接口或集成在智能电话计算机系统中的蜂窝网络接口)。利用任一种网络855,计算机系统800可与其它实体通信。该通信可为单向通信,例如仅接收(例如广播TV)、单向仅发送(例如从CAN总线到一些CAN总线设备)。该通信也可以为双向通信,例如利用局域或广域数字网络与其它计算机系统的通信。上述网络855和网络接口854的每一个可以采用某些协议和协议栈。
前述人机接口设备、人类可访问存储设备和网络接口854可连接至计算机系统800的内核840。
内核840可包括一个或多个中央处理单元(CPU)841、图形处理单元(GPU)842、现场可编程门阵列(FPGA)843形式的专用可编程处理单元,用于特定任务844的硬件加速器等。以上设备,以及只读存储器(ROM)845、随机存取存储器846、内部大容量存储847如内部非用户可访问的硬盘驱动、SSD等,可连接到系统总线848。在一些计算机系统中,系统总线848可以通过一个或多个物理插头的形式访问,从而能够利用额外的CPU、GPU等进行扩展。外围设备可直接连接到核的系统总线848,也可连接到外围设备总线849。外围设备总线的体系结构包括PCI、USB等。
CPU 841、GPU 842、FPGA 843和硬件加速器844可执行一些指令,这些指令组合起来可构成前述计算机代码。该计算机代码可存储于ROM 845或RAM 846中。中间数据还可存储在RAM 846中,永久数据可存储在,例如,内部大容量存储设备847中。可通过使用缓存设备实现对任何存储设备的快速存储和读取,该缓存设备可紧密关联到一个或多个CPU 841、GPU 842、大容量存储器847、ROM 845、RAM 846等。
计算机可读媒体中可存储有计算机代码,用于执行各种计算机实现的操作。介质和计算机代码可为本申请公开的目的专门设计和建造,或者可为计算机软件领域的技术人员所公知类型的、可用的类型。
作为示例而非限定性的、具有体系架构的计算机系统800,特别是内核840,的功能可通过处理器(包括CPU、GPU、FPGA、加速器等)执行由一个或多个有形的计算机可读介质体现的软件产生。该计算机可读介质可以是以上关联于用户可访问的大容量存储设备的介质,以及内核840中非暂存性质的一些存储设备,如核内部的大容量存储设备847或ROM845。实现本申请公开各实施例的软件可存储于上述设备并由内核840执行。根据需要,计算机可读介质可包括一个或多个存储设备或芯片。上述软件可使内核840,特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文描述的过程,或上述过程的一些部分,包括定义存储于RAM 846的数据结构,根据软件定义的过程修改该数据结构。作为附加方案或替代方案,该计算机系统的功能可由电路(例如:加速器844)提供,该电路可以通过逻辑硬连线或其它方式实现。该电路运转时,可代替软件或与软件配合的方式,以执行本文描述的过程,或过程的一些部分。在适当的情况下,所说的软件可包括逻辑,反之亦然。在适当的情况下,所说的计算机可读介质可包括存储软件用于执行的(如集成电路(IC))、用于实现需要执行的逻辑的电路,或其组合。本申请公开包括任何合适的硬件和软件的组合。
尽管本申请公开已描述一些非限定性实施例,但本申请公开的范围内仍然存在一些具有小改动的实施方式、变换顺序的实施方式、以及各种替代性的等同实施方式。因此应当理解,尽管本文未明确示出或描述,本领域技术人员能够提出多种能够实现本申请公开的原理的系统和方法,因此这些系统和方法仍然属于本申请公开的精神和范围内。
Claims (15)
1.一种点云属性编解码的方法,其特征在于,所述方法包括:
基于与点云关联的几何数据,计算运动估计不确定度值,所述运动估计不确定度值用于表示运动估计可靠性的度量;
响应于确定所述运动估计不确定度值小于阈值,识别所述点云对应的至少一个帧间最近相邻点云样本,所述帧间最近相邻点云样本用于表示其他帧中的相对于所述点云的最近相邻的样本;
基于所述运动估计不确定度值,对与所识别的至少一个帧间最近相邻点云样本相关联的至少一个时间候选点进行排序;以及
从所述至少一个时间候选点中提取至少一个样本属性值,其中所述至少一个样本属性值对应于所述几何数据。
2.根据权利要求1所述的方法,其特征在于,进一步包括:
基于确定所述运动估计不确定度值超过所述阈值,停止对至少一个帧间最近相邻点云样本的识别。
3.根据权利要求1所述的方法,其特征在于,识别所述至少一个帧间最近相邻点云样本包括:
确定至少一个候选最近相邻点云样本是帧间样本;
确定所述点云与所述候选最近相邻点云样本之间的偏移量对应的帧的最大允许数目,所述偏移量表示所述点云对应的点云帧的帧号与所述候选最近相邻点云样本对应的点云帧的帧号之间的帧数差异;
计算所述点云与所述候选最近相邻点云样本之间的变化程度;及
选择具有最小偏移量和最低变化程度的候选帧间最近相邻点云样本中的至少一个样本。
4.根据权利要求3所述的方法,其特征在于,识别所述至少一个帧间最近相邻点云样本进一步包括:基于所述运动估计不确定度值对所选择的最近相邻点云样本进行重新排序。
5.根据权利要求1所述的方法,其特征在于,与所述点云具有最短时间距离的时间候选点排在最前,所述与所述点云具有最短时间距离的时间候选点表示与所述点云对应的点云帧具有最短时间距离的帧间最近相邻点云样本关联的时间候选点。
6.根据权利要求1所述的方法,其特征在于,基于确定所述运动估计不确定度值高于所述阈值,从加权平均值中去除帧间点云样本。
7.根据权利要求1-6任一项所述的方法,其特征在于,进一步包括:
计算第一点云关联的属性值、所述至少一个帧间最近相邻点云样本关联的属性值和至少一个帧内最近相邻样本值关联的属性值之间的距离加权平均值,所述距离加权平均值为第一点云关联的属性值与所述至少一个帧间最近相邻点云样本关联的属性值之间的距离,以及第一点云关联的属性值与至少一个帧内最近相邻样本值关联的属性值之间距离的加权平均值。
8.一种用于点云属性编解码的装置,其特征在于,所述装置包括:
至少一个存储器,用于存储计算机程序代码;以及
至少一个处理器,用于访问所述至少一个存储器并根据所述计算机程序代码进行操作,所述计算机程序代码包括:
计算代码,用于使所述至少一个处理器基于与点云关联的几何数据计算运动估计不确定度值,所述运动估计不确定度值用于表示运动估计可靠性的度量;
识别代码,用于使所述至少一个处理器响应于确定所述运动估计不确定度值小于阈值,识别所述点云对应的至少一个帧间最近相邻点云样本,所述帧间最近相邻点云样本用于表示其他帧中的相对于所述点云的最近相邻的样本;
排序代码,用于使所述至少一个处理器基于所述运动估计不确定度值对与所识别的至少一个帧间最近相邻点云样本关联的至少一个时间候选点进行排序;以及
提取代码,用于使所述至少一个处理器从所述至少一个时间候选点中提取至少一个样本属性值,其中所述至少一个样本属性值对应于所述几何数据。
9.根据权利要求8所述的装置,其特征在于,进一步包括:
停止代码,用于使所述至少一个处理器基于确定所述运动估计不确定度值超过所述阈值,停止对至少一个帧间最近相邻点云样本的识别。
10.根据权利要求8所述的装置,其特征在于,所述识别代码包括:
第一确定代码,用于使所述至少一个处理器确定至少一个候选最近相邻点云样本是帧间样本;
第二确定代码,用于使所述至少一个处理器确定所述点云与所述候选最近相邻点云样本之间的偏移量对应的帧的最大允许数目,所述偏移量表示所述点云对应的点云帧的帧号与所述候选最近相邻点云样本对应的点云帧的帧号之间的帧数差异;
计算代码,用于使所述至少一个处理器计算所述点云与所述候选最近相邻点云样本之间的变化程度;以及
选择代码,用于使所述至少一个处理器选择具有最小偏移量和最低变化程度的候选帧间最近相邻点云样本中的至少一个样本。
11.根据权利要求10所述的装置,其特征在于,所述识别代码进一步包括:
重新排序代码,用于使所述至少一个处理器基于所述运动估计不确定度值对所选择的最近相邻点云样本进行重新排序。
12.根据权利要求8所述的装置,其特征在于,与所述点云具有最短时间距离的时间候选点排在最前,所述与所述点云具有最短时间距离的时间候选点表示与所述点云对应的点云帧具有最短时间距离的帧间最近相邻点云样本关联的时间候选点。
13.根据权利要求8所述的装置,其特征在于,基于确定所述运动估计不确定度值高于所述阈值,从加权平均值中去除帧间点云样本。
14.根据权利要求8-13任一项所述的装置,其特征在于,进一步包括:
计算代码,用于使所述至少一个处理器计算与第一点云关联的属性值、所述至少一个帧间最近相邻点云关联的属性值和至少一个帧内最近相邻样本值关联的属性值的距离加权平均值。
15.一种存储指令的非易失性计算机可读存储介质,其特征在于,所述指令使得至少一个处理器执行根据权利要求1-7中任一权利要求所述的方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962821068P | 2019-03-20 | 2019-03-20 | |
US62/821,068 | 2019-03-20 | ||
US16/823,994 US10979730B2 (en) | 2019-03-20 | 2020-03-19 | Techniques and apparatus for interframe point cloud attribute coding |
US16/823,994 | 2020-03-19 | ||
PCT/US2020/023762 WO2020191260A1 (en) | 2019-03-20 | 2020-03-20 | Techniques and apparatus for interframe point cloud attribute coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113475083A CN113475083A (zh) | 2021-10-01 |
CN113475083B true CN113475083B (zh) | 2024-05-03 |
Family
ID=72514096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080013022.5A Active CN113475083B (zh) | 2019-03-20 | 2020-03-20 | 帧间点云属性编解码的方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10979730B2 (zh) |
EP (1) | EP3871420A4 (zh) |
JP (1) | JP7384520B2 (zh) |
CN (1) | CN113475083B (zh) |
WO (1) | WO2020191260A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112188199B (zh) * | 2019-07-03 | 2024-05-10 | 腾讯美国有限责任公司 | 自适应点云属性编码的方法、装置、电子设备和存储介质 |
EP4018669A4 (en) * | 2019-10-03 | 2022-11-02 | LG Electronics Inc. | POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD |
US11158107B2 (en) * | 2019-10-03 | 2021-10-26 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
US11551334B2 (en) * | 2020-01-09 | 2023-01-10 | Tencent America LLC | Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding |
WO2021215811A1 (ko) * | 2020-04-24 | 2021-10-28 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
CN114598883A (zh) | 2020-12-07 | 2022-06-07 | 腾讯科技(深圳)有限公司 | 点云属性的预测方法、编码器、解码器及存储介质 |
EP4262201A4 (en) * | 2020-12-08 | 2024-02-14 | Guangdong Oppo Mobile Telecommunications Corp Ltd | POINT CLOUD ENCODING METHOD, POINT CLOUD DECODING METHOD, ENCODER, DECODER AND COMPUTER STORAGE MEDIUM |
CN115086658B (zh) * | 2021-03-12 | 2023-07-25 | 腾讯科技(深圳)有限公司 | 点云数据的处理方法、装置、存储介质及编解码设备 |
CN115086660B (zh) * | 2021-03-12 | 2023-07-25 | 腾讯科技(深圳)有限公司 | 基于点云属性预测的解码、编码方法、解码器及编码器 |
KR20230173094A (ko) * | 2021-04-15 | 2023-12-26 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 방법, 포인트 클라우드데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치 |
EP4156108A1 (en) * | 2021-09-23 | 2023-03-29 | V-Nova International Limited | Point cloud data frames compression |
WO2023059089A1 (ko) * | 2021-10-06 | 2023-04-13 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치 |
WO2023093865A1 (en) * | 2021-11-26 | 2023-06-01 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for point cloud coding |
WO2023198168A1 (en) * | 2022-04-14 | 2023-10-19 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for point cloud coding |
WO2024008019A1 (en) * | 2022-07-04 | 2024-01-11 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for point cloud coding |
GB2623372A (en) * | 2022-10-14 | 2024-04-17 | Canon Kk | Method and apparatus for compression and encoding of 3D dynamic point cloud |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10108864B2 (en) * | 2015-12-29 | 2018-10-23 | Texas Instruments Incorporated | Stationary-vehicle structure from motion |
US11297346B2 (en) * | 2016-05-28 | 2022-04-05 | Microsoft Technology Licensing, Llc | Motion-compensated compression of dynamic voxelized point clouds |
US10694210B2 (en) * | 2016-05-28 | 2020-06-23 | Microsoft Technology Licensing, Llc | Scalable point cloud compression with transform, and corresponding decompression |
TWI775760B (zh) | 2016-07-08 | 2022-09-01 | 美商Vid衡器股份有限公司 | 使用幾何投影360度視訊編碼 |
US10499054B2 (en) * | 2017-10-12 | 2019-12-03 | Mitsubishi Electric Research Laboratories, Inc. | System and method for inter-frame predictive compression for point clouds |
CA3114322A1 (en) * | 2018-10-02 | 2020-04-09 | Panasonic Intellectual Property Corporation Of America | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device |
US11348284B2 (en) * | 2019-01-08 | 2022-05-31 | Apple Inc. | Auxiliary information signaling and reference management for projection-based point cloud compression |
US11454710B2 (en) * | 2019-01-08 | 2022-09-27 | Apple Inc. | Point cloud compression using a space filling curve for level of detail generation |
-
2020
- 2020-03-19 US US16/823,994 patent/US10979730B2/en active Active
- 2020-03-20 WO PCT/US2020/023762 patent/WO2020191260A1/en unknown
- 2020-03-20 CN CN202080013022.5A patent/CN113475083B/zh active Active
- 2020-03-20 EP EP20774110.9A patent/EP3871420A4/en active Pending
- 2020-03-20 JP JP2021534358A patent/JP7384520B2/ja active Active
Non-Patent Citations (3)
Title |
---|
Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video;PABLO CESAR;IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY;全文 * |
Interframe Prediction for Attribute Coding;SEHOON YEA等;MPEG meeting;1-3 * |
PCC Adaptive predictor selection for attributes coding in TMC13 related to CE13.3;TOSHIYASU SUGIO等;MPEG MEETING;全文 * |
Also Published As
Publication number | Publication date |
---|---|
EP3871420A1 (en) | 2021-09-01 |
JP2022516232A (ja) | 2022-02-25 |
CN113475083A (zh) | 2021-10-01 |
US20200304823A1 (en) | 2020-09-24 |
EP3871420A4 (en) | 2021-12-22 |
JP7384520B2 (ja) | 2023-11-21 |
US10979730B2 (en) | 2021-04-13 |
WO2020191260A1 (en) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113475083B (zh) | 帧间点云属性编解码的方法和装置 | |
CN113455007B (zh) | 帧间点云属性编解码的方法和装置 | |
CN113424547B (zh) | 点云属性编解码的方法和装置 | |
US11475604B2 (en) | Method and apparatus for adaptive point cloud attribute coding | |
CN113795870B (zh) | 一种对点云属性编解码的方法、装置及存储介质 | |
US11202054B2 (en) | Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding | |
CN112218077B (zh) | 通道间点云属性编码方法、装置以及可读存储介质 | |
US11551334B2 (en) | Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding | |
KR20210142713A (ko) | 포인트 클라우드 압축을 위한 변환 계수들의 알파벳-파티션 코딩을 위한 기술들 및 장치들 | |
CN113179411A (zh) | 点云属性编解码方法、装置、计算机设备及存储介质 | |
CN113115019B (zh) | 视频编解码方法、装置、计算机设备及存储介质 | |
CN112188199B (zh) | 自适应点云属性编码的方法、装置、电子设备和存储介质 | |
CN112188216A (zh) | 视频数据的编码方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40056281 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |