CN113795868A - 用于点云属性编解码的信道间预测和变换的技术和装置 - Google Patents
用于点云属性编解码的信道间预测和变换的技术和装置 Download PDFInfo
- Publication number
- CN113795868A CN113795868A CN202080033242.4A CN202080033242A CN113795868A CN 113795868 A CN113795868 A CN 113795868A CN 202080033242 A CN202080033242 A CN 202080033242A CN 113795868 A CN113795868 A CN 113795868A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- transform
- encoding
- ycocg
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000009466 transformation Effects 0.000 title description 3
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 15
- 238000013139 quantization Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 101000638078 Homo sapiens Transmembrane channel-like protein 3 Proteins 0.000 description 2
- 102100032048 Transmembrane channel-like protein 3 Human genes 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种用于对点云的属性信息进行编码的方法和设备,包括获取点云,所述点云包括三维空间中的一组点。使用YCoCg‑R变换对点云的属性信息进行编码。
Description
交叉引用
本申请要求于2019年10月6日提交的美国临时专利申请第62/911,327号和于2020年9月24日提交的美国专利申请第17/030,779号的优先权,其全部内容结合在本文中。
背景技术
世界的高级三维(3D,three dimensional)表示使更加沉浸式的互动和交流成为可能,并且还允许机器理解、解释和导航我们的世界。3D点云已经成为表现此类信息的一种实现方法。已经确定了许多与点云数据相关联的用例,并且已经制定了点云表示和压缩的相应要求。
点云是3D空间中的一组点,每个点具有相关联的属性,例如颜色、材料属性等。点云可用于将对象或场景重建为这些点的组合。它们可以在各种设置中使用多个相机和深度传感器进行采集,并且可以由数千到数十亿的点组成,以便真实地表示重建的场景。
需要压缩技术来减少表示点云所需的数据量。因此,需要对点云进行有损压缩的技术,以用于实时通信和六自由度(6DoF,six Degrees of Freedom)虚拟现实。另外,在自动驾驶和文化遗产应用等的动态映射的背景下,寻求用于无损点云压缩的技术。MPEG已经开始致力于解决诸如颜色和反射率的几何形状和属性的压缩、可缩放/渐进编解码、对随时间捕获的点云序列进行编码,以及对点云子集的随机存取的标准。
发明内容
本公开涉及点云编解码技术。所公开的主题涉及视频编码和解码、执行视频编码和解码的视频编码器和解码器,并且更具体地,涉及点云样本的属性信息的编解码。
根据本公开的一方面,一种用于对点云的属性信息进行编码的方法可以由至少一个处理器执行,并且可以包括:获取点云,所述点云包括三维空间中的一组点;以及使用YCoCg-R变换对点云的属性信息进行编码。
根据本公开的一方面,一种用于对点云的属性信息进行编码的设备可以包括至少一个存储器,其被配置为存储程序代码;以及至少一个处理器,其被配置为读取程序代码并按照程序代码的指示操作,程序代码包括:获取代码,其被配置为使至少一个处理器获取点云,所述点云包括三维空间中的一组点;以及编码代码,其被配置为使至少一个处理器使用YCoCg-R变换对点云的属性信息进行编码。
根据本公开的一方面,一种非易失性计算机可读介质可以存储指令,指令包括:一个或多个指令,在由用于对点云的属性信息进行编码的设备的一个或多个处理器执行时,指令使一个或多个处理器:获取点云,所述点云包括三维空间中的一组点;以及使用YCoCg-R变换对点云的属性信息进行编码。
附图说明
图1是用于对点云的属性信息进行编码的示例过程的流程图;
图2是可以实现本文描述的系统和/或方法的示例环境的示意图;以及
图3是图2的一个或多个设备的示例部件的示意图。
具体实施方式
基于图的点云压缩(G-PCC,Graph-based Point Cloud Compression)模型分别压缩几何信息和相关联的属性,诸如颜色或反射率。几何信息,即点云的3D坐标,通过其占用信息的八叉树分解进行编码。另一方面,通过类似差分脉冲编码调制(DPCM,DifferentialPulse Code Modulation)的技术对属性信息进行编码,该技术对不同层次之间的细节层次(LOD,Level-Of-Detail)数据执行闭环预测。基于已解码的几何信息,在编码器和解码器处以相同的方式构建LOD信息。基本上,LOD以这样的方式构建,即随着提供更多的LOD,以连续的方式获取给定点云的更详细信息。当对属性编解码执行基于样本的预测时,利用基于最近邻的树搜索(nearest-neighbor based tree search)来查找相邻样本以进行加权预测。权重被计算为每个相邻样本的几何距离的倒数。
在G-PCC属性编解码中,基于每个点的距离生成每个3D点的LOD,然后通过以基于LOD的顺序来应用预测以对每个LOD中的3D点的属性值进行编码。
G-PCC中的锚定方法(anchor method)如下进行。首先,计算其邻域的可变性以检查相邻值的差异程度,并且如果可变性低于阈值,则基于距离的加权平均预测按如下方式进行:基于点i的最近邻的距离,通过使用线性插值来预测属性值(ai)i∈0...k-1。设为当前点i的k个最近邻的集合,并且设为最近邻的集合的已解码/重建的属性值,为最近邻的集合到当前点的距离。预测的属性值然后由下式给出:
注意,当对属性进行编码时,所有点云的几何位置已经可用。另外,相邻点及其重建属性值在编码器和解码器处均可用,因为使用KD树结构以便于以相同的方式对每个点进行最近邻搜索。
其次,如果可变性高于阈值,则执行速率失真优化的预测器(predictor)选择。在生成LOD时,基于相邻点搜索的结果创建多个预测器候选。例如,当通过使用预测对P2的属性值进行编码时,将P0、P5和P4的基于距离的加权平均值设置为等于0的预测器索引。然后,将最近邻点P4的值设置为等于1的预测器索引。此外,将下一最近邻点P5和P0的值分别设置为等于2和3的预测器索引(表1)。在创建预测器候选之后,通过应用速率失真优化过程来选择最佳预测器,并且然后,对所选择的预测器索引进行算术编码。
预测器索引 | 预测值 |
0 | 平均值 |
1 | P4(第1最近点) |
2 | P5(第2最近点) |
3 | P0(第3最近点) |
定义预测器候选的最大数目(MaxNumCand,maximum number of predictorcandidate),并将其编码到属性头中。在当前相邻点及其重建属性值在编码器和解码器处均可用,因为使用KD树结构以便于以相同的方式对每个点进行最近邻搜索。相邻点及其重建属性值在编码器和解码器处均可用,因为使用KD树结构以便于以相同的方式对每个点进行最近邻搜索。实现中,MaxNumCand被设置为等于numberOfNearestNeighborsInPrediction+1,并将其用于对进行编码和解码,所述预测器索引具有截断一元二值化。
提升变换建立在上一节中描述的预测变换之上。预测方案与提升方案之间的主要区别在于引入更新算子。
为了便于提升中的预测和更新步骤,必须在分解的每个阶段将信号分割成两组高相关性。在G-PCC中的提升方案中,通过利用LOD结构来执行分割,其中期望级别(level)之间具有这种高相关性,并且通过最近邻搜索来构建每个级别以将非均匀点云组织成结构化数据。在级别N的预测/更新(P/U)分解步骤产生细节信号D(N-1)和近似信号A(N-1),其被进一步分解为D(N-2)和A(N-2)。重复执行该步骤,直到获得基本层(base layer)近似信号A(1)。
因此,不是对由LOD(N),…,LOD(1)组成的输入属性信号本身进行编码,而是在提升方案中对D(N-1),D(N-2),…,D(1),A(1)进行编码。注意,高效P/U步骤的应用通常导致D(N-1),…,D(1)中的稀疏子带“系数”,从而提供变换编码增益优势。
上述用于预测变换的基于距离的加权平均预测作为G-PCC中的锚定方法(anchormethod)用于提升方案中的预测步骤。
对于诸如颜色的点云属性,在信道之间存在明显的冗余。
为了提高编解码效率,通常将颜色空间转换作为预处理/后处理步骤来执行。作为预处理/后处理步骤的颜色空间转换的一个问题是它们通常缺乏正交性,并且在转换的颜色空间中优化编解码器性能并不一定转化为原始空间中的良好质量。另外,无损颜色变换往往具有扩展的位深度,尤其是在试图以良好的精度近似非整数颜色变换时。这可能是一个依赖于许多实际系统中的实现约束的问题。
在本公开中,提出了有效地执行信道间去相关以提高压缩效率的方法。
所提出的方法可以单独使用或以任何顺序组合使用。此外,方法(或实施例)、编码器和解码器中的每一者可以由处理电路(例如,一个或多个处理器或一个或多个集成电路)实施。在一个示例中,一个或多个处理器执行存储在非易失性计算机可读介质中的程序。
本公开涉及以上描述的G-PCC预测器设计。这些方法可以应用于为点云设计的类似编解码器。
在本公开中,公开了可以避免使用颜色空间变换作为编解码效率的转换工具的上述问题的技术。
根据实施例,一种技术使用YCoCg-R作为用于G-PCC的DPCM中的预测残差的无损内环路变换(又称预测变换),以在保持接近无损和无损重建的同时进行去相关(decorrelate)信道间依赖性。根据另一实施例,一种技术使用另一预测步骤来预测G-PCC的DPCM中的其它信道的残差值。
给出YCoCg变换,如下所示:
作为从YCoCg导出的无损变换,给出正向YCoCg-R,如下所示:
Co=R-B
t=B+(Co>>1)
Cg=G-t
Y=t+(Cg>>1)
反向YCoCg-R反转上述过程,如下所示:
t=Y-(Cg>>1)
G=Cg+t;
B=t-(Co>>1)
R=B+Co
当将此为残差变换来应用时,信号R、G和B是由G-PCC中的每个信道预测产生的每个信道的预测残差。
去相关多信道信号的另一种方法是使用预测器。在本公开中,一种技术使用预测器来预测信道的残差信号,使得对二阶残差进行量化和熵编码,而不是原始残差。
对于G-PCC预测设计,最简单的版本可以描述如下,其中粗体部分是在当前TMC3规范之上所需的改变。可以引入任何一般形式的线性或非线性预测器函数,以便可能改进这种最简单的预测。
如下文所用,“X”表示信道X信号,“X_pred”表示预测的信道X信号(从G-PCC中的重建相邻样本获得),“X_delta_index”表示信道X的预测残差的量化索引,“X_delta_recon”表示信道X的重建残差,“X_recon”表示重建的信道X信号,并且“X_delta_residual_index”表示来自残差预测的残差的量化索引。
对于编码:
G-信道:
G_delta_index<-Quantize(G-G_pred)
G_delta_recon<-InverseQuantize(G_delta_index)
G_recon<-G_pred+G_delta_recon
EntopyEncode(G_delta_index)
C-信道(“C”可以是R或B):
C_delta_index<-Quantize(C-C_pred)
C_delta_recon<-InverseQuantize(C_delta_index)
C_delta_residual_index<-Quantize(C_delta_recon–G_delta_recon)
C_delta_recon<-InverseQuantize(C_delta_residual_index)+G_delta_recon
C_recon<-C_pred+C_delta_recon
EntopyEncode(C_delta_residual_index)
对于解码:
G-信道
G_delta_index<-EntropyDecode()
G_delta_recon<-InverseQuantize(G_delta_index)
G_recon<-G_pred+G_delta_recon
//C-信道(“C”可以是R或B)
C_delta_residual_index<-EntropyDecode()
C_delta_recon<-InverseQuantize(C_delta_residual_index)+G_delta_reconC_recon<-C_pred+C_delta_recon
用于G-PCC和类似点云编解码器的信道间残差预测器的优点包括:解码过程中的变化很小;它不需要任何精心制作的多信道信号模型,并且与用于信道间去相关的其它基于无损颜色变换的方法(包括环路内残差变换)不同,所提出的方法可以根据豪斯道夫度量(Hausdorff metric)控制原始域中信号的保真度。这是因为在原始(RGB颜色)空间中执行量化。
以下提供了G-PCC工作草案规范中的信道间残差预测器的实施例示例。
在属性参数集语法中,可以添加标志以自适应地启用/禁用所提出的信道间残差预测器。
属性参数集语法:
属性参数集语义:
等于1的“lifting_residual_prediction_enabled_flag”指示属性解码过程执行残差预测。
逆量化过程:
本公开同样适用于G-PCC中的DPCM预测(又称预测变换)的上下文下的内环路颜色残差变换和颜色残差预测两者。这两种技术将被称为信道间工具。
在本公开中,提出了几种条件检查方法,用于决定是否将信道间工具应用于当前点。
在实施例中,为每个最近邻计算三个信道的重建残差值的最大差值。更具体地,解码器可以通过设置的阈值来跟踪在应用信道间工具之后有多少邻域经历了减少的残差量值/方差。特别是当三个重建的残差值相对均匀时,去相关很可能不成功。这需要一标志的簿记(bookkeeping)以指示解码时每个点的此类测试的结果。也可以在做出决定时进行多数投票(majority-voting)。
在另一实施例中,比较来自相邻点的三个信道的最大绝对差值。当颜色信道之间的值的可变性存在显著差异时,可能难以彼此预测。
可以结合任何测量来确定信道间工具的使用,所述测量可以识别来自相邻样本的信道间相关性。
在另一实施例中,可以发信号通知图块/条带级(例如,在图块/条带头中)或视频/图片级(例如,在SPS/PPS中)的标志以启用/禁用所提出的残差变换或预测。该信令可以应用于构成编码单元的点云像素的任何分组。
由于细节子带系数(detail subband coefficient)仅是来自提升的预测步骤的输出,因此这些实质上是预测残差信号,并且在给定相同预测策略的情况下,它们在不同颜色信道之间可能是相似的。
对于G-PCC提升设计,最简单的版本可以描述如下,其中粗体部分是在当前TMC3规范之上所需的改变。可以引入任何一般形式的线性或非线性预测器函数,以便可能改进这种最简单的预测。
如下文所用,“X”表示信道X信号,“X_coeff_index”表示信道X的提升系数的量化索引,“X_coeff_recon”表示信道X的重建提升系数,“X_recon”表示重建的信道X信号,“X_coeff_residual_index”表示来自残差预测的残差的量化索引,“quantWeight”表示在G-PCC中使用的加权因子,其在编码器处量化之前以及在解码器处去量化之后应用于提升系数。
编码:
G-信道
G_coeff_index<-Quantize(G)
G_coeff_recon<-InverseQuantize(G_coeff_index)
G_recon<-G_coeff_recon/quantWeight
EntopyEncode(G_coeff_index)
//C-信道(“C”可以是R或B)
C_coeff_index<-Quantize(C)
C_coeff_recon<-InverseQuantize(C_coeff_index)
C_coeff_residual_index<-Quantize(C_coeff_recon–G_coeff_recon)
C_ceoff_recon<-InverseQuantize(C_coeff_residual_index)+G_coeff_recon
C_recon<-C_coeff_recon/quantWeight
EntopyEncode(C_coeff_residual_index)
解码
/G-信道
G_coeff_index<-EntropyDecode()
G_coeff_recon<-InverseQuantize(G_coeff_index)
G_recon<-G_coeff_recon/quantWeight
//C-信道(“C”可以是R或B)
C_coeff_residual_index<-EntropyDecode()
C_coeff_recon<-InverseQuantize(C_coeff_residual_index)+G_coeff_reconC_recon<-C_coeff_recon/quantWeight
图1是用于对点云的属性信息进行编码的示例过程100的流程图。在一些实施方案中,图1的一个或多个过程框可以由用户设备210执行。在一些实施方案中,图1的一个或多个过程框可以由与用户设备210分离或包括用户设备210的另一设备或一组设备(诸如平台220)执行。
如图1所示,过程100可以包括获取点云,所述点云包括三维空间中的一组点(框110)。
点云可以是3D空间中的一组点,每个点具有相关联的属性,例如颜色、材料属性等。
如图1中进一步所示,过程100可以包括使用YCoCg-R变换对点云的属性信息进行编码(框120)。
YCoCg颜色模型是根据简单的变换形成的颜色空间,所述简单的变换为将相关联的红、绿、蓝(RGB)颜色空间转换为亮度值(表示为“Y”)和两个称为色度绿(Cg)和色度橙(Co)的色度值。YCoCg-R是YCoCg颜色模型的可逆缩放版本。
YCoCg-R变换可用于基于图的点云压缩(G-PCC)。在YCoCg-R中,Co=R–B。此外,t=B+(Co>>1)。再进一步,Cg=G–t。再进一步,Y=t+(Cg>>1)。
给出YCoCg变换,如下所示:
作为从YCoCg导出的无损变换,给出正向YCoCg-R,如下所示:
Co=R-B
t=B+(Co>>1)
Cg=G-t
Y=t+(Cg>>1)
反向YCoCg-R反转上述过程,如下所示:
t=Y-(Cg>>1)
G=Cg+t;
B=t-(Co>>1)
R=B+Co
在一些实施方案中,该过程可以包括基于使用YCoCg-R变换来对属性信息进行编码来传输点云。
虽然图1示出了过程100的示例框,但是在一些实施方案中,过程100可以包括与图1中描绘的那些框相比额外的框、更少的框、不同的框或不同排列的框。另外地或替代地,可以并行地执行过程100的两个或更多个框。
图2是其中可以实现本文所述的系统和/或方法的示例性通信系统200的图。如图2所示,通信系统200可以包括用户设备210、平台220和网络230。通信系统200的设备可以经由有线连接、无线连接或有线和无线连接的组合进行互连。
通信系统200可以支持数据的单向传输。例如,第一用户设备210可以在本地位置对视频数据进行编码,以便经由网络230传输到第二用户设备210。第二用户设备210可以从网络230接收第一用户设备210的已编码视频数据、解码已编码数据并显示恢复的视频数据。单向数据传输在媒体服务应用程序等中可能是常见的。
通信系统200可以支持数据的双向传输。例如,通信系统200可以支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输,每个用户设备210可以对在本地位置处采集的视频数据进行编码以经由网络230传输到另一用户设备210。每个用户设备210还可以接收由另一用户设备210传输的已编码视频数据,可以解码已编码数据且可以在本地显示设备处显示恢复的视频数据。
用户设备210包括能够接收、生成、存储、处理和/或提供与平台220相关联的信息的一个或多个设备。例如,用户设备210可以包括计算设备(例如,台式计算机、膝上型计算机、平板计算机、手持计算机、智能扬声器、服务器等)、移动电话(例如,智能电话、无线电话等)、可穿戴设备(例如,一对智能眼镜或智能手表)或类似设备。在一些实施方案中,用户设备210可以从平台220接收信息和/或向平台220传输信息。
平台220包括能够向用户设备210提供信息的一个或多个设备,如本文别处所述。在一些实施方案中,平台220可以包括云服务器或一组云服务器。在一些实施方案中,平台220可被设计为模块化,使得某些软件部件可以根据特定需要而被换入或换出。这样,平台220可以容易地和/或快速地重新配置以用于不同的用途。
在一些实施方案中,如图所示,平台220可以托管在云计算环境222中。值得注意的是,虽然本文描述的实施方案将平台220描述为托管在云计算环境222中,但是在一些实施方案中,平台220不是基于云的(即,可以在云计算环境之外实现)或者可以是部分基于云的。
云计算环境222包括托管平台220的环境。云计算环境222可以提供计算、软件、数据存取、存储等服务,这些服务不需要最终用户(例如,用户设备210)了解托管平台220的一个或多个系统和/或一个或多个设备的物理位置和配置。如图所示,云计算环境222可以包括一组计算资源224(统称为“计算资源224”,并且单独称为“计算资源224”)。
计算资源224包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实施方案中,计算资源224可以托管平台220。云资源可以包括在计算资源224中执行的计算实例、在计算资源224中提供的存储设备、由计算资源224提供的数据传送设备等。在一些实施方案中,计算资源224可以经由有线连接、无线连接或有线和无线连接的组合与其它计算资源224通信。
如图2中进一步所示,计算资源224包括一组云资源,诸如一个或多个应用程序(“APP”)224-1、一个或多个虚拟机(“VM”)224-2、虚拟化存储(“VS”)224-3、一个或多个管理程序(“HYP”)224-4等。
应用程序224-1包括可以提供给用户设备210或由用户设备210访问的一个或多个软件应用程序。应用程序224-1可以消除在用户设备210上安装和执行软件应用程序的需要。例如,应用程序224-1可以包括与平台220相关联的软件和/或能够经由云计算环境222提供的任何其它软件。在一些实施方案中,一个应用程序224-1可以经由虚拟机224-2向/从一个或多个其它应用程序224-1发送/接收信息。
虚拟机224-2包括执行类似物理机器的程序的机器(例如,计算机)的软件实现。虚拟机224-2可以是系统虚拟机或进程虚拟机,这取决于虚拟机224-2对任何真实机器的使用和对应程度。系统虚拟机可以提供支持完整操作系统(“OS”)的执行的完整系统平台。进程虚拟机可以执行单个程序,并且可以支持单个进程。在一些实施方案中,虚拟机224-2可以代表用户(例如,用户设备210)执行,并且可以管理云计算环境222的基础设施,诸如数据管理、同步或长期数据传送。
虚拟化存储224-3包括使用计算资源224的存储系统或设备内的虚拟化技术的一个或多个存储系统和/或一个或多个设备。在一些实施方案中,在存储系统的上下文中,虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指逻辑存储从物理存储的抽象(或分离),使得可以访问存储系统而不考虑物理存储或异构结构。分离可以允许存储系统的管理员在管理员如何为终端用户管理存储方面具有灵活性。文件虚拟化可以消除在文件级存取的数据与物理存储文件的位置之间的依赖关系。这可以实现优化存储使用、服务器合并和/或无干扰文件迁移的性能。
管理程序224-4可以提供硬件虚拟化技术,其允许多个操作系统(例如,“客户操作系统”)在主机(诸如计算资源224)上并发执行。管理程序224-4可以向客户操作系统提供虚拟操作平台,并且可以管理客户操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。
网络230包括一个或多个有线和/或无线网络。例如,网络230可以包括蜂窝网络(例如,第五代(5G)网络、长期演进(LTE)网络、第三代(3G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如,公共交换电话网(PSTN)、专用网络、自组网、内联网、因特网、基于光纤的网络等,和/或这些或其它类型网络的组合。
提供图2中所示的设备和网络的数量和布置作为示例。实际上,可以存在比图2所示的设备和/或网络更多的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络,或不同布置的设备和/或网络。此外,图2所示的两个或更多个设备可以在单个设备内实现,或者图2所示的单个设备可以实现为多个分布式设备。另外地或替代地,环境200的一组设备(例如,一个或多个设备)可以执行被描述为由环境200的另一组设备执行的一个或多个功能。
图3是设备300的示例部件的图。设备300可以对应于用户设备210和/或平台220。如图3所示,装置300可以包括总线310、处理器320、存储器330、存储部件340、输入部件350、输出部件360和通信接口370。
总线310包括允许在设备300的部件之间通信的部件。处理器320以硬件、固件或硬件和软件的组合来实现。处理器320是中央处理单元(CPU,central processing unit)、图形处理单元(GPU,graphics processing unit)、加速处理单元(APU,acceleratedprocessing unit)、微处理器、微控制器、数字信号处理器(DSP,digital signalprocessor)、现场可编程门阵列(FPGA,field-programmable gate array)、专用集成电路(ASIC,application-specific integrated circuit),或另一类型的处理部件。在一些实施方案中,处理器320包括能够被编程以执行功能的一个或多个处理器。存储器330包括随机存取存储器(RAM,random access memory)、只读存储器(ROM,read only memory),和/或另一类型的动态或静态存储设备(例如,闪速存储器、磁存储器,和/或光学存储器),其存储信息和/或指令以供处理器320使用。
存储部件340存储与设备300的操作和使用相关的信息和/或软件。例如,存储部件340可以包括硬盘(例如,磁盘、光盘、磁光盘和/或固态盘)、光盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带,和/或另一类型的非易失性计算机可读介质,以及对应的驱动器。
输入部件350包括允许设备300接收信息的部件,例如经由用户输入(例如,触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)接收。另外地或替代地,输入部件350可以包括用于感测信息的传感器(例如,全球定位系统(GPS)部件、加速度计、陀螺仪和/或致动器)。输出部件360包括提供来自设备300的输出信息的部件(例如,显示器、扬声器和/或一个或多个发光二极管(LED))。
通信接口370包括类似收发器的部件(例如,收发器和/或单独的接收器和发射器),其使设备300能够诸如经由有线连接、无线连接或有线和无线连接的组合与其它设备通信。通信接口370可以允许设备300接收从另一设备接收信息和/或向另一设备提供信息。例如,通信接口370可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、无线网络接口、蜂窝网络接口等。
设备300可以执行本文描述的一个或多个过程。设备300可以响应于处理器320执行由非易失性计算机可读介质(诸如存储器330和/或存储部件340)存储的指令而执行这些过程。计算机可读介质在本文中被定义为非易失性存储器设备。存储器设备包括单个物理存储设备内的存储器空间或分布在多个物理存储设备的存储器空间。
软件指令可以经由通信接口370从另一计算机可读介质或从另一设备读入存储器330和/或存储部件340。当被执行时,存储在存储器330和/或存储部件340中的软件指令可以使处理器320执行本文描述的一个或多个过程。另外地或替代地,可以使用硬连线电路代替软件指令或与软件指令组合使用以执行本文所述的一个或多个过程。因此,本文描述的实施方案不限于硬件电路和软件的任何特定组合。
提供图3中所示的部件的数量和布置作为示例。实际上,设备300可以包括与图3所示的部件相比的附加部件、更少的部件、不同的部件或不同布置的部件。另外地或替代地,设备300的一组部件(例如,一个或多个部件)可以执行被描述为由设备300的另一组部件执行的一个或多个功能。
上述公开内容提供了说明和描述,但并非旨在穷举或将实施方案限制为所公开的精确形式。根据上述公开内容可以进行修改和变化,或者可以从实施方案的实践中获得修改和变化。
如本文所用,术语部件旨在被广泛地解释为硬件、固件或硬件和软件的组合。
显然,本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不是对实施方案的限制。因此,本文描述了系统和/或方法的操作和行为,而没有参考特定的软件代码——应当理解,软件和硬件可以被设计成基于本文的描述来实现系统和/或方法。
尽管在权利要求中陈述和/或在说明书中公开了特征的特定组合,但这些组合并不旨在限制可能实施方案的公开。实际上,这些特征中的许多可以以未在权利要求中具体陈述和/或在说明书中公开的方式组合。尽管下面列出的每个从属权利要求可以直接依赖于仅一个权利要求,但是可能实施方案的公开包括与权利要求集中的所有其它权利要求结合的每个从属权利要求。
除非明确说明,否则本文使用的任何元素、行为或指令均不应被解释为关键的或必要的。此外,如本文所用,冠词“一(a)”和“一个(an)”旨在包括一个或多个项目,并且可以与“一个或多个”互换使用。此外,如本文所用,术语“组”旨在包括一个或多个项目(例如,相关项目、不相关项目、相关和不相关项目的组合等),并且可以与“一个或多个”互换使用。在仅意指一个项目的情况下,使用术语“一个”或类似语言。此外,如本文所用,术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式术语。此外,除非另有明确说明,否则短语“基于”旨在表示“至少部分地基于”。
Claims (20)
1.一种用于对点云的属性信息进行编码的方法,其特征在于,所述方法由至少一个处理器执行并且包括:
获取点云,所述点云包括三维空间中的一组点;以及
使用YCoCg-R变换对所述点云的所述属性信息进行编码。
2.根据权利要求1所述的方法,其特征在于,进一步包括:
基于使用所述YCoCg-R变换对所述属性信息进行编码来传输所述点云。
3.根据权利要求1所述的方法,其特征在于,所述YCoCg-R变换用于基于图的点云压缩G-PCC。
4.根据权利要求1所述的方法,其特征在于,Co=R–B。
5.根据权利要求1所述的方法,其特征在于,t=B+(Co>>1)。
6.根据权利要求1所述的方法,其特征在于,Cg=G–t。
7.根据权利要求1所述的方法,其特征在于,Y=t+(Cg>>1)。
8.一种用于对点云的属性信息进行编码的设备,其特征在于,所述设备包括:
至少一个存储器,被配置为存储程序代码;以及
至少一个处理器,被配置为读取所述程序代码并按照所述程序代码的指示操作,所述程序代码包括:
获取代码,被配置为使所述至少一个处理器获取点云,所述点云包括三维空间中的一组点;以及
编码代码,被配置为使所述至少一个处理器使用YCoCg-R变换对所述点云的所述属性信息进行编码。
9.根据权利要求8所述的设备,其特征在于,所述程序代码进一步包括:
传输代码,被配置为使所述至少一个处理器基于使用所述YCoCg-R变换对所述属性信息进行编码来传输所述点云。
10.根据权利要求8所述的设备,其特征在于,所述YCoCg-R变换用于基于图的点云压缩G-PCC。
11.根据权利要求8所述的设备,其特征在于,Co=R–B。
12.根据权利要求8所述的设备,其特征在于,t=B+(Co>>1)。
13.根据权利要求8所述的设备,其特征在于,Cg=G–t。
14.根据权利要求8所述的设备,其特征在于,Y=t+(Cg>>1)。
15.一种存储指令的非易失性计算机可读介质,其特征在于,所述指令包括:一个或多个指令,在由用于对点云的属性信息进行编码的设备的一个或多个处理器执行时,所述指令使所述一个或多个处理器:
获取点云,所述点云包括三维空间中的一组点;以及
使用YCoCg-R变换对所述点云的所述属性信息进行编码。
16.根据权利要求15所述的非易失性计算机可读介质,其特征在于,所述一个或多个指令进一步使所述一个或多个处理器基于使用所述YCoCg-R变换对所述属性信息进行编码来传输所述点云。
17.根据权利要求15所述的非易失性计算机可读介质,其特征在于,Co=R–B。
18.根据权利要求15所述的非易失性计算机可读介质,其特征在于,t=B+(Co>>1)。
19.根据权利要求15所述的非易失性计算机可读介质,其特征在于,Cg=G–t。
20.根据权利要求15所述的非易失性计算机可读介质,其特征在于,Y=t+(Cg>>1)。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962911327P | 2019-10-06 | 2019-10-06 | |
US62/911,327 | 2019-10-06 | ||
US17/030,779 US11682144B2 (en) | 2019-10-06 | 2020-09-24 | Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding |
US17/030,779 | 2020-09-24 | ||
PCT/US2020/053977 WO2021071752A1 (en) | 2019-10-06 | 2020-10-02 | Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113795868A true CN113795868A (zh) | 2021-12-14 |
CN113795868B CN113795868B (zh) | 2024-03-01 |
Family
ID=75274371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080033242.4A Active CN113795868B (zh) | 2019-10-06 | 2020-10-02 | 一种用于对点云的属性信息进行编码的方法、设备以及存储介质 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11682144B2 (zh) |
EP (1) | EP4038577A4 (zh) |
JP (1) | JP7329064B2 (zh) |
KR (1) | KR102625789B1 (zh) |
CN (1) | CN113795868B (zh) |
WO (1) | WO2021071752A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11551334B2 (en) * | 2020-01-09 | 2023-01-10 | Tencent America LLC | Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding |
US11645812B2 (en) * | 2020-10-06 | 2023-05-09 | Qualcomm Incorporated | Inter-component residual prediction for color attributes in geometry point cloud compression coding |
US11651551B2 (en) * | 2020-10-06 | 2023-05-16 | Qualcomm Incorporated | Coding of component of color attributes in geometry-based point cloud compression (G-PCC) |
US12003768B2 (en) * | 2021-04-05 | 2024-06-04 | Qualcomm Incorporated | Residual coding for geometry point cloud compression |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050259730A1 (en) * | 2004-05-18 | 2005-11-24 | Sharp Laboratories Of America, Inc. | Video coding with residual color conversion using reversible YCoCg |
US20150373327A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
CN109257604A (zh) * | 2018-11-20 | 2019-01-22 | 山东大学 | 一种基于tmc3点云编码器的颜色属性编码方法 |
US20190087978A1 (en) * | 2017-09-18 | 2019-03-21 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
US20190156518A1 (en) * | 2017-11-22 | 2019-05-23 | Apple Inc. | Point cloud compression with closed-loop color conversion |
WO2019125010A1 (en) * | 2017-12-22 | 2019-06-27 | Samsung Electronics Co., Ltd. | Method and apparatus for handling duplicate points in point cloud compression |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10244223B2 (en) * | 2014-01-10 | 2019-03-26 | Ostendo Technologies, Inc. | Methods for full parallax compressed light field 3D imaging systems |
KR102073930B1 (ko) | 2014-03-14 | 2020-02-06 | 브이아이디 스케일, 인크. | Rgb 비디오 코딩 향상을 위한 시스템 및 방법 |
US11514613B2 (en) | 2017-03-16 | 2022-11-29 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
-
2020
- 2020-09-24 US US17/030,779 patent/US11682144B2/en active Active
- 2020-10-02 CN CN202080033242.4A patent/CN113795868B/zh active Active
- 2020-10-02 JP JP2021556273A patent/JP7329064B2/ja active Active
- 2020-10-02 WO PCT/US2020/053977 patent/WO2021071752A1/en unknown
- 2020-10-02 KR KR1020217033332A patent/KR102625789B1/ko active IP Right Grant
- 2020-10-02 EP EP20875425.9A patent/EP4038577A4/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050259730A1 (en) * | 2004-05-18 | 2005-11-24 | Sharp Laboratories Of America, Inc. | Video coding with residual color conversion using reversible YCoCg |
US20150373327A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
US20190087978A1 (en) * | 2017-09-18 | 2019-03-21 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
US20190156518A1 (en) * | 2017-11-22 | 2019-05-23 | Apple Inc. | Point cloud compression with closed-loop color conversion |
WO2019125010A1 (en) * | 2017-12-22 | 2019-06-27 | Samsung Electronics Co., Ltd. | Method and apparatus for handling duplicate points in point cloud compression |
CN109257604A (zh) * | 2018-11-20 | 2019-01-22 | 山东大学 | 一种基于tmc3点云编码器的颜色属性编码方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4038577A4 (en) | 2023-11-08 |
JP7329064B2 (ja) | 2023-08-17 |
EP4038577A1 (en) | 2022-08-10 |
US11682144B2 (en) | 2023-06-20 |
WO2021071752A1 (en) | 2021-04-15 |
JP2022535483A (ja) | 2022-08-09 |
US20210104072A1 (en) | 2021-04-08 |
CN113795868B (zh) | 2024-03-01 |
KR20210139381A (ko) | 2021-11-22 |
KR102625789B1 (ko) | 2024-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210248784A1 (en) | Node-based geometry and attribute coding for a point cloud | |
CN113256746B (zh) | 点云编解码的方法、装置和存储介质 | |
JP7263521B2 (ja) | インターフレーム点群属性符号化のための方法並びにその、装置およびコンピュータプログラム | |
CN113424547B (zh) | 点云属性编解码的方法和装置 | |
JP7384520B2 (ja) | フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム | |
CN113795868B (zh) | 一种用于对点云的属性信息进行编码的方法、设备以及存储介质 | |
CN112188197B (zh) | 通道间点云属性解码方法、装置以及可读存储介质 | |
CN113795870B (zh) | 一种对点云属性编解码的方法、装置及存储介质 | |
CN112218077B (zh) | 通道间点云属性编码方法、装置以及可读存储介质 | |
CN113544747A (zh) | 用于点云编解码的几何合并模式的方法和装置 | |
CN114902284A (zh) | 信息处理装置和方法 | |
JP2023518542A (ja) | 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 | |
WO2021010134A1 (ja) | 情報処理装置および方法 | |
CN112616058B (zh) | 视频编码或解码方法、装置、计算机设备和存储介质 | |
CN112188216B (zh) | 视频数据的编码方法、装置、计算机设备及存储介质 | |
KR20220106190A (ko) | 신경망 모델 압축을 위한 통합 기반 코딩을 위한 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |