CN116114249A - 几何点云压缩(g-pcc)中的时间可伸缩性 - Google Patents

几何点云压缩(g-pcc)中的时间可伸缩性 Download PDF

Info

Publication number
CN116114249A
CN116114249A CN202180054190.3A CN202180054190A CN116114249A CN 116114249 A CN116114249 A CN 116114249A CN 202180054190 A CN202180054190 A CN 202180054190A CN 116114249 A CN116114249 A CN 116114249A
Authority
CN
China
Prior art keywords
slice
point cloud
temporal
cloud data
syntax structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180054190.3A
Other languages
English (en)
Inventor
A·K·瑞玛苏布雷蒙尼安
G·范德奥维拉
B·雷
M·卡切夫维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN116114249A publication Critical patent/CN116114249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

公开了用于将时间标识信息合并到几何形状点云压缩语法结构中的示例设备和技术。一种用于对点云数据进行解码的示例设备包括:存储器,其被配置为存储点云数据;以及在电路中实现并且通信地耦合到存储器的一个或多个处理器。所述一个或多个处理器被配置为:确定语法结构的时间标识符(ID)的值;以及基于时间ID的值来对点云数据进行解码。语法结构的时间ID标识与语法结构相关联的点云数据所属的时间层。

Description

几何点云压缩(G-PCC)中的时间可伸缩性
本申请要求享受于2021年9月22日递交的美国专利申请17/482,012以及于2020年10月5日递交的美国临时专利申请63/087,809的优先权,上述申请中的每个申请的全部内容通过引用的方式被并入本文中。于2021年9月22日递交的美国专利申请17/482,012要求于2020年10月5日递交的美国临时专利申请63/087,809的利益。
技术领域
本公开内容涉及点云编码和解码。
背景技术
点云是对三维空间中的点的汇集。所述点可以对应于三维空间内的物体上的点。因此,可以使用点云来表示三维空间的物理内容。点云在各种各样的情形下可能具有功用。例如,在自动车辆的上下文中,点云可以用于表示道路上的物体的位置。在另一示例中,在表示环境的物理内容的上下文中,点云可以是出于在增强现实(AR)或混合现实(MR)应用中定位虚拟对象的目的使用的。点云压缩是用于对点云进行编码和解码的过程。对点云进行编码可以减少用于对点云进行存储和传输所要求的数据量。
发明内容
一般而言,本公开内容描述了用于实现和/或改善几何形状点云压缩(G-PCC)比特流的时间可伸缩性的技术。利用时间可伸缩性,可以将比特流或点云帧划分为时间层。通过接收不同的时间层子集或所有时间层,G-PCC解码器可以以不同的帧速率来对点云数据进行解码。为了正确地对时间层进行解码,G-PCC解码器可能需要识别哪个点云数据属于哪个时间层。本公开内容描述了促进G-PCC解码器识别哪个点云数据属于哪个时间层的技术。
在一个示例中,本公开内容描述了一种对点云数据进行解码的方法,包括:确定语法结构的时间标识符(ID)的值;以及基于所述时间ID的所述值来对所述点云数据进行解码,其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
在另一示例中,本公开内容描述了一种对点云数据进行编码的方法,包括:确定语法结构的时间标识符(ID)的值;以及对所述点云数据进行编码以在所述语法结构中包括所述时间ID,其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
在另一示例中,本公开内容描述了一种用于对点云数据进行解码的设备,包括:存储器,其被配置为存储所述点云数据;以及在电路中实现并且通信地耦合到所述存储器的一个或多个处理器,所述一个或多个处理器被配置为:确定语法结构的时间标识符(ID)的值;以及基于所述时间ID的所述值来对所述点云数据进行解码,其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
在另一示例中,本公开内容描述了一种用于对点云数据进行编码的设备,包括:存储器,其被配置为存储所述点云数据;以及在电路中实现并且通信地耦合到所述存储器的一个或多个处理器,所述一个或多个处理器被配置为:确定语法结构的时间标识符(ID)的值;以及对所述点云数据进行编码以在所述语法结构中包括所述时间ID,其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
在附图和下文的描述中阐述了一个或多个示例的细节。根据描述、附图和权利要求,其它特征、目的和优势将是显而易见的。
附图说明
图1是示出可以执行本公开内容的技术的示例编码和解码系统的方框图。
图2是示出示例几何形状点云压缩(G-PCC)编码器的方框图。
图3是示出示例G-PCC解码器的方框图。
图4是示出根据本公开内容的技术的使用时间标识符的示例G-PCC解码技术的流程图。
图5是示出根据本公开内容的技术的使用时间标识符的示例G-PCC编码技术的流程图。
具体实施方式
时间可伸缩性是几何点云压缩(G-PCC)比特流的期望的特性。利用时间可伸缩性,可以将比特流或点云帧划分为时间层。通过接收不同的时间层子集或所有时间层,G-PCC解码器可以以不同的帧速率来对点云数据进行解码。通常(尽管这不是必要的),如果帧被拆分成N个时间层,则属于时间层1的帧将以一个帧速率来表示点云,属于时间层1和2的帧将以较高的帧速率来表示点云,属于时间层1、2和3的帧将以更高的帧速率来表示点云,以此类推。因此,需要识别点云帧的各个时间层。在没有任何这样的识别信息的情况下,不可能区分哪些切片/帧属于哪个时间层,并且G-PCC解码器将不能以各种帧速率来正确地对点云数据进行解码。
图1是示出可以执行本公开内容的技术的示例编码和解码系统100的方框图。本公开内容的技术通常针对于对点云数据进行译码(编码和/或解码),即以支持点云压缩。一般而言,点云数据包括用于对点云进行处理的任何数据。译码可以有效地压缩和/或解压缩点云数据。
如图1所示,系统100包括源设备102和目标设备116。源设备102提供要由目标设备116进行解码的经编码的点云数据。具体地,在图1的示例中,源设备102经由计算机可读介质110来将点云数据提供给目标设备116。源设备102和目标设备116可以包括范围广泛的设备中的任何设备,其包括台式计算机、笔记本(即,膝上型)计算机、平板计算机、机顶盒、电话手持装置(比如智能手机)、电视机、照相机、显示设备、数字媒体播放器、视频游戏主控台、视频串流设备、陆地或海洋交通工具、宇宙飞船、飞机、机器人、LIDAR设备、卫星等。在一些情况下,源设备102和目标设备116可以被配备用于无线通信。
在图1的示例中,源设备102包括数据源104、存储器106、G-PCC编码器200以及输出接口108。目标设备116包括输入接口122、G-PCC解码器300、存储器120以及数据消费器118。根据本公开内容,源设备102的G-PCC编码器200和目标设备116的G-PCC解码器300可以被配置为应用本公开内容的与实现和/或改善G-PCC比特流的时间可伸缩性有关的技术。
因此,源设备102表示编码设备的示例,而目标设备116表示解码设备的示例。在其它示例中,源设备102和目标设备116可以包括其它组件或排列。例如,源设备102可以从内部或外部源接收数据(例如,点云数据)。同样地,目标设备116可以与外部数据消费器相连接,而不是在相同的设备中包括数据消费器。
如图1中所示的系统100仅仅是一个示例。一般而言,其它数字编码和/或解码设备可以执行本公开内容的与实现和/或改善G-PCC比特流的时间可伸缩性有关的技术。
源设备102和目标设备116仅仅是这样的设备的示例,在其中源设备102生成用于向目标设备116传输的经译码的数据。本公开内容将“译码”设备称为执行对数据的译码(编码和/或解码)的设备。因此,G-PCC编码器200和G-PCC解码器300分别表示译码设备(具体而言,编码器和解码器)的示例。在一些示例中,源设备102和目标设备116可以以基本上对称的方式操作,使得源设备102和目标设备116中的各者包括编码和解码组件。因此,系统100可以支持源设备102与目标设备116之间的单向或双向传输,例如,用于流式传输、回放、广播、电话、导航和其它应用。
一般而言,数据源104表示数据(即,原始的、未经编码的点云数据)的源,以及可以将数据的连续序列的“帧”提供给G-PCC编码器200,所述G-PCC编码器200对针对帧的数据进行编码。源设备102的数据源104可以包括点云捕捉设备,比如各种各样的照相机或传感器中的任何一者(例如,3D扫描仪或光检测和测距(LIDAR)设备)、一个或多个视频摄像机、包含先前捕捉的数据的存档和/或用于从数据内容提供者接收数据的数据馈送接口。替代地或另外地,点云数据可以是从扫描仪、照相机、传感器生成的计算机数据或者其它数据。例如,数据源104可以生成基于计算机图形的数据作为源数据、或者产生实时数据、存档数据和计算机生成的数据的组合。在每种情况下,G-PCC编码器200对捕捉的、预捕捉的或计算机生成的数据进行编码。G-PCC编码器200可以将帧从接收到的顺序(有时称为“显示顺序”)重新排列为用于译码的译码顺序。G-PCC编码器200可以生成包括经编码的数据的一个或多个比特流。源设备102可以接着经由输出接口108将经编码的数据输出到计算机可读介质110上,用于通过例如目标设备116的输入接口122进行的接收和/或取回。
源设备102的存储器106和目标设备116的存储器120可以表示通用存储器。在一些示例中,存储器106和存储器120可以存储原始数据,例如,来自数据源104的原始数据和来自G-PCC解码器300的原始的、经解码的数据。另外地或替代地,存储器106和存储器120可以存储能分别由例如G-PCC编码器200和G-PCC解码器300执行的软件指令。虽然在该示例中,存储器106和存储器120是与G-PCC编码器200和G-PCC解码器300分开地示出的,但是应当理解的是,G-PCC编码器200和G-PCC解码器300还可以出于功能上相似的或等效的目的包括内部存储器。此外,存储器106和存储器120可以存储经编码的数据(例如,从G-PCC编码器200输出并且输入到G-PCC解码器300)。在一些示例中,可以将存储器106和存储器120中的一部分分配为一个或多个缓冲区,例如,以存储原始的、经解码的和/或经编码的数据。例如,存储器106和存储器120可以存储表示点云的数据。
计算机可读介质110可以表示能够将经编码的数据从源设备102传输到目标设备116的任何类型的介质或设备。在一个示例中,计算机可读介质110表示用于使得源设备102能够实时地例如经由射频网络或基于计算机的网络将经编码的数据直接地发送给目标设备116的通信介质。输出接口108可以根据比如无线通信协议的通信标准,对包括经编码的数据的传输信号进行调制,以及输入接口122可以对接收到的传输信号进行解调。通信介质可以包括任何无线或有线通信介质,比如射频(RF)频谱或一个或多个物理传输线。通信介质可以形成比如局域网、广域网或全球网络(比如互联网)的基于分组的网络的一部分。通信介质可以包括路由器、交换机、基站或者可能对于促进从源设备102到目标设备116的通信而言是有用的任何其它装备。
在一些示例中,源设备102可以将经编码的数据从输出接口108输出到存储设备112。类似地,目标设备116可以经由输入接口122来从存储设备112存取经编码的数据。存储设备112可以包括各种分布式或本地存取的数据存储介质(比如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性存储器或非易失性存储器)或用于存储经编码的数据的任何其它合适的数字存储介质中的任何一者。
在一些示例中,源设备102可以将经编码的数据输出到文件服务器114或者可以存储由源设备102生成的经编码的数据的另一中间存储设备。目标设备116可以经由流式传输或下载来从文件服务器114存取所存储的数据。文件服务器114可以是能够存储经编码的数据并且将该经编码的数据发送给目标设备116的任何类型的服务器设备。文件服务器114可以表示网络服务器(例如,用于网站)、文件传送协议(FTP)服务器、内容递送网络设备、或网络附属存储(NAS)设备。目标设备116可以通过包括互联网连接的任何标准数据连接来从文件服务器114存取经编码的数据。这可以包括适合用于存取存储在文件服务器114上的经编码的数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,数字用户线(DSL)、电缆调制解调器等)或两者的组合。文件服务器114和输入接口122可以被配置为根据流式传输协议、下载传输协议或其组合进行操作。
输出接口108和输入接口122可以表示无线发射机/接收机、调制解调器、有线网络组件(例如,以太网卡)、根据各种IEEE 802.11标准中的任何标准进行操作的无线通信组件、或其它物理组件。在输出接口108和输入接口122包括无线组件的示例中,输出接口108和输入接口122可以被配置为根据比如4G、4G-LTE(长期演进)、改进的LTE、5G等的蜂窝通信标准,来传送比如经编码的数据的数据。在输出接口108包括无线发射机的一些示例中,输出接口108和输入接口122可以被配置为根据其它无线标准(比如IEEE 802.11规范、IEEE802.15规范(例如,紫蜂TM)、蓝牙TM标准等)来传送比如经编码的数据之类的数据。在一些示例中,源设备102和/或目标设备116可以包括相应的片上系统(SoC)设备。例如,源设备102可以包括SoC设备以执行归属于G-PCC编码器200和/或输出接口108的功能,以及目标设备116可以包括SoC设备以执行归属于G-PCC解码器300和/或输入接口122的功能。
本公开内容的技术可以应用于支持各种应用中的任何应用(比如自动驾驶车辆之间的通信,扫描仪、照相机、传感器和处理设备(比如本地服务器或远程服务器)之间的通信,地理制图或其它应用)的编码和解码。
目标设备116的输入接口122从计算机可读介质110(例如,通信介质、存储设备112、文件服务器114等)接收经编码的比特流。经编码的比特流可以包括由G-PCC编码器200定义的信令信息(其还由G-PCC解码器300使用),比如具有描述经译码的单元(例如,切片、图片、图片组、序列等等)的特性和/或对经译码的单元的处理的值的语法元素,比如时间标识符(ID),其稍后在本公开内容中进行进一步地讨论。数据消费器118使用经解码的数据。例如,数据消费器118可以使用经解码的数据来确定物理对象的位置。在一些示例中,数据消费器118可以包括显示器以基于点云来展示图像。
G-PCC编码器200和G-PCC解码器300均可以实现为各种合适的编码器和/或解码器电路中的任何一者,比如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或其任意组合。当技术是部分地在软件中实现时,设备可以将用于软件的指令存储在合适的、非暂时性计算机可读介质中,以及使用一个或多个处理器来在硬件中执行所述指令以执行本公开内容的技术。G-PCC编码器200和G-PCC解码器300中的各者可以是包括在一个或多个编码器或解码器中的,编码器或解码器中的任一者可以整合为相应的设备中的组合的编码器/解码器(CODEC)的一部分。包括G-PCC编码器200和/或G-PCC解码器300的设备可以包括一个或多个集成电路、微处理器和/或其它类型的设备。
G-PCC编码器200和G-PCC解码器300可以根据比如视频点云压缩(V-PCC)标准或几何点云压缩(G-PCC)标准的译码标准进行操作。本公开内容通常可以涉及对图片的译码(例如,编码和解码),以包括对数据进行编码或解码的过程。经编码的比特流通常包括用于表示译码决定(例如,译码模式)的语法元素的一系列值。
本公开内容通常可能涉及“以信号通知”某些信息(诸如语法元素)。术语“以信号通知”通常可以指代对用于语法元素的值和/或用于对经编码的数据进行解码的其它数据的传送。在一些示例中,诸如时间ID之类的这样的语法元素可以被包括在诸如切片报头或数据单元报头之类的语法结构中。切片报头或数据单元报头可以包括适用于与该报头相关联的切片或数据单元的语法元素。G-PCC编码器200可以在比特流中以信号通知用于语法元素的值。G-PCC解码器300可以解析这些语法元素,以确定信号值。一般而言,以信号通知指代在比特流中生成值。如上文所述,源设备102可以基本上实时地或不是实时地(诸如可能在将语法元素存储到存储设备112以供目标设备116稍后取回时发生)将比特流传输给目标设备116。
ISO/IEC MPEG(JTC 1/SC 29/WG 11)和最近的ISO/IEC 3DG(JTC1/SC29/WG 7)正在研究对具有显著地超过当前的方法的压缩能力的点云译码技术进行标准化的潜在的需要,以及将致力于创建标准。该小组正在以称为三维图形小组(3DG)的合作努力中一起开展这项探索活动,以评估由在该领域中的专家提出的压缩技术设计。
将点云压缩活动分类为两种不同的方法。第一种方法是“视频点云压缩”(V-PCC),其对3D对象进行分段,以及将这些段投影到多个2D平面(其在2D帧中表示为“补丁”),所述2D平面是通过比如高效视频译码(HEVC)(ITU-T H.265)编解码器的旧有2D视频编解码器进行进一步译码的。第二种方法是“基于几何的点云压缩”(G-PCC),其直接地压缩3D几何(即,3D空间中的点集合的位置)以及相关联的属性值(针对与3D几何相关联的每个点)。G-PCC解决了对类别1(静态点云)和类别3(动态获取的点云)两者中的点云的压缩。G-PCC标准的最新草案是在G-PCC DIS,ISO/IEC JTC1/SC29/WG11 w19328、电话会议(先前的阿尔卑巴赫会议)、2020年4月中可得的,以及对编解码器的描述是在G-PCC编解码器描述v8,ISO/IECJTC1/SC29/WG11 w19525、电话会议、2020年6月中可得的。对G-PCC规范的一些最近的改变是在G-PCC未来增强,ISO/IEC JTC1/SC29/WG11 w19522、电话会议、2020年6月中可得的。
点云包含3D空间中的点集合,以及可以具有与所述点相关联的属性。所述属性可以是比如R、G、B或Y、Cb、Cr的颜色信息、或反射信息、或其它属性。点云可以是由各种照相机或传感器(比如LIDAR传感器和3D扫描仪)来捕捉的,以及还可以是计算机生成的。点云数据是在各种应用中使用的,所述应用包括但不受限于:建筑(建模)、图形(用于可视化和动画的3D模型)和汽车工业(用于帮助导航的LIDAR传感器)。
由点云占据的3D空间可以是由虚拟边界框包围的。边界框中的点的位置可以由某个精度来表示。因此,一个或多个点的位置可以是基于该精度来量化的。在最小的级别处,将边界框拆分为体素,所述体素是由单位立方体表示的最小的空间单位。边界框中的体素可以与零个、一个或多于一个的点相关联。可以将边界框拆分为多个立方体/长方体区域,所述区域可以称为图块(tile)。可以将每个图块译码为一个或多个切片。对边界框到切片和图块的划分可以是基于每个划分中的点数,或者是基于其它考虑(例如,可以将特定的区域译码为图块)。切片区域可以是使用类似于视频编解码器中的拆分决定的拆分决定来进一步划分的。
图2提供对G-PCC编码器200的概述。图3提供对G-PCC解码器300的概述。示出的模块是逻辑的,以及不一定一一对应于G-PCC编解码器的参考实现方式中的实现的代码(即,由ISO/IEC MPEG(JTC 1/SC 29/WG 11)研究的TMC13测试模型软件)。
在G-PCC编码器200和G-PCC解码器300两者中,首先对点云位置进行译码。属性译码取决于经解码的几何形状。在图2和图3中,表面近似分析单元212、RAHT单元218、表面近似合成单元310和RAHT单元314是通常用于类别1数据的选项。LOD生成单元220、提升单元222、LOD生成单元316和反向提升单元318是通常用于类别3数据的选项。所有其它模块在类别1和类别3之间是共用的。
针对类别3数据,经压缩的几何形状典型地表示为从根一直向下到单个体素的叶级别的八叉树。针对类别1数据,经压缩的几何形状典型地由经修剪的八叉树(即,从根向下到大于体素的块的叶级别的八叉树)加上模型来表示,所述模型近似于经修剪的八叉树的每个叶内的表面。用这种方式,类别1数据和类别3数据两者共享八叉树译码机制,而类别1数据此外可以利用表面模型近似每个叶内的体素。使用的表面模型是每块包括1-10个三角形的三角形划分,从而形成三角汤。因此,类别1几何编解码器称为三角形汤(Trisoup)几何编解码器,而类别3几何编解码器称为八叉树几何编解码器。
在八叉树的每个节点处,占用性是针对其子节点中的一个或多个子节点(多达八个节点)来以信号通知的(当未推断时)。指定多个邻域,其包括:(a)与当前的八叉树节点共享一面的节点、(b)与当前的八叉树节点共享一面、边或顶点的节点等。在每个邻域内,对一节点和/或其子节点的占用可以用于预测对当前的节点或其子节点的占用。针对在八叉树的某些节点中稀疏地填充的点,编解码器还支持直接的译码模式,其中对点的3D位置进行直接地编码。标志可以是以信号通知的以指示直接模式是以信号通知的。在最低层处,还可以对与八叉树节点/叶节点相关联的点的数量进行译码。
一旦对几何形状进行译码,对与几何点相对应的属性进行译码。当存在与一个经重构/解码的几何点相对应的多个属性点时,可以导出表示经重构的点的属性值。
在G-PCC中存在三种属性译码方法:区域自适应分层变换(RAHT)译码、基于插值的分层最近邻预测(预测变换)、以及具有更新/提升(lifting)步骤的基于插值的分层最近邻预测(提升变换)。RAHT和提升典型地用于类别1数据,而预测变换典型地用于类别3数据。然而,任一方法可以用于任何数据,以及与G-PCC中的几何编解码器类似,用于对点云进行译码的属性译码方法是在比特流中指定的。
可以在细节级别(LoD)中执行对属性的译码,其中针对每个细节级别,可以获得对点云属性的更精细的表示。每个细节级别可以是基于与邻近节点的距离度量或基于采样距离来指定的。
在G-PCC编码器200处,对作为针对属性的译码方法的输出而获得的残差进行量化。可以使用上下文自适应算术译码来对经量化的残差进行译码。
在图2的示例中,G-PCC编码器200可以包括坐标变换单元202、颜色变换单元204、体素化单元206、属性传送单元208、八叉树分析单元210、表面近似分析单元212、算术编码单元214、几何重构单元216、RAHT单元218、LOD生成单元220、提升单元222、系数量化单元224和算术编码单元226。
如图2的示例所示,G-PCC编码器200可以接收位置集合和属性集合。所述位置可以包括点云中的点的坐标。所述属性可以包括关于点云中的点的信息,比如与点云中的点相关联的颜色。
坐标变换单元202可以将变换应用于点的坐标,以将坐标从初始域变换到变换域。本公开内容可以将经变换的坐标称为变换坐标。颜色变换单元204可以应用变换,以便将属性的颜色信息变换到不同的域。例如,颜色变换单元204可以将颜色信息从RGB颜色空间变换到YCbCr颜色空间。
此外,在图2的示例中,体素化单元206可以对变换坐标进行体素化。对变换坐标的体素化可以包括:量化和去除点云中的一些点。换句话说,点云中的多个点可以包含在单个“体素”中,其此后可以是在一些方面中视为一个点的。此外,八叉树分析单元210可以基于经体素化的变换坐标来生成八叉树。另外地,在图2的示例中,表面近似分析单元212可以对点进行分析,以潜在地确定对点集合的表面表示。算术编码单元214可以对表示由表面近似分析单元212确定的八叉树和/或表面的信息的语法元素进行熵编码。G-PCC编码器200可以在几何比特流中输出这些语法元素。
几何重构单元216可以基于八叉树、指示由表面近似分析单元212所确定的表面的数据、和/或其它信息,来重构点云中的点的变换坐标。由于体素化和表面近似,由几何重构单元216重构的变换坐标的数量可能与点云中的原始的点的数量不同。本公开内容可以将作为结果的点称为重构点。属性传送单元208可以将点云中的原始点的属性传送到点云中的重构点。
此外,RAHT单元218可以将RAHT译码应用于重构点的属性。替代地或另外地,LOD生成单元220和提升单元222可以分别将LOD处理和提升应用于重构点的属性。RAHT单元218和提升单元222可以基于属性来生成系数。系数量化单元224可以对由RAHT单元218或提升单元222所生成的系数进行量化。算术编码单元226可以将算术译码应用于表示经量化的系数的语法元素。G-PCC编码器200可以在属性比特流中输出这些语法元素。
在图3的示例中,G-PCC解码器300可以包括几何算术解码单元302、属性算术解码单元304、八叉树合成单元306、逆量化单元308、表面近似合成单元310、几何重构单元312、RAHT单元314、LOD生成单元316、逆提升单元318、逆变换坐标单元320和逆颜色变换单元322。
G-PCC解码器300可以获得几何比特流和属性比特流。G-PCC解码器300的几何算术解码单元302可以将算术解码(例如,上下文自适应二进制算术译码(CABAC)或其它类型的算术解码)应用于几何比特流中的语法元素,比如时间ID。类似地,属性算术解码单元304可以将算术解码应用于属性比特流中的语法元素,比如时间ID。
八叉树合成单元306可以基于从几何比特流解析的语法元素来合成八叉树。在表面近似是在几何比特流中使用的情况下,表面近似合成单元310可以基于从几何比特流解析的语法元素并且基于八叉树来确定表面模型。
此外,几何重构单元312可以执行重构以确定点云中的点的坐标。逆变换坐标单元320可以将逆变换应用于经重构的坐标,以将点云中的点的经重构的坐标(位置)从变换域转换回到初始域。
另外地,在图3的示例中,逆量化单元308可以对属性值进行逆量化。所述属性值可以是基于从属性比特流中获得的语法元素(例如,包括由属性算术解码单元304进行解码的语法元素)。
取决于如何对属性值进行编码,RAHT单元314可以执行RAHT译码,以基于经逆量化的属性值来确定针对点云中的点的颜色值。或者,LOD生成单元316和逆提升单元318可以使用基于细节级别的技术来确定针对点云中的点的颜色值。
此外,在图3的示例中,逆变换颜色单元322可以将逆颜色变换应用于颜色值。逆颜色变换可以是由G-PCC编码器200的颜色变换单元204所应用的颜色变换的逆操作。例如,颜色变换单元204可以将颜色信息从RGB颜色空间变换到YCbCr颜色空间。因此,逆颜色变换单元322可以将颜色信息从YCbCr颜色空间变换到RGB颜色空间。
示出图2和图3的各个单元以帮助理解由G-PCC编码器200和G-PCC解码器300执行的操作。所述单元可以实现为固定功能的电路、可编程电路或其组合。固定功能的电路指的是提供特定的功能、以及在可以执行的操作上预先设置的电路。可编程的电路指的是可以被编程以执行各种任务、以及在可以执行的操作中提供灵活的功能的电路。例如,可编程的电路可以执行使得可编程的电路以由软件或固件的指令所定义的方式进行操作的软件或固件。固定功能的电路可以执行软件指令(例如,以接收参数或输出参数),但是固定功能的电路执行的操作的类型通常是不可变的。在一些示例中,所述单元中的一个或多个单元可以是不同的电路块(固定功能的或可编程的),以及在一些示例中,所述单元中的一个或多个单元可以是集成电路。
在若干应用中,点云数据或点云数据中的点与某个时间方面相关联。时间方面可以对应于点的捕捉的时刻,或者可以对应于用于点云的呈现/显示时间。典型地,时间方面可能不是绝对时间,而是相对于某个参考时间。该时间分量可以被指定为与时间相关联的特定的属性,或者其可以被译码为帧索引。帧索引可以用于指定相关联的时间点之间的关系的目的。例如,当点A具有帧索引3并且另一点B具有帧索引4时,假设帧索引大小是与时间成比例的,则点B与比点A要晚的时间点相关联。
应当注意的是,此外,一些点云可以被存储/表示为单独的帧。除非针对与帧内的每个点存在相关联的帧索引或时间的显式信令,否则出于实际的目的,帧中的所有点可以与相同的时间实例相关联。
G-PCC编解码器支持“融合”多个帧,使得G-PCC编码器200或G-PCC解码器300可以在对多个帧进行译码方面更加高效。在融合多个帧的情况下,将帧索引作为属性添加,以将点与被融合的不同的帧进行区分。在G-PCC中,这被称为帧的“融合译码”或“组合帧译码”
时间可伸缩性可以是G-PCC比特流的期望的特性。利用时间可伸缩性,G-PCC编码器200可以将比特流或点云帧划分为时间层。接收不同的时间层子集使得G-PCC解码器300能够以不同的帧速率来对点云数据进行解码。典型地(尽管这不是必要的),如果G-PCC编码器200将帧拆分为N个时间层,则属于时间层1的帧将以一个帧速率(例如,每秒30帧)来表示点云,属于时间层1和2的帧将以较高的帧速率(例如,每秒60帧)来表示点云,属于时间层1、2和3的帧将以更高的帧速率(例如,每秒120帧)来表示点云,以此类推。在一些示例中,时间层可以通过其它数字(例如,0、1和2)或通过其它名字来称呼。可能期望识别点云帧的各个时间层。在无任何这样的识别信息的情况下,可能无法区分哪些数据单元、切片或帧属于哪个时间层。
本公开内容的技术可以解决与区分哪些数据单元、切片或帧属于哪个时间层有关的一个或多个问题。本公开内容的技术可以独立地应用或以任何组合来应用。
在一个示例中,G-PCC编码器200可以以信号通知指定(或用于推导)与语法结构相关联的时间ID的值。使用时间ID可以使得有可能确定语法结构所属的时间层。例如,语法结构可以与切片或数据单元(诸如切片报头或数据单元报头)相关联,并且G-PCC编码器200可以以信号通知指定切片或数据单元的时间ID的值。在G-PCC中,切片可以包括几何形状数据单元以及零个或多个相关联的属性数据单元。如本文所使用的,几何形状数据单元也可以被称为几何形状切片,并且属性数据单元也可以被称为属性切片。时间ID可以在切片语法结构(诸如切片报头)、几何形状数据单元语法结构(诸如几何形状数据单元报头)和/或属性数据单元语法结构(诸如属性数据单元报头)中。
例如,G-PCC编码器200可以确定语法结构的时间ID的值,并且对点云数据进行编码,以在该语法结构(例如切片报头或数据单元报头)中包括时间ID。例如,G-PCC解码器300可以确定语法结构的时间ID的值,并且基于时间ID的值来对点云数据进行解码。例如,如果时间ID的值指示要以G-PCC解码器300正在使用的解码帧速率来解码的时间层,则G-PCC解码器300可以对点云数据进行解码。
在一些示例中,G-PCC编码器200可以仅在一些语法结构(例如,与几何形状切片或数据单元相关联的语法结构)中以信号通知该值,并且G-PCC解码器300可以从包含该值的相关联的语法结构推导用于其它语法结构(例如,与属性切片或数据单元相关联的语法结构)的对应值。例如,G-PCC编码器200可以利用几何形状切片或数据单元而不利用属性切片或数据单元来以信号通知该值。在G-PCC中,几何形状切片或数据单元包括描述切片中的点集合的位置的数据,而相关联的属性切片或数据单元包括描述相同的点集合的属性的数据。在其中G-PCC编码器200利用几何形状切片或数据单元而不利用属性切片或数据单元来以信号通知该值的示例中,G-PCC解码器300可以推导与属性切片或数据单元相关联的值等于与对应于属性切片的几何形状切片或数据单元相关联的值,而通常属性切片或数据单元包含在对应的几何形状切片中以信号通知的点的属性信息。例如,G-PCC编码器200可以避免以信号通知与对应于几何形状数据单元的属性数据单元相关联的时间ID的值。例如,G-PCC解码器300可以推断与对应于几何形状数据单元的属性数据单元相关联的时间ID的值等于与几何形状数据单元相关联的时间ID的值。与其中在属性比特流中以信号通知与属性数据相关联的时间ID的示例相比,推断与属性数据单元相关联的时间ID是与同对应于属性数据单元的几何形状数据单元相关联的时间ID相同可以减小属性比特流的大小。
在一些示例中,G-PCC编码器200可以仅在独立切片(或切片报头)中以信号通知时间ID值,以及不在从属切片(或切片报头)中以信号通知时间ID值。从属切片可以是可能依赖于先前的切片以便进行解码的切片。例如,G-PCC解码器300可能不能在没有首先对从属切片所依赖的切片进行解码的情况下对从属切片进行解码。在一些示例中,从属切片的时间ID可以被显式地以信号通知,或者可以由G-PCC解码器300从其它语法元素(例如,熵延续标志)推断。例如,G-PCC编码器200可以显式地以信号通知用于从属切片的时间ID,在这种情况下,G-PCC解码器300可以通过解析该时间ID来确定用于从属切片的时间ID的值。在另一示例中,G-PCC编码器200可以避免以信号通知用于从属切片的时间ID,在这种情况下,G-PCC解码器300可以基于另一语法元素来推断时间ID。
在一些示例中,可以指定如下的约束,并且G-PCC编码器200可以应用如下的约束:属于点云帧的两个或更多个切片的时间ID是相同的。例如,该约束可以确保属于相同帧的切片具有相同的时间ID,并且因此在对该帧进行解码时,其全部对于G-PCC解码器300是可用的。例如,如果不存在该约束,并且如果帧的第一切片的时间ID具有t1的时间ID,并且该帧的第二切片具有t2的时间ID(其中t1小于t2),则第二切片可能无法以较低的帧速率可用于G-PCC解码器300。这可能导致解码错误。
例如,G-PCC编码器200可以确定与帧的第一切片相关联的第一语法结构的第一时间ID的值。G-PCC编码器200可以对点云数据进行编码,以在第一语法结构中包括第一时间ID。G-PCC编码器200还可以确定与帧的第二切片相关联的第二时间ID等于第一时间ID,并且对与第二切片相关联的第二语法结构进行编码以包括第二时间ID。
例如,G-PCC解码器300可以确定与帧的第一切片相关联的第一语法结构的第一时间ID的值。G-PCC解码器300可以基于第一时间ID的值来对该帧的第一切片进行解码。G-PCC解码器300还可以确定与该帧的第二切片相关联的第二时间ID等于第一时间ID,并且基于第二时间ID来对该帧的第二切片进行解码。
在一些示例中,可以指定如下的约束,并且G-PCC编码器200和G-PCC解码器300可以应用如下的约束:对具有时间ID t1的切片中的任何点的重构不依赖于具有时间ID t2的任何切片,其中t1小于t2。该约束可以确保G-PCC解码器300接收并且解码另一切片所依赖的任何切片。如果不存在该约束,例如,第一切片具有t2的时间ID,并且第二切片具有t1的时间ID(其中t1小于t2),并且第二切片依赖于第一切片,则在对第二切片进行解码时,第一切片可能对于G-PCC解码器300是不可用的(例如,如果提取了包括具有小于t2的时间ID的所有语法结构的比特流,则可能发生这种情况)。这可能导致解码错误。
例如,G-PCC编码器200可以确定与独立切片相关联的第一语法结构的第一时间ID的值。G-PCC编码器200可以对点云数据进行编码以在第一语法结构中包括第一时间ID。G-PCC编码器200还可以确定与从属切片相关联的第二时间ID,从属切片依赖于独立切片。G-PCC编码器200可以进行以下操作:确定与从属切片相关联的第二时间ID,从属切片依赖于独立切片;以及对点云数据进行编码,以在用于从属切片的第二语法结构中包括第二时间ID,其中,第二时间ID等于或大于第一时间ID。
例如,G-PCC解码器300可以确定与独立切片相关联的第一语法结构的第一时间ID的值。G-PCC解码器300可以基于第一时间ID的值来对独立切片进行解码。G-PCC解码器300还可以进行以下操作:确定与从属切片相关联的第二时间ID,从属切片依赖于独立切片;以及基于独立切片和第二时间ID来对从属切片进行解码,其中,第二时间ID等于或大于第一时间ID。
在一些示例中,当使用组合帧译码时,可以添加限制,使得G-PCC编码器200和G-PCC解码器300可以仅将具有相同的时间ID的帧组合成一个帧。在一些示例中,G-PCC编码器200和G-PCC解码器300可以将被组合的帧的时间ID应用于组合帧。在一些示例中,对于与具有时间ID tC的组合帧相关联的每个帧,G-PCC解码器300应用可以推断该帧具有时间IDtC。
在一些示例中,时间ID还可以与参数集相关联(并且在一些情况下由G-PCC编码器200以信号通知时间ID)。例如,可以添加如下的条件,并且G-PCC编码器200可以应用如下的条件:具有时间ID t1的切片可以不引用具有时间ID t2的参数集,其中t2>t1。在一些示例中,G-PCC解码器300可以推断切片的时间ID等于与该切片相关联的参数集的时间ID。如果一个以上的参数集可以与切片相关联,则相关联的参数集的时间ID的最大值可以被应用于该切片。
在另一示例中,可以在G-PCC流的切片报头中预留固定数量的比特或字节,使得将来版本的G-PCC可以使用这些比特中的一个或多个比特来指示有用的信息(例如,时间ID)。例如,G-PCC编码器200可以在G-PCC流的切片报头中预留固定数量的比特或字节,以供将来版本的G-PCC用于指示有用的信息。在这样的情况下,G-PCC编码器200可以不对预留的比特或字节进行编码,或者可以以预定的方式来对预留的比特或字节进行编码,诸如全0、全1或者0和1的组合。G-PCC解码器300可以不对预留的比特或字节进行解码,或者可以对所预留的比特或字节进行解码并且忽略经解码的预留的比特或字节。
在一些示例中,G-PCC编码器200可以以信号通知用于指示一个或多个切片中的时间ID信息的存在或缺乏其的标志。G-PCC解码器300可以解析该标志以确定在一个或多个切片中是否存在时间ID信息。当该标志指示存在时间ID时,G-PCC编码器200可以在一个或多个切片中以信号通知时间ID,并且G-PCC解码器300可以解析一个或多个切片中的时间ID以确定时间ID。在一些示例中,G-PCC编码器200可以以信号通知用于指示在一个或多个切片中是否存在预留的比特的标志,并且G-PCC解码器300可以解析该标志以确定在一个或多个切片中是否存在预留的比特。
如上文使用的术语切片(slice)或切片(slices)表示被一起译码的点集合,并且也可以适用于被一起译码的其它点集合,诸如块、图块、帧、砖块(brick)、数据单元等。另外地,任何语法元素的信令的位置可以不同于所指示的位置,因为本文所指示的任何位置是作为示例来提供的。
以下示例示出G-PCC编码器200如何在几何形状切片报头和属性切片报头中以信号通知时间ID信息。几何形状切片报头可以包括适用于几何形状切片的语法元素,并且属性切片报头可以包括适用于属性切片的语法元素。
下文在以下语法结构中的<ADD>和</ADD>之间示出了本公开内容的在几何形状数据单元中的信令技术:
Figure BDA0004105064950000101
Figure BDA0004105064950000111
<ADD>gsh_temporal_id指定数据单元的时间ID。gsh_temporal_id的值应在0到MaxTemporalId(含)的范围内。</ADD>MaxTemporalId可以是等于允许的最高时间ID的值。
MaxTemporalId的值可以由简档/级别限制来指定,或者可以是根据在比特流中以信号通知的值来推导的(例如,可以在序列参数集(SPS)中以信号通知最大时间ID)。在G-PCC中,简档或级别可以指定对表示几何形状和属性信息所需要的比特数量的限制。序列参数集可以包括适用于帧序列的语法元素。
在一些示例中,对gsh_temporal_id的译码可以是可变长度(例如,ue(v))或是基于MaxTemporalId的值的。
在一些示例中,还可以在属性切片报头中将时间ID作为语法元素ash_temporal_id以信号通知。
在一些示例中,以下约束可以适用:比特流一致性的要求是属于第一点云帧的所有切片的时间ID应是相同的。然而,另一点云帧可以具有包含不同于第一点云帧的时间ID的切片。
图4是示出根据本公开内容的技术的使用时间标识符的示例G-PCC解码技术的流程图。G-PCC解码器300可以确定语法结构的时间ID的值(400)。例如,G-PCC解码器300可以解析语法结构(诸如切片报头或数据单元报头)中的时间ID语法元素,以确定该语法结构的时间ID的值。G-PCC解码器300可以基于时间ID的值来对点云数据进行解码(402)。例如,G-PCC解码器300可以确定时间ID的值指示与时间ID相关联的切片或数据单元将由G-PCC解码器300以解码的帧速率来进行解码,并且G-PCC解码器300可以对该切片或数据单元进行解码。该语法结构的时间ID可以标识与该语法结构相关联的点云数据所属的时间层。
在一些示例中,该语法结构与切片或数据单元相关联。在一些示例中,该语法结构与几何形状数据单元相关联。例如,该语法结构可以是几何数据单元报头。在一些示例中,G-PCC解码器300可以推断与对应于几何形状数据单元的属性数据单元相关联的时间ID的值等于与几何形状数据单元相关联的时间ID的值,其中,基于时间ID的值对点云数据进行解码包括对几何形状数据单元进行解码以及对属性数据单元进行解码。在这样的示例中,G-PCC解码器300可以对属于由时间ID指示的时间层的切片进行解码,而G-PCC编码器200无需在与属性数据单元(例如,属性数据单元报头)相关联的语法结构中以信号通知时间ID。在一些示例中,G-PCC解码器300可以确定对时间ID是否处在该语法结构中进行指示的标志的值。
在一些示例中,时间ID是第一时间ID,并且该语法结构与帧的第一切片相关联。在这样的示例中,G-PCC解码器300可以确定与该帧的第二切片相关联的第二时间ID等于第一时间ID,并且基于第一时间ID来对该帧进行解码。
在一些示例中,该语法结构是与独立切片相关联的第一语法结构,并且时间ID是第一时间ID。在这样的示例中,G-PCC解码器300可以进行以下操作:确定与从属切片相关联的第二时间ID,从属切片依赖于独立切片;以及基于独立切片和第二时间ID来对从属切片进行解码,其中,第二时间ID等于或大于第一时间ID。
在一些示例中,点云数据包括多个帧的点云数据,多个帧的点云数据中的第一帧的点云数据包括多个切片,并且多个切片中的每个切片与相同的时间ID相关联。
在一些示例中,点云数据包括第一帧的点云数据和第二帧的点云数据,其中,第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中,t2>t1。在这样的示例中,G-PCC解码器300可以在不依赖第二切片的情况下对第一切片进行解码。
图5是示出根据本公开内容的技术的使用时间标识符的示例G-PCC编码技术的流程图。G-PCC编码器200可以确定语法结构的时间ID的值(500)。例如,G-PCC编码器200可以确定切片或数据单元应当属于哪个时间层,使得该切片或数据单元将由G-PCC解码器300以与该时间层相关联的给定的帧速率来解码,并且可以确定要指示时间层的时间ID的值。G-PCC编码器200可以对点云数据进行编码以在语法结构中包括时间ID(502)。例如,G-PCC编码器200可以对用于切片的切片报头或用于数据单元的数据单元报头进行编码以包括时间ID的值。语法结构的时间ID可以识别与该语法结构相关联的点云数据所属的时间层。
在一些示例中,该语法结构与切片或数据单元相关联。在一些示例中,该语法结构与几何形状数据单元相关联。在一些示例中,G-PCC编码器200可以避免以信号通知与对应于几何形状数据单元的属性数据单元相关联的时间ID的值。在一些示例中,G-PCC编码器200可以以信号通知其值对时间ID处在语法结构中进行指示的标志。
在一些示例中,时间ID是第一时间ID,并且该语法结构是与帧的第一切片相关联的第一语法结构。在这样的示例中,G-PCC编码器200可以确定与该帧的第二切片相关联的第二时间ID等于第一时间ID,并且对与第二切片相关联的第二语法结构进行编码以包括第二时间ID。
在一些示例中,该语法结构是与独立切片相关联的第一语法结构,并且时间ID是第一时间ID。在这样的示例中,G-PCC编码器200可以进行以下操作:确定与从属切片相关联的第二时间ID,从属切片依赖于独立切片;以及对点云数据进行编码以在用于从属切片的第二语法结构中包括第二时间ID,其中,第二时间ID等于或大于第一时间ID。
在一些示例中,点云数据包括多个帧的点云数据,多个帧的点云数据中的第一帧的点云数据包括多个切片,并且多个切片中的每个切片与相同的时间ID相关联。
在一些示例中,点云数据包括第一帧的点云数据和第二帧的点云数据,其中,第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中t2>t1。在这样的示例中,G-PCC编码器200可以对第一切片进行编码,使得解码器(例如,G-PCC解码器300)在不依赖第二切片的情况下对第一切片进行解码。
在G-PCC比特流的语法结构中没有时间ID的情况下,G-PCC解码器将不能正确地识别哪些帧、切片或数据单元属于哪个时间层,并且因此将不能以不同的帧速率正确地解码G-PCC比特流;替代地,其将必须解码比特流中的所有帧,并且然后确定哪些帧将以较低的帧速率呈现——解码所有帧在计算上是昂贵的,并且需要另外的带宽。在G-PCC比特流的语法结构中没有时间ID的情况下,向G-PCC解码器发送比特流的中间网络设备将不能正确地识别哪些帧、切片或数据单元属于哪个时间层,并且因此必须将所有帧发送给G-PCC解码器(这可能需要相对高的比特率)或者发送中间网络设备确定足以用于特定的帧速率的帧(这可能不会导致经重构的点云的良好质量)。通过向G-PCC比特流的语法结构添加时间ID,G-PCC解码器300可以以各种不同的帧速率来解码G-PCC比特流中的不同的时间层。因此,本公开内容的技术支持用于G-PCC解码器的期望的灵活帧速率。通过向G-PCC比特流的语法结构添加时间ID,中间网络设备可以针对特定的帧速率选择G-PCC比特流中的属于期望的时间层的切片/数据单元,并且仅将那些切片/数据单元发送给G-PCC解码器300。对时间ID的这种使用节省了带宽,因为无需向G-PCC解码器300发送所有切片/数据单元。
本公开内容的各个方面中的示例可以单独地使用或以任何组合来使用。
本公开内容包括以下非限制性条款。
条款1A。一种处理点云数据的方法,所述方法包括:确定指示与语法结构相关联的时间标识符的值;以及基于所述值来处理所述点云数据。
条款2A。根据条款1A所述的方法,其中,所述语法结构包括切片或数据单元,并且所述值包括时间标识符。
条款3A。根据条款1A或条款2A所述的方法,还包括:基于所述语法结构是几何形状切片来以信号通知或解析所述值。
条款4A。根据条款3所述的方法,还包括:确定所述语法结构是否是几何形状切片。
条款5A。根据条款1A或条款2A所述的方法,还包括:基于所述语法结构是属性切片,不以信号通知或推断所述值。
条款6A。根据条款5A所述的方法,还包括:确定所述语法结构是否是属性切片。
条款7A。根据条款5A或条款6A所述的方法,其中,推断所述值包括推断所述值等于与对应于所述属性切片的几何形状切片相关联的值。
条款8A。根据条款2A所述的方法,还包括:基于所述切片是独立的,来以信号通知或解析所述值。
条款9A。根据条款8A所述的方法,还包括:确定所述切片是否是独立的。
条款10A。根据条款2A所述的方法,还包括:基于所述切片是从属的,不以信号通知所述值或从至少一个其它语法元素推断所述值。
条款11A。根据条款10A所述的方法,还包括:确定所述切片是否是从属的。
条款12A。一种处理点云数据的方法,所述方法包括:确定所述点云数据的帧是否包括两个或更多个切片;基于所述帧包括两个或更多个切片,来确定用于所述两个或更多个切片的时间ID是相同的时间ID;以及基于所述时间ID来处理所述帧。
条款13A。一种处理点云数据的方法,所述方法包括:确定对具有时间标识符t1的切片中的任何点的重构是否依赖于具有时间标识符t2的任何切片,其中,t1小于t2;以及基于具有所述时间标识符t1的所述切片中的任何点依赖于具有所述时间标识符t2的任何切片,避免将具有所述时间标识符t1的所述切片处理为依赖于具有所述时间标识符t2的任何切片。
条款14A。一种处理点云数据的方法,所述方法包括:确定两个帧是否具有相同的时间ID;基于所述两个帧不具有相同的时间ID,避免将所述两个帧组合成一个帧;以及在不组合所述两个帧的情况下,处理所述两个帧。
条款15A。根据条款14所述的方法,其中,所述两个帧是前两个帧,所述方法还包括:确定后两个帧是否具有相同的时间ID;基于所述后两个帧具有所述相同的时间ID,将所述后两个帧组合成一个帧;将所述相同的时间ID应用于所述一个帧;以及处理所述一个帧。
条款16A。根据条款15A所述的方法,还包括:推断所述一个帧的所述相同的时间ID为与所述一个帧相关联的每个帧的所述时间ID。
条款17A。一种处理点云数据的方法,所述方法包括:确定指示与参数集相关联的时间ID的值;以及基于所述值来处理所述点云数据。
条款18A。根据条款17A所述的方法,还包括:确定切片具有t1的时间ID;确定所述参数集具有t2的时间ID,其中t2>t1;以及基于t2>t1,避免将所述切片处理为引用所述参数集。
条款19A。根据条款17A所述的方法,其中,所述参数集与切片相关联,所述方法还包括:推断与所述切片相关联的时间ID等于与所述参数集相关联的所述时间ID。
条款20A。根据条款17A所述的方法,其中,所述参数集是第一参数集,并且其中,所述第一参数集和第二参数集与切片相关联,所述方法还包括:确定与所述第一参数集相关联的所述时间ID和与所述第二参数集相关联的时间ID中的最大值;以及将所述最大值应用于所述切片。
条款21A。一种处理点云数据的方法,所述方法包括:确定在所述点云数据的一个或多个切片中是否存在时间ID信息;基于在所述一个或多个切片中存在所述时间ID信息,以信号通知对在所述一个或多个切片中存在所述时间ID信息进行指示的标志;以及处理所述一个或多个切片。
条款22A。根据条款21A所述的方法,还包括:确定在所述一个或多个切片中是否存在预留的比特;以及基于在所述一个或多个切片中存在预留的比特,以信号通知对在所述一个或多个切片中存在预留的比特进行指示的标志。
条款23A。根据条款1A-22A中任一项所述的方法,还包括:生成所述点云。
条款24A。一种用于处理点云的设备,所述设备包括用于执行根据条款1A-22A中任一项所述的方法的一个或多个单元。
条款25A。根据条款24A所述的设备,其中,所述一个或多个单元包括在电路中实现的一个或多个处理器。
条款26A。根据条款24A或条款25A所述的设备,还包括:存储器,其用于存储表示所述点云的数据。
条款27A。根据条款24A-26A中任一项所述的设备,其中,所述设备包括解码器。
条款28A。根据条款24A-26A中任一项所述的设备,其中,所述设备包括编码器。
条款29A。根据条款24A-28A中任一项所述的设备,还包括:用于生成所述点云的设备。
条款30A。根据条款20A-29A中任一项所述的设备,还包括:显示器,其用于基于所述点云来呈现影像。
条款31A。一种具有存储在其上的指令的计算机可读存储介质,所述指令在被执行时,使得一个或多个处理器执行根据条款1A-23A中任一项所述的方法。
条款1B。一种对点云数据进行解码的方法,所述方法包括:确定语法结构的时间标识符(ID)的值;以及基于所述时间ID的所述值来对所述点云数据进行解码,其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
条款2B。根据条款1B所述的方法,其中,所述语法结构与切片或数据单元相关联。
条款3B。根据条款2B所述的方法,其中,所述语法结构与几何形状数据单元相关联。
条款4B。根据条款3B所述的方法,还包括:推断与对应于所述几何形状数据单元的属性数据单元相关联的时间ID的值等于与所述几何形状数据单元相关联的所述时间ID的所述值,其中,基于所述时间ID的所述值来对所述点云数据进行解码包括对所述几何形状数据单元进行解码以及对所述属性数据单元进行解码。
条款5B。根据条款1B-4B中任一项所述的方法,还包括:确定对所述时间ID是否处在所述语法结构中进行指示的标志的值。
条款6B。根据条款1B-5B中任一项所述的方法,其中,所述时间ID是第一时间ID,并且所述语法结构与帧的第一切片相关联,所述方法还包括:确定与所述帧的第二切片相关联的第二时间ID等于所述第一时间ID;以及基于所述第二时间ID来对所述帧的所述第二切片进行解码。
条款7B。根据条款1B-5B中任一项所述的方法,其中,所述语法结构是与独立切片相关联的第一语法结构,并且所述时间ID是第一时间ID,所述方法还包括:确定与从属切片相关联的第二时间ID,所述从属切片依赖于所述独立切片;以及基于所述独立切片和所述第二时间ID来对所述从属切片进行解码,其中,所述第二时间ID等于或大于所述第一时间ID。
条款8B。根据条款1B-7B中任一项所述的方法,其中,所述点云数据包括多个帧的点云数据,其中,所述多个帧的点云数据中的第一帧的点云数据包括多个切片,并且其中,所述多个切片中的每个切片与相同的时间ID相关联。
条款9B。根据条款1B-5B中任一项所述的方法,其中,所述点云数据包括第一帧的点云数据和第二帧的点云数据,其中,所述第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且所述第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中t2>t1,所述方法还包括:在不依赖所述第二切片的情况下对所述第一切片进行解码。
条款10B。一种对点云数据进行编码的方法,所述方法包括:确定语法结构的时间标识符(ID)的值;以及对所述点云数据进行编码以在所述语法结构中包括所述时间ID,其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
条款11B。根据条款10B所述的方法,其中,所述语法结构与切片或数据单元相关联。
条款12B。根据条款11B所述的方法,其中,所述语法结构与几何形状数据单元相关联。
条款13B。根据条款12B所述的方法,还包括:避免以信号通知与对应于所述几何形状数据单元的属性数据单元相关联的时间ID的值。
条款14B。根据条款10B-13B中任一项所述的方法,还包括:以信号通知其值对所述时间ID处在所述语法结构中进行指示的标志。
条款15B。根据条款10B-14B中任一项所述的方法,其中,所述时间ID是第一时间ID,并且所述语法结构是与帧的第一切片相关联的第一语法结构,所述方法还包括:确定与所述帧的第二切片相关联的第二时间ID等于所述第一时间ID;以及对与所述第二切片相关联的第二语法结构进行编码以包括所述第二时间ID。
条款16B。根据条款10B-15B中任一项所述的方法,其中,所述语法结构是与独立切片相关联的第一语法结构,并且所述时间ID是第一时间ID,所述方法还包括:确定与从属切片相关联的第二时间ID,所述从属切片依赖于所述独立切片;以及对所述点云数据进行编码以在用于所述从属切片的第二语法结构中包括所述第二时间ID,其中,所述第二时间ID等于或大于所述第一时间ID。
条款17B。根据条款10B-16B中任一项所述的方法,其中,所述点云数据包括多个帧的点云数据,其中,所述多个帧的点云数据中的第一帧的点云数据包括多个切片,并且其中,所述多个切片中的每个切片与相同的时间ID相关联。
条款18B。根据条款10B-14B中任一项所述的方法,其中,所述点云数据包括第一帧的点云数据和第二帧的点云数据,其中,所述第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且所述第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中,t2>t1,所述方法还包括:对所述第一切片进行编码,使得解码器在不依赖所述第二切片的情况下对所述第一切片进行解码。
条款19B。一种用于对点云数据进行解码的设备,所述设备包括:存储器,其被配置为存储所述点云数据;以及在电路中实现并且通信地耦合到所述存储器的一个或多个处理器,所述一个或多个处理器被配置为:确定语法结构的时间标识符(ID)的值;以及基于所述时间ID的所述值来对所述点云数据进行解码,其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
条款20B。根据条款19B所述的设备,其中,所述语法结构与切片或数据单元相关联。
条款21B。根据条款20B所述的设备,其中,所述语法结构与几何形状数据单元相关联。
条款22B。根据条款21B所述的设备,其中,所述一个或多个处理器还被配置为:推断与对应于所述几何形状数据单元的属性数据单元相关联的时间ID的值等于与所述几何形状数据单元相关联的所述时间ID的所述值,其中,作为基于所述时间ID的所述值来对所述点云数据进行解码的一部分,所述一个或多个处理器被配置为:对所述几何形状数据单元进行解码以及对所述属性数据单元进行解码。
条款23B。根据条款19B-22B中任一项所述的设备,其中,所述一个或多个处理器还被配置为:确定对所述时间ID是否处在所述语法结构中进行指示的标志的值。
条款24B。根据条款19B-23B中任一项所述的设备,其中,所述时间ID是第一时间ID,并且所述语法结构与帧的第一切片相关联,并且其中,所述一个或多个处理器还被配置为:确定与所述帧的第二切片相关联的第二时间ID等于所述第一时间ID;以及基于所述第二时间ID来对所述帧的所述第二切片进行解码。
条款25B。根据条款19B-23B中任一项所述的设备,其中,所述语法结构是与独立切片相关联的第一语法结构,并且所述时间ID是第一时间ID,并且其中,所述一个或多个处理器还被配置为:确定与从属切片相关联的第二时间ID,所述从属切片依赖于所述独立切片;以及基于所述独立切片和所述第二时间ID来对所述从属切片进行解码,其中,所述第二时间ID等于或大于所述第一时间ID。
条款26B。根据条款19B-25B中任一项所述的设备,其中,所述点云数据包括多个帧的点云数据,其中,所述多个帧的点云数据中的第一帧的点云数据包括多个切片,并且其中,所述多个切片中的每个切片与相同的时间ID相关联。
条款27B。根据条款19B-23B中任一项所述的设备,其中,所述点云数据包括第一帧的点云数据和第二帧的点云数据,其中,所述第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且所述第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中t2>t1,并且其中,所述一个或多个处理器还被配置为:在不依赖所述第二切片的情况下对所述第一切片进行解码。
条款28B。根据条款19B-27B中任一项所述的设备,还包括:被配置为显示所述点云数据的显示器。
条款29B。一种用于对点云数据进行编码的设备,所述设备包括:存储器,其被配置为存储所述点云数据;以及在电路中实现并且通信地耦合到所述存储器的一个或多个处理器,所述一个或多个处理器被配置为:确定语法结构的时间标识符(ID)的值;以及对所述点云数据进行编码以在所述语法结构中包括所述时间ID,其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
条款30B。根据条款29B所述的设备,其中,所述语法结构与切片或数据单元相关联。
条款31B。根据条款30B所述的设备,其中,所述语法结构与几何形状数据单元相关联。
条款32B。根据条款29B所述的设备,其中,所述一个或多个处理器还被配置为:避免以信号通知与对应于所述几何形状数据单元的属性数据单元相关联的时间ID的值。
条款33B。根据条款29B-32B所述的设备,其中,所述一个或多个处理器还被配置为:以信号通知其值对所述时间ID处在所述语法结构中进行指示的标志。
条款34B。根据条款29B-33B中任一项所述的设备,其中,所述时间ID是第一时间ID,并且所述语法结构是与帧的第一切片相关联的第一语法结构,并且其中,所述一个或多个处理器还被配置为:确定与所述帧的第二切片相关联的第二时间ID等于所述第一时间ID;以及对与所述第二切片相关联的第二语法结构进行编码以包括所述第二时间ID。
条款35B。根据条款29B-33B中任一项所述的设备,其中,所述语法结构是与独立切片相关联的第一语法结构,并且所述时间ID是第一时间ID,并且其中,所述一个或多个处理器还被配置为:确定与从属切片相关联的第二时间ID,所述从属切片依赖于所述独立切片;以及对所述点云数据进行编码以在用于所述从属切片的第二语法结构中包括所述第二时间ID,其中,所述第二时间ID等于或大于所述第一时间ID。
条款36B。根据条款29B-35B中任一项所述的设备,其中,所述点云数据包括多个帧的点云数据,其中,所述多个帧的点云数据中的第一帧的点云数据包括多个切片,并且其中,所述多个切片中的每个切片与相同的时间ID相关联。
条款37B。根据条款29B-33B中任一项所述的设备,其中,所述点云数据包括第一帧的点云数据和第二帧的点云数据,其中,所述第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且所述第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中t2>t1,并且其中,所述一个或多个处理器还被配置为:对所述第一切片进行编码,使得解码器在不依赖所述第二切片的情况下对所述第一切片进行解码。
条款38B。根据条款29B-37B中任一项所述的设备,其中,所述设备包括车辆。
要认识到的是,取决于示例,本文所描述的技术中的任何技术的某些行动或事件可以是以不同的顺序执行的,可以增加、合并或完全省略本文所描述的技术中的任何技术的某些行动或事件(例如,不是所有描述的行动或事件对于对技术的实施而言是必需的)。此外,在某些示例中,可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行行动或事件。
在一个或多个示例中,所描述的功能可以是在硬件、软件、固件或其任意组合中实现的。如果在软件中实现,则该功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质发送,以及由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质,所述计算机可读存储介质对应于比如数据存储介质或通信介质之类的有形介质,所述通信介质包括促进例如根据通信协议来将计算机程序从一个地方传送到另一地方的任何介质。以这种方式,计算机可读介质通常可以对应于:(1)非暂时性的有形计算机可读存储介质或(2)比如信号或载波波形的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器存取的任何可用的介质,以取回用于对本公开内容中描述的技术的实现的指令、代码和/或数据结构。计算机程序产品可以包括计算机可读介质。
通过举例而非限制性的方式,这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、闪速存储器或可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机进行存取的任何其它介质。另外,任何连接适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或比如红外线、无线电和微波之类的无线技术从网站、服务器或其它远程源发送的,那么同轴电缆、光纤光缆、双绞线、DSL或比如红外线、无线电和微波的无线技术是包括在对介质的定义中的。然而,应当理解的是,计算机可读存储介质和数据存储介质不包括连接、载波波形、信号或其它暂时性介质,而是替代地针对于非暂时性的、有形存储介质。如本文所使用的,磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常磁性地复制数据,而光盘则利用激光来光学地复制数据。上述的组合还应当包括在计算机可读介质的范围内。
指令可以由比如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)的一个或多个处理器或其它等同的整合的或分立的逻辑电路来执行。因此,如本文所使用的,术语“处理器”和“处理电路”可以指的是前述的结构或适合于对本文所描述的技术的实现的任何其它结构中的任何一者。此外,在一些方面中,本文所描述的功能可以是在被配置用于编码和解码的专用硬件和/或软件模块内提供的,或并入到组合的编解码器中。另外,所述技术可以在一个或多个电路或逻辑元件中完全地实现。
本公开内容的技术可以是在各种各样设备或装置中实现的,所述设备或装置包括无线手机、集成电路(IC)或IC的集合(例如,芯片集)。各种组件、模块或单元是在本公开内容中描述的,以强调被配置为执行所公开的技术的设备的功能性方面,但是不一定要求由不同的硬件单元来实现。而是,如上文所描述的,各种单元可以是在编解码器硬件单元中组合的,或者通过与合适的软件和/或固件协力的一批互操作的硬件单元(包括如上文所描述的一个或多个处理器)来提供的。
已经描述各个示例。这些示例和其它示例是在所附的权利要求的范围内的。

Claims (38)

1.一种对点云数据进行解码的方法,所述方法包括:
确定语法结构的时间标识符(ID)的值;以及
基于所述时间ID的所述值来对所述点云数据进行解码,
其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
2.根据权利要求1所述的方法,其中,所述语法结构与切片或数据单元相关联。
3.根据权利要求2所述的方法,其中,所述语法结构与几何形状数据单元相关联。
4.根据权利要求3所述的方法,还包括:
推断与对应于所述几何形状数据单元的属性数据单元相关联的时间ID的值等于与所述几何形状数据单元相关联的时间ID的值,其中,基于所述时间ID的所述值来对所述点云数据进行解码包括:对所述几何形状数据单元进行解码以及对所述属性数据单元进行解码。
5.根据权利要求1所述的方法,还包括:
确定对所述时间ID是否处在所述语法结构中进行指示的标志的值。
6.根据权利要求1所述的方法,其中,所述时间ID是第一时间ID,并且所述语法结构与帧的第一切片相关联,所述方法还包括:
确定与所述帧的第二切片相关联的第二时间ID等于所述第一时间ID;以及
基于所述第二时间ID来对所述帧的所述第二切片进行解码。
7.根据权利要求1所述的方法,其中,所述语法结构是与独立切片相关联的第一语法结构,并且所述时间ID是第一时间ID,所述方法还包括:
确定与从属切片相关联的第二时间ID,所述从属切片依赖于所述独立切片;以及
基于所述独立切片和所述第二时间ID来对所述从属切片进行解码,
其中,所述第二时间ID等于或大于所述第一时间ID。
8.根据权利要求1所述的方法,其中,所述点云数据包括多个帧的点云数据,其中,所述多个帧的点云数据中的第一帧的点云数据包括多个切片,并且其中,所述多个切片中的每个切片与相同的时间ID相关联。
9.根据权利要求1所述的方法,其中,所述点云数据包括第一帧的点云数据和第二帧的点云数据,其中,所述第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且所述第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中t2>t1,所述方法还包括:
在不依赖所述第二切片的情况下对所述第一切片进行解码。
10.一种对点云数据进行编码的方法,所述方法包括:
确定语法结构的时间标识符(ID)的值;以及
对所述点云数据进行编码以在所述语法结构中包括所述时间ID,
其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
11.根据权利要求10所述的方法,其中,所述语法结构与切片或数据单元相关联。
12.根据权利要求11所述的方法,其中,所述语法结构与几何形状数据单元相关联。
13.根据权利要求12所述的方法,还包括:
避免以信号通知与对应于所述几何形状数据单元的属性数据单元相关联的时间ID的值。
14.根据权利要求10所述的方法,还包括:
以信号通知其值对所述时间ID处在所述语法结构中进行指示的标志。
15.根据权利要求10所述的方法,其中,所述时间ID是第一时间ID,并且所述语法结构是与帧的第一切片相关联的第一语法结构,所述方法还包括:
确定与所述帧的第二切片相关联的第二时间ID等于所述第一时间ID;以及
对与所述第二切片相关联的第二语法结构进行编码以包括所述第二时间ID。
16.根据权利要求10所述的方法,其中,所述语法结构是与独立切片相关联的第一语法结构,并且所述时间ID是第一时间ID,所述方法还包括:
确定与从属切片相关联的第二时间ID,所述从属切片依赖于所述独立切片;以及
对所述点云数据进行编码以在用于所述从属切片的第二语法结构中包括所述第二时间ID,
其中,所述第二时间ID等于或大于所述第一时间ID。
17.根据权利要求10所述的方法,其中,所述点云数据包括多个帧的点云数据,其中,所述多个帧的点云数据中的第一帧的点云数据包括多个切片,并且其中,所述多个切片中的每个切片与相同的时间ID相关联。
18.根据权利要求10所述的方法,其中,所述点云数据包括第一帧的点云数据和第二帧的点云数据,其中,所述第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且所述第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中t2>t1,所述方法还包括:
对所述第一切片进行编码,使得解码器在不依赖所述第二切片的情况下对所述第一切片进行解码。
19.一种用于对点云数据进行解码的设备,所述设备包括:
存储器,其被配置为存储所述点云数据;以及
一个或多个处理器,其在电路中实现并且通信地耦合到所述存储器,所述一个或多个处理器被配置为进行以下操作:
确定语法结构的时间标识符(ID)的值;以及
基于所述时间ID的所述值来对所述点云数据进行解码,
其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
20.根据权利要求19所述的设备,其中,所述语法结构与切片或数据单元相关联。
21.根据权利要求20所述的设备,其中,所述语法结构与几何形状数据单元相关联。
22.根据权利要求21所述的设备,其中,所述一个或多个处理器还被配置为进行以下操作:
推断与对应于所述几何形状数据单元的属性数据单元相关联的时间ID的值等于与所述几何形状数据单元相关联的时间ID的值,其中,作为基于所述时间ID的所述值来对所述点云数据进行解码的一部分,所述一个或多个处理器被配置为:对所述几何形状数据单元进行解码以及对所述属性数据单元进行解码。
23.根据权利要求19所述的设备,其中,所述一个或多个处理器还被配置为进行以下操作:
确定对所述时间ID是否处在所述语法结构中进行指示的标志的值。
24.根据权利要求19所述的设备,其中,所述时间ID是第一时间ID,并且所述语法结构与帧的第一切片相关联,并且其中,所述一个或多个处理器还被配置为进行以下操作:
确定与所述帧的第二切片相关联的第二时间ID等于所述第一时间ID;以及
基于所述第二时间ID来对所述帧的所述第二切片进行解码。
25.根据权利要求19所述的设备,其中,所述语法结构是与独立切片相关联的第一语法结构,并且所述时间ID是第一时间ID,并且其中,所述一个或多个处理器还被配置为进行以下操作:
确定与从属切片相关联的第二时间ID,所述从属切片依赖于所述独立切片;以及
基于所述独立切片和所述第二时间ID来对所述从属切片进行解码,
其中,所述第二时间ID等于或大于所述第一时间ID。
26.根据权利要求19所述的设备,其中,所述点云数据包括多个帧的点云数据,其中,所述多个帧的点云数据中的第一帧的点云数据包括多个切片,并且其中,所述多个切片中的每个切片与相同的时间ID相关联。
27.根据权利要求19所述的设备,其中,所述点云数据包括第一帧的点云数据和第二帧的点云数据,其中,所述第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且所述第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中t2>t1,并且其中,所述一个或多个处理器还被配置为进行以下操作:
在不依赖所述第二切片的情况下对所述第一切片进行解码。
28.根据权利要求19所述的设备,还包括显示器,其被配置为显示所述点云数据。
29.一种用于对点云数据进行编码的设备,所述设备包括:
存储器,其被配置为存储所述点云数据;以及
一个或多个处理器,其在电路中实现并且通信地耦合到所述存储器,所述一个或多个处理器被配置为进行以下操作:
确定语法结构的时间标识符(ID)的值;以及
对所述点云数据进行编码以在所述语法结构中包括所述时间ID,
其中,所述语法结构的所述时间ID标识与所述语法结构相关联的点云数据所属的时间层。
30.根据权利要求29所述的设备,其中,所述语法结构与切片或数据单元相关联。
31.根据权利要求30所述的设备,其中,所述语法结构与几何形状数据单元相关联。
32.根据权利要求31所述的设备,其中,所述一个或多个处理器还被配置为进行以下操作:
避免以信号通知与对应于所述几何形状数据单元的属性数据单元相关联的时间ID的值。
33.根据权利要求29所述的设备,其中,所述一个或多个处理器还被配置为进行以下操作:
以信号通知其值对所述时间ID处在所述语法结构中进行指示的标志。
34.根据权利要求29所述的设备,其中,所述时间ID是第一时间ID,并且所述语法结构是与帧的第一切片相关联的第一语法结构,并且其中,所述一个或多个处理器还被配置为进行以下操作:
确定与所述帧的第二切片相关联的第二时间ID等于所述第一时间ID;以及
对与所述第二切片相关联的第二语法结构进行编码以包括所述第二时间ID。
35.根据权利要求29所述的设备,其中,所述语法结构是与独立切片相关联的第一语法结构,并且所述时间ID是第一时间ID,并且其中,所述一个或多个处理器还被配置为进行以下操作:
确定与从属切片相关联的第二时间ID,所述从属切片依赖于所述独立切片;以及
对所述点云数据进行编码以在用于所述从属切片的第二语法结构中包括所述第二时间ID,
其中,所述第二时间ID等于或大于所述第一时间ID。
36.根据权利要求29所述的设备,其中,所述点云数据包括多个帧的点云数据,其中,所述多个帧的点云数据中的第一帧的点云数据包括多个切片,并且其中,所述多个切片中的每个切片与相同的时间ID相关联。
37.根据权利要求29所述的设备,其中,所述点云数据包括第一帧的点云数据和第二帧的点云数据,其中,所述第一帧的点云数据包括与第一时间ID t1相关联的第一切片,并且所述第二帧的点云数据包括与第二时间ID t2相关联的第二切片,其中t2>t1,并且其中,所述一个或多个处理器还被配置为进行以下操作:
对所述第一切片进行编码,使得解码器在不依赖所述第二切片的情况下对所述第一切片进行解码。
38.根据权利要求29所述的设备,其中,所述设备包括车辆。
CN202180054190.3A 2020-10-05 2021-09-23 几何点云压缩(g-pcc)中的时间可伸缩性 Pending CN116114249A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063087809P 2020-10-05 2020-10-05
US63/087,809 2020-10-05
US17/482,012 2021-09-22
US17/482,012 US11729428B2 (en) 2020-10-05 2021-09-22 Temporal scalability in geometry point cloud compression (G-PCC)
PCT/US2021/051766 WO2022076175A1 (en) 2020-10-05 2021-09-23 Temporal scalability in geometry point cloud compression (g-pcc)

Publications (1)

Publication Number Publication Date
CN116114249A true CN116114249A (zh) 2023-05-12

Family

ID=80931882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180054190.3A Pending CN116114249A (zh) 2020-10-05 2021-09-23 几何点云压缩(g-pcc)中的时间可伸缩性

Country Status (6)

Country Link
US (1) US11729428B2 (zh)
EP (1) EP4226625A1 (zh)
CN (1) CN116114249A (zh)
BR (1) BR112023005507A2 (zh)
TW (1) TW202220446A (zh)
WO (1) WO2022076175A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3992910A4 (en) * 2019-06-28 2022-09-07 LG Electronics Inc. APPARATUS AND METHOD FOR PROCESSING POINT CLOUD DATA
WO2023200298A1 (ko) * 2022-04-14 2023-10-19 엘지전자 주식회사 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법
WO2023200304A1 (ko) * 2022-04-14 2023-10-19 엘지전자 주식회사 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160012465A1 (en) * 2014-02-08 2016-01-14 Jeffrey A. Sharp System and method for distributing, receiving, and using funds or credits and apparatus thereof
WO2020146341A1 (en) * 2019-01-07 2020-07-16 Futurewei Technologies, Inc. Point cloud bitstream structure and auxiliary information differential coding
EP3926954A4 (en) 2019-02-15 2022-04-06 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD AND DECODING METHOD
AU2020234972A1 (en) * 2019-03-11 2021-09-30 Vid Scale, Inc. Sub-picture bitstream extraction and reposition

Also Published As

Publication number Publication date
TW202220446A (zh) 2022-05-16
EP4226625A1 (en) 2023-08-16
US11729428B2 (en) 2023-08-15
WO2022076175A1 (en) 2022-04-14
BR112023005507A2 (pt) 2023-04-25
US20220109884A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
US11803989B2 (en) Quantization for geometry-based point cloud compression
US11350132B2 (en) High level syntax for geometry-based point cloud compression
US20210407144A1 (en) Attribute parameter coding for geometry-based point cloud compression
US11729428B2 (en) Temporal scalability in geometry point cloud compression (G-PCC)
US11770562B2 (en) High-level syntax for geometry-based point cloud compression
US20220114763A1 (en) High level syntax refinements for geometry point cloud compression (g-pcc)
US11657543B2 (en) Trisoup syntax signaling for geometry-based point cloud compression
EP4133733A2 (en) High-level syntax design for geometry-based point cloud compression
TW202218425A (zh) 用於在基於幾何的點雲壓縮中的量化參數值的縮放因數
CN117980953A (zh) 用于几何点云压缩的帧间预测译码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination