CN114930858A - 用于基于几何的点云压缩的高级语法 - Google Patents

用于基于几何的点云压缩的高级语法 Download PDF

Info

Publication number
CN114930858A
CN114930858A CN202180008551.0A CN202180008551A CN114930858A CN 114930858 A CN114930858 A CN 114930858A CN 202180008551 A CN202180008551 A CN 202180008551A CN 114930858 A CN114930858 A CN 114930858A
Authority
CN
China
Prior art keywords
syntax element
point cloud
value
parameter set
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180008551.0A
Other languages
English (en)
Inventor
B.雷
A.K.拉马苏布拉莫尼安
G.范德奥维拉
M.卡尔切维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN114930858A publication Critical patent/CN114930858A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于对点云进行编解码的示例设备包括被配置为存储点云的存储器、以及与存储器通信耦合的一个或多个处理器。所述一个或多个处理器被配置为确定分子语法元素的值，分子语法元素的值指示点云的缩放因子的分子。所述一个或多个处理器被配置为确定分母语法元素的值，分母语法元素的值指示点云的缩放因子的分母。所述一个或多个处理器被配置为至少部分地基于点云的缩放因子来处理点云。

Description

用于基于几何的点云压缩的高级语法
本专利申请要求2021年1月7日提交的序列号为17/143,607的美国专利申请的优先权、该专利要求2020年1月8日提交的序列号为62/958,399的美国临时专利申请、2020年1月13日提交的序列号为62/960,472的美国临时专利申请以及2020年1月31日提交的序列号为62/968,578的美国临时专利申请的权益，上述申请中的每一个的全部内容通过引用被结合于此。
技术领域
本公开涉及点云编码和解码。
发明内容
一般来说，本公开描述用于点云编码和解码的技术，包括涉及基于几何的点云压缩(G-PCC)的技术。在下文的附图和描述中阐述了一个或多个示例的细节。G-PCC标准的一个示例草案可能导致包括非必要信令通知和/或相比于可能必要的比特而言包含更多比特的信令通知的点云编解码(coding)技术。本公开包括用于减少与G-PCC相关联的信令通知开销的技术。其他的特征、目标和优点将根据描述、附图和权利要求而变得显而易见。
在一个示例中，一种对点云进行编解码的方法包括确定分子语法元素的值，分子语法元素的值指示点云的缩放因子的分子，确定分母语法元素的值，分母语法元素的值指示点云的缩放因子的分母，以及至少部分地基于点云的缩放因子来处理点云。
在另一示例中，一种用于对点云进行编解码的设备包括被配置为存储点云的存储器，以及与存储器通信耦合的一个或多个处理器，该一个或多个处理器被配置为：确定分子语法元素的值，分子语法元素的值指示点云的缩放因子的分子，确定分母语法元素的值，分母语法元素的值指示点云的缩放因子的分母，以及至少部分地基于点云的缩放因子来处理点云。
在另一示例中，一种非暂时性计算机可读存储介质存储有指令，该指令在被一个或多个处理器执行时，使得一个或多个处理器：确定分子语法元素的值，分子语法元素的值指示点云的缩放因子的分子，确定分母语法元素的值，分母语法元素的值指示点云的缩放因子的分母，以及至少部分地基于点云的缩放因子来处理点云。
在另一示例中，一种设备包括：用于确定分子语法元素的值的部件，分子语法元素的值指示点云的缩放因子的分子，用于确定分母语法元素的值的部件，分母语法元素的值指示点云的缩放因子的分母，以及用于至少部分地基于点云的缩放因子来处理点云的部件。
在下文的附图和描述中阐述了一个或多个示例的细节。其他的特征、目标和优点将根据描述、附图和权利要求而变得显而易见。
附图说明
图1是示出可执行本公开的技术的示例编码和解码系统的框图。
图2是示出示例几何点云压缩(G-PCC)编码器的框图。
图3是示出示例G-PCC解码器的框图。
图4是示出序列参数集、几何参数集、几何切片报头、属性参数集和属性切片报头之间的关系的概念图。
图5是示出根据本公开的示例信令通知技术的流程图。
具体实施方式
G-PCC标准的一个示例草案可能导致包括非必要信令通知和/或相比于可能必要的比特而言包含更多比特的信令通知的点云编解码技术。如此，与其他可能方式相比，根据该草案标准的信令通知可能导致较差的功能性和较大的信令通知开销。根据本公开的技术，草案G-PCC标准的某些语法元素可以用比草案标准中所阐述的更少的比特来表示，而其他某些语法元素可以不被信令通知。通过以更少比特来表示某些语法元素并且不信令通知其他某些语法元素，G-PCC编码器可以减少与语法元素相关联的信令通知开销，并且因此可以减少G-PCC编码器和/或G-PCC解码器的处理功率损耗。
图1是示出可执行本公开的技术的示例编码和解码系统100的框图。本公开的技术一般涉及与对点云数据进行编解码(编码和/或解码)相关联的信令通知。一般来说，点云数据包括用于处理点云的任何数据。编解码可以有效地对点云数据进行压缩和/或解压缩。
如图1所示，系统100包括源设备102和目的地设备116。源设备102提供要由目的地设备116解码的经编码点云数据。具体地，在图1的示例中，源设备102经由计算机可读介质110将点云数据提供给目的地设备116。源设备102和目的地设备116可以包括广泛设备中的任何一种，包括桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、诸如智能电话之类的电话手持设备、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输(streaming)设备、地面或海上运载工具、航天器、飞机、机器人、LIDAR设备、卫星等等。在一些情况下，源设备102和目的地设备116可以被装备用于无线通信。
在图1的示例中，源设备102包括数据源104、存储器106、G-PCC编码器200以及输出接口108。目的地设备116包括输入接口122、G-PCC解码器300、存储器120以及数据消费者(data consumer)118。根据本公开，源设备102的G-PCC编码器200和目的地设备116的G-PCC解码器300可以被配置为应用本公开的与用于基于几何的点云压缩的高级语法有关的技术。因此，源设备102代表编码设备的示例，而目的地设备116代表解码设备的示例。在其他示例中，源设备102和目的地设备116可以包括其他组件或布置。例如，源设备102可以从内部或外部源接收数据(例如，点云数据)。同样，目的地设备116可以与外部数据消费者对接(interface)，而不是在相同设备中包括数据消费者。
如图1所示的系统100仅仅是一个示例。一般来说，其他数字编码和/或解码设备可以执行本公开的与用于几何点云压缩的高级语法有关的技术。源设备102和目的地设备116仅仅是此类设备的示例，其中源设备102生成用于传输至目的地设备116的经编解码数据。本公开将“编解码”设备指代为执行数据的编解码(编码和/或解码)的设备。因此，G-PCC编码器200和G-PCC解码器300代表编解码设备的示例，具体地，分别表示编码器和解码器的示例。在一些示例中，源设备102和目的地设备116可以用基本对称的方式操作，使得源设备102和目的地设备116中的每一个包括编码和解码组件。因此，系统100可以支持源设备102与目的地设备116之间的单向或双向传输，例如，用于流式传输、回放、广播、电话、导航和其他应用。
一般来说，数据源104代表数据的源(即，原始、未编码的点云数据)并且可以将数据的连续系列的“帧”提供至G-PCC编码器200，G-PCC编码器200对帧的数据进行编码。源设备102的数据源104可以包括：点云捕捉设备，诸如各种相机或传感器中的任一种，例如3D扫描仪或光检测及测距(LIDAR)设备、一个或多个视频相机；包含先前捕捉的数据的存档；和/或用于从数据内容提供者接收数据的数据馈送接口。替代地或附加地，点云数据可以根据扫描仪、相机、传感器或其他数据而被计算机生成。例如，数据源104可以生成基于计算机图形的数据作为源数据，或者产生实况数据、存档数据和计算机生成数据的组合。在每一种情况下，G-PCC编码器200对所捕捉的、预捕捉的或计算机生成的数据进行编码。G-PCC编码器200可以将帧从所接收次序(有时被称为“显示次序”)重新布置成用于编解码的编解码次序。G-PCC编码器200可以生成包括经编码数据的一个或多个比特流。源设备102随后可以经由输出接口108将经编码数据输出到计算机可读介质110上，以供例如目的地设备116的输入接口122接收和/或检索。
源设备102的存储器106和目的地设备116的存储器120可以代表通用存储器。在一些示例中，存储器106和存储器120可以存储原始数据，例如，来自数据源104的原始数据以及来自G-PCC解码器300的原始数据、经解码数据。附加地或替代地，存储器106和存储器120可以分别存储能由例如G-PCC编码器200和G-PCC解码器300执行的软件指令。尽管存储器106和存储器120在此示例中与G-PCC编码器200和G-PCC解码器300分开地示出，但应理解，G-PCC编码器200和G-PCC解码器300还可以包括用于功能上类似或等同目的的内部存储器。此外，存储器106和存储器120可以存储例如从G-PCC编码器200输出且输入到G-PCC解码器300的经编码数据。在一些示例中，存储器106和存储器120的部分可以被分配为一个或多个缓冲器，例如用于存储原始数据、经解码数据和/或经编码数据。例如，存储器106和存储器120可以存储表示点云的数据。
计算机可读介质110可以代表能够将经编码数据从源设备102传送至目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110代表使源设备102能够例如经由射频网络或基于计算机的网络实时地将经编码数据直接传输到目的地设备116的通信介质。根据诸如无线通信协议之类的通信标准，输出接口108可以调制包括经编码数据的传输信号，而输入接口122可以解调所接收的传输信号。通信介质可以包括任何无线或有线通信介质，诸如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成诸如以下各项的基于分组的网络的部分：局域网、广域网、或诸如因特网之类的全球网络。通信介质可以包括路由器、交换机、基站或者对促进从源设备102到目的地设备116的通信可能有用的任何其它装备。
在一些示例中，源设备102可以将经编码数据从输出接口108输出至存储设备112。类似地，目的地设备116可以经由输入接口122从存储设备112访问经编码数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一种，诸如硬驱动器、蓝光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器、或者用于存储经编码数据的任何其它合适的数字存储介质。
在一些示例中，源设备102可以将经编码数据输出至文件服务器114或者可以存储由源设备102生成的经编码数据的另一中间存储设备。目的地设备116可以经由流式传输或下载来从文件服务器114访问所存储数据。文件服务器114可以是能够存储经编码数据并将此经编码数据传输至目的地设备116的任何类型的服务器设备。文件服务器114可以代表(例如，用于网站的)web服务器、文件传输协议(FTP)服务器、内容递送网络设备或网络附接存储(NAS)设备。目的地设备116可以通过包括因特网连接的任何标准数据连接从文件服务器114访问经编码数据。这可以包括适合用于访问存储在文件服务器114上的经编码数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，数字订户线(DSL)、电缆调制解调器等)或这两者的组合。文件服务器114和输入接口122可以被配置为根据流式传输传输协议、下载传输协议或其组合来操作。
输出接口108和输入接口122可以代表无线发送器/接收器、调制解调器、有线连网组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任一者操作的无线通信组件、或其它物理组件。在其中输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据诸如4G、4G-LTE(长期演进)、高级LTE、5G之类的蜂窝通信标准来传递诸如经编码数据之类的数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据诸如IEEE 802.11规范、IEEE 802.15规范(例如，ZigBeeTM)、蓝牙TM标准之类的其他无线标准来传递诸如经编码数据之类的数据。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(SoC)设备。例如，源设备102可以包括用于执行归因于G-PCC编码器200和/或输出接口108的功能性的SoC设备，而目的地设备116可以包括用于执行归因于G-PCC解码器300和/或输入接口122的功能性的SoC设备。
本公开的技术可以被应用于支持诸如以下各项的各种应用中任一种的编码和解码：自主运载工具之间的通信、扫描仪、相机、传感器与诸如本地或远程服务器之类的处理设备之间的通信、地理制图、或者其他应用。
目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码比特流。经编码比特流可以包括由G-PCC编码器200定义、还由G-PCC解码器300使用的信令通知信息，诸如具有描述经编解码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素。信令通知信息可以包括如根据本公开的技术定义的语法元素，或者不包括如本公开中阐述的某些条件下的某些语法元素。数据消费者118使用经解码数据。例如，数据消费者118可以使用经解码数据来确定物理对象的位置。在一些示例中，数据消费者118可以包括用于基于点云呈现图像的显示设备。
G-PCC编码器200和G-PCC解码器300各自可以被实现为各种合适的编码器和/或解码器电路系统中的任一种，诸如一个或多个处理器、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当该技术部分地以软件来实现时，设备可以将用于该软件的指令存储在合适的非暂时性计算机可读介质中，且使用一个或多个处理器在硬件中执行该指令以执行本公开的技术。G-PCC编码器200和G-PCC解码器300中的每一个可以被包括在一个或多个编码器或解码器中，这一个或多个编码器或解码器中的任一个可被集成为相应设备中的组合的编码器/解码器(CODEC)的部分。包括G-PCC编码器200和/或G-PCC解码器300的设备可以包括一个或多个集成电路、微处理器、和/或其他类型的设备。
G-PCC编码器200和G-PCC解码器300可以根据诸如几何点云压缩(G-PCC)标准的视频点云压缩(V-PCC)标准之类的编解码标准来操作。本公开一般可涉及对图片的编解码(例如，编码和解码)，以包括对数据进行编码或解码的处理。经编码比特流一般包括针对表示编解码决策(例如，编解码模式)的语法元素的一系列值。
本公开一般可涉及“信令通知”某些信息，诸如语法元素。术语“信令通知”一般可涉及关于用于对经编码数据进行解码的针对语法元素的值和/或其它数据的通信。即，G-PCC编码器200可以在比特流中信令通知针对语法元素的值。这些语法元素可以包括如本公开中定义的语法元素。一般来说，信令通知涉及在比特流中生成值。如上所述，源设备102可以基本上实时地或者非实时地将比特流传送到目的地设备116，诸如可在将语法元素存储到存储设备112以供目的地设备116稍后检索时发生。
ISO/IEC MPEG(JTC 1/SC 29/WG 11)正在研究针对具有显著超过其他方案的压缩能力的点云编解码技术标准化的潜在需求，并且致力于创建该标准。该组在称为三维图形团队(3DG)的协作任务中一起研究这个探索活动，以评估其在此领域的专家提出的压缩技术设计。
点云压缩活动被归类于两种不同的方案中。第一种方案是“视频点云压缩”(V-PCC)，V-PCC对3D对象进行分段，并将这些片段投影在多个2D平面(其被表示为2D帧中的“补丁”)中，这多个2D平面进一步由诸如高效视频编解码(HEVC)(ITU-T H.265)编解码器之类的传统2D视频编解码器进行编解码。第二种方案是“基于几何的点云压缩”(G-PCC)，G-PCC直接压缩3D几何，即3D空间中的点集的位置，以及相关联的属性值(针对与3D几何相关联的每个点)。G-PCC解决类别1(静态点云)和类别3(动态获取的点云)两者中的点云的压缩。
点云包含3D空间中的点集，并且可以具有与点相关联的属性。属性可以是诸如R、G、B或Y、Cb、Cr之类的色彩信息，或者反射率信息，或者其他属性。点云可以被各种捕捉设备捕捉，诸如相机或传感器，诸如LIDAR传感器，以及3D扫描仪，并且还可以是计算机生成的。点云数据被用于各种应用中，包括但不限于构造(建模)、图形(用于可视化和动画的3D模型)，以及汽车工业(用于帮助导航的LIDAR传感器)。
点云数据所占据的3D空间可以被虚拟边界框(bounding box)包围。边界框中的点的位置可以由特定精度表示；由此，一个或多个点的位置可以基于精度来量化。在最小层级，边界框被划分成体素(voxel)，体素是由单位立方体表示的最小空间单元。边界框中的体素可以与零个、一个或多于一个点相关联。边界框可以被划分成可被称为图块(tile)的多个立方体/立方形区域。每个图块可以被编解码成一个或多个切片。边界框到切片和图块的分割可以基于每个分区中的点数量，或者基于其他考虑(例如，特定区域可以被编解码成图块)。切片区域可以通过使用与视频编解码器中的划分决策类似的划分决策来进一步被分割。
图2提供G-PCC编码器200的概览。图2提供G-PCC解码器300的概览。所示模块是逻辑的，并且不必一一对应于G-PCC编解码器的参考实现中的实现代码，即，由ISO/IEC MPEG(JTC 1/SC 29/WG 11)研究的TMC13测试模型软件。
在G-PCC编码器200和G-PCC解码器300两者中，点云位置首先被编解码。属性编解码取决于经解码几何。在图2和图3中，灰色遮蔽模块是典型地用于类别1数据的选项。对角线交叉阴影模块是典型地用于类别3数据的选项。所有其他模块在类别1和3之间是公共的。参见G-PCC未来增强，ISO/IEC JTC1/SC29/WG11 w18887，日内瓦，瑞士，2019年10月(下文的“文档w18887”)。
对于类别3数据，经压缩几何典型地被表示为从根一直向下到单个体素的叶层次的八叉树。对于类别1数据，经压缩几何典型地被表示为经修剪八叉树(即，从根向下到大于体素的块的叶层次的八叉树)加上近似经修剪八叉树的每个叶内的表面的模型。以此方法，类别1和类别3两者共享八叉树编解码机制，而类别1可以附加地利用表面模型来近似每个叶内的体素。所使用的表面模型是每块包括1-10个三角形的三角测量(triangulation)，得到三角形集合(triangle soup)。类别1几何编解码器因此被称为Trisoup几何编解码器，而类别3几何编解码器被称为八叉树几何编解码器。
在八叉树的每个节点处，针对其子节点(至多八个节点)中的一个或多个而信令通知占用(在未被推断时)。多个邻域(neighborhood)被指定，包括(a)与当前八叉树节点共享面的节点，(b)与当前八叉树节点共享面、边或顶点的节点等等。在每个邻域内，节点和/或其子节点的占用可以被用于预测当前节点或其子节点的占用。对于稀疏分布于八叉树的某些节点中的点，编解码器还支持其中点的3D位置被直接编码的直接编解码模式。标志可以被信令通知以指示直接模式被信令通知。在最低层级，与八叉树节点/叶节点相关联的点数量也可以被编解码。
一旦几何被编解码，与几何点相对应的属性就被编解码。当存在多个属性点与一个经重构/经解码几何点相对应时，可以推导出表示经重构点的属性值。
G-PCC中存在三种属性编解码方法：区域自适应分层变换(RAHT)编解码、基于插值的分层最近邻居预测(预测变换)，以及具有更新/提升步骤的基于插值的分层最近邻居预测(提升变换)。RAHT和提升典型地被用于类别1数据，而预测典型地被用于类别3数据。然而，任一方法可被用于任何数据，并且，就像利用G-PCC中的几何编解码器，用户(例如，G-PCC编码器200)具有用于选择使用3个属性编解码器中哪一个的选项。
可以利用细节层次(LOD)来进行对属性的编解码，其中随着每个细节层次，可以获得点云属性的更精细的表示。可以基于距相邻节点的距离度量或者基于采样距离来指定每个细节层次。
在G-PCC编码器200处，作为用于属性的编解码方法的输出而被获得的残差被量化。可以使用上下文自适应算术编解码来对经量化残差进行编解码。
在图2的示例中，G-PCC编码器200可以包括坐标变换单元202、色彩变换单元204、体素化单元206、属性转移单元208、八叉树分析单元210、表面近似分析单元212、算术编码单元214、几何重构单元(GRU)216、RAHT单元218、LOD生成单元220、提升单元222、系数量化单元224，以及算术编码单元226。
如图2的示例中所示，G-PCC编码器200可以接受位置集和属性集。位置可以包括点云中的点的坐标。属性可以包括关于点云中的点的信息，诸如与点云中的点相关联的色彩。
坐标变换单元202可以对点的坐标应用变换以将坐标从初始域变换到变换域。本公开可以将经变换坐标称为变换坐标。色彩变换单元204可以应用用于将属性的色彩信息变换到不同域的变换。例如，色彩变换单元204可以将色彩信息从RGB色彩空间变换到YCbCr色彩空间。
此外，在图2的示例中，体素化单元206可以将变换坐标体素化。变换坐标的体素化可以包括量化以及移除点云的某些点。换言之，点云的多个点可以被归入单个“体素”内，之后，在一些方面中，体素可以被作为一个点对待。此外，八叉树分析单元210可以基于体素化变换坐标来生成八叉树。附加地，在图2的示例中，表面近似分析单元212可以分析点以潜在地确定点的集合的表面表示。算术编码单元214可以对表示八叉树和/或由表面近似分析单元212确定的表面的信息的语法元素进行熵编码。G-PCC 200可以在几何比特流中输出这些语法元素。
几何重构单元216可以基于八叉树、指示由表面近似分析单元212确定的表面的数据，和/或其他信息来重构点云中点的变换坐标。由于体素化和表面近似，几何重构单元216所重构的变换坐标的数量可以与点云的点的原始数量不同。本公开可以将所得的点称为经重构点。属性转移单元208可以将点云的原始点的属性转移到点云的经重构点。
此外，RAHT单元218可以将RAHT编解码应用于经重构点的属性。替代地或附加地，LOD生成单元220和提升单元222可以分别将LOD处理和提升应用于经重构点的属性。RAHT单元218和提升单元222可以基于属性生成系数。系数量化单元224可以量化由RAHT单元218或提升单元222生成的系数。算术编码单元226可以将算术编解码应用于表示经量化系数的语法元素。G-PCC编码器200可以在属性比特流中输出这些语法元素。
在图3的示例中，G-PCC解码器300可以包括几何算术解码单元302、属性算术解码单元304、八叉树合成单元306、逆量化单元308、表面近似合成单元310、几何重构单元312、RAHT单元314、LoD生成单元316、逆提升单元318、逆变换坐标单元320，以及逆变换色彩单元322。
G-PCC解码器300可以获得几何比特流和属性比特流。G-PCC解码器300的几何算术解码单元302可以将算术解码(例如，上下文自适应二进制算术编解码(CABAC)或其他类型的算术解码)应用于几何比特流中的语法元素。类似地，属性算术解码单元304可以将算术解码应用于属性比特流中的语法元素。
八叉树合成单元306可以基于从几何比特流解析的语法元素来合成八叉树。在其中表面近似被用于几何比特流的实例中，表面近似合成单元310可以基于从几何比特流解析的语法元素以及基于八叉树来确定表面模型。
此外，几何重构单元312可以执行重构以确定点云中的点的坐标。逆变换坐标单元320可以将逆变换应用于经重构坐标以将点云中的点的经重构坐标(位置)从变换域转换回到初始域。
附加地，在图3的示例中，逆量化单元308可以对属性值进行逆量化。属性值可以基于从属性比特流中获得的语法元素(例如，包括由属性算术解码单元304解码的语法元素)。
取决于属性值被如何编码，RAHT单元314可以执行RAHT以基于经逆量化属性值来确定针对点云的点的色彩值。替代地，LoD生成单元316和逆提升单元318可以使用基于细节层次的技术来确定针对点云的点的色彩值。
此外，在图3的示例中，逆变换色彩单元322可以将逆色彩变换应用于色彩值。逆色彩变换可以是G-PCC编码器200的色彩变换单元204所应用的色彩变换的逆。例如，色彩变换单元204可以将色彩信息从RGB色彩空间变换到YCbCr色彩空间。相应地，逆色彩变换单元322可以将色彩信息从YCbCr色彩空间变换到RGB色彩空间。
图2和图3的各种单元被示出用于帮助理解G-PCC编码器200和G-PCC解码器300所执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。固定功能电路指的是提供特定功能并且被预设在可被执行的操作上的电路。可编程电路指的是可以被编程以执行各种任务，并且在可以被执行的操作中提供灵活功能性的电路。例如，可编程电路可以执行软件或固件，该软件或固件使得可编程电路以该软件或固件的指令所定义的方式操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型一般是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，而在一些示例中，单元中的一个或多个可以是集成电路。
上文提到的文档w18887是G-PCC草案文档。G-PCC标准的此草案可能包括非必要信令通知和/或相比于可能必要的比特而言包含更多比特的信令通知。G-PCC的高级语法(HLS)的表示可以被改进以实现更好的功能性并减少不同HLS相关参数的相关联信令通知成本。根据本公开的技术，文档w18887的某些语法元素可以用与草案标准中所禁止的相比更少的比特来表示，而其他某些语法元素可以不被信令通知。通过以更少的比特来表示某些语法元素并且不信令通知其他某些语法元素，G-PCC编码器200可以减少与语法元素相关联的信令通知开销，并且因此可以减少G-PCC编码器200和/或G-PCC解码器300的处理功率损耗。
本公开讨论可以相对于文档w18887作出的对G-PCC的高级语法的各种改进。本文阐述的各种技术可以被独立地应用，或者一个或多个技术可以按任何组合被应用。
现在讨论三个特定语法元素的交互。文档w18887中的几何参数集(GPS)语法包括这三个语法元素：log2_trisoup_node_size(其指示三角形节点的大小)；inferred_direct_coding_mode_enabled_flag(其指示direct_mode_flag是否可以存在于几何节点语法中)；以及unique_geometry_points_flag(其指示是否在涉及当前GPS的全部切片中，全部输出点是否在给定切片内具有独特位置)。虽然G-PCC编码器200可以独立地信令通知这些语法元素(例如，log2_trisoup_node_size、inferred_direct_coding_mode_enabled_flag以及unique_geometry_points_flag)，但它们彼此具有固有的交互，这在它们的语义中是明显的，如下所示。贯穿本文档，<E>…</E>标签之间的文本表示文档w18887的原始G-PCC语法描述的所强调部分。此外，贯穿本公开，<M>…</M>标签之间的文本表示归因于本公开的技术的文档w18887中的原始G-PCC语法描述的经修改文本。<D>…</D>标签之间的文本表示归因于本公开的技术而从文档w18887中的原始G-PCC语法描述中删除的文本。
Figure BDA0003734519110000121
log2_trisoup_node_size如下将变量TrisoupNodeSize指定为三角形节点的大小。
TrisoupNodeSize＝1<<log2_trisoup_node_size
当log2_trisoup_node_size等于0时，几何比特流仅包括八叉树编解码语法。<M>当log2_trisoup_node_size大于0时，则以下是比特流一致性的需求：
-inferred_direct_coding_mode_enabled_flag必须等于0，并且
-unique_geometry_points_flag必须等于1。</M>
因此，在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定指示三角形节点大小的trisoup语法元素的值是否大于0，基于trisoup语法元素的值大于0：推断指示直接模式语法元素是否存在于比特流中的经推断直接编解码模式启用语法元素的值为0；以及推断指示涉及当前几何参数集的全部切片中的全部输出点是否在相应切片内具有独特位置的独特几何点语法元素的值为1。对点云进行编解码可以至少部分地(而在一些示例中，进一步地)基于trisoup语法元素的值。以此方式，在与文档w18887中描述的信令通知相比较时，G-PCC编码器200可以减少信令通知开销。
在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以基于第一语法元素不等于0或者第二语法元素不等于1，来确定比特流与编解码标准不一致，其中：第一语法元素等于1指示第三语法元素是否可以存在于几何节点语法中，第二语法元素等于1指示在涉及当前几何参数集的全部切片中，全部输出点在切片内具有独特位置，而第三语法元素指示当前节点的单个子节点是否是叶节点且包含一个或多个增量(delta)点坐标。
从文档w18887的语义，可以推论当log2_trisoup_node_size大于0时，G-PCC解码器300可以推导出inferred_direct_coding_mode_enabled_flag和unique_geometry_points_flag，而不解析所接收比特流中的inferred_direct_coding_mode_enabled_flag和unique_geometry_points_flag语法元素。因此，根据本公开的一个示例，G-PCC编码器200和G-PCC解码器300可以根据在trisoup被启用时移除冗余信令通知并且绕过一致性检查的以下修改来操作。
Figure BDA0003734519110000131
Figure BDA0003734519110000141
unique_geometry_points_flag等于1指示在涉及当前GPS的全部切片中，全部输出点在切片内具有独特位置。unique_geometry_points_flag等于0指示在涉及当前GPS的全部切片中，输出点中的两个或更多个在切片内可以具有相同位置。<M>当unique_geometry_points_flag不存在于比特流中时，其被推断为1。</M>
inferred_direct_coding_mode_enabled_flag等于1指示direct_mode_flag可以存在于几何节点语法中。inferred_direct_coding_mode_enabled_flag等于0指示direct_mode_flag不存在于几何节点语法中。<M>当inferred_direct_coding_mode_enabled_flag不存在于比特流中时，其被推断为0。</M>
log2_trisoup_node_size如下将变量TrisoupNodeSize指定为三角形节点的大小。
TrisoupNodeSize＝1<<log2_trisoup_node_size
当log2_trisoup_node_size等于0时，几何比特流仅包括八叉树编解码语法。<D>当log2_trisoup_node_size大于0时，则以下是比特流一致性的需求：
-inferred_direct_coding_mode_enabled_flag必须为0，并且
-unique_geometry_points_flag必须等于1。</D>
direct_mode_flag等于1指示当前节点的单个子节点是叶节点并且包含一个或多个增量点坐标。direct_mode_flag等于0指示当前节点的单个子节点是内部八叉树节点。当不存在时，direct_mode_flag的值被推断为0。
现在讨论lifting_num_pred_nearest_neighbours(其指示用于预测的最近邻居的最大数量)和其他类似语法元素的信令通知。根据文档w18887，诸如G-PCC编码器200之类的G-PCC编码器可以在指定用于预测的最大最近邻居的属性参数集(例如，用于预测变换和提升变换)中信令通知lifting_num_pred_nearest_neighbours，其具有最小值1。
Figure BDA0003734519110000151
lifting_num_pred_nearest_neighbours指定将被用于预测的最近邻居的最大数量。lifting_num_pred_nearest_neighbours的值将处于1到<M>xx</M>的范围内。
由于该语法的最小值是1，G-PCC编码器可以替代地信令通知lifting_num_pred_nearest_neighbours_minus1。以下示出所提及的语法和语义。
Figure BDA0003734519110000152
lifting_num_pred_nearest_neighbours<M>_minus1加1</M>指定将被用于预测的最近邻居的最大数量。lifting_num_pred_nearest_neighbours的值将处于1到<M>xx</M>的范围内。
因此，在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定提升语法元素，其中提升语法元素的值加1指定将被用于预测的最近邻居的最大数量。设备可至少部分地(而在一些示例中，进一步地)基于预测来对点云进行编解码。以此方式，在与文档w18887中描述的信令通知相比较时，G-PCC编码器200可以减少用于信令通知提升语法元素的比特数量，由此减少信令通知开销。
在一些示例中，设备可以确定几何切片报头语法元素，其中几何切片报头语法元素的值加1指定几何切片中的点数量。设备可以确定属性比特深度语法元素，其中属性比特深度语法元素的值加1指定属性的比特深度。设备还可以确定独特片段数量语法元素，其中独特片段数量语法元素的值加1指定独特片段的数量。
在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以对语法元素(例如，lifting_num_pred_nearest_neighbours_minus1)进行编解码，其中该语法元素加1指定将被用于预测的最近邻居的最大数量。编解码器可以使用该语法元素对点云进行编解码。
类似的，根据本公开的技术，对以下语法元素的编解码被修改为零值，因为这些语法元素可能是不希望的：
1.gsh_num_points(其指示切片中的点云中的经编解码点数量)可以被编解码成gsh_num_points_minus1。
2.sps_num_attributes(其指示序列中的属性的数量)可以被编解码成sps_num_attribute_sets_minus1(如果G-PCC将支持无属性点云，则此改变是不适当的并可以被忽略)。
3.attribute_dimension[](其指示与点云相关联的属性)可以被编解码成attribute_dimension_minus1[]。
4.attribute_bitdepth[](其指示与点云相关联的属性比特深度)可以被编解码成attribute_bitdepth_minus1[]或attribute_bitdepth_minusN[]，其中N预期是所支持的最小属性比特深度。例如，N的值可以被设置为8。
5.num_unique_segments(其指示trisoup模式中的独特片段的数量)可以被编解码成num_unique_segments_minus1。
6.num_vertices(其指示trisoup模式中的顶点的数量)可以被编解码成num_vertices_minus1。
Figure BDA0003734519110000161
Figure BDA0003734519110000171
如上所述，可以使用attribute_bitdepth_minus1，而不是如上表中所示的那样使用attribute_bitdepth_minus8。
Figure BDA0003734519110000172
与lifting_num_pred_nearest_neighbours类似，上述语法元素的语义可以被适当地更新。
在一些场景中，代替G-PCC编码器200直接信令通知num_unique_segments的值，G-PCC编码器200可以首先使用如下限制独特片段数量的经缩小值的向上取整(ceiling)函数，来缩小num_unique_segments的值：
num_unique_segments_downscaled＝Ceil(num_unique_segments/K),其中K是正整数，其可以是固定的或者可变的。G-PCC编码器200可以信令通知num_unique_segments_downscaled。如果K是可变的，G-PCC编码器200还可以信令通知K的值。例如，在G-PCC参考软件中，使用K＝8的固定值。考虑到num_unique_segments可以具有非常高的值，以及可变长度编解码(诸如指数-Golomb编解码)可能导致太多的信令通知，此方法论减少了相关联的信令通知成本。例如，如果num_unique_segments＝10002，且K＝8，则num_unique_segments_dowsampled＝Ceil(10002/8)＝1251。与“10002”(例如，num_unique_segments)相比，可能需要较少的比特来信令通知“1251”(例如，num_unique_segments_downscaled)。因此，在一些示例中，G-PCC编码器可以信令通知num_unique_segments_downscaled(例如，1251)而G-PCC解码器可以解析信令通知的num_unique_segments_downscaled(例如，1251)并且通过将num_unique_segments_downscaled(例如，1251)乘以K(例如，8)来计算num_unique_segments(例如，10002)。在此场景中，num_unique_segments_downscaled可以一直具有最小值1，因此可以替代地信令通知num_unique_segments_downscaled_minus1。在上述示例中，G-PCC编码器200可以信令通知1250(而不是1251)。
现在讨论lifting_sampling_period[](其指示用于细节层次idx的采样周期)的信令通知。对于细节层次(LoD)生成，文档w18887中阐述了两种生成方式：1)基于距离，以及2)基于常规采样。对于基于常规采样的生成，G-PCC编码器200可以信令通知用于每个LoD的采样因子。以下示出语法和语义。
Figure BDA0003734519110000181
Figure BDA0003734519110000191
lifting_sampling_period[idx]指定用于细节层次idx的采样周期。lifting_sampling_period[]的值将处于0到<M>xx</M>的范围内。
然而，通过定义，LoD idx是通过对LoD(idx+1)进行子采样(subsampling)生成的，例如，每个lifting_sampling_period[idx]排除一个点。因此，lifting_sampling_period[idx]等于0可能是不可能的，甚至值1也不指示子采样。因此，lifting_sampling_period应该具有最小值2，因此，G-PCC编码器200可以替代地信令通知lifting_sampling_period_minus2[idx]。以下示出所提及的语法和语义。
Figure BDA0003734519110000192
lifting_sampling_period<M>_minus2[idx]加2</M>指定用于细节层次idx的采样周期。lifting_sampling_period[idx]的值将处于<M>2到xx</M>的范围内。
因此，在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定采样周期语法元素的值，采样周期语法元素的值指示用于细节层次索引的采样周期。设备可以至少部分地(在一些示例中，进一步地)基于采样周期来对点云进行编解码。在一些示例中，采样周期语法元素的值加2指定用于细节层次索引的采样周期。以此方式，在与文档w18887中描述的信令通知相比较时，G-PCC编码器200可以减少用于信令通知采样周期语法元素的比特数量，由此减少信令通知开销。
在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以对语法元素进行编解码，其中语法元素加2指定用于细节层次索引的采样周期；以及使用语法元素对点云进行编解码。
而且，在一些情况下，用于全部LoD层的恒定采样因子可能是足够的。例如，根据文档w18887，TMC13设置使用用于全部层的采样周期4。因此，根据本公开的技术，G-PCC编码器200可以信令通知指示采样因子对于全部层是否相同的标志。对应的语法和语义如下。
Figure BDA0003734519110000201
Figure BDA0003734519110000211
<M>lifting_lod_constant_sampling_period_flag等于1指定用于全部细节层次的采样周期是相同的。
lifting_lod_constant_sampling_period_flag等于0指示不同LoD层的采样周期是不同的。当lifting_lod_constant_sampling_period_flag不存在于比特流中时，其被推断为0。</M>
<M>lifting_constant_sampling_period_minus2加2指定在lifting_lod_constant_sampling_period_flag等于1时将被用于LoD生成的常规采样策略的恒定采样周期。</M>
lifting_sampling_period_minus2[idx]加2指定用于细节层次idx的采样周期。lifting_sampling_period_minus2[idx]的值将处于0到xx的范围内。<M>当lifting_sampling_period_minus2[idx]不存在于比特流中时，其被推断为等于lifting_constant_sampling_period_minus2。</M>
因此，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以对第一语法元素(例如，lifting_lod_constant_sampling_period_flag)进行编解码，其中第一语法元素等于1指定用于全部细节层次(LoD)的采样周期是相同的，其中第一语法元素等于0指定用于不同LoD层的采样周期是不同的；以及使用第一语法元素对点云进行编解码。此外，G-PCC编码器200或G-PCC解码器300可以对第二语法元素(例如，lifting_constant_sampling_period_minus2)进行编解码，其中第二语法元素加2指定在第一语法元素等于1时将被用于细节层次(LoD)生成的常规采样策略的恒定采样周期。G-PCC编码器200或G-PCC解码器300可以确定第三语法(例如，lifting_sample_period_minus2)元素的值加2指定用于LoD索引的采样周期，其中当第三语法元素不存在于比特流中时，解码器将第三语法元素的值推断为等于第二语法元素的值。
现在讨论lifting_sampling_distance_squared[](其指示用于细节层次idx的采样距离的平方)的信令通知。对于基于距离的LoD生成，G-PCC编码器200可以用如下所示的对应语法和语义在比特流中信令通知用于每个LoD层的距离。
Figure BDA0003734519110000221
然而，这些距离常常随LoD层级而呈指数增长，因此根据本公开的技术，G-PCC编码器200和/或G-PCC解码器300可以确定：
lifting_sampling_distance_squared[idx]＝(lifting_sampling_distance_squared_scale_minus1[idx-1]+1)*lifting_sampling_distance_squared[idx-1]+lifting_sampling_distance_squared_offset[idx-1]
因此，根据本公开的技术，G-PCC编码器200可以信令通知lifting_sampling_distance_squared_scale_minus1[idx-1]和lifting_sampling_distance_squared_offset[idx-1]，如以下在所提及的语法和语义中所示的那样。
Figure BDA0003734519110000222
Figure BDA0003734519110000231
<D>lifting_sampling_distance_squared[idx]指定用于细节层次idx的采样距离的平方。lifting_sampling_distance_squared[]的值将处于0到xx的范围内。</D>
<M>lifting_sampling_distance_squared_scale_minus1[idx]加1指定用于推导出用于细节层次idx的采样距离的平方的缩放因子。lifting_sampling_distance_squared_scale_minus1[idx]的值将处于0到xx的范围内。当lifting_sampling_distance_squared_scale_minus1[idx]不存在于比特流中时，其被推断为0。</M>
<M>lifting_sampling_distance_squared_offset[idx]指定用于推导出用于细节层次idx的采样距离的平方的偏移。lifting_sampling_distance_squared_offset[idx]的值将处于0到xx的范围内。当lifting_sampling_distance_squared_offset[idx]不存在于比特流中时，其被推断为0。</M>
<M>对于idx＝0…num_detail_level_minus1，含num_detail_level_minus1，用于细节层次idx的采样距离，lifting_sampling_distance_squared[idx]如下被推导出：
Figure BDA0003734519110000241
因此，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定第一语法元素的值(例如，lifting_sampling_distance_squared_scale_minus1)，其中第一语法元素的值加1指定用于推导出用于细节层次(LoD)索引的采样距离的平方的缩放因子；确定第二语法元素的值(例如，lifting_sampling_distance_squared_offset)，其中第二语法元素的值指定用于推导出用于LoD索引的采样距离的平方的偏移；基于第一语法元素的值和第二语法元素的值确定用于LoD索引的采样距离；以及基于LoD索引的采样距离来对点云进行编解码。
现在讨论sps_source_scale_factor(其指示源点云的缩放因子)的信令通知。该缩放因子可以被用于在显示点云之前缩放物理维度中的点位置。根据文档w18887，诸如G-PCC编码器200之类的G-PCC编码器可以将sps_source_scale_factor作为具有32位精度的浮点数，例如，u(32)，来信令通知。
Figure BDA0003734519110000242
sps_source_scale_factor指示源点云的缩放因子。
然而，代替浮点表示，有理表示可以是优选的，例如，分子和分母中的每一个可以被编解码为整数。相应地，G-PCC编码器200或G-PCC解码器300可以对分子和分母进行编解码。然而，对于有效的有理表示(不包括0或未定义)，分子和分母都不可以为零。因此，根据本公开的技术，G-PCC编码器200可以如下面所示的那样替代地信令通知<M>sps_source_scale_factor_numerator_minus1</M>和<M>sps_source_scale_factor_denominator_minus1</M>。
Figure BDA0003734519110000251
该方案的优点是在需要(分数值的)较高精度的场景中，可以花费更多的比特来对分子和分母进行编解码。另一方面，当粗精度足够时，可以使用更少的比特。该方案与不考虑所需精度而使用恒定的32比特表示的文档w18887中的方案相比较是更加可缩放(scalable)的。
而且，具有点云可用性信息(PCUI)的概念可能是有用的，其可以主要处理不作为解码处理的部分的参数，但对于显示目的可能有用(例如，类似于ITU-T SG 16 WP3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)的HEVC或多功能视频编解码(VVC)中的视频可用性信息(VUI))，其可以在SPS的末端被信令通知。在此类场景中，上述语法，例如sps_source_scale_factor或者sps_source_scale_factor_numerator_minus1和sps_source_scale_factor_denominator_minus1，可以被移至PCUI。
因此，在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以：确定分子语法元素的值，分子语法元素的值指示点云的缩放因子的分子；确定分母语法元素的值，分母语法元素的值指示点云的缩放因子的分母；以及至少部分地(在一些示例中，进一步地)基于点云的缩放因子来对点云进行编解码。在一些示例中，分子语法元素的值加一指定点云的缩放因子的分子。在一些示例中，分母语法元素的值加一指定点云的缩放因子的分母。以此方式，在与文档w18887中描述的信令通知相比较时，G-PCC编码器200可以减少用于信令通知缩放因子的比特数量，由此减少信令通知开销。
在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定第一语法元素的值，第一语法元素的值指示点云的缩放因子的分子；确定第二语法元素的值，第二语法元素的值指示点云的缩放因子的分母；以及使用点云的缩放因子对点云进行编解码。
现在讨论对各种参数集ID的编解码。根据文档w18887，诸如G-PCC编码器200之类的G-PCC编码器可以使用可变长度编解码来信令通知诸如SPS ID、GPS ID和APS ID之类的各种参数集ID。然而，G-PCC解码器300可能需要解析这些ID以对切片进行解码。
图4是示出序列参数集、几何参数集、几何切片报头、属性参数集和属性切片报头之间的关系的概念图。G-PCC解码器300可以使用几何切片报头(GSH)402通过指代GPS ID来寻找针对几何切片的相关联的GPS，例如，GPS 404。使用GPS 404，G-PCC解码器300可以通过指代SPS ID来寻找相关联的SPS，例如，SPS 410，如图4的示例中所示的那样。类似地，G-PCC解码器300可以使用属性切片报头406通过指代APS ID来寻找相关联的APS，例如，APS 408。使用APS 408，G-PCC解码器300可以通过指向SPS ID来寻找相关联的SPS，SPS 410。
然而，由于SPS ID、GPS ID和APS ID中的每一个可以具有指示范围是2的幂的0至15(含15)的值的事实，并且为了易于解析此类ID，根据本公开的技术，G-PCC编码器200可以使用固定长度编解码来对这些ID进行编码，例如对SPS ID、对GPS ID和/或对APS ID使用u(4)(或4比特)。语法修改如下所示。
Figure BDA0003734519110000261
Figure BDA0003734519110000262
Figure BDA0003734519110000271
Figure BDA0003734519110000272
Figure BDA0003734519110000273
Figure BDA0003734519110000274
因此，在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定参数集标识符(ID)，其中使用固定长度来对参数集ID进行编解码。在一些示例中，固定长度是4比特。在一些示例中，参数集ID标识参数集。参数集可以包括序列参数集、几何参数集或属性参数集中的一个。以此方式，在与文档w18887中描述的信令通知相比较时，G-PCC编码器200可以减少用于信令通知参数集ID的比特数量，由此减少信令通知开销。
在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以使用固定长度值来指示语法元素，其中语法元素是序列参数集(SPS)标识符、几何参数集标识符、属性参数集标识符、几何切片报头标识符或属性切片报头标识符中的一个；以及对包括点云的经编码表示的比特流进行编解码，其中比特流包括由SPS标识符标识的SPS、由几何参数集标识符标识的几何参数集、由属性参数集标识符标识的属性参数集、由几何切片报头标识符标识的几何切片报头或由属性切片报头标识符标识的属性切片报头中的至少一个。
而且，根据本公开的技术，G-PCC编码器200可以在SPS的最开始处信令通知sps_seq_parameter_set_id(其指示用于SPS的标识符)。替代地，G-PCC编码器200可以在SPS中至少在需要可变长度解析的语法元素(例如，sps_bounding_box_present_flag(其指示边界框是否存在于序列中))之前信令通知sps_seq_parameter_set_id。这可以促进G-PCC解码器300快速解析sps_seq_parameter_set_id。因此，四种可能示例中的一种可以被采用，如下所示。示例1-4中的任一个对于G-PCC解码器300来说可以减少解析sps_seq_parameter_set_id的复杂度。
示例1：
Figure BDA0003734519110000281
示例2：
Figure BDA0003734519110000282
Figure BDA0003734519110000291
示例3：
Figure BDA0003734519110000292
Figure BDA0003734519110000301
示例4：
Figure BDA0003734519110000302
因此，在一些示例中，参数集(由参数集ID指示)是序列参数集，而且参数集ID跟随在指示与点云数据相关联的上限水平(诸如点云帧或切片中的允许点数量、边界框大小、最大八叉树根节点维度等)的语法元素之后，并且在指示边界框是否存在于序列参数集中的语法元素之前。以此方式，G-PCC编码器200可以将参数集ID放置于序列参数集中的位置中，可以减少G-PCC解码器300的解码等待时间。
现在讨论基于属性维度的数量的编解码语法元素。属性可以具有不同的类型，并且每个属性可以具有一个或多个维度。例如，色彩属性可以具有三个维度，而frame_idx属性可以仅具有一个维度。frame_idx属性可以指示点云帧的帧编号。然而，G-PCC语法结构中的某些语法元素在不考虑相关联的属性的维度数量的情况下被信令通知，特别是与色度分量/维度相关联的那些属性：aps_attr_chroma_qp_offset、ash_attr_qp_delta_chroma和ash_attr_layer_qp_delta_chroma[i]。根据本公开的技术，诸如G-PCC编码器200之类的G-PCC编解码器可以信令通知具有attribute_dimension[i]的这些语法元素，attribute_dimension[i]指定与第i属性相关联的维度数量。对文档w18887中的语法和语义的改变如下：
Figure BDA0003734519110000311
Figure BDA0003734519110000321
ash_attr_qp_delta_luma指定从活跃属性参数集中的初始切片qp起的亮度增量qp。当ash_attr_qp_delta_luma未被信令通知时，ash_attr_qp_delta_luma的值被推断为0。
ash_attr_qp_delta_chroma指定从活跃属性参数集中的初始切片qp起的色度增量qp。当ash_attr_qp_delta_chroma未被信令通知时，ash_attr_qp_delta_chroma的值被推断为0。
变量InitialSliceQpY和InitialSliceQpC如下被推导出：
InitialSliceQpY＝aps_attrattr_initial_qp+ash_attr_qp_delta_luma
InitialSliceQpC＝aps_attrattr_initial_qp+aps_attr_chroma_qp_offset+ash_attr_qp_delta_chroma
ash_attr_layer_qp_delta_luma指定从每个层中的InitialSliceQpY起的亮度增量qp。当ash_attr_layer_qp_delta_luma未被信令通知时，全部层的ash_attr_layer_qp_delta_luma的值被推断为0。
ash_attr_layer_qp_delta_chroma指定从每个层中的InitialSliceQpC起的色度增量qp。当ash_attr_layer_qp_delta_chroma未被信令通知时，全部层的ash_attr_layer_qp_delta_chroma的值被推断为0。
变量SliceQpY[i]和SliceQpC[i]被如下推导，其中，i＝0…num_layer-1：
for(i＝0；i<num_layer；i++){
SliceQpY[i]＝InitialSliceQpY+ash_attr_layer_qp_delta_luma[i]
SliceQpC[i]＝InitialSliceQpC+ash_attr_layer_qp_delta_chroma[i]
}
增量qp是初始qp(在属性参数集(APS)中被信令通知)与用于当前样点的qp之间的差。
因此，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定与当前属性的维度数量相关联的索引条目的值；确定该索引条目的值是否大于1；以及基于该索引条目的值不大于1，抑制(refrain)对第一色度增量qp语法元素或第二色度增量qp语法元素中的至少一个进行编解码，该第一色度增量qp语法元素指示从活跃属性参数集中的初始切片qp起的色度增量qp，该第二色度增量qp语法元素指示从每个层中的初始切片qp色度起的色度增量qp。对点云进行编解码可以至少部分地(在一些示例中，进一步地)基于当前属性的维度数量。以此方式，在与文档w18887相比较时，G-PCC编码器200可以减少信令通知开销。
G-PCC编码器200可以在属性参数集中信令通知语法元素aps_attr_chroma_qp_offset，其中与属性相关联的维度数量是未知的。因此，本公开不解决对该语法元素的编解码的改变。
类似的，G-PCC编码器200可以信令通知关于比特深度和次级比特深度的信息，旨在分别用于对SPS中的亮度和色度分量的编解码。根据本公开的技术，G-PCC编码器200可以在属性维度大于1时信令通知次级比特深度信息。
Figure BDA0003734519110000331
Figure BDA0003734519110000341
因此，在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以基于当前属性维度的索引确定是否对语法元素进行编解码，其中语法元素指示以下各项中的一个：从活跃属性参数集中的初始切片QP起的亮度增量量化参数(QP)，从活跃属性参数集中的初始切片QP起的色度增量QP，或者次级比特深度的指示；以及基于语法元素对点云进行编解码。
现在讨论点云中的点数量的信令通知。在来自国家机构的最近评论中，建议在切片中信令通知指示点云中的经编解码点数量的语法元素gsh_num_points是冗余的，因为点云中的点数量将在解码点云的几何时由解码器计算。
虽然点数量对于解码点云而言不是必要的，但该语法元素在指示解码点云所需的复杂度或资源量方面是有帮助的。诸如G-PCC解码器300之类的解码器可以能够使用点云中的经编解码点数量来分配资源。诸如G-PCC解码器300之类的解码器还可以能够基于比特流中被编解码的点数量来协调(negotiate)点云比特流。例如，解码器可以基于诸如处理功率之类的可用解码资源来协调待解码的点云数据的多个层。因此，在比特流中指示此信息可以是有用的。G-PCC解码器推导出点云中的经编解码点数量可能不可行，因为推导可能需要解码点云的全部几何。
因此，根据本公开的技术，G-PCC编码器200可以在切片报头(如在文档w18887中作为gsh_num_points被信令通知)或在更高层级信令通知点云中的经编解码点数量，这对G-PCC解码器300可以是有用的。
对于不是点云比特流的解码明确需要但在典型应用场景中对解码器可能有用的信息，可定义SPS内的单独语法结构或语法子结构(例如，类似于视频中的视频可用性信息的点云可用性信息)。可在此新结构或子结构中信令通知诸如gsh_num_points或sps_source_scale_factor之类的语法元素(或者在本公开的其他部分中所提及的这些语法元素的变体)。
此外，在一些情形中，可以用具有细节层次的可缩放方式来对点云进行编解码。递增的细节层次中的点数量可能增加，而解码器在确定要解码哪个或那些层次时可能对知道与每个细节层次相关联的点数量感兴趣。因此，G-PCC 200可以如下信令通知每个细节层次中的点数量。
因此，在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定指示与细节层次相关联的点数量的细节层次语法元素。设备可以至少部分地(在一些示例中，进一步地)基于与细节层次相关联的点数量来对点云进行编解码。以这种方式，G-PCC解码器300可以能够确定解码点云所需的复杂度或资源量，并且由此使用点云中的经编解码点数量来分配资源。
而且，在一些示例中，对点云中的点的确切数量的计算可能不是必要的，并且对于G-PCC解码器300资源分配，信令通知点数量的上界可能是足够的，G-PCC编码器200可以替代地信令通知点的最大数量。这还可以减少G-PCC编码器200对点数量进行精确估计的负担，精确估计可能将语法结构的生成延迟到编码的结束。针对此类使用情况，设想诸如LoD生成与八叉树结构的对准之类的其他方面。
Figure BDA0003734519110000351
[Ed.上表中的前缀“aaa_”将基于这些语法元素将存在的语法结构被替换。]
aaa_max_num_points_minus1加1指定点云中的最大点数量。
aaa_lod_points_present_flag等于1指定每个细节层次中的点数量存在于语法结构中。aaa_lod_points_present_flag等于0指定每个细节层次中的点数量未被信令通知。
aaa_num_lods_minus1加1指定针对其信令通知每个LoD中的点数量的细节层次数量。
aaa_max_num_points_in_lod_minus1[i]加1指定第i个LoD中的最大点数量。
要求以下一致性，当aaa_lod_points_present_flag等于1时，针对范围从0到aaa_num_lods_minus1(含aaa_num_lods_minus1)的(aaa_max_num_points_in_lod_minus1[i]+1)的和应该小于或等于(aaa_max_num_points_minus1+1)。
还要求以下一致性，在存在时，aaa_max_num_points_in_lod_minus1[i]应该大于或等于解码器中针对细节层次而解码的点数量。[Ed.将被用于推导出针对特定细节层次的点数量的NumPoint或等同变量替换。]
因此，在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以对包括以下各项中的一个或多个的语法结构进行编解码：第一语法元素，其中第一语法元素加1指定点云中的最大点数量，第二语法元素，其中第二语法元素指定每个细节层次(LoD)中的点数量是否存在于语法结构中，第三语法元素，其中第三语法元素加1指定针对其信令通知的每个LoD中的点数量的细节层次数量，或者第四语法元素，其中第四语法元素加1指定细节层次之一中的最大点数量；以及基于语法结构对点云进行编解码。
在一些示例中，aaa_num_lods_minus1的值加1可以被约束为帧中的LoD的数量。
在一些示例中，G-PCC编码器200可以信令通知点云或细节层次中的确切的点数量，而不是信令通知最大点数量。
G-PCC编码器200可以在作为参数集(几何参数集、属性参数集)的部分的比特流中、或者在几何或属性有效载荷中、或者在SEI消息中，信令通知上面指定的一个或多个语法元素。
当点云包含多个帧时，可应用以下各项中的一个或多个：
1.在一些示例中，G-PCC编码器200可以在属性参数集中信令通知按LOD信令通知的点数量；并且(例如，由G-PCC编码器200)信令通知的总点数量(aaa_num_points_minus1)可应用于每个帧中的点数量、或者点云的每个帧中的最大点数量。
2.在一些示例中，G-PCC编码器200可以随每个帧信令通知语法结构(例如，作为参数集的部分、有效载荷或SEI消息)。
3.在一些示例中，点云/LoD中的点数量应用于全部帧；LoD信息的数量(aaa_num_lods_minus1)可以不等于帧中的LoD的数量。当帧中的LoD数量多于LoD信息的数量时，G-PCC解码器300可以推断没有指示关于针对那些点的LoD数量的信息(或推断默认值)。当帧中的LoD的数量少于LoD信息的数量时，G-PCC解码器300可以忽略不存在于帧中的附加LoD信息的点数量。
4.在一些示例中，G-PCC编码器200可以在针对帧或每个LoD的点数量改变时，更新此语法结构，并且信令通知经更新的语法结构。
5.在一些示例中，G-PCC编码器200可以按帧，或按层，或按LoD来信令通知点云的其他特性(除点数量之外)。
图5是示出根据本公开的示例信令通知技术的流程图。设备可以确定分子语法元素的值，分子语法元素的值指示点云的缩放因子的分子(502)。例如，G-PCC编码器200的一个或多个处理器可以确定点云的缩放因子的有理表示以包括分子，并且可以基于分子确定分子语法元素的值。G-PCC编码器200可以在比特流中信令通知分子语法元素，并且G-PCC解码器300的一个或多个处理器可以从比特流解析分子语法元素以确定分子语法元素的值。
设备可以确定分母语法元素的值，分母语法元素的值指示点云的缩放因子的分母(504)。例如，G-PCC编码器200的一个或多个处理器可以确定点云的缩放因子的有理表示以包括分母，并且可以基于分母确定分母语法元素的值。G-PCC编码器200可以在比特流中信令通知分母语法元素，并且G-PCC解码器300的一个或多个处理器可以从比特流中解析分母语法元素以确定分母语法元素的值。设备可以至少部分地基于点云的缩放因子来处理点云(506)。例如，G-PCC编码器200可以至少部分地基于点云的缩放因子来处理点云。G-PCC解码器300可以至少部分地基于点云的缩放因子来处理点云。例如，G-PCC解码器300可以基于缩放因子在显示之前对点云进行缩放。
在一些示例中，分子语法元素的值加一指定点云的缩放因子的分子。在一些示例中，分母语法元素的值加一指定点云的缩放因子的分母。
在一些示例中，诸如G-PCC编码器200或G-PCC解码器300之类的设备可以确定参数集标识符(ID)，其中使用固定长度对参数集ID进行编解码。在一些示例中，固定长度是4比特，且参数集ID标识参数集。在一些示例中，参数集可以包括序列参数集、几何参数集或属性参数集中的一个。在一些示例中，参数集是序列参数集并且参数集ID跟随在指示图像数据压缩水平的语法元素之后，且在指示边界框是否存在于序列参数集中的语法元素之前。
在一些示例中，G-PCC编码器200或G-PCC解码器300可以确定采样周期语法元素的值，采样周期语法元素的值指示用于细节层次索引的采样周期。在一些示例中，G-PCC编码器200或G-PCC解码器300还可以基于或至少部分地基于采样周期来对点云进行编解码。在一些示例中，采样周期语法元素的值加2指定用于细节层次索引的采样周期。
在一些示例中，G-PCC编码器200或G-PCC解码器300可以确定提升语法元素，其中提升语法元素的值加1指定将被用于预测的最近邻居的最大数量。在一些示例中，G-PCC编码器200或G-PCC解码器300还可以基于或至少部分地基于预测来对点云进行编解码。
在一些示例中，G-PCC编码器200或G-PCC解码器300可以确定几何切片报头语法元素，其中几何切片报头语法元素的值加1指定几何切片中的点数量。G-PCC编码器200或G-PCC解码器300可以确定属性比特深度语法元素，其中属性比特深度语法元素的值加1指定属性的比特深度。G-PCC编码器200或G-PCC解码器300确定独特片段数量语法元素，其中独特片段数量语法元素的值加1指定独特片段的数量。
在一些示例中，G-PCC编码器200或G-PCC解码器300可以确定与当前属性的维度数量相关联的索引条目的值。G-PCC编码器200或G-PCC解码器300可以确定索引条目的值是否大于1；以及基于索引条目的值不大于1，抑制对第一色度增量qp语法元素(例如，ash_attr_qp_delta_chroma)或第二色度增量qp语法元素(例如，ash_attr_layer_qp_delta_chroma)中的至少一个进行编解码，第一色度增量qp语法元素指示从活跃属性参数集中的初始切片qp起的色度增量qp，第二色度增量qp语法元素指示从每个层中的初始切片qp色度起的色度增量qp的第二色度增量qp。在一些示例中，对点云进行编解码进一步地基于当前属性的维度数量。
在一些示例中，G-PCC解码器300可以确定指示三角形节点的大小的trisoup语法元素的值是否大于0。基于trisoup语法元素的值大于0，G-PCC解码器300可以推断指示直接模式语法元素是否存在于比特流中的经推断直接编解码模式启用语法元素的值为0，以及推断指示涉及当前几何参数集的全部切片中的全部输出点是否在相应切片内具有独特位置的独特几何点语法元素的值为1。在一些示例中，G-PCC编码器200可以确定指示三角形节点的大小的trisoup语法元素的值是否大于0。基于trisoup语法元素的值大于0，G-PCC编码器200可以抑制在比特流中信令通知经推断直接编解码模式启用语法元素，以及抑制在比特流中信令通知独特几何点语法元素。在一些示例中，G-PCC编码器200或G-PCC解码器300还可以基于或至少部分地基于trisoup语法元素的值来对点云进行编解码。
在一些示例中，G-PCC编码器200或G-PCC解码器300可以确定指示与细节层次相关联的点数量的细节层次语法元素。G-PCC编码器200或G-PCC解码器300还可以基于或至少部分地基于与细节层次相关联的点数量来对点云进行编解码。
本公开的各种方面中的示例可被单独使用或以任何组合使用。本公开包括以下条款。
条款1A.一种对点云数据进行编解码的方法，该方法包括：基于第一语法元素不等于0或者第二语法元素不等于1来确定比特流不与编解码标准不一致，其中：第一语法元素等于1指示第三语法元素是否可以存在于几何节点语法中，第二语法元素等于1指示在涉及当前几何参数集的全部切片中，全部输出点在切片内具有独特位置，而第三语法元素指示当前节点的单个子节点是否是叶节点且包含一个或多个增量点坐标。
条款1B.一种对点云进行编解码的方法，该方法包括：对语法元素进行编解码，其中该语法元素加1指定将被用于预测的最近邻居的最大数量；以及使用该语法元素对点云进行编解码。
条款1C.一种对点云进行编解码的方法，该方法包括：对语法元素进行编解码，其中该语法元素加2指定用于细节层次索引的采样周期；以及使用该语法元素对点云进行编解码。
条款1D.一种对点云进行编解码的方法，该方法包括：对语法元素进行编解码，其中该语法元素等于1指定用于全部细节层次(LoD)的采样周期是相同的，并且其中该语法元素等于0指定用于不同LoD层的采样周期是不同的；以及使用该语法元素对点云进行编解码。
条款2D.条款1D的方法，其中语法元素是第一语法元素，且该方法包括：对第二语法元素进行编解码，其中第二语法元素加2指定在第一语法元素等于1时将被用于细节层次(LoD)生成的常规采样策略的恒定采样周期。
条款3D.条款2D的方法，还包括：确定第三语法元素的值加2指定用于LoD索引的采样周期，其中当第三语法元素不存在于比特流中时，解码器将第三语法元素的值推断为等于第二语法元素的值。
条款1E.一种对点云进行编解码的方法，该方法包括：确定第一语法元素的值，其中第一语法元素的值加1指定用于推导出用于细节层次(LoD)索引的采样距离的平方的缩放因子；确定第二语法元素的值，其中第二语法元素的值指定用于推导出用于LoD索引的采样距离的平方的偏移；基于第一语法元素的值和第二语法元素的值确定用于LoD索引的采样距离；以及基于LoD索引的采样距离来对点云进行编解码。
条款1F.一种对点云进行编解码的方法，该方法包括：确定第一语法元素的值，第一语法元素的值指示点云的缩放因子的分子；确定第二语法元素的值，第二语法元素的值指示点云的缩放因子的分母；以及使用点云的缩放因子对点云进行编解码。
条款1G.一种对点云进行编解码的方法，该方法包括：使用固定长度值来指示语法元素，其中语法元素是序列参数集(SPS)标识符、几何参数集标识符、属性参数集标识符、几何切片报头标识符或属性切片报头标识符中的一个；以及对包括点云的经编码表示的比特流进行编解码，其中比特流包括由SPS标识符标识的SPS、由几何参数集标识符标识的几何参数集、由属性参数集标识符标识的属性参数集、由几何切片报头标识符标识的几何切片报头或由属性切片报头标识符标识的属性切片报头中的至少一个。
条款2G.条款1G的方法，其中：语法元素是SPS标识符；以及语法元素是SPS中首先出现的语法元素。
条款3G.条款1G的方法，其中：语法元素是SPS标识符；以及语法元素是SPS中预留比特集之后首先出现的语法元素。
条款4G.条款1G的方法，其中：语法元素是SPS标识符；以及语法元素是SPS中的在其中定义配置文件的比特集之后首先出现的语法元素。
条款5G.条款1G的方法，其中：语法元素是第一语法元素并且语法元素是SPS标识符；以及语法元素是SPS中在独特点位置约束标志之后首先出现的语法元素。
条款6G.条款1G的方法，其中语法元素是SPS标识符；以及语法元素是SPS中层次指示符语法元素之后首先出现的语法元素。
条款1H.一种对点云进行编解码的方法，该方法包括：基于当前属性维度的索引来确定是否对语法元素进行编解码，其中语法元素指示以下各项中的一个：从活跃属性参数集中的初始切片QP起的亮度增量量化参数(QP)，从活跃属性参数集中的初始切片QP起的色度增量QP，或者次级比特深度的指示；以及基于语法元素对点云进行编解码。
条款1I.一种对点云进行编解码的方法，该方法包括：对包括以下各项中的一个或多个的语法结构进行编解码：第一语法元素，其中第一语法元素加1指定点云中的最大点数量，第二语法元素，其中第二语法元素指定每个细节层次(LoD)中的点数量是否存在于语法结构中，第三语法元素，其中第三语法元素加1指定针对其信令通知每个LoD中的点数量的细节层次数量，或者第四语法元素，其中第四语法元素加1指定细节层次之一中的最大点数量；以及基于语法结构对点云进行编解码。
条款1J.一种对点云进行编码的方法，该方法包括：将点云的三维对象分段成多个独特片段；对于独特片段中的每一个，通过将独特片段投影在多个二维平面中来形成多个补丁；以及在比特流中信令通知经缩小的独特片段数量。
条款2J.一种对点云进行解码的方法，该方法包括：从比特流获得经缩小的独特片段数量；基于经缩小的独特片段数量来确定独特片段数量；对于包括独特片段数量的多个独特片段中的每个片段，基于针对片段的多个补丁来重构片段，针对片段的补丁是该片段到多个二维平面中的投影。
条款1K.一种对点云进行编解码的方法，该方法包括：确定分子语法元素的值，分子语法元素的值指示点云的缩放因子的分子；确定分母语法元素的值，分母语法元素的值指示点云的缩放因子的分母；以及至少部分地基于点云的缩放因子来对点云进行编解码。
条款2K.条款1K的方法，其中分子语法元素的值加一指定点云的缩放因子的分子。
条款3K.条款1K或2K的方法，其中分母语法元素的值加一指定点云的缩放因子的分母。
条款1L.一种对点云进行编解码的方法，该方法包括：确定参数集标识符(ID)，其中使用固定长度来对参数集ID进行编解码；以及至少部分地基于由参数集ID标识的参数集来对点云进行编解码。
条款2L.条款1L的方法，其中固定长度是4比特，其中参数集ID标识参数集，并且其中参数集包括序列参数集、几何参数集或属性参数集中的一个。
条款3L.条款1L或2L的方法，其中参数集包括序列参数集并且其中参数集ID跟随在指示图像数据压缩水平的语法元素之后，且在指示边界框是否存在于序列参数集中的语法元素之前。
条款1M.一种对点云进行编解码的方法，该方法包括：确定采样周期语法元素的值，采样周期语法元素的值指示用于细节层次索引的采样周期；以及至少部分地基于采样周期来对点云进行编解码。
条款2M.条款1M的方法，其中采样周期语法元素的值加2指定用于细节层次索引的采样周期。
条款1N.一种对点云进行编解码的方法，该方法包括：确定提升语法元素，其中提升语法元素的值加1指定将被用于预测的最近邻居的最大数量；以及至少部分地基于预测来对点云进行编解码。
条款2N，条款1N的方法，还包括：确定几何切片报头语法元素，其中几何切片报头语法元素的值加1指定几何切片中的点数量；确定属性比特深度语法元素，其中属性比特深度语法元素的值加1指定属性的比特深度；以及确定独特片段数量语法元素，其中独特片段数量语法元素加1指定独特片段的数量。
条款1O.一种对点云进行编解码的方法，该方法包括：确定与当前属性的维度数量相关联的索引条目的值；确定该索引条目的值是否大于1；基于该索引条目的值不大于1，抑制对第一色度增量qp语法元素或第二色度增量qp语法元素中的至少一个进行编解码，第一色度增量qp语法元素指示从活跃属性参数集中的初始切片qp起的色度增量qp，第二色度增量qp语法元素指示从每个层中的初始切片qp色度起的色度增量qp；以及至少部分地基于当前属性的维度数量来对点云进行编解码。
条款1P.一种对点云进行编解码的方法，该方法包括：确定指示三角形节点的大小的trisoup语法元素的值是否大于0，其中trisoup语法元素的值为0指示比特流仅包括八叉树编解码语法；基于trisoup语法元素的值大于0：推断指示直接模式语法元素是否存在于比特流中的经推断直接编解码模式启用语法元素的值为0；以及推断指示涉及当前几何参数集的全部切片中的全部输出点是否在相应切片内具有独特位置的独特几何点语法元素的值为1；以及至少部分地基于trisoup语法元素的值来对点云进行编解码。
条款1Q.一种对点云进行编解码的方法，该方法包括：确定指示与细节层次相关联的点数量的细节层次语法元素；以及至少部分地基于与细节层次相关联的点数量来对点云进行编解码。
条款1R.条款1A-1Q中的任一个的方法，其中编解码包括解码。
条款2R.条款1A-1Q中的任一个的方法，其中编解码包括编码。
条款1S.一种用于对点云进行编解码的设备，该设备包括用于执行条款1A-2R中任一个的方法的一个或多个部件。
条款2S.条款1S的设备，其中一个或多个部件包括以电路系统实现的一个或多个处理器。
条款3S.条款1S或2S中任一个的设备，还包括用于存储表示点云的数据的存储器。
条款4SL.条款1S-3S中任一个的设备，其中设备包括解码器。
条款5SL.条款1S-3S中任一个的设备，其中设备包括编码器。
条款6S.条款1S-5S中任一个的设备，还包括用于生成点云的设备。
条款7S.条款1S-5S中任一个的设备，还包括用于基于点云呈现图像的显示器。
条款8S.一种其上存储有指令的计算机可读介质，指令在被执行时，使得一个或多个处理器执行条款1A-2R中任一个的方法。
应认识到，取决于示例，本文中所描述的技术中的任一个的某些动作或事件可以以不同序列来执行，可以被添加、合并或完全省去(例如，并非所有所描述的动作或事件对于技术的实践是必要的)。此外，在某些示例中，动作或事件可以通过多线程处理、中断处理或多个处理器来并发执行，而不是顺序执行。
在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任何组合来实现。如果以软件实现，则功能可作为一个或多个指令或代码在计算机可读介质上被存储或传输，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其与诸如数据存储介质之类的有形介质相对应；或者通信介质，包括例如根据通信协议而促进计算机程序从一处到另一处的传递的任何介质。以此方式，计算机可读介质一般可对应于(1)非暂时性有形计算机可读存储介质或(2)诸如信号或载波之类的通信介质。数据存储介质可以是能由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，此类计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、闪存、或者可被用于以指令或数据结构的形式存储所需程序代码并可由计算机访问的任何其它介质。同样，任何连接都适当地被称为计算机可读介质。例如，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)、或者诸如红外、无线电、微波之类的无线技术来从网站、服务器或其他远程源传输指令，则同轴电缆、光缆、双绞线、DSL或诸如红外、无线电和微波之类的无线技术被包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时性介质，而是针对非暂时性的、有形的存储介质。本文使用的磁盘和光盘包括紧凑盘(CD)、激光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光盘，其中磁盘通常以磁性方式再生数据，而光盘则用激光以光学方式再生数据。上述项的组合也应被包括在计算机可读介质的范围内。
指令可以由诸如以下各项的一个或多个处理器执行：一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路系统。相应地，如本文中所使用的术语“处理器”和“处理电路系统”可以指前述结构中的任一个或适于实现本文中所描述的技术的任何其它结构。另外，在一些方面，本文中所描述的功能性可以在被配置用于编码和解码的专用硬件和/或软件模块内被提供，或被并入组合编解码器中。同样，该技术可以在一个或多个电路或逻辑元件中完全实现。
本公开的技术可被实现于各种设备或装置中，包括无线手持设备、集成电路(IC)或IC集(例如，芯片集)。在本公开中描述各种组件、模块或单元以强调被配置为执行所公开技术的设备的功能方面，但不必需要由不同硬件单元实现。更确切地，如上所述，各种单元可以被组合在编解码器硬件单元中或者由包括如上所述的一个或多个处理器的互操作硬件单元的集合结合适当的软件和/或固件来提供。
各种示例已被描述。这些示例和其他示例处于所附权利要求的范围之内。

Claims (32)

1.一种对点云进行编解码的方法，所述方法包括：
确定分子语法元素的值，所述分子语法元素的值指示所述点云的缩放因子的分子；
确定分母语法元素的值，所述分母语法元素的值指示所述点云的所述缩放因子的分母；以及
至少部分地基于所述点云的所述缩放因子来处理所述点云。
2.如权利要求1所述的方法，其中处理所述点云包括对所述点云进行缩放。
3.如权利要求1所述的方法，其中所述分子语法元素的值加一指定所述点云的所述缩放因子的所述分子。
4.如权利要求1所述的方法，其中所述分母语法元素的值加一指定所述点云的所述缩放因子的所述分母。
5.如权利要求1所述的方法，还包括：
确定参数集标识符(ID)，
其中使用固定长度来对所述参数集ID进行编解码并且其中对所述点云进行编解码还基于由所述参数集ID标识的参数集。
6.如权利要求5所述的方法，其中所述固定长度是4比特，其中所述参数集ID标识参数集，并且其中所述参数集包括序列参数集、几何参数集或属性参数集中的一个。
7.如权利要求6所述的方法，其中所述参数集包括所述序列参数集并且其中所述参数集ID跟随在指示与点云数据相关联的上限水平的语法元素之后，且在指示边界框是否存在于所述序列参数集中的语法元素之前。
8.如权利要求1所述的方法，还包括：
确定采样周期语法元素的值，所述采样周期语法元素的值指示用于细节层次索引的采样周期，
其中对所述点云进行编解码还基于所述采样周期。
9.如权利要求8所述的方法，其中所述采样周期语法元素的值加2指定用于所述细节层次索引的所述采样周期。
10.如权利要求1所述的方法，还包括：
确定提升语法元素，其中所述提升语法元素的值加1指定将被用于预测的最近邻居的最大数量，
其中对所述点云进行编解码还基于所述预测。
11.如权利要求10所述的方法，还包括：
确定几何切片报头语法元素，其中所述几何切片报头语法元素的值加1指定几何切片中的点的数量；
确定属性比特深度语法元素，其中所述属性比特深度语法元素的值加1指定属性的比特深度；以及
确定独特片段数量语法元素，其中所述独特片段数量语法元素的值加1指定独特片段的数量。
12.如权利要求1所述的方法，还包括：
确定与当前属性的维度数量相关联的索引条目的值；
确定所述索引条目的值是否大于1；以及基于所述索引条目的值不大于1，抑制对第一色度增量qp语法元素或第二色度增量qp语法元素中的至少一个进行编解码，所述第一色度增量qp语法元素指示从活跃属性参数集中的初始切片qp起的色度增量qp，所述第二色度增量qp语法元素指示从每个层中的初始切片qp色度起的色度增量qp，
其中对所述点云进行编解码还基于所述当前属性的维度数量。
13.如权利要求1所述的方法，还包括：
确定指示三角形节点的大小的trisoup语法元素的值是否大于0，其中所述trisoup语法元素的值为0指示比特流仅包括八叉树编解码语法；
基于所述trisoup语法元素的值大于0：
推断指示直接模式语法元素是否存在于比特流中的经推断直接编解码模式启用语法元素的值为0；以及
推断指示涉及当前几何参数集的全部切片中的全部输出点是否在相应切片内具有独特位置的独特几何点语法元素的值为1，
其中对所述点云进行编解码还基于所述trisoup语法元素的值。
14.如权利要求1所述的方法，还包括：
确定指示与细节层次相关联的点数量的细节层次语法元素，
其中对所述点云进行编解码还基于与所述细节层次相关联的所述点数量。
15.一种用于对点云进行编解码的设备，所述设备包括：
存储器，被配置为存储所述点云；以及
一个或多个处理器，与所述存储器通信耦合，所述一个或多个处理器被配置为：
确定分子语法元素的值，所述分子语法元素的值指示所述点云的缩放因子的分子；
确定分母语法元素的值，所述分母语法元素的值指示所述点云的所述缩放因子的分母；以及
至少部分地基于所述点云的所述缩放因子来处理所述点云。
16.如权利要求15所述的设备，其中作为处理所述点云的部分，所述一个或多个处理器被配置为对所述点云进行缩放。
17.如权利要求15所述的设备，其中所述分子语法元素的值加一指定所述点云的所述缩放因子的所述分子。
18.如权利要求15所述的设备，其中所述分母语法元素的值加一指定所述点云的所述缩放因子的所述分母。
19.如权利要求15所述的设备，其中所述一个或多个处理器还被配置为：
确定参数集标识符(ID)，
其中使用固定长度来对所述参数集ID进行编解码，并且其中对所述点云进行编解码还基于由所述参数集ID标识的参数集。
20.如权利要求19所述的设备，其中所述固定长度是4比特，其中所述参数集ID标识参数集，并且其中所述参数集包括序列参数集、几何参数集或属性参数集中的一个。
21.如权利要求20所述的设备，其中所述参数集包括所述序列参数集，并且其中所述参数集ID跟随在指示与点云数据相关联的上限水平的语法元素之后，且在指示边界框是否存在于所述序列参数集中的语法元素之前。
22.如权利要求15所述的设备，其中所述一个或多个处理器还被配置为：
确定采样周期语法元素的值，所述采样周期语法元素的值指示用于细节层次索引的采样周期，
其中对所述点云进行编解码还基于所述采样周期。
23.如权利要求22所述的设备，其中所述采样周期语法元素的值加2指定用于所述细节层次索引的所述采样周期。
24.如权利要求15所述的设备，其中所述一个或多个处理器还被配置为：
确定提升语法元素，其中所述提升语法元素的值加1指定将被用于预测的最近邻居的最大数量，
其中对所述点云进行编解码还基于所述预测。
25.如权利要求24所述的设备，其中所述一个或多个处理器还被配置为：
确定几何切片报头语法元素，其中所述几何切片报头语法元素的值加1指定几何切片中的点数量；
确定属性比特深度语法元素，其中所述属性比特深度语法元素的值加1指定属性的比特深度；以及
确定独特片段数量语法元素，其中所述独特片段数量语法元素的值加1指定独特片段的数量。
26.如权利要求15所述的设备，其中所述一个或多个处理器还被配置为：
确定与当前属性的维度数量相关联的索引条目的值；
确定所述索引条目的值是否大于1；以及基于所述索引条目的值不大于1，抑制对第一色度增量qp语法元素或第二色度增量qp语法元素中的至少一个进行编解码，所述第一色度增量qp语法元素指示从活跃属性参数集中的初始切片qp起的色度增量qp，所述第二色度增量qp语法元素指示从每个层中的初始切片qp色度起的色度增量qp，
其中对所述点云进行编解码还基于所述当前属性的维度数量。
27.如权利要求15所述的设备，其中所述一个或多个处理器还被配置为：
确定指示三角形节点的大小的trisoup语法元素的值是否大于0，其中所述trisoup语法元素的值为0指示比特流仅包括八叉树编解码语法；
基于所述trisoup语法元素的值大于0：
推断指示直接模式语法元素是否存在于比特流中的经推断直接编解码模式启用语法元素的值为0；以及
推断指示涉及当前几何参数集的全部切片中的全部输出点是否在相应切片内具有独特位置的独特几何点语法元素的值为1，
其中对所述点云进行编解码还基于所述trisoup语法元素的值。
28.如权利要求15所述的设备，其中所述一个或多个处理器还被配置为：
确定指示与细节层次相关联的点数量的细节层次语法元素，
其中对所述点云进行编解码还基于与所述细节层次相关联的点数量。
29.如权利要求15所述的设备，还包括被配置为显示所述点云的显示设备。
30.如权利要求15所述的设备，还包括被配置为捕捉所述点云的点云捕捉设备。
31.一种存储有指令的非暂时性计算机可读存储介质，所述指令在被一个或多个处理器执行时，使所述一个或多个处理器：
确定分子语法元素的值，所述分子语法元素的值指示点云的缩放因子的分子；
确定分母语法元素的值，所述分母语法元素的值指示所述点云的所述缩放因子的分母；以及
至少部分地基于所述点云的所述缩放因子来处理所述点云。
32.一种用于对点云进行编解码的设备，所述设备包括：
用于确定分子语法元素的值的部件，所述分子语法元素的值指示所述点云的缩放因子的分子；
用于确定分母语法元素的值的部件，所述分母语法元素的值指示所述点云的所述缩放因子的分母；以及
用于至少部分地基于所述点云的所述缩放因子来处理所述点云的部件。
CN202180008551.0A 2020-01-08 2021-01-08 用于基于几何的点云压缩的高级语法 Pending CN114930858A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US202062958399P 2020-01-08 2020-01-08
US62/958,399 2020-01-08
US202062960472P 2020-01-13 2020-01-13
US62/960,472 2020-01-13
US202062968578P 2020-01-31 2020-01-31
US62/968,578 2020-01-31
US17/143,607 2021-01-07
US17/143,607 US11350132B2 (en) 2020-01-08 2021-01-07 High level syntax for geometry-based point cloud compression
PCT/US2021/012674 WO2021142239A1 (en) 2020-01-08 2021-01-08 High level syntax for geometry-based point cloud compression

Publications (1)

Publication Number Publication Date
CN114930858A true CN114930858A (zh) 2022-08-19

Family

ID=76654714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180008551.0A Pending CN114930858A (zh) 2020-01-08 2021-01-08 用于基于几何的点云压缩的高级语法

Country Status (6)

Country Link
US (1) US11350132B2 (zh)
EP (1) EP4088472A1 (zh)
KR (1) KR20220124164A (zh)
CN (1) CN114930858A (zh)
TW (1) TW202131683A (zh)
WO (1) WO2021142239A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11417030B2 (en) * 2020-02-10 2022-08-16 Tencent America LLC Context modeling of occupancy coding for point cloud coding
CN113259678A (zh) * 2020-02-10 2021-08-13 腾讯美国有限责任公司 对点云信息进行编解码的方法和装置
US20210319592A1 (en) * 2020-04-13 2021-10-14 Industrial Technology Research Institute Electronic device and method for encoding and decoding point cloud
CN116744013A (zh) * 2020-09-30 2023-09-12 Oppo广东移动通信有限公司 一种点云分层方法及解码器、编码器、存储介质
US20230018907A1 (en) * 2021-07-01 2023-01-19 Qualcomm Incorporated Occupancy coding using inter prediction in geometry point cloud compression
CN118318451A (zh) * 2021-09-13 2024-07-09 抖音视界有限公司 用于点云编解码的方法、装置和介质
WO2023116731A1 (en) * 2021-12-21 2023-06-29 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
WO2023142133A1 (zh) * 2022-01-30 2023-08-03 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器及存储介质
WO2024044082A2 (en) * 2022-08-23 2024-02-29 Innopeak Technology, Inc. Decoding method, encoding method, decoder and endoder
WO2024085680A1 (ko) * 2022-10-19 2024-04-25 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3554083A1 (en) 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and apparatus for encoding and decoding metadata associated with patched projection of point clouds
US10769846B2 (en) * 2018-10-11 2020-09-08 GM Global Technology Operations LLC Point cloud data compression in an autonomous vehicle
EP4138397A4 (en) * 2020-04-14 2024-03-27 LG Electronics, Inc. POINT CLOUD DATA TRANSMISSION APPARATUS, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING APPARATUS, AND POINT CLOUD DATA RECEIVING METHOD

Also Published As

Publication number Publication date
US20210211734A1 (en) 2021-07-08
EP4088472A1 (en) 2022-11-16
WO2021142239A1 (en) 2021-07-15
US11350132B2 (en) 2022-05-31
KR20220124164A (ko) 2022-09-13
TW202131683A (zh) 2021-08-16

Similar Documents

Publication Publication Date Title
US11350132B2 (en) High level syntax for geometry-based point cloud compression
US11803989B2 (en) Quantization for geometry-based point cloud compression
US12026922B2 (en) Attribute parameter coding for geometry-based point cloud compression
US11743501B2 (en) High-level syntax design for geometry-based point cloud compression
US11770562B2 (en) High-level syntax for geometry-based point cloud compression
US11729428B2 (en) Temporal scalability in geometry point cloud compression (G-PCC)
US12002244B2 (en) Global scaling for geometry-based point cloud coding
US20220114763A1 (en) High level syntax refinements for geometry point cloud compression (g-pcc)
KR20220164700A (ko) 지오메트리 기반 포인트 클라우드 압축을 위한 트라이수프 신택스 시그널링
TW202218425A (zh) 用於在基於幾何的點雲壓縮中的量化參數值的縮放因數

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination