CN114009046A - 用于处理点云数据的装置和方法 - Google Patents

用于处理点云数据的装置和方法 Download PDF

Info

Publication number
CN114009046A
CN114009046A CN202080044643.XA CN202080044643A CN114009046A CN 114009046 A CN114009046 A CN 114009046A CN 202080044643 A CN202080044643 A CN 202080044643A CN 114009046 A CN114009046 A CN 114009046A
Authority
CN
China
Prior art keywords
point cloud
attribute
octree
information
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080044643.XA
Other languages
English (en)
Inventor
吴炫默
吴世珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114009046A publication Critical patent/CN114009046A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

根据实施方式的处理点云数据的方法可编码并发送点云数据。根据实施方式的处理点云数据的方法可接收并解码点云数据。

Description

用于处理点云数据的装置和方法
技术领域
本公开提供一种用于提供点云内容以向用户提供诸如虚拟现实(VR)、增强现实(AR)、混合现实(MR)和自驾驶服务的各种服务的方法。
背景技术
点云内容是由点云表示的内容，点云是属于表示三维空间的坐标系的点集合。点云内容可表达在三个维度配置的媒体，并且用于提供诸如虚拟现实(VR)、增强现实(AR)、混合现实(MR)和自驾驶服务的各种服务。然而，需要数万至数十万的点数据来表示点云内容。因此，需要一种有效地处理大量点数据的方法。
发明内容
技术问题
实施方式提供了一种用于有效地处理点云数据的装置和方法。实施方式提供了一种用于解决延迟和编码/解码复杂度的点云数据处理方法和装置。
实施方式的技术范围不限于上述技术目的，可扩展至本领域技术人员基于本文所公开的整个内容可推断出的其它技术目的。
技术方案
为了实现这些目的和其它优点并且根据本公开的目的，在一些实施方式中，一种发送点云数据的方法可包括以下步骤：对包括几何信息和属性信息的点云数据进行编码并且发送包括编码的点云数据的比特流。在一些实施方式中，几何信息表示点云数据的点的位置，属性信息表示点云数据的点的属性。
在一些实施方式中，一种处理点云数据的方法可包括以下步骤：接收包括点云数据的比特流。在一些实施方式中，点云数据包括几何信息和属性信息，其中，几何信息表示点云数据的点的位置，属性信息表示点云数据的点的一个或更多个属性。该点云数据处理方法可包括以下步骤：对点云数据进行解码。
在一些实施方式中，一种用于处理点云数据的方法可包括以下步骤：接收包括点云数据的比特流；以及对点云数据进行解码。在一些实施方式中，点云数据包括几何信息和属性信息，其中，几何信息表示点云数据的点的位置，属性信息指示点云数据的点的一个或更多个属性。
在一些实施方式中，一种用于处理点云数据的装置可包括：接收器，其被配置为接收包括点云数据的比特流；以及解码器，其被配置为对点云数据进行解码。在一些实施方式中，点云数据包括几何信息和属性信息，其中，几何信息表示点云数据的点的位置，并且属性信息指示点云数据的点的一个或更多个属性。
有益效果
根据实施方式的装置和方法可高效地处理点云数据。
根据实施方式的装置和方法可提供高质量点云服务。
根据实施方式的装置和方法可提供点云内容以用于提供诸如VR服务和自驾驶服务的通用服务。
附图说明
附图被包括以提供本公开的进一步理解，并且被并入本申请中并构成本申请的一部分，附图示出本公开的实施方式并与描述一起用于说明本公开的原理。
为了更好地理解下面描述的各种实施方式，应该结合附图参考以下实施方式的描述。附图中：
图1示出根据实施方式的示例性点云内容提供系统。
图2是示出根据实施方式的点云内容提供操作的框图。
图3示出根据实施方式的捕获点云视频的示例性处理。
图4示出根据实施方式的示例性点云编码器。
图5示出根据实施方式的体素的示例。
图6示出根据实施方式的八叉树和占用代码的示例。
图7示出根据实施方式的邻居节点图案的示例。
图8示出根据实施方式的各个LOD中的点配置的示例。
图9示出根据实施方式的各个LOD中的点配置的示例。
图10示出根据实施方式的示例性点云解码器。
图11示出根据实施方式的示例性点云解码器。
图12示出根据实施方式的示例性发送装置。
图13示出根据实施方式的示例性接收装置。
图14示出根据实施方式的用于流传输基于G-PCC的点云数据的架构。
图15示出根据实施方式的示例性点云发送装置。
图16示出根据实施方式的示例性点云接收装置。
图17示出根据实施方式的操作上可与发送和接收点云数据的方法/装置连接的示例性结构。
图18示出根据实施方式的可伸缩表示。
图19示出根据实施方式的基于着色八叉树的点云数据。
图20示出根据实施方式的着色八叉树。
图21是根据实施方式的属性编码的示例性流程图。
图22示出根据实施方式的八叉树结构。
图23示出根据实施方式的着色八叉树结构。
图24示出根据实施方式的着色八叉树结构。
图25示出根据实施方式的APS的示例性句法。
图26示出根据实施方式的属性切片比特流的示例性句法。
图27是示出点云编码器的编码操作的框图。
图28是示出点云解码器的解码操作的框图。
图29示出根据实施方式的根据可伸缩解码的几何和属性的细节。
图30是根据实施方式的处理点云数据的方法的示例性流程图。
图31是根据实施方式的处理点云数据的方法的示例性流程图。
具体实施方式
现在将详细参考本公开的优选实施方式，其示例示出于附图中。下面将参照附图给出的详细描述旨在说明本公开的示例性实施方式，而非示出可根据本公开实现的仅有实施方式。以下详细描述包括具体细节以便提供本公开的彻底理解。然而，对于本领域技术人员而言将显而易见的是，本公开可在没有这些具体细节的情况下实践。
尽管本公开中使用的大多数术语选自本领域中广泛使用的通用术语，但是一些术语由申请人任意选择并且在以下描述中根据需要详细说明其含义。因此，本公开应该基于术语的预期含义而非其简单名称或含义来理解。
图1示出根据实施方式的示例性点云内容提供系统。
图1所示的点云内容提供系统可包括发送装置10000和接收装置10004。发送装置10000和接收装置10004能够有线或无线通信以发送和接收点云数据。
根据实施方式的点云数据发送装置10000可取得和处理点云视频(或点云内容)并将其发送。根据实施方式，发送装置10000可包括固定站、基站收发器系统(BTS)、网络、人工智能(AI)装置和/或系统、机器人、AR/VR/XR装置和/或服务器。根据实施方式，发送装置10000可包括被配置为使用无线电接入技术(例如，5G新RAT(NR)、长期演进(LTE))与基站和/或其它无线装置执行通信的装置、机器人、车辆、AR/VR/XR装置、便携式装置、家用电器、物联网(IoT)装置和AI装置/服务器。
根据实施方式的发送装置10000包括点云视频获取器10001、点云视频编码器10002和/或发送器(或通信模块)10003。
根据实施方式的点云视频获取器10001通过诸如捕获、合成或生成的处理过程来获取点云视频。点云视频是由点云表示的点云内容，点云是位于3D空间中的点集合，并且可被称为点云视频数据。根据实施方式的点云视频可包括一个或更多个帧。一个帧表示静止图像/画面。因此，点云视频可包括点云图像/帧/画面，并且可被称为点云图像、帧或画面。
根据实施方式的点云视频编码器10002对所获取的点云视频数据进行编码。点云视频编码器10002可基于点云压缩编码对点云视频数据进行编码。根据实施方式的点云压缩编码可包括基于几何的点云压缩(G-PCC)编码和/或基于视频的点云压缩(V-PCC)编码或下一代编码。根据实施方式的点云压缩编码不限于上述实施方式。点云视频编码器10002可输出包含编码的点云视频数据的比特流。比特流可不仅包含编码的点云视频数据，而且包括与点云视频数据的编码有关的信令信息。
根据实施方式的发送器10003发送包含编码的点云视频数据的比特流。根据实施方式的比特流被封装在文件或片段(例如，流片段)中，并且经由诸如广播网络和/或宽带网络的各种网络发送。尽管图中未示出，发送装置10000可包括被配置为执行封装操作的封装器(或封装模块)。根据实施方式，封装器可包括在发送器10003中。根据实施方式，文件或片段可经由网络发送到接收装置10004，或者存储在数字存储介质(例如，USB、SD、CD、DVD、蓝光、HDD、SSD等)中。根据实施方式的发送器10003能够经由4G、5G、6G等网络与接收装置10004(或接收器10005)有线/无线通信。另外，发送器可根据网络系统(例如，4G、5G或6G通信网络系统)执行必要的数据处理操作。发送装置10000可按照按需方式发送封装的数据。
根据实施方式的接收装置10004包括接收器10005、点云视频解码器10006和/或渲染器10007。根据实施方式，接收装置10004可包括被配置为使用无线电接入技术(例如，5G新RAT(NR)、长期演进(LTE))与基站和/或其它无线装置执行通信的装置、机器人、车辆、AR/VR/XR装置、便携式装置、家用电器、物联网(IoT)装置和AI装置/服务器。
根据实施方式的接收器10005从网络或存储介质接收包含点云视频数据的比特流或者封装有比特流的文件/片段。接收器10005可根据网络系统(例如，4G、5G、6G等的通信网络系统)执行必要的数据处理。根据实施方式的接收器10005可将所接收的文件/片段解封装并输出比特流。根据实施方式，接收器10005可包括被配置为执行解封装操作的解封装器(或解封装模块)。解封装器可被实现为与接收器10005分离的元件(或组件)。
点云视频解码器10006将包含点云视频数据的比特流解码。点云视频解码器10006可根据点云视频数据被编码的方法(例如，按点云视频编码器10002的操作的相反过程)来将点云视频数据解码。因此，点云视频解码器10006可通过执行点云解压缩编码(点云压缩的逆过程)来将点云视频数据解码。点云解压缩编码包括G-PCC编码。
渲染器10007渲染解码的点云视频数据。渲染器10007可通过不仅渲染点云视频数据，而且渲染音频数据来输出点云内容。根据实施方式，渲染器10007可包括被配置为显示点云内容的显示器。根据实施方式，显示器可被实现为单独的装置或组件而非包括在渲染器10007中。
图中由虚线指示的箭头表示接收装置10004所获取的反馈信息的传输路径。反馈信息是反映与消费点云内容的用户的交互性的信息，并且包括关于用户的信息(例如，头部取向信息、视口信息等)。具体地，当点云内容是用于需要与用户交互的服务(例如，自驾驶服务等)的内容时，反馈信息可被提供给内容发送方(例如，发送装置10000)和/或服务提供商。根据实施方式，反馈信息可在接收装置10004以及发送装置10000中使用，或者可不提供。
根据实施方式的头部取向信息是关于用户的头部位置、取向、角度、运动等的信息。根据实施方式的接收装置10004可基于头部取向信息来计算视口信息。视口信息可以是关于用户正在观看的点云视频的区域的信息。视点是用户通过其观看点云视频的点，并且可指视口区域的中心点。即，视口是以视点为中心的区域，并且区域的尺寸和形状可由视场(FOV)确定。因此，除了头部取向信息之外，接收装置10004还可基于装置所支持的垂直或水平FOV来提取视口信息。另外，接收装置10004执行注视分析等以检查用户消费点云的方式、点云视频中用户注视的区域、注视时间等。根据实施方式，接收装置10004可将包括注视分析结果的反馈信息发送到发送装置10000。根据实施方式的反馈信息可在渲染和/或显示过程中获取。根据实施方式的反馈信息可由包括在接收装置10004中的一个或更多个传感器取得。根据实施方式，反馈信息可由渲染器10007或单独的外部元件(或装置、组件等)取得。图1中的虚线表示发送渲染器10007所取得的反馈信息的过程。点云内容提供系统可基于反馈信息来处理(编码/解码)点云数据。因此，点云视频数据解码器10006可基于反馈信息来执行解码操作。接收装置10004可将反馈信息发送到发送装置10000。发送装置10000(或点云视频数据编码器10002)可基于反馈信息来执行编码操作。因此，点云内容提供系统可基于反馈信息有效地处理必要数据(例如，与用户的头部位置对应的点云数据)而非处理(编码/解码)整个点云数据，并将点云内容提供给用户。
根据实施方式，发送装置10000可被称为编码器、发送装置、发送器等，接收装置10004可被称为解码器、接收装置、接收器等。
根据实施方式的图1的点云内容提供系统中(通过获取/编码/传输/解码/渲染的一系列过程)处理的点云数据可被称为点云内容数据或点云视频数据。根据实施方式，点云内容数据可用作涵盖与点云数据有关的元数据或信令信息的概念。
图1所示的点云内容提供系统的元件可由硬件、软件、处理器和/或其组合实现。
图2是示出根据实施方式的点云内容提供操作的框图。
图2的框图示出图1中描述的点云内容提供系统的操作。如上所述，点云内容提供系统可基于点云压缩编码(例如，G-PCC)来处理点云数据。
根据实施方式的点云内容提供系统(例如，点云发送装置10000或点云视频获取器10001)可获取点云视频(20000)。点云视频由属于用于表达3D空间的坐标系的点云表示。根据实施方式的点云视频可包括Ply(Polygon文件格式或Stanford Triangle格式)文件。当点云视频具有一个或更多个帧时，所获取的点云视频可包括一个或更多个Ply文件。Ply文件包含诸如点几何和/或属性的点云数据。几何包括点的位置。各个点的位置可由表示三维坐标系(例如，由X、Y和Z轴组成的坐标系)的参数(例如，X、Y和Z轴的值)表示。属性包括点的属性(例如，关于各个点的纹理、颜色(YCbCr或RGB)、反射率r、透明度等的信息)。点具有一个或更多个属性。例如，点可具有颜色属性或者颜色和反射率两个属性。根据实施方式，几何可被称为位置、几何信息、几何数据等，并且属性可被称为属性、属性信息、属性数据等。点云内容提供系统(例如，点云发送装置10000或点云视频获取器10001)可从与点云视频获取过程有关的信息(例如，深度信息、颜色信息等)取得点云数据。
根据实施方式的点云内容提供系统(例如，发送装置10000或点云视频编码器10002)可对点云数据进行编码(20001)。点云内容提供系统可基于点云压缩编码对点云数据进行编码。如上所述，点云数据可包括点的几何和属性。因此，点云内容提供系统可执行对几何进行编码的几何编码并输出几何比特流。点云内容提供系统可执行对属性进行编码的属性编码并输出属性比特流。根据实施方式，点云内容提供系统可基于几何编码来执行属性编码。根据实施方式的几何比特流和属性比特流可被复用并作为一个比特流输出。根据实施方式的比特流还可包含与几何编码和属性编码有关的信令信息。
根据实施方式的点云内容提供系统(例如，发送装置10000或发送器10003)可发送编码的点云数据(20002)。如图1所示，编码的点云数据可由几何比特流和属性比特流表示。另外，编码的点云数据可与点云数据的编码相关的信令信息(例如，与几何编码和属性编码有关的信令信息)一起以比特流的形式发送。点云内容提供系统可将承载编码的点云数据的比特流封装并以文件或片段的形式将其发送。
根据实施方式的点云内容提供系统(例如，接收装置10004或接收器10005)可接收包含编码的点云数据的比特流。另外，点云内容提供系统(例如，接收装置10004或接收器10005)可将比特流解复用。
点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可将比特流中发送的编码的点云数据(例如，几何比特流、属性比特流)解码。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可基于比特流中包含的与点云视频数据的编码有关的信令信息将点云视频数据解码。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可将几何比特流解码以重构点的位置(几何)。点云内容提供系统可通过基于重构的几何对属性比特流进行解码来重构点的属性。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可根据重构的几何和解码的属性基于位置来重构点云视频。
根据实施方式的点云内容提供系统(例如，接收装置10004或渲染器10007)可渲染解码的点云数据(20004)。点云内容提供系统(例如，接收装置10004或渲染器10007)可使用各种渲染方法来渲染通过解码过程解码的几何和属性。点云内容中的点可被渲染为具有特定厚度的顶点、以对应顶点位置为中心的具有特定最小尺寸的立方体或者以对应顶点位置为中心的圆。渲染的点云内容的全部或部分通过显示器(例如，VR/AR显示器、一般显示器等)提供给用户。
根据实施方式的点云内容提供系统(例如，接收装置10004)可取得反馈信息(20005)。点云内容提供系统可基于反馈信息对点云数据进行编码和/或解码。根据实施方式的点云内容提供系统的反馈信息和操作与参照图1描述的反馈信息和操作相同，因此省略其详细描述。
图3示出根据实施方式的捕获点云视频的示例性过程。
图3示出参照图1至图2描述的点云内容提供系统的示例性点云视频捕获过程。
点云内容包括表示位于各种3D空间(例如，表示真实环境的3D空间、表示虚拟环境的3D空间等)中的对象和/或环境的点云视频(图像和/或视频)。因此，根据实施方式的点云内容提供系统可使用一个或更多个相机(例如，能够取得深度信息的红外相机、能够提取与深度信息对应的颜色信息的RGB相机等)、投影仪(例如，取得深度信息的红外图案投影仪)、LiDAR等来捕获点云视频。根据实施方式的点云内容提供系统可从深度信息提取由3D空间中的点组成的几何形状并且从颜色信息提取各个点的属性以取得点云数据。根据实施方式的图像和/或视频可基于面向内技术和面向外技术中的至少一个来捕获。
图3的左侧部分示出面向内技术。面向内技术是指利用定位在中心对象周围的一个或更多个相机(或相机传感器)来捕获中心对象的图像的技术。面向内技术可用于生成向用户提供关键对象的360度图像的点云内容(例如，向用户提供对象(例如，诸如角色、玩家、对象或演员的关键对象)的360度图像的VR/AR内容)。
图3的右侧部分示出面向外技术。面向外技术是指利用定位在中心对象周围的一个或更多个相机(或相机传感器)来捕获中心对象的环境而非中心对象的图像的技术。面向外技术可用于生成提供从用户的视角出现的周围环境的点云内容(例如，可提供给自驾驶车辆的用户的表示外部环境的内容)。
如图所示，可基于一个或更多个相机的捕获操作来生成点云内容。在这种情况下，在相机之间坐标系可不同，因此点云内容提供系统可在捕获操作之前校准一个或更多个相机以设定全局坐标系。另外，点云内容提供系统可通过将任意图像和/或视频与通过上述捕获技术捕获的图像和/或视频合成来生成点云内容。点云内容提供系统在生成表示虚拟空间的点云内容时可不执行图3中描述的捕获操作。根据实施方式的点云内容提供系统可对捕获的图像和/或视频执行后处理。换言之，点云内容提供系统可去除不想要的区域(例如，背景)，识别捕获的图像和/或视频连接至的空间，并且当存在空间空洞时，执行填充空间空洞的操作。
点云内容提供系统可通过对从各个相机取得的点云视频的点执行坐标变换来生成一条点云内容。点云内容提供系统可基于各个相机的位置坐标对点执行坐标变换。因此，点云内容提供系统可生成表示一个宽范围的内容，或者可生成具有高密度点的点云内容。
图4示出根据实施方式的示例性点云编码器。
图4示出图1的点云视频编码器10002的示例。点云编码器重构并编码点云数据(例如，点的位置和/或属性)以根据网络条件或应用调节点云内容的质量(例如无损、有损或接近无损)。当点云内容的总大小较大(例如，对于30fps给出60Gbps的点云内容)时，点云内容提供系统可能无法实时流传输内容。因此，点云内容提供系统可基于最大目标比特率来重构点云内容以根据网络环境等提供点云内容。
如参照图1和图2描述的，点云编码器可执行几何编码和属性编码。几何编码在属性编码之前执行。
根据实施方式的点云编码器包括坐标变换器(变换坐标)40000、量化器(量化和去除点(体素化))40001、八叉树分析器(分析八叉树)40002和表面近似分析器(分析表面近似)40003、算术编码器(算术编码)40004、几何重构器(重构几何)40005、颜色变换器(变换颜色)40006、属性变换器(变换属性)40007、RAHT变换器(RAHT)40008、LOD生成器(生成LOD)40009、提升变换器(提升)40010、系数量化器(量化系数)40011和/或算术编码器(算术编码)40012。
坐标变换器40000、量化器40001、八叉树分析器40002、表面近似分析器40003、算术编码器40004和几何重构器40005可执行几何编码。根据实施方式的几何编码可包括八叉树几何编码、直接编码、三联体几何编码和熵编码。直接编码和三联体几何编码选择性地或组合应用。几何编码不限于上述示例。
如图所示，根据实施方式的坐标变换器40000接收位置并将其变换为坐标。例如，位置可被变换为三维空间(例如，由XYZ坐标系表示的三维空间)中的位置信息。根据实施方式的三维空间中的位置信息可被称为几何信息。
根据实施方式的量化器40001将几何量化。例如，量化器40001可基于所有点的最小位置值(例如，X、Y和Z轴中的每一个上的最小值)来将点量化。量化器40001执行量化操作：将最小位置值与各个点的位置值之间的差乘以预设量化标度值，然后通过对通过乘法获得的值进行舍入来寻找最近整数值。因此，一个或更多个点可具有相同的量化位置(或位置值)。根据实施方式的量化器40001基于量化位置执行体素化以重构量化点。如像素(包含2D图像/视频信息的最小单元)的情况中一样，根据实施方式的点云内容(或3D点云视频)的点可包括在一个或更多个体素中。作为体积和像素的复合体，术语体素是指当基于表示3D空间的轴(例如，X轴、Y轴和Z轴)将3D空间划分成单元(单位＝1.0)时生成的3D立方空间。量化器40001可使3D空间中的点组与体素匹配。根据实施方式，一个体素可仅包括一个点。根据实施方式，一个体素可包括一个或更多个点。为了将一个体素表示为一个点，体素的中心的位置可基于包括在体素中的一个或更多个点的位置来设定。在这种情况下，包括在一个体素中的所有位置的属性可被组合并指派给体素。
根据实施方式的八叉树分析器40002执行八叉树几何编码(或八叉树编码)以按八叉树结构呈现体素。八叉树结构表示基于八进制树结构与体素匹配的点。
根据实施方式的表面近似分析器40003可分析并近似八叉树。根据实施方式的八叉树分析和近似是分析包含多个点的区域以有效地提供八叉树和体素化的过程。
根据实施方式的算术编码器40004对八叉树和/或近似八叉树执行熵编码。例如，编码方案包括算术编码。作为编码结果，生成几何比特流。
颜色变换器40006、属性变换器40007、RAHT变换器40008、LOD生成器40009、提升变换器40010、系数量化器40011和/或算术编码器40012执行属性编码。如上所述，一个点可具有一个或更多个属性。根据实施方式的属性编码同样应用于一个点所具有的属性。然而，当属性(例如，颜色)包括一个或更多个元素时，对各个元素独立地应用属性编码。根据实施方式的属性编码包括颜色变换编码、属性变换编码、区域自适应分层变换(RAHT)编码、基于插值的分层最近邻居预测(预测变换)编码以及具有更新/提升步骤的基于插值的分层最近邻居预测(提升变换)编码。根据点云内容，可选择性地使用上述RAHT编码、预测变换编码和提升变换编码，或者可使用一个或更多个编码方案的组合。根据实施方式的属性编码不限于上述示例。
根据实施方式的颜色变换器40006执行变换包括在属性中的颜色值(或纹理)的颜色变换编码。例如，颜色变换器40006可变换颜色信息的格式(例如，从RGB到YCbCr)。可选地，可根据包括在属性中的颜色值来应用根据实施方式的颜色变换器40006的操作。
根据实施方式的几何重构器40005重构(解压缩)八叉树和/或近似八叉树。几何重构器40005基于分析点分布的结果来重构八叉树/体素。重构的八叉树/体素可被称为重构的几何(恢复的几何)。
根据实施方式的属性变换器40007执行属性变换以基于重构的几何和/或不执行几何编码的位置来变换属性。如上所述，由于属性取决于几何，所以属性变换器40007可基于重构的几何信息来变换属性。例如，基于包括在体素中的点的位置值，属性变换器40007可变换该位置处的点的属性。如上所述，当基于包括在体素中的一个或更多个点的位置来设定体素的中心位置时，属性变换器40007变换一个或更多个点的属性。当执行三联体几何编码时，属性变换器40007可基于三联体几何编码来变换属性。
属性变换器40007可通过计算距各个体素的中心位置(或位置值)特定位置/半径内的邻居点的属性或属性值(例如，各个点的颜色或反射率)的平均来执行属性变换。属性变换器40007可在计算平均时根据从中心到各个点的距离来应用权重。因此，各个体素具有位置和计算的属性(或属性值)。
属性变换器40007可基于K-D树或莫顿码(Morton code)搜索存在于距各个体素的中心位置特定位置/半径内的邻居点。K-D树是二叉搜索树，并且支持能够基于位置来管理点的数据结构，使得可快速地执行最近邻搜索(NNS)。通过将表示所有点的3D位置的坐标(例如，(x,y,z))呈现为比特值并将比特混合来生成莫顿码。例如，当表示点位置的坐标为(5,9,1)时，坐标的比特值为(0101,1001,0001)。根据比特索引按z、y和x的顺序混合比特值产生010001000111。该值被表示为十进制数1095。即，具有坐标(5,9,1)的点的莫顿码值为1095。属性变换器40007可基于莫顿码值对点进行排序并通过深度优先遍历过程执行NNS。在属性变换操作之后，当在用于属性编码的另一变换过程中需要NNS时使用K-D树或莫顿码。
如图所示，变换的属性被输入到RAHT变换器40008和/或LOD生成器40009。
根据实施方式的RAHT变换器40008基于重构的几何信息来执行用于预测属性信息的RAHT编码。例如，RAHT变换器40008可基于与八叉树中较低级别的节点关联的属性信息来预测八叉树中较高级别的节点的属性信息。
根据实施方式的LOD生成器40009生成细节级别(LOD)来执行预测变换编码。根据实施方式的LOD是点云内容的细节程度。随着LOD值减小，指示点云内容的细节劣化。随着LOD值增大，指示点云内容的细节增强。点可按LOD分类。
根据实施方式的提升变换器40010执行基于权重来变换点云属性的提升变换编码。如上所述，可以可选地应用提升变换编码。
根据实施方式的系数量化器40011基于系数来量化属性编码的属性。
根据实施方式的算术编码器40012基于算术编码对量化的属性进行编码。
尽管图中未示出，图4的点云编码器的元件可由包括被配置为与包括在点云提供装置中的一个或更多个存储器通信的一个或更多个处理器或集成电路的硬件、软件、固件或其组合实现。一个或更多个处理器可执行上述图4的点云编码器的元件的操作和/或功能中的至少一个。另外，一个或更多个处理器可操作或执行用于执行图4的点云编码器的元件的操作和/或功能的软件程序和/或指令集合。根据实施方式的一个或更多个存储器可包括高速随机存取存储器，或者包括非易失性存储器(例如，一个或更多个磁盘存储装置、闪存装置或其它非易失性固态存储器装置)。
图5示出根据实施方式的体素的示例。
图5示出位于由三个轴(X轴、Y轴和Z轴)所组成的坐标系表示的3D空间中的体素。如参照图4所述，点云编码器(例如，量化器40001)可执行体素化。体素是指当基于表示3D空间的轴(例如，X轴、Y轴和Z轴)将3D空间划分成单元(单位＝1.0)时生成的3D立方空间。图5示出通过八叉树结构生成的体素的示例，其中由两个极点(0,0,0)和(2d,2d,2d)限定的立方轴对齐边界框被递归地再分。一个体素包括至少一个点。可从与体素组的位置关系来估计体素的空间坐标。如上所述，体素具有类似2D图像/视频的像素的属性(例如，颜色或反射率)。体素的细节与参照图4描述的那些相同，因此省略其描述。
图6示出根据实施方式的八叉树和占用代码的示例。
如参照图1至图4所描述的，点云内容提供系统(点云视频编码器10002)或点云编码器(例如，八叉树分析器40002)基于八叉树结构来执行八叉树几何编码(或八叉树编码)以有效地管理体素的区域和/或位置。
图6的上部示出八叉树结构。根据实施方式的点云内容的3D空间由坐标系的轴(例如，X轴、Y轴和Z轴)表示。通过由两个极点(0,0,0)和(2d,2d,2d)限定的立方轴对齐边界框的递归再分来创建八叉树结构。这里，2d可被设定为构成围绕点云内容(或点云视频)的所有点的最小边界框的值。这里，d表示八叉树的深度。d的值在下式中确定。在下式中，(xint n,yint n,zint n)表示量化的点的位置(或位置值)。
Figure BDA0003417045600000131
如图6的上部的中间所示，整个3D空间可根据分区被划分成八个空间。各个划分的空间由具有六个面的立方体表示。如图6的右上部所示，八个空间中的每一个基于坐标系的轴(例如，X轴、Y轴和Z轴)再次划分。因此，各个空间被划分成八个更小的空间。所划分的更小的空间也由具有六个面的立方体表示。应用该分割方案，直至八叉树的叶节点变为体素。
图6的下部示出八叉树占用代码。生成八叉树的占用代码以指示通过划分一个空间而生成的八个划分的空间中的每一个是否包含至少一个点。因此，单个占用代码由八个子节点表示。各个子节点表示划分的空间的占用，并且子节点具有1比特的值。因此，占用代码被表示为8比特代码。即，当与子节点对应的空间中包含至少一个点时，节点被指派值1。当与子节点对应的空间中不包含点(空间为空)时，节点被指派值0。由于图6所示的占用代码为00100001，所以指示与八个子节点当中的第三子节点和第八子节点对应的空间各自包含至少一个点。如图所示，第三子节点和第八子节点中的每一个具有八个子节点，并且子节点由8比特占用代码表示。附图示出第三子节点的占用代码为10000111，并且第八子节点的占用代码为01001111。根据实施方式的点云编码器(例如，算术编码器40004)可对占用代码执行熵编码。为了增加压缩效率，点云编码器可对占用代码执行帧内/帧间编码。根据实施方式的接收装置(例如，接收装置10004或点云视频解码器10006)基于占用代码来重构八叉树。
根据实施方式的点云编码器(例如，图4的点云编码器或八叉树分析器40002)可执行体素化和八叉树编码以存储点位置。然而，点并不总是在3D空间中均匀分布，因此可能有存在较少点的特定区域。因此，对整个3D空间执行体素化是低效的。例如，当特定区域包含很少点时，在该特定区域中不需要执行体素化。
因此，对于上述特定区域(或八叉树的叶节点以外的节点)，根据实施方式的点云编码器可跳过体素化并执行直接编码以直接对包括在特定区域中的点位置进行编码。根据实施方式的直接编码点的坐标被称为直接编码模式(DCM)。根据实施方式的点云编码器还可基于表面模型执行三联体几何编码，其要基于体素来重构特定区域(或节点)中的点位置。三联体几何编码是将对象表示为一系列三角形网格的几何编码。因此，点云解码器可从网格表面生成点云。根据实施方式的直接编码和三联体几何编码可选择性地执行。另外，根据实施方式的直接编码和三联体几何编码可与八叉树几何编码(或八叉树编码)组合执行。
为了执行直接编码，应该启用使用直接模式以应用直接编码的选项。要应用直接编码的节点不是叶节点，在特定节点内应该存在小于阈值的点。另外，要应用直接编码的点的总数不应超过预设阈值。当满足上述条件时，根据实施方式的点云编码器(或算术编码器40004)可对点位置(或位置值)执行熵编码。
根据实施方式的点云编码器(例如，表面近似分析器40003)可确定八叉树的特定级别(小于八叉树的深度d的级别)，并且可从该级别开始使用表面模型以执行三联体几何编码，以基于体素来重构节点区域中的点位置(三联体模式)。根据实施方式的点云编码器可指定要应用三联体几何编码的级别。例如，当特定级别等于八叉树的深度时，点云编码器不在三联体模式下操作。换言之，仅当指定的级别小于八叉树的深度值时，根据实施方式的点云编码器才可在三联体模式下操作。根据实施方式的指定级别的节点的3D立方区域被称为块。一个块可包括一个或更多个体素。块或体素可对应于方块。几何被表示为各个块内的表面。根据实施方式的表面可与块的各条边相交至多一次。
一个块具有12条边，因此一个块中存在至少12个交点。各个交点被称为顶点。当共享边的所有块当中存在与边相邻的至少一个占用体素时，检测沿着边存在的顶点。根据实施方式的占用体素是指包含点的体素。沿着边检测到的顶点位置是沿着共享边的所有块当中与边相邻的所有体素的边的平均位置。
一旦检测到顶点，根据实施方式的点云编码器就可对边的起点(x,y,z)、边的方向向量(Δx,Δy,Δz)和顶点位置值(边内的相对位置值)执行熵编码。当应用三联体几何编码时，根据实施方式的点云编码器(例如，几何重构器40005)可通过执行三角形重构、上采样和体素化过程来生成恢复的几何(重构的几何)。
位于块的边处的顶点确定穿过块的表面。根据实施方式的表面是非平面多边形。在三角形重构过程中，基于边的起点、边的方向向量和顶点的位置值来重构由三角形表示的表面。三角形重构过程这样执行：1)计算各个顶点的质心值，2)从各个顶点值减去中心值，并且3)估计通过减法获得的值的平方和。
①
Figure BDA0003417045600000151
②
Figure BDA0003417045600000152
③
Figure BDA0003417045600000153
估计和的最小值，并且根据具有最小值的轴执行投影过程。例如，当元素x最小时，各个顶点相对于块的中心投影在x轴上，并且投影在(y,z)平面上。当通过(y,z)平面上的投影获得的值为(ai,bi)时，通过atan2(bi,ai)估计θ的值，并且基于θ的值对顶点进行排序。下表示出根据顶点数量创建三角形的顶点组合。顶点从1至n排序。下表示出对于四个顶点，可根据顶点组合构造两个三角形。第一个三角形可由排序的顶点当中的顶点1、2和3组成，第二个三角形可由排序的顶点当中的顶点3、4和1组成。
表.从排序为1的顶点形成的三角形
[表1]
Figure BDA0003417045600000154
执行上采样过程以沿着三角形的边在中间添加点，并且执行体素化。所添加的点基于上采样因子和块的宽度来生成。添加的点被称为细化顶点。根据实施方式的点云编码器可将细化顶点体素化。另外，点云编码器可基于体素化的位置(或位置值)来执行属性编码。
图7示出根据实施方式的邻居节点图案的示例。
为了增加点云视频的压缩效率，根据实施方式的点云编码器可基于上下文自适应算术编码来执行熵编码。
如参照图1至图6所描述的，点云内容提供系统或点云编码器(例如，点云视频编码器10002、图4的点云编码器或算术编码器40004)可立即对占用代码执行熵编码。另外，点云内容提供系统或点云编码器可基于当前节点的占用代码和邻近节点的占用来执行熵编码(帧内编码)，或者基于先前帧的占用代码执行熵编码(帧间编码)。根据实施方式的帧表示同时生成的点云视频的集合。根据实施方式的帧内编码/帧间编码的压缩效率可取决于所参考的邻近节点的数量。当比特增加时，运算变得复杂，但是编码可偏向一侧，这可增加压缩效率。例如，当给出3比特上下文时，需要使用23＝8种方法来执行编码。为编码划分的部分影响实现复杂度。因此，有必要满足适当级别的压缩效率和复杂度。
图7示出基于邻居节点的占用来获得占用图案的过程。根据实施方式的点云编码器确定八叉树的各个节点的邻居节点的占用并且获得邻居图案的值。邻居节点图案用于推断节点的占用图案。图7的左侧部分示出与节点对应的立方体(位于中间的立方体)以及与该立方体共享至少一个面的六个立方体(邻居节点)。图中所示的节点是相同深度的节点。图中所示的数字分别表示与六个节点关联的权重(1、2、4、8、16和32)。根据邻近节点的位置依次指派权重。
图7的右侧部分示出邻居节点图案值。邻居节点图案值是乘以占用邻居节点(具有点的邻居节点)的权重的值之和。因此，邻居节点图案值为0至63。当邻居节点图案值为0时，指示节点的邻居节点当中不存在具有点的节点(无占用节点)。当邻居节点图案值为63时，指示所有邻居节点均是占用节点。如图所示，由于指派有权重1、2、4和8的邻居节点是占用节点，所以邻居节点图案值为15(1、2、4和8之和)。点云编码器可根据邻居节点图案值执行编码(例如，当邻居节点图案值为63时，可执行64种类型的编码)。根据实施方式，点云编码器可通过改变邻居节点图案值(例如，基于将64改变为10或6的表)来降低编码复杂度。
图8示出根据实施方式的各个LOD中的点配置的示例。
如参照图1至图7描述的，在执行属性编码之前将编码的几何重构(解压缩)。当应用直接编码时，几何重构操作可包括改变直接编码的点的放置(例如，将直接编码的点放置在点云数据前面)。当应用三联体几何编码时，通过三角形重构、上采样和体素化来执行几何重构过程。由于属性取决于几何，所以基于重构的几何来执行属性编码。
点云编码器(例如，LOD生成器40009)可按LOD对点进行分类(重新组织)。图中示出与LOD对应的点云内容。图中最左侧画面表示原始点云内容。图中左起第二个画面表示最低LOD中的点分布，图中最右侧画面表示最高LOD中的点分布。即，最低LOD中的点稀疏分布，最高LOD中的点密集分布。即，随着LOD在图底部所指示的箭头所指的方向上升高，点之间的空间(或距离)变窄。
图9示出根据实施方式的用于各个LOD的点配置的示例。
如参照图1至图8所描述的，点云内容提供系统或点云编码器(例如，点云视频编码器10002、图4的点云编码器或LOD生成器40009)可生成LOD。通过根据设定的LOD距离值(或欧几里得距离集合)将点重新组织为细化级别的集合来生成LOD。LOD生成过程不仅由点云编码器执行，而且由点云解码器执行。
图9的上部示出分布在3D空间中的点云内容的点的示例(P0至P9)。在图9中，原始顺序表示在LOD生成之前点P0至P9的顺序。在图9中，基于LOD的顺序表示根据LOD生成的点的顺序。点按LOD重新组织。另外，高LOD包含属于较低LOD的点。如图9所示，LOD0包含P0、P5、P4和P2。LOD1包含LOD0的点、P1、P6和P3。LOD2包含LOD0的点、LOD1的点、P9、P8和P7。
如参照图4所描述的，根据实施方式的点云编码器可选择性地或组合地执行预测变换编码、提升变换编码和RAHT变换编码。
根据实施方式的点云编码器可为点生成预测器以执行用于设定各个点的预测属性(或预测属性值)的预测变换编码。即，可为N个点生成N个预测器。根据实施方式的预测器可基于各个点的LOD值、关于存在于各个LOD的设定距离内的邻居点的索引信息以及到邻居点的距离来计算权重(＝1/距离)。
根据实施方式的预测属性(或属性值)被设定为通过将各个点的预测器中设定的邻居点的属性(或属性值)(例如，颜色、反射率等)乘以基于到各个邻居点的距离计算的权重(或权重值)而获得的值的平均。根据实施方式的点云编码器(例如，系数量化器40011)可量化和逆量化通过从各个点的属性(属性值)减去预测属性(属性值)而获得的残差(可称为残差属性、残差属性值或属性预测残差)。量化过程如下表所示配置。
属性预测残差量化伪代码
[表2]
int PCCQuantization(int value,int quantStep){
if(value>＝0){
return floor(value/quantStep+1.0/3.0)；
}else{
return-floor(-value/quantStep+1.0/3.0)；
}
}
属性预测残差逆量化伪代码
[表3]
int PCCInverseQuantization(int value,int quantStep){
if(quantStep＝＝0){
return value；
}else{
return value*quantStep；
}
}
当各个点的预测器具有邻居点时，根据实施方式的点云编码器(例如，算术编码器40012)可如上所述对量化和逆量化的残差值执行熵编码。当各个点的预测器没有邻居点时，根据实施方式的点云编码器(例如，算术编码器40012)可对对应点的属性执行熵编码，而不执行上述操作。
根据实施方式的点云编码器(例如，提升变换器40010)可生成各个点的预测器，设定计算的LOD并在预测器中注册邻居点，并且根据到邻居点的距离来设定权重以执行提升变换编码。根据实施方式的提升变换编码类似于上述预测变换编码，但不同之处在于，对属性值累积地应用权重。根据实施方式对属性值累积地应用权重的过程配置如下。
1)创建用于存储各个点的权重值的阵列量化权重(QW)。QW的所有元素的初始值均为1.0。将预测器中注册的邻居节点的预测器索引的QW值乘以当前点的预测器的权重，并将通过乘法获得的值相加。
2)提升预测过程：从现有属性值减去通过将点的属性值乘以权重而获得的值，以计算预测属性值。
3)创建称为updateweight和update的临时阵列，并且将临时阵列初始化为零。
4)将通过将针对所有预测器计算的权重乘以存储在与预测器索引对应的QW中的权重而计算的权重与updateweight阵列累加，作为邻居节点的索引。将通过将邻居节点索引的属性值乘以所计算的权重而获得的值与update阵列累加。
5)提升更新过程：将所有预测器的update阵列的属性值除以预测器索引的updateweight阵列的权重值，并将现有属性值与通过除法获得的值相加。
6)针对所有预测器通过将通过提升更新过程更新的属性值乘以通过提升预测过程更新的权重(存储在QW中)来计算预测属性。根据实施方式的点云编码器(例如，系数量化器40011)量化预测属性值。另外，点云编码器(例如，算术编码器40012)对量化属性值执行熵编码。
根据实施方式的点云编码器(例如，RAHT变换器40008)可执行RAHT变换编码，其中使用与八叉树中较低级别的节点关联的属性来预测较高级别的节点的属性。RAHT变换编码是通过八叉树向后扫描进行属性帧内编码的示例。根据实施方式的点云编码器从体素开始扫描整个区域并且在每一步重复将体素合并为更大的块的合并过程，直至到达根节点。仅对占用节点执行根据实施方式的合并过程。不对空节点执行合并过程。对空节点正上方的上节点执行合并过程。
下式表示RAHT变换矩阵。在该式中，
Figure BDA0003417045600000191
表示级别l的体素的平均属性值。
Figure BDA0003417045600000192
可基于
Figure BDA0003417045600000193
和
Figure BDA0003417045600000194
来计算。
Figure BDA0003417045600000195
和
Figure BDA0003417045600000196
的权重为
Figure BDA0003417045600000197
和
Figure BDA0003417045600000198
Figure BDA0003417045600000199
Figure BDA00034170456000001910
这里，
Figure BDA00034170456000001911
是低通值并且在次高级别的合并过程中使用。
Figure BDA00034170456000001912
表示高通系数。每一步的高通系数被量化并经受熵编码(例如，由算术编码器400012编码)。权重被计算为
Figure BDA00034170456000001913
通过
Figure BDA00034170456000001914
和
Figure BDA00034170456000001915
创建根节点如下。
Figure BDA00034170456000001916
类似于高通系数，gDC的值也被量化并经受熵编码。
图10示出根据实施方式的点云解码器。
图10所示的点云解码器是图1中描述的点云视频解码器10006的示例，并且可执行与图1所示的点云视频解码器10006的操作相同或相似的操作。如图所示，点云解码器可接收包含在一个或更多个比特流中的几何比特流和属性比特流。点云解码器包括几何解码器和属性解码器。几何解码器对几何比特流执行几何解码并输出解码的几何。属性解码器基于解码的几何和属性比特流执行属性解码，并且输出解码的属性。解码的几何和解码的属性用于重构点云内容(解码的点云)。
图11示出根据实施方式的点云解码器。
图11所示的点云解码器是图10所示的点云解码器的示例，并且可执行解码操作，其是图1至图9所示的点云编码器的编码操作的逆过程。
如参照图1和图10所描述的，点云解码器可执行几何解码和属性解码。几何解码在属性解码之前执行。
根据实施方式的点云解码器包括算术解码器(算术解码)11000、八叉树合成器(合成八叉树)11001、表面近似合成器(合成表面近似)11002和几何重构器(重构几何)11003、坐标逆变换器(逆变换坐标)11004、算术解码器(算术解码)11005、逆量化器(逆量化)11006、RAHT变换器11007、LOD生成器(生成LOD)11008、逆提升器(逆提升)11009和/或颜色逆变换器(逆变换颜色)11010。
算术解码器11000、八叉树合成器11001、表面近似合成器11002、几何重构器11003和坐标逆变换器11004可执行几何解码。根据实施方式的几何解码可包括直接编码和三联体几何解码。直接编码和三联体几何解码选择性地应用。几何解码不限于上述示例，并且作为参照图1至图9描述的几何编码的逆过程执行。
根据实施方式的算术解码器11000基于算术编码将所接收的几何比特流解码。算术解码器11000的操作对应于算术编码器40004的逆过程。
根据实施方式的八叉树合成器11001可通过从解码的几何比特流获取占用代码(或关于作为解码结果取得的几何的信息)来生成八叉树。占用代码如参照图1至图9详细描述那样配置。
当应用三联体几何编码时，根据实施方式的表面近似合成器11002可基于解码的几何和/或生成的八叉树来合成表面。
根据实施方式的几何重构器11003可基于表面和/或解码的几何重新生成几何。如参照图1至图9所描述的，选择性地应用直接编码和三联体几何编码。因此，几何重构器11003直接导入关于应用了直接编码的点的位置信息并将其相加。当应用三联体几何编码时，几何重构器11003可通过执行几何重构器40005的重构操作(例如，三角形重构、上采样和体素化)来重构几何。细节与参照图6描述的那些相同，因此省略其描述。重构的几何可包括不包含属性的点云画面或帧。
根据实施方式的坐标逆变换器11004可通过基于重构的几何变换坐标来获取点位置。
算术解码器11005、逆量化器11006、RAHT变换器11007、LOD生成器11008、逆提升器11009和/或颜色逆变换器11010可执行参照图10描述的属性解码。根据实施方式的属性解码包括区域自适应分层变换(RAHT)解码、基于插值的分层最近邻居预测(预测变换)解码以及具有更新/提升步骤的基于插值的分层最近邻居预测(提升变换)解码。上述三个解码方案可选择性地使用，或者可使用一个或更多个解码方案的组合。根据实施方式的属性解码不限于上述示例。
根据实施方式的算术解码器11005通过算术编码对属性比特流进行解码。
根据实施方式的逆量化器11006逆量化关于解码的属性比特流或作为解码结果取得的属性的信息，并且输出逆量化的属性(或属性值)。可基于点云编码器的属性编码选择性地应用逆量化。
根据实施方式，RAHT变换器11007、LOD生成器11008和/或逆提升器11009可处理重构的几何和逆量化的属性。如上所述，RAHT变换器11007、LOD生成器11008和/或逆提升器11009可选择性地执行与点云编码器的编码对应的解码操作。
根据实施方式的颜色逆变换器11010执行逆变换编码以逆变换包括在解码的属性中的颜色值(或纹理)。可基于点云编码器的颜色变换器40006的操作选择性地执行颜色逆变换器11010的操作。
尽管图中未示出，图11的点云解码器的元件可由包括被配置为与包括在点云提供装置中的一个或更多个存储器通信的一个或更多个处理器或集成电路的硬件、软件、固件或其组合实现。一个或更多个处理器可执行上述图11的点云解码器的元件的操作和/或功能中的至少一个或更多个。另外，一个或更多个处理器可操作或执行用于执行图11的点云解码器的元件的操作和/或功能的软件程序和/或指令集合。
图12示出根据实施方式的示例性发送装置。
图12所示的发送装置是图1的发送装置10000(或图4的点云编码器)的示例。图12所示的发送装置可执行与参照图1至图9描述的点云编码器的那些相同或相似的一个或更多个操作和方法。根据实施方式的发送装置可包括数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用代码生成器12003、表面模型处理器12004、帧内/帧间编码处理器12005、算术编码器12006、元数据处理器12007、颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12010、算术编码器12011和/或传输处理器12012。
根据实施方式的数据输入单元12000接收或获取点云数据。数据输入单元12000可执行与点云视频获取器10001的操作和/或获取方法(或参照图2描述的获取过程20000)相同或相似的操作和/或获取方法。
数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用代码生成器12003、表面模型处理器12004、帧内/帧间编码处理器12005和算术编码器12006执行几何编码。根据实施方式的几何编码与参照图1至图9描述的几何编码相同或相似，因此省略其详细描述。
根据实施方式的量化处理器12001量化几何(例如，点的位置值)。量化处理器12001的操作和/或量化与参照图4描述的量化器40001的操作和/或量化相同或相似。细节与参照图1至图9描述的那些相同。
根据实施方式的体素化处理器12002将点的量化的位置值体素化。体素化处理器120002可执行与参照图4描述的量化器40001的操作和/或体素化过程相同或相似的操作和/或过程。细节与参照图1至图9描述的那些相同。
根据实施方式的八叉树占用代码生成器12003基于八叉树结构对点的体素化的位置执行八叉树编码。八叉树占用代码生成器12003可生成占用代码。八叉树占用代码生成器12003可执行与参照图4和图6描述的点云编码器(或八叉树分析器40002)的操作和/或方法相同或相似的操作和/或方法。细节与参照图1至图9描述的那些相同。
根据实施方式的表面模型处理器12004可基于表面模型执行三联体几何编码以基于体素重构特定区域(或节点)中的点位置。表面模型处理器12004可执行与参照图4描述的点云编码器(例如，表面近似分析器40003)的操作和/或方法相同或相似的操作和/或方法。细节与参照图1至图9描述的那些相同。
根据实施方式的帧内/帧间编码处理器12005可对点云数据执行帧内/帧间编码。帧内/帧间编码处理器12005可执行与参照图7描述的帧内/帧间编码相同或相似的编码。细节与参照图7描述的那些相同。根据实施方式，帧内/帧间编码处理器12005可包括在算术编码器12006中。
根据实施方式的算术编码器12006对点云数据的八叉树和/或近似八叉树执行熵编码。例如，编码方案包括算术编码。算术编码器12006执行与算术编码器40004的操作和/或方法相同或相似的操作和/或方法。
根据实施方式的元数据处理器12007处理关于点云数据的元数据(例如，设定值)，并将其提供给诸如几何编码和/或属性编码的必要处理过程。另外，根据实施方式的元数据处理器12007可生成和/或处理与几何编码和/或属性编码有关的信令信息。根据实施方式的信令信息可与几何编码和/或属性编码分开编码。根据实施方式的信令信息可被交织。
颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12010和算术编码器12011执行属性编码。根据实施方式的属性编码与参照图1至图9描述的属性编码相同或相似，因此省略其详细描述。
根据实施方式的颜色变换处理器12008执行颜色变换编码以变换包括在属性中的颜色值。颜色变换处理器12008可基于重构的几何来执行颜色变换编码。重构的几何与参照图1至图9描述的相同。另外，其执行与参照图4描述的颜色变换器40006的操作和/或方法相同或相似的操作和/或方法。省略其详细描述。
根据实施方式的属性变换处理器12009执行属性变换以基于重构的几何和/或不执行几何编码的位置来变换属性。属性变换处理器12009执行与参照图4描述的属性变换器40007的操作和/或方法相同或相似的操作和/或方法。省略其详细描述。根据实施方式的预测/提升/RAHT变换处理器12010可通过RAHT编码、预测变换编码和提升变换编码中的任一种或组合对变换的属性进行编码。预测/提升/RAHT变换处理器12010执行与参照图4描述的RAHT变换器40008、LOD生成器40009和提升变换器40010的操作相同或相似的至少一个操作。另外，预测变换编码、提升变换编码和RAHT变换编码与参照图1至图9描述的那些相同，因此省略其详细描述。
根据实施方式的算术编码器12011可基于算术编码对编码的属性进行编码。算术编码器12011执行与算术编码器400012的操作和/或方法相同或相似的操作和/或方法。
根据实施方式的传输处理器12012可发送包含编码的几何和/或编码的属性和元数据信息的各个比特流，或者发送配置有编码的几何和/或编码的属性和元数据信息的一个比特流。当根据实施方式的编码的几何和/或编码的属性和元数据信息被配置为一个比特流时，比特流可包括一个或更多个子比特流。根据实施方式的比特流可包含信令信息和切片数据，信令信息包括用于序列级别信令的序列参数集(SPS)、用于几何信息编码信令的几何参数集(GPS)、用于属性信息编码信令的属性参数集(APS)和用于拼块级别信令的拼块参数集(TPS)。切片数据可包括关于一个或更多个切片的信息。根据实施方式的一个切片可包括一个几何比特流Geom00以及一个或更多个属性比特流Attr00和Attr10。根据实施方式的TPS可包括关于一个或更多个拼块中的各个拼块的信息(例如，关于边界框的坐标信息和高度/大小信息)。几何比特流可包含头和有效载荷。根据实施方式的几何比特流的头可包含GPS中所包括的参数集标识符(geom_parameter_set_id)、拼块标识符(geom_tile_id)和切片标识符(geom_slice_id)以及关于包含在有效载荷中的数据的信息。如上所述，根据实施方式的元数据处理器12007可生成和/或处理信令信息并将其发送到传输处理器12012。根据实施方式，执行几何编码的元件和执行属性编码的元件可如虚线所指示彼此共享数据/信息。根据实施方式的传输处理器12012可执行与发送器10003的操作和/或传输方法相同或相似的操作和/或传输方法。细节与参照图1和图2描述的那些相同，因此省略其描述。
图13示出根据实施方式的示例性接收装置。
图13所示的接收装置是图1的接收装置10004(或图10和图11的点云解码器)的示例。图13所示的接收装置可执行与参照图1至图11描述的点云解码器的那些相同或相似的一个或更多个操作和方法。
根据实施方式的接收装置包括接收器13000、接收处理器13001、算术解码器13002、基于占用代码的八叉树重构处理器13003、表面模型处理器(三角形重构、上采样、体素化)13004、逆量化处理器13005、元数据解析器13006、算术解码器13007、逆量化处理器13008、预测/提升/RAHT逆变换处理器13009、颜色逆变换处理器13010和/或渲染器13011。根据实施方式的各个解码元件可执行根据实施方式的对应编码元件的操作的逆过程。
根据实施方式的接收器13000接收点云数据。接收器13000可执行与图1的接收器10005的操作和/或接收方法相同或相似的操作和/或接收方法。省略其详细描述。
根据实施方式的接收处理器13001可从所接收的数据获取几何比特流和/或属性比特流。接收处理器13001可包括在接收器13000中。
算术解码器13002、基于占用代码的八叉树重构处理器13003、表面模型处理器13004和逆量化处理器13005可执行几何解码。根据实施方式的几何解码与参照图1至图10描述的几何解码相同或相似，因此省略其详细描述。
根据实施方式的算术解码器13002可基于算术编码对几何比特流进行解码。算术解码器13002执行与算术解码器11000的操作和/或编码相同或相似的操作和/或编码。
根据实施方式的基于占用代码的八叉树重构处理器13003可通过从解码的几何比特流(或关于作为解码结果取得的几何的信息)获取占用代码来重构八叉树。基于占用代码的八叉树重构处理器13003执行与八叉树的合成器11001的操作和/或八叉树生成方法相同或相似的操作和/或方法。当应用三联体几何编码时，根据实施方式的表面模型处理器13004可基于表面模型方法来执行三联体几何解码和相关几何重构(例如，三角形重构、上采样、体素化)。表面模型处理器13004执行与表面近似合成器11002和/或几何重构器11003的操作相同或相似的操作。
根据实施方式的逆量化处理器13005可逆量化解码的几何。
根据实施方式的元数据解析器13006可解析包含在所接收的点云数据中的元数据(例如，设定值)。元数据解析器13006可将元数据传递给几何解码和/或属性解码。元数据与参照图12描述的元数据相同，因此省略其详细描述。
算术解码器13007、逆量化处理器13008、预测/提升/RAHT逆变换处理器13009和颜色逆变换处理器13010执行属性解码。属性解码与参照图1至图10描述的属性解码相同或相似，因此省略其详细描述。
根据实施方式的算术解码器13007可通过算术编码对属性比特流进行解码。算术解码器13007可基于重构的几何对属性比特流进行解码。算术解码器13007执行与算术解码器11005的操作和/或编码相同或相似的操作和/或编码。
根据实施方式的逆量化处理器13008可逆量化解码的属性比特流。逆量化处理器13008执行与逆量化器11006的操作和/或逆量化方法相同或相似的操作和/或方法。
根据实施方式的预测/提升/RAHT逆变换器13009可处理重构的几何和逆量化的属性。预测/提升/RAHT逆变换处理器13009执行与RAHT变换器11007、LOD生成器11008和/或逆提升器11009的操作和/或解码相同或相似的一个或更多个操作和/或解码。根据实施方式的颜色逆变换处理器13010执行逆变换编码以逆变换包括在解码的属性中的颜色值(或纹理)。颜色逆变换处理器13010执行与颜色逆变换器11010的操作和/或逆变换编码相同或相似的操作和/或逆变换编码。根据实施方式的渲染器13011可渲染点云数据。
图14示出根据实施方式的用于流传输基于G-PCC的点云数据的架构。
图14的上部示出由图1至图13中描述的发送装置(例如，发送装置10000、图12的发送装置等)处理和发送点云内容的过程。
如参照图1至图13所描述的，发送装置可获取点云内容的音频Ba(音频获取)，对获取的音频进行编码(音频编码)，并且输出音频比特流Ea。另外，发送装置可获取点云内容的点云(或点云视频)Bv(点获取)，并且对所获取的点云执行点云编码以输出点云视频比特流Eb。发送装置的点云编码与参照图1至图13描述的点云编码(例如，图4的点云编码器的编码)相同或相似，因此将省略其详细描述。
发送装置可将所生成的音频比特流和视频比特流封装到文件和/或片段中(文件/片段封装)。封装的文件和/或片段Fs,File可包括诸如ISOBMFF或DASH片段的文件格式的文件。根据实施方式的点云相关元数据可包含在封装的文件格式和/或片段中。元数据可包含在ISOBMFF文件格式上的各种级别的盒中，或者可包含在文件内的单独轨道中。根据实施方式，发送装置将元数据封装到单独的文件中。根据实施方式的发送装置可经由网络传送封装的文件格式和/或片段。发送装置的封装和传输处理方法与参照图1至图13描述的相同(例如，发送器10003、图2的传输步骤20002等)，因此将省略其详细描述。
图14的下部示出由参照图1至图13描述的接收装置(例如，接收装置10004、图13的接收装置等)处理和输出点云内容的过程。
根据实施方式，接收装置可包括被配置为输出最终音频数据和最终视频数据的装置(例如，扬声器、耳机、显示器)以及被配置为处理点云内容的点云播放器(点云播放器)。最终数据输出装置和点云播放器可被配置成单独的物理装置。根据实施方式的点云播放器可执行基于几何的点云压缩(G-PCC)编码、基于视频的点云压缩(V-PCC)编码和/或下一代编码。
根据实施方式的接收装置可取得包含在所接收的数据(例如，广播信号、经由网络发送的信号等)中的文件和/或片段F’,Fs’并将其解封装(文件/片段解封装)。接收装置的接收和解封装方法与参照图1至图13描述的那些(例如，接收器10005、接收单元13000、接收处理单元13001等)相同，因此将省略其详细描述。
根据实施方式的接收装置取得包含在文件和/或片段中的音频比特流E’a和视频比特流E’v。如图所示，接收装置通过对音频比特流执行音频解码来输出解码的音频数据B’a，并且渲染解码的音频数据(音频渲染)以通过扬声器或耳机输出最终音频数据A’a。
另外，接收装置对视频比特流E’v执行点云解码并输出解码的视频数据B’v。根据实施方式的点云解码与参照图1至图13描述的点云解码(例如，图11的点云解码器的解码)相同或相似，因此将省略其详细描述。接收装置可渲染解码的视频数据并通过显示器输出最终视频数据。
根据实施方式的接收装置可基于所发送的元数据来执行解封装、音频解码、音频渲染、点云解码和点云视频渲染中的至少一个。元数据的细节与参照图12至图13描述的那些相同，因此将省略其描述。
如图中所示的虚线所指示，根据实施方式的接收装置(例如，点云播放器或点云播放器中的感测/跟踪单元)可生成反馈信息(取向、视口)。根据实施方式，反馈信息可在接收装置的解封装过程、点云解码过程和/或渲染过程中使用，或者可被传送至发送装置。反馈信息的细节与参照图1至图13描述的那些相同，因此将省略其描述。
图15示出根据实施方式的示例性发送装置。
图15的发送装置是被配置为发送点云内容的装置，并且对应于参照图1至图14描述的发送装置(例如，图1的发送装置10000、图4的点云编码器、图12的发送装置、图14的发送装置)的示例。因此，图15的发送装置执行与参照图1至图14描述的发送装置相同或相似的操作。
根据实施方式的发送装置可执行点云获取、点云编码、文件/片段封装和传送中的一个或更多个。
由于图中所示的点云获取和传送的操作与参照图1至图14描述的操作相同，所以将省略其详细描述。
如上面参照图1至图14描述的，根据实施方式的发送装置可执行几何编码和属性编码。几何编码可被称为几何压缩，属性编码可被称为属性压缩。如上所述，一个点可具有一个几何和一个或更多个属性。因此，发送装置对各个属性执行属性编码。图中示出发送装置执行一个或更多个属性压缩(属性#1压缩、...、属性#N压缩)。另外，根据实施方式的发送装置可执行辅助压缩。对元数据执行辅助压缩。元数据的细节与参照图1至图14描述的那些相同，因此将省略其描述。发送装置还可执行网格数据压缩。根据实施方式的网格数据压缩可包括参照图1至图14描述的三联体几何编码。
根据实施方式的发送装置可将根据点云编码输出的比特流(例如，点云流)封装到文件和/或片段中。根据实施方式，发送装置可执行媒体轨道封装以用于承载元数据以外的数据(例如，媒体数据)，并且执行元数据轨道封装以用于承载元数据。根据实施方式，元数据可被封装到媒体轨道中。
如参照图1至图14所描述的，发送装置可从接收装置接收反馈信息(取向/视口元数据)，并且基于所接收的反馈信息执行点云编码、文件/片段封装和传送操作中的至少一个。细节与参照图1至图14描述的那些相同，因此将省略其描述。
图16示出根据实施方式的示例性接收装置。
图16的接收装置是用于接收点云内容的装置，并且对应于参照图1至图14描述的接收装置的示例(例如，图1的接收装置10004、图11的点云解码器和图13的接收装置、图14的接收装置)。因此，图16的接收装置执行与参照图1至图14描述的接收装置相同或相似的操作。图16的接收装置可接收从图15的发送装置发送的信号，并且执行图15的发送装置的操作的相反过程。
根据实施方式的接收装置可执行传送、文件/片段解封装、点云解码和点云渲染中的至少一个。
由于图中所示的点云接收和点云渲染操作与参照图1至图14描述的那些相同，所以将省略其详细描述。
如参照图1至图14描述的，根据实施方式的接收装置将从网络或存储装置获取的文件和/或片段解封装。根据实施方式，接收装置可执行媒体轨道解封装以用于承载元数据以外的数据(例如，媒体数据)，并且执行元数据轨道解封装以用于承载元数据。根据实施方式，在元数据被封装到媒体轨道中的情况下，省略元数据轨道解封装。
如参照图1至图14描述的，接收装置可对通过解封装取得的比特流(例如，点云流)执行几何解码和属性解码。几何解码可被称为几何解压缩，属性解码可被称为属性解压缩。如上所述，一个点可具有一个几何和一个或更多个属性，其各自由发送装置编码。因此，接收装置对各个属性执行属性解码。图中示出接收装置执行一个或更多个属性解压缩(属性#1解压缩、...、属性#N解压缩)。根据实施方式的接收装置还可执行辅助解压缩。对元数据执行辅助解压缩。元数据的细节与参照图1至图14描述的那些相同，因此将省略其混乱。接收装置还可执行网格数据解压缩。根据实施方式的网格数据解压缩可包括参照图1至图14描述的三联体几何解码。根据实施方式的接收装置可渲染根据点云解码输出的点云数据。
如参照图1至图14描述的，接收装置可使用单独的感测/跟踪元件来取得取向/视口元数据，并且将包括其的反馈信息发送到发送装置(例如，图15的发送装置)。另外，接收装置可基于反馈信息执行接收操作、文件/片段解封装和点云解码中的至少一个。细节与参照图1至图14描述的那些相同，因此将省略其描述。
图17示出根据实施方式的操作上可与发送和接收点云数据的方法/装置连接的示例性结构。
图17的结构表示服务器1760、机器人1710、自驾驶车辆1720、XR装置1730、智能电话1740、家用电器1750和/或HMD 1770中的至少一个连接到云网络1700的配置。机器人1710、自驾驶车辆1720、XR装置1730、智能电话1740或家用电器1750被称为装置。此外，XR装置1730可对应于根据实施方式的点云数据(PCC)装置或者可操作上连接到PCC装置。
云网络1700可表示构成云计算基础设施的一部分或存在于云计算基础设施中的网络。这里，云网络1700可使用3G网络、4G或长期演进(LTE)网络或5G网络来配置。
服务器1760可经由云网络1700连接到机器人1710、自驾驶车辆1720、XR装置1730、智能电话1740、家用电器1750和/或HMD 1770中的至少一个，并且可辅助连接的装置1710至1770的至少一部分处理。
HMD 1770表示根据实施方式的XR装置和/或PCC装置的实现类型之一。根据实施方式，HMD型装置包括通信单元、控制单元、存储器、I/O单元、传感器单元和电源单元。
以下，将描述应用了上述技术的装置1710至1750的各种实施方式。图17所示的装置1710至1750可操作上连接/联接到根据上述实施方式的点云数据发送/接收装置。
<PCC+XR>
XR/PCC装置1730可采用PCC技术和/或XR(AR+VR)技术，并且可被实现为HMD、设置在车辆中的平视显示器(HUD)、电视、移动电话、智能电话、计算机、可穿戴装置、家用电器、数字标牌、车辆、固定机器人或移动机器人。
XR/PCC装置1730可分析通过各种传感器或从外部装置获取的3D点云数据或图像数据并生成关于3D点的位置数据和属性数据。由此，XR/PCC装置1730可获取关于周围空间或真实对象的信息，并且渲染和输出XR对象。例如，XR/PCC装置1730可使包括关于所识别的对象的辅助信息的XR对象与所识别的对象匹配并输出匹配的XR对象。
<PCC+自驾驶+XR>
自驾驶车辆1720可通过应用PCC技术和XR技术被实现为移动机器人、车辆、无人驾驶飞行器等。
应用了XR/PCC技术的自驾驶车辆1720可表示设置有用于提供XR图像的手段的自主车辆，或者作为XR图像中的控制/交互目标的自主车辆。具体地，作为XR图像中的控制/交互目标，自驾驶车辆1720可与XR装置1730相区分并且可操作上与之连接。
具有用于提供XR/PCC图像的手段的自驾驶车辆1720可从包括相机的传感器获取传感器信息，并且基于所获取的传感器信息来输出所生成的XR/PCC图像。例如，自驾驶车辆1720可具有HUD并向其输出XR/PCC图像以向乘客提供与真实对象或呈现在画面上的对象对应的XR/PCC对象。
在这种情况下，当XR/PCC对象被输出到HUD时，可输出XR/PCC对象的至少一部分以与乘客的眼睛所指向的真实对象交叠。另一方面，当XR/PCC对象输出在设置在自驾驶车辆内的显示器上时，可输出XR/PCC对象的至少一部分以与画面上的对象交叠。例如，自驾驶车辆1220可输出与诸如道路、另一车辆、交通灯、交通标志、两轮车、行人和建筑物的对象对应的XR/PCC对象。
根据实施方式的虚拟现实(VR)技术、增强现实(AR)技术、混合现实(MR)技术和/或点云压缩(PCC)技术适用于各种装置。
换言之，VR技术是仅提供真实世界对象、背景等的CG图像的显示技术。另一方面，AR技术是指在真实对象的图像上显示虚拟创建的CG图像的技术。MR技术与上述AR技术的相似之处在于，要显示的虚拟对象与真实世界混合和组合。然而，MR技术与AR技术的不同之处在于，AR技术在真实对象和作为CG图像创建的虚拟对象之间明确区分并且使用虚拟对象作为真实对象的补充对象，而MR技术将虚拟对象当作具有与真实对象等同的特性的对象。更具体地，MR技术应用的示例是全息服务。
最近，VR、AR和MR技术通常被称为扩展显示(XR)技术，而非彼此明确区分。因此，本公开的实施方式适用于VR、AR、MR和XR技术中的任一种。基于PCC、V-PCC和G-PCC技术的编码/解码适用于这种技术。
根据实施方式的PCC方法/装置可被应用于提供自驾驶服务的车辆。
提供自驾驶服务的车辆连接到PCC装置以进行有线/无线通信。
当根据实施方式的点云数据(PCC)发送/接收装置连接到车辆以进行有线/无线通信时，装置可接收/处理与AR/VR/PCC服务(可与自驾驶服务一起提供)有关的内容数据，并将其发送到车辆。在PCC发送/接收装置安装在车辆上的情况下，PCC发送/接收装置可根据通过用户接口装置输入的用户输入信号接收/处理与AR/VR/PCC服务有关的内容数据并将其提供给用户。根据实施方式的车辆或用户接口装置可接收用户输入信号。根据实施方式的用户输入信号可包括指示自驾驶服务的信号。
根据实施方式的可伸缩解码是由接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)根据接收装置的解码性能对一些或所有几何和/或属性选择性地执行的解码。根据实施方式的一些几何和属性被称为部分几何和部分属性。根据实施方式应用于几何的可伸缩解码被称为可伸缩几何解码或几何可伸缩解码。根据实施方式应用于属性的可伸缩解码被称为可伸缩属性解码或属性可伸缩解码。如参照图1至图17描述的，点云内容的点分布在三维空间中，并且分布的点以八叉树结构表示。八叉树结构是八元树结构，其深度从较高节点到较低节点增加。根据实施方式的深度被称为级别和/或层。因此，为了提供低分辨率点云内容，接收装置可从八叉树结构中与特定深度或级别对应的较高节点到较低节点对部分几何执行几何解码(或几何可伸缩解码)和/或对部分属性执行属性解码(或属性可伸缩解码)。另外，接收装置可执行与整个八叉树结构对应的几何和属性解码以提供高分辨率点云内容。根据实施方式的接收装置执行可伸缩点云表示或可伸缩表示，这是显示与构成几何解码和属性解码的点云数据的一个或更多个层(或级别)当中的一些层对应的点云数据的操作。根据实施方式的可伸缩表示可在显示器和/或渲染器的性能低于点云解码器的性能时由接收装置选择性地执行。根据实施方式的可伸缩表示的级别对应于八叉树结构的深度。随着根据实施方式的级别的值增加，分辨率或细节增加。
可伸缩解码支持表现出各种性能的接收装置，并且使得即使在自适应比特率环境中也能够提供点云服务。然而，由于属性解码是基于几何解码执行的，所以需要几何信息来执行准确的属性解码。例如，基于几何分布信息(或几何结构信息(例如，八叉树结构))来确定RAHT编码的变换系数。另外，预测变换编码和提升变换编码需要整个几何分布信息(或几何结构信息(例如，八叉树结构))以便获得属于各个LOD的点。
因此，接收装置可接收并处理所有几何以便执行稳定的属性解码。然而，发送和接收根据接收装置的性能实际不显示的几何信息在比特率方面低效。另外，接收装置对所有几何进行解码可能在提供点云内容服务时导致延迟。此外，当接收装置的解码器具有低性能时，并非所有几何均可被解码。
图18示出根据实施方式的可伸缩表示。
图18示出根据实施方式的点云解码器(例如，参照图10描述的点云视频解码器10006或参照图11描述的点云解码器)的可伸缩表示的示例1810。图中所示的箭头1800指示几何的八叉树结构的深度增加的方向。根据实施方式的八叉树结构的最高节点对应于最小深度或第一深度，并被称为根。根据实施方式的八叉树结构的最低节点对应于最大深度或最后深度，并被称为叶。根据实施方式的八叉树结构的深度在从根到叶的方向上增加。
根据实施方式的点云解码器根据其性能执行用于提供全分辨率点云内容的解码1811或用于提供低分辨率点云内容的解码1812。为了提供全分辨率点云内容，点云解码器对与整个八叉树结构对应的几何比特流1811-1和属性比特流1812-1进行解码(1811)。为了提供低分辨率点云内容，点云解码器对与八叉树结构的特定深度对应的部分几何比特流1812-1和部分属性比特流1812-2进行解码(1812)。根据实施方式，属性解码基于几何解码来执行。因此，即使当点云解码器要对与部分属性比特流1812-2对应的属性进行解码时，点云解码器也应该将整个几何比特流1811-1(从根深度到叶深度)解码。换言之，在图中，阴影部分1811-3对应于未显示，但被发送和解码以对与部分属性比特流1812-1对应的属性进行解码的几何信息。
另外，根据实施方式的发送装置(例如，参照图1描述的发送装置10000或参照图12描述的发送装置)或点云编码器(图1中的点云视频编码器10002、图4中的点云编码器、参照图12、图14和图15描述的点云编码器)可仅发送与八叉树结构的特定深度对应的部分几何比特流1812-1和部分属性比特流1812-2。提供低分辨率点云内容的点云解码器对与八叉树结构的特定深度对应的部分几何比特流1812-1和部分属性比特流1812-2进行解码(1812)。
因此，如图18所示，为了使接收装置提供各种分辨率的点云数据，即，提供可伸缩表示，需要用于处理几何比特流1811-1和属性比特流1812-1的一部分的处理过程和信令信息。
根据实施方式的点云编码器通过将属性匹配到几何结构来生成着色八叉树。根据实施方式的着色八叉树通过使表示几何的八叉树结构的一个或更多个级别(或深度)当中的各个级别的节点和属性匹配来生成。
根据实施方式的点云编码器基于所生成的着色八叉树来执行属性编码。另外，点云编码器生成包括与着色八叉树有关的信息的可伸缩表示信息以允许接收装置执行可伸缩解码和可伸缩表示。所生成的信息与编码的几何和编码的属性一起在比特流上发送。
作为发送装置或点云编码器的操作的逆过程，接收装置可基于可伸缩表示信息来生成着色八叉树。如上所述，着色八叉树表示与几何的八叉树结构匹配的属性。因此，接收装置可基于着色八叉树选择特定级别并且根据匹配的属性输出或渲染低分辨率点云内容。具体地，接收装置可根据接收装置的性能提供各种分辨率的点云内容而无需单独的接收过程或处理过程。根据实施方式的发送装置(或点云编码器)和接收装置(或点云解码器)二者可生成着色八叉树。根据实施方式的生成着色八叉树的过程或方法可被称为八叉树着色。根据实施方式的点云编码器可从八叉树结构的最高节点(最低级别)到最低节点(最高级别)对整个八叉树结构执行八叉树着色。另外，根据实施方式的点云编码器可对八叉树结构的任何深度区段(例如，从级别n-1至级别n的区段)执行八叉树着色。根据实施方式的点云解码器可基于上述可伸缩编码信息执行八叉树着色。
图19示出根据实施方式的基于着色八叉树的点云数据。
如参照图18描述的，根据实施方式的点云编码器(例如，图1的点云视频编码器10002、图4的点云编码器、参照图12、图14和图15描述的点云编码器等))或发送装置(例如，参照图1描述的发送装置10000或参照图12描述的发送装置)可对点云数据(称为源几何和源属性或者几何和属性)执行几何编码和属性编码以启用可伸缩表示(1900)。根据实施方式的编码的几何和编码的属性在比特流(例如，参照图1描述的比特流)中发送。
根据实施方式，可发送相同级别的部分几何和部分属性(1910)，或者可发送全几何和部分属性(1920)。另外，可发送部分几何和全属性(1930)，或者可发送全几何和全属性(1940)。如上所述，可伸缩表示信息与编码的几何和编码的属性一起在比特流中发送。
因此，根据实施方式的接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)接收比特流并确保可伸缩表示信息。接收装置可通过基于可伸缩表示信息(可伸缩表示)处理比特流中的全部或部分几何和/或属性来提供各种分辨率的点云数据。
图20示出根据实施方式的着色八叉树。
根据实施方式的点云编码器(例如，图1的点云视频编码器10002、图4的点云编码器或者参照图12、图14和图15描述的点云编码器)可执行对属性进行编码的属性编码并输出属性比特流。点云编码器基于几何的结构来执行属性编码。即，根据实施方式的点云编码器(例如，参照图4描述的属性变换单元40007)可基于几何结构(或重构的几何结构)来变换属性。几何结构包括八叉树结构。由于根据实施方式的八叉树结构是表示三维空间的结构，所以其不表示各个节点的属性。另外，各个节点具有基于与各个节点对应的3D空间中所包括的点的位置的位置(或位置信息)。根据实施方式的节点的位置可以是与节点对应的区域中所包括的点的位置的平均位置、与特定顶点对应的位置、预设代表性位置、与节点对应的区域中所包括的点的位置的平均值等。因此，节点的位置表示与关于点的实际位置信息近似的位置。根据实施方式的八叉树结构的细节与参照图1至图19描述的那些相同，因此将省略其描述。
图20的左侧部分示出分别与根据实施方式的几何八叉树结构的四个叶节点对应的属性c1、c2、c3和c4。如上所述，叶节点对应于八叉树结构的最大深度或最高级别(例如，级别n)。根据实施方式的点云编码器使各个叶节点与属性匹配。
图20的右侧部分示出基于与八叉树结构的叶节点对应的属性生成的示例性着色八叉树。根据实施方式的点云编码器可基于与叶节点对应的(例如，级别n的)属性来生成表示与八叉树结构的较低深度或较低级别(例如，级别n-1)(即，较高节点)匹配的属性的着色八叉树结构。根据实施方式的点云编码器使八叉树节点的位置与属性或属性的预测值匹配，或者使点云数据与八叉树节点匹配。根据实施方式的着色八叉树结构表示与对应于最低级别(例如，级别0)的根节点匹配的属性。如参照图18和图19描述的，根据实施方式的点云编码器将与着色八叉树结构的生成有关的信令信息(例如，参照图18描述的可伸缩表示信息)和八叉树结构与编码的几何和属性一起发送。因此，接收装置或点云解码器基于信令信息根据解码性能执行可伸缩解码(例如，参照图18和图19描述的可伸缩解码)直至特定级别(例如，级别I或最高级别n)，以提供各种分辨率的点云内容。
图21是根据实施方式的属性编码的示例性流程图。
根据实施方式的点云编码器可通过生成参照图20描述的着色八叉树结构来执行属性编码。图21所示的流程图是生成参照图20描述的着色八叉树结构的过程(或八叉树着色)的示例2100。
根据实施方式的点云编码器使八叉树结构(例如，参照图1至图20描述的八叉树结构)的叶节点与属性匹配(2110)。根据实施方式的叶节点对应于八叉树结构的最高级别。叶节点的数量是大于或等于1的整数。根据实施方式的点云编码器基于与叶节点匹配的属性使属性与叶节点的上节点(即，较低级别)匹配。根据实施方式，各个节点具有位置(或位置信息)。如参照图6描述的，八叉树结构的节点对应于根据八叉树结构的级别划分3D空间的空间，并且具有基于各个空间中所包括的点的位置设定的位置。点云编码器可使属性与各个节点匹配(2120)。当各个节点不与属性匹配时，点云编码器基于较高级别的属性(例如，叶节点的属性)来生成估计的属性并使其与对应级别(例如，比叶节点的级别低的级别)的节点匹配，以生成着色八叉树结构(2130)。点云编码器可重复相同过程直至根节点级别。
在使属性与各个节点匹配时，点云编码器可使节点的位置或实际点云数据的位置与属性匹配(2140)。点云编码器通过使各个节点的位置与属性匹配来生成着色八叉树结构(2150)。例如，点云编码器可使各个节点的一个或更多个子节点当中的任一个子节点的属性与节点匹配。点云编码器可重复相同过程直至根节点级别。
点云编码器通过使实际点云数据与节点匹配来生成着色八叉树结构(2160)。根据实施方式的叶节点对应于体素，体素是最小分割单元。因此，叶节点包括至少一个点。因此，叶节点的位置与对应点的位置一致。然而，在八叉树结构中，叶节点以外的节点的位置可能不与3D空间中与实际节点对应定位的一个或更多个点的位置完全一致。因此，对于各个节点的一个或更多个子节点，点云编码器可选择一对子节点的位置和属性并使其与节点匹配，或者可选择子节点的位置的平均值或均值，并且使所选值和位置与所选值最接近的子节点的属性与节点匹配。
与生成图21所示的着色八叉树结构的过程有关的信令信息被承载在相关信令信息中以允许参照图18描述的接收装置执行可伸缩表示。因此，接收装置或点云解码器基于信令信息根据解码性能执行可伸缩解码和可伸缩表示(例如，参照图18和图19描述的可伸缩表示)直至特定级别(例如，级别I或最高级别n)以提供各种分辨率的点云内容。
图22示出根据实施方式的八叉树结构。
如参照图6描述的，点云内容的三维空间由坐标系的轴(例如，X轴、Y轴和Z轴)表示。通过边界框(或立方轴对齐边界框)的递归再分来生成八叉树结构。应用这种划分方法直至八叉树的叶节点成为体素。级别从八叉树结构中的最高节点到叶节点(最低节点)升高，并且各个叶节点对应于体素。
图22的示例示出表示点云的三级八叉树结构。八叉树结构中的各个节点具有表示为三维坐标系中的坐标值的位置。如上所述，各个叶节点具有实际点的位置。因此，在图中所示的八叉树结构中，与级别3(最高级别)对应的叶节点2200具有表示为(0,2,0)、(1,2,0)、(0,3,0)、(1,3,0)、(3,2,2)、(2,2,1)、(3,2,3)、(2,3,3)和(3,3,3)的位置。即，各个叶节点可包括位于各个位置的点。与八叉树结构的级别2对应的两个占用节点(00100001)2210分别具有表示为(0,1,0)和(1,1,1)的位置。
图23示出根据实施方式的着色八叉树结构。
图23的示例2300、2310和2320示出基于参照图22描述的三级八叉树结构生成的着色八叉树结构的示例。
图23的示例2300示出与八叉树结构(例如，参照图1至图20描述的八叉树结构)的叶节点匹配的属性。图23的示例2300对应于参照图21描述的点云编码器使叶节点与属性匹配的操作(例如，2110)。
如上所述，由于叶节点对应于体素，所以各个叶节点的位置与实际点的位置相同。即，叶节点的位置分别被表示为坐标值(0,2,0)、(1,2,0)、(0,3,0)、(1,3,0)、(3,2,2)、(2,2,1)、(3,2,3)、(2,3,3)和(3,3,3)。各个坐标值是三维空间中的点的位置。各个叶节点与对应位置的点的属性匹配。在图中，c1、c2、c3、c4、c5、c6、c7、c8和c9表示各个点的属性。图23的示例2300示出具有属性(例如，c1)的一个点(例如，位于(0,2,0)的点)。根据实施方式的属性和点之间的关系不限于此示例。位置(x,y,z)的属性值被表示为Attr(x,y,z)。因此，与16个叶节点当中的占用叶节点匹配的属性值表达如下。
c1＝Attr(0,2,0)，c2＝Attr(1,2,0)，c3＝Attr(0,3,0)，c4＝Attr(1,3,0)，
c5＝Attr(3,2,2)，c6＝Attr(2,2,1)，c7＝Attr(3,2,3)，c8＝Attr(2,3,3)，c9＝Attr(3,3,3)
与八叉树叶节点的上节点(父节点)对应的区域比与叶节点对应的区域大8倍(宽度、长度和高度中的每一个大2倍)。根据实施方式的八叉树结构中与上节点对应的区域的尺寸被表达为8^(与叶节点不同的八叉树级别)。
根据实施方式与上节点对应的区域包括一个或更多个点。根据实施方式的上节点的位置可被设定或表示为节点的子节点的位置的平均值或平均位置。因此，上节点的位置可能不与对应于上节点的区域中的点的位置匹配。换言之，由于不存在与上节点位置对应的实际点，所以点云编码器无法与对应于上节点位置的属性匹配。因此，根据实施方式的点云编码器(图1的点云视频编码器10002、图4的点云编码器或者参照图12、图14和图15描述的点云编码器)可使任何属性与节点匹配。根据实施方式的点云编码器可检测邻居节点并使其与任何属性匹配。根据实施方式的邻居节点对应于节点的子节点当中的占用节点。
根据实施方式的点云编码器基于叶节点的属性使任何属性与叶节点(例如，级别n)的上节点(例如，与级别n-1对应的节点)匹配。点云编码器通过重复相同过程直至到达最高节点来生成着色八叉树。根据实施方式的着色八叉树被称为属性配对八叉树。
图23的右上部的示例2310是指示与上节点匹配的估计属性的着色八叉树。如上所述，根据实施方式的点云编码器限定八叉树的节点的位置并使其与估计属性匹配以允许接收装置执行诸如可伸缩编码、点云子采样和提供低分辨率点云内容的操作。
在根据实施方式的八叉树中，节点的位置可被表示为与各个节点对应的莫顿码位置或三维坐标系的位置。点云编码器可利用估计属性来表达高于叶节点的上节点的属性，估计属性是可表示节点的子节点的属性的值(例如，加权平均、均值等)。即，根据实施方式的节点的位置和属性可能不与对应于各个节点的区域中所包括的实际点云数据的位置和属性相同。然而，接收装置可基于上述着色八叉树结构根据解码性能或网络环境提供各种版本的点云内容(例如，低分辨率点云内容或近似点云内容)。
在图中，p0表示与最高节点(级别1)匹配的估计属性，p1和p2表示与上节点匹配的估计属性。根据实施方式的点云编码器可基于子节点2315的属性c1、c2、c3和c4来计算p12315-1。
下式表示具有位置值(x,y,z)的上节点的估计属性(p(x,y,z))。
[式1]
Figure BDA0003417045600000381
在该式中，Attr(xn,yn,yn)表示节点的子节点的属性。W表示邻居节点的权重，i、j和k是用于限定相对于上节点位置(x,y,z)的邻居节点的位置的参数。N表示邻居节点的数量。
图23的右下部的示例2320是指示与上节点匹配的属性的着色八叉树。根据实施方式的点云编码器可选择节点的子节点的属性之一(例如，按升序排序的子节点当中的第一子节点的属性)以便限定叶节点的父节点的属性。由于根据实施方式的上节点具有节点位置和实际属性，所以即使当执行可伸缩解码时，接收装置也可提供更近似的点云内容(低分辨率点云内容)。在图中，p0表示与最高节点(级别1)匹配的估计属性，p1和p2表示与上节点匹配的属性。如图中所示，p1等于子节点的属性当中的c4，p2等于子节点的属性当中的c6。与顶部节点匹配的属性p0等于较低属性当中的c4。
下式表示与具有位置值(x,y,z)的上节点匹配的估计属性p(x,y,z)。
[式2]
Figure BDA0003417045600000382
在上式中，Cp表示与子节点当中的占用节点匹配的属性(例如，颜色值)。Attr(xn,yn,yn)表示节点周围的邻居节点的属性。M表示邻居节点的权重之和。即，该式用于确定使与邻居节点的差异最小化的属性Cp作为与上节点匹配的估计属性(即，预测值)。
图24示出根据实施方式的着色八叉树结构。
图24所示的示例2400、2410和2420是基于具有与参照图22描述的属性匹配的叶节点的三级八叉树结构的示例2300生成的着色八叉树结构的示例。如参照图22和图23描述的，八叉树结构中的各个节点(不包括叶节点)具有位置。各个节点的位置可能不与对应于该节点的区域中所包括的点的位置相同。根据实施方式的点云编码器可通过不仅匹配参照图23描述的属性，而且匹配八叉树结构的节点的位置来生成着色八叉树结构。即，实际点与根据实施方式的着色八叉树的节点匹配。根据实施方式的着色八叉树被称为点配对八叉树。因此，即使当执行可伸缩解码时，接收装置也可基于着色八叉树提供接近原始的点云内容。
为了使实际点与八叉树结构中的上节点(不包括叶节点)匹配，根据实施方式的点云编码器(图1的点云视频编码器10002、图4的点云编码器、参照图12、图14和图15描述的点云编码器等)可选择接近节点的位置的点云数据。例如，作为节点的位置，点云编码器可选择与邻居节点具有最小距离的节点的位置。另外，点云编码器可使与几何质心对应的属性与节点匹配。根据实施方式的几何质心对应于与八叉树节点周围的所有邻居节点(例如，相同级别的节点和/或节点的子节点)的距离被最小化的点。下面给出的式表示与具有位置(x,y,z)的节点匹配的几何质心的属性。
[式3]
Figure BDA0003417045600000391
(x_p,y_p,z_p)表示与邻居节点具有最小距离的节点的位置。(x_n,y_n,z_n)表示邻居节点。根据实施方式的邻居节点包括级别与节点和/或子节点相同的节点。(x_p,y_p,z_p)和(x_n,y_n,z_n)包括在具有值(x,y,z)的节点周围的外围节点(或邻居节点(NEIGHB(x,y,z))的集合中。Attr(xn,yn,yn)表示节点周围的邻居节点的属性。M表示外围节点(或邻居节点)的权重之和。即，上式用于确定使与外围节点的距离差异最小化的几何质心的属性作为与上节点匹配的估计属性(即，预测值)。
图24的顶部所示的示例2400是任一个子节点的位置和属性与上节点匹配的着色八叉树。根据实施方式的点云编码器选择与几何质心对应的位置作为上节点(例如，叶节点的上节点等)的位置。对于根据实施方式的与几何质心对应的位置，可选择按固定顺序布置的节点的子节点当中的特定节点(例如，按升序布置的子节点当中的第一节点)的点云数据。
如示例2400所示，叶节点2401分别具有属性c1、c2、c3和c4。根据实施方式的点云编码器使第一子节点的位置和属性c1与叶节点2401的父节点2402匹配。叶节点2403分别具有属性c5、c6、c7、c8和c9。因此，点云编码器使第一子节点的位置和属性c5与叶节点2403的父节点2404匹配。
以相同的方式，点云编码器使最高节点2405与节点的子节点2402和2404当中的第一节点2402的位置和属性c1匹配。
因此，与父节点匹配的子节点的点如下面给出的式表示。
[式4]
[xp，yp，zp]T＝[xk，yk，zk]T
其中，[xk，yk，zk]T表示按升序NEIGHBOR中的第k点。
在该式中，(x_p,y_p,z_p)是用于获得上述几何质心的位置，(x_k,y_k,z_k)表示与对应于固定顺序位置k的子节点匹配的点。
根据实施方式的点云编码器计算子节点当中的占用节点的位置的平均位置，并且使位置最接近平均位置的子节点的点数据(或点)与上节点匹配以生成着色八叉树。
下面给出的式表示计算子节点当中的占用节点的位置的平均位置的方法。
[式5]
Figure BDA0003417045600000401
在该式中，(x_p,y_p,z_p)表示父节点的位置，weight表示权重值，可指示子节点的占用(例如，对于占用节点，weight设定为1，对于未占用节点，设定为0)，或者可指示特定方向的权重。NEIGHBOR表示邻居节点，即，父节点的子节点。M表示权重之和。
图24所示的示例2410是通过计算子节点当中的占用节点的位置的平均位置并使位置最接近平均位置的子节点的位置和属性与其上节点匹配而获得的着色八叉树。
如示例2410所示，叶节点2411分别具有属性c1、c2、c3和c4。根据实施方式的点云编码器计算叶节点2411的位置的均值。根据实施方式的叶节点2411的位置和属性如下表示。
c1＝Attr(0,2,0)，c2＝Attr(1,2,0)，c3＝Attr(0,3,0)，c4＝Attr(1,3,0)
根据实施方式的叶节点2411的位置的均值如下表达。
Mean＝(0.4,2,0)
因此，由于最接近平均值的位置是c1，所以根据实施方式的点云编码器使c1的位置和属性与叶节点2411的父节点2412(例如，级别n-1的节点)匹配。
叶节点2413分别具有c5、c6、c7、c8和c9属性。根据实施方式的点云编码器计算叶节点2413的位置的均值。根据实施方式的叶节点2413的位置和属性如下表示。
c5＝Attr(3,2,2)，c6＝Attr(2,2,1)，c7＝Attr(3,2,3)，c8＝Attr(2,3,3)，c9＝Attr(3,3,3)
根据实施方式的叶节点2413的位置的均值如下表示。
Mean＝(2.6,2.4,2.4)
最接近平均值的位置是c5，因此根据实施方式的点云编码器使c5的位置和属性与叶节点2413的父节点2414(例如，级别n-1的节点)匹配。
以相同的方式，点云编码器计算节点2412和2414(例如，级别n-1的节点)的位置的平均位置。根据实施方式的节点2412和2414的位置和属性如下给出。
c1＝Attr(0,2,0)，c5＝Attr(3,2,2)
根据实施方式的节点2412和节点2414的位置的平均位置如下表示。
Mean＝(1.5,2,1)
最接近平均值的位置是c1，因此根据实施方式的点云编码器使c1的位置和属性与节点2412和节点2414的父节点2415(例如，最高级别节点)匹配。
根据实施方式的点云编码器计算子节点当中的占用节点的位置的中值位置，使位置最接近中值位置的子节点的位置和属性与上节点匹配以生成着色八叉树。根据实施方式的中值位置可表示按莫顿码顺序的均值。另外，当占用节点的数量为偶数时，根据实施方式的点云编码器可计算中值位置。
下面给出的式表示计算子节点当中的占用节点的位置的中值位置的方法。
[式6]
[xp，yp，zp]T＝MEDIANNEIGHB(x，y，z){weight(xn，yn，zn|x，y，z)·[xn，yn，zn]T}
在该式中，(x_p,y_p,z_p)表示父节点的位置，weight表示权重值，可指示子节点的占用(例如，对于占用节点，weight设定为1，对于未占用节点，设定为0)，或者可指示特定方向的权重。NEIGHBOR表示邻居节点，即，父节点的子节点。
图24所示的示例2420是通过计算子节点当中的占用节点的位置的中值位置并使位置最接近中值位置的子节点的位置和属性与上节点匹配而获得的着色八叉树。
如示例2420所示，叶节点2421分别具有属性c1、c2、c3和c4。根据实施方式的点云编码器计算叶节点2421的位置的中值位置。最接近中值位置的位置是节点c2，因此根据实施方式的点云编码器使c2的位置和属性与叶节点2421的父节点2422(例如，级别n-1的节点)匹配。
叶节点2423分别具有属性c5、c6、c7、c8和c9。根据实施方式的点云编码器计算叶节点2423的位置的中值位置。最接近中值位置的位置是节点c7的位置，因此根据实施方式的点云编码器使c7的位置和属性与叶节点2423的父节点2424(例如，级别n-1的节点)匹配。
以相同的方式，点云编码器计算节点2422和节点2424(例如，级别n-1的节点)的位置的中值位置。由于最接近中值位置的位置是c2，所以根据实施方式的点云编码器使c2的位置和属性与节点2422和节点2424的父节点2425(例如，顶级节点)匹配。
如参照图23描述的，为了限定高于叶节点的上节点的属性，根据实施方式的点云编码器可选择节点的子节点(邻居节点)的属性之一(图23的示例2320)。根据实施方式的点云编码器可使所选子节点的位置和属性匹配。下式是与图23的示例2320对应的式的实施方式。
[式7]
Figure BDA0003417045600000421
在该式中，Attr(xp,yp,zp)表示具有位置(xp,yp,zp)的父节点的属性，Attr(xn,yn,zn)表示邻居节点的属性。M表示外围节点(或邻居节点)的权重之和。即，上式用于确定与上节点的属性差异最小的邻居节点的属性作为与上节点的属性匹配的估计属性(即，预测值)。
如上所述，点云数据发送装置(例如，参照图1、图12、图14和图15描述的点云数据发送装置)可按比特流2600的形式发送编码的点云数据。根据实施方式的比特流2600可包括一个或更多个子比特流。
点云数据发送装置(例如，参照图1、图12、图14和图15描述的点云数据发送装置)可考虑传输信道的错误将点云数据的图像划分为一个或更多个分组，并且将其经由网络发送。根据实施方式，比特流2600可包括一个或更多个分组(例如，网络抽象层(NAL)单元)。因此，即使在差网络环境下丢失一些分组时，点云数据接收装置也可使用剩余分组来重构图像。点云数据可被分割为待处理的一个或更多个切片或一个或更多个拼块。根据实施方式的拼块和切片是通过分割点云数据的画面来执行点云压缩编码的区域。点云数据发送装置可根据点云数据的各个分割区域的重要性通过处理与各个区域对应的数据来提供高质量点云内容。即，根据实施方式的点云数据发送装置可对与对于用户而言重要的区域对应的数据执行具有更好压缩效率和适当延迟的点云压缩编码。
根据实施方式的拼块表示分布有点云数据的三维空间(例如，边界框)中的长方体。根据实施方式的切片是表示一些或所有编码的点云数据的一系列句法元素，并且表示可独立地编码或解码的点的集合。根据实施方式，切片可包括通过分组发送的数据，并且可包括一个几何数据单元和零个或更多个属性数据单元。根据实施方式，拼块可包括一个或更多个切片。
根据实施方式的比特流2600可包括信令信息和一个或更多个切片，信令信息包括用于序列级别信令的序列参数集(SPS)、用于几何信息编码信令的几何参数集(GPS)、用于属性信息编码信令的属性参数集(APS)以及用于拼块级别信令的拼块参数集(TPS)。
根据实施方式的SPS是关于包括简档和级别的整个序列的编码信息，并且可包括关于整个文件的综合信息，例如画面分辨率和视频格式。
根据实施方式，一个切片(例如，图30的切片0)包括切片头和切片数据。切片数据可包括一个几何比特流(Geom00)和一个或更多个属性比特流(Attr00、Attr10)。几何比特流可包括头(例如，几何切片头)和有效载荷(例如，几何切片数据)。根据实施方式的几何比特流的头可包括GPS中所包括的参数集的标识信息(geom_geom_parameter_set_id)、拼块标识符(geom_tile id)、切片标识符(geom_slice_id)以及与包括在有效载荷中的数据有关的信息。属性比特流可包括头(例如，属性切片头或属性方块头)和有效载荷(例如，属性切片数据或属性方块数据)。
如参照图18至图24描述的，根据实施方式的点云编码器可生成着色八叉树并生成包括与着色八叉树生成有关的信令信息的可伸缩表示信息。因此，比特流包括可伸缩表示信息。为了执行可伸缩表示，点云解码器生成参照图18至图24描述的着色八叉树。因此，根据实施方式的点云解码器获取包括在比特流中的可伸缩表示信息并且基于可伸缩表示信息来执行可伸缩解码。
根据实施方式的比特流中所包括的可伸缩表示信息可由包括在点云编码器中的元数据处理器或传输处理器(例如，图12的传输处理器12012)、元数据处理器或传输处理器中的元件或参照图18描述的属性编码器1840生成。根据实施方式的可伸缩表示信息可基于属性编码的结果来生成。
根据实施方式的可伸缩表示信息可被包括在APS和属性切片中。另外，根据实施方式的可伸缩表示信息可与属性编码(属性编码和属性解码)关联地定义，或者可独立地定义。当与属性可伸缩解码和几何可伸缩解码关联地定义时，可伸缩表示信息可被包括在GPS中。当可伸缩表示信息被应用于一个或更多个点云比特流或者逐拼块应用时，其可被包括在SPS或拼块参数集中。根据实施方式的比特流中的可伸缩表示信息的传输位置不限于此示例。
图25示出根据实施方式的APS的示例性句法。
在图25中，根据实施方式的APS的示例性句法可包括以下信息(或字段、参数等)。
aps_attr_parameter_set_id指示APS的标识符以供其它句法元素参考。aps_attr_parameter_set_id的值应在0至15的范围内。由于一个或更多个属性比特流包括在比特流中，所以各个属性比特流的头中可包括值与aps_attr_parameter_set_id相同的字段(例如，ash_attr_parameter_set_id)。
根据实施方式的点云解码器可基于aps_attr_parameter_set_id确保与各个属性比特流对应的APS并处理对应属性比特流。
aps_seq_parameter_set_id指定活动SPS的sps_seq_parameter_set_id的值。aps_seq_parameter_set_id的值应在0至15的范围内。
下面描述根据实施方式的可伸缩编码信息2500。
scalable_representation_available_flag指示可伸缩解码(或可伸缩表示)是否可用。如参照图18至图24描述的，根据实施方式的点云编码器可生成着色八叉树以启用可伸缩表示并基于着色八叉树来处理属性。当scalable_representation_available_flag等于1时，scalable_representation_available_flag指示解码的点云数据(解码的属性)具有可伸缩表示可用的结构(着色八叉树结构)。因此，接收装置可基于该信息来生成着色八叉树以提供可伸缩表示。当scalable_representation_available_flag等于0时，scalable_representation_available_flag指示解码的点云数据不具有可伸缩表示可用的结构。
octree_colorization_type指示着色八叉树类型或生成着色八叉树的方法。octree_colorization_type等于0指示根据属性配对八叉树(例如，参照图23描述的属性配对八叉树)或属性配对八叉树生成方法来生成着色八叉树。octree_colorization_type等于1指示根据点配对八叉树(例如，参照图24描述的点配对八叉树)或点配对八叉树生成方法来生成着色八叉树。
下面公开当octree_colorization_type等于0时(即，当着色八叉树是属性配对八叉树时)给出的相关参数。
Matched_attribute_type指示与八叉树节点匹配的属性的类型。当Matched_attribute_type等于0时，Matched_attribute_type指示属性是估计属性(例如，基于邻居节点或子节点的属性估计的属性)。由于计算估计属性并匹配估计属性的过程与参照图23描述的过程(例如，示例2310)相同或相似，所以将省略其详细描述。当Matched_attribute_type等于1时，Matched_attribute_type指示属性是实际属性(例如，子节点的属性)。由于实际属性匹配过程与参照图23描述的过程(例如，示例2320)相同或相似，所以将省略其详细描述。
attribute_selection_type指示使属性与八叉树节点匹配的方法。当attribute_selection_type等于0时，估计属性对应于子节点的属性的平均值。当attribute_selection_type等于1时，估计属性对应于子节点的属性的均值。当attribute_selection_type等于2时，属性对应于按固定顺序的子节点的属性(例如，按升序排序的子节点当中的第一子节点的属性或第二子节点的属性)。
下面描述当octree_colorization_type等于1(即，着色八叉树是点配对八叉树)时给出的相关参数。
point_data_selection_type指示选择要与八叉树节点匹配的点数据的方法或类型。
当point_data_selection_type等于0时，point_data_selection_type指示在对应节点的子节点当中按固定顺序选择节点(例如，子节点中按升序的第一节点)的点云数据(或点)的方法(例如，图24的示例2400)。当point_data_selection_type等于1时，point_data_selection_type指示选择位置最接近子节点当中的占用节点的位置的平均位置的子节点的点的方法(例如，图24的示例2410)。当point_data_selection_type等于2时，point_data_selection_type指示选择位置最接近子节点当中的占用节点的位置的均值位置的子节点的点的方法(例如，图24的示例2420)。
下面描述当point_data_selection_type等于0或3时给出的相关参数。point_cloud_geometry_info_present_flag指示是否直接提供关于与八叉树节点匹配的点数据(或点)的几何信息。当point_cloud_geometry_info_present_flag等于1时，关于与八叉树节点匹配的点数据(或点)的几何信息(例如，位置)一起发送。当point_cloud_geometry_info_present_flag等于0时，关于与八叉树节点匹配的点数据(或点)的几何信息不一起发送。
图26示出根据实施方式的属性切片比特流的示例性句法。
图26所示的第一句法2600表示根据实施方式的属性切片比特流的句法的示例。属性切片比特流包括属性切片头(attribute_slice_header)和属性切片数据(attribute_slice_data)。
图26所示的第二句法2610是根据实施方式的属性头的句法的示例。属性头的句法可包括以下信息(或字段、参数等)。
ash_attr_parameter_set_id具有与活动APS的aps_attr_parameter_set_id相同的值(例如，参照图25描述的APS的句法中所包括的aps_attr_parameter_set_id)。
ash_attr_sps_attr_idx标识包括在活动SPS中的属性集。ash_attr_sps_attr_idx的值落在0至包括在活动SPS中的sps_num_attribute_sets的值的范围内。
图26所示的第三句法2620是根据实施方式的属性切片数据的句法的示例。属性切片数据的句法可包括以下信息。
dimension＝attribute_dimension[ash_attr_sps_attr_idx]指示由ash_attr_sps_attr_idx标识的属性集的属性维度(attribute_dimension)。attribute_dimension指示构成属性的分量的数量。根据实施方式的属性表示反射率、颜色等。因此，属性所具有的分量的数量不同。例如，与颜色对应的属性可具有三个颜色分量(例如，RGB)。与反射率对应的属性可以是一维属性，与颜色对应的属性可以是三维属性。根据实施方式的属性可在每维度的基础上进行属性编码。例如，与反射率对应的属性和与颜色对应的属性可分别进行属性编码。根据实施方式的属性可进行属性编码而与维度无关。例如，与反射率对应的属性和与颜色对应的属性可一起进行属性编码。
当根据实施方式的可伸缩属性解码适用于各个切片时，属性切片数据的句法包括根据属性编码类型的比特流。根据实施方式的APS可包括attr_coding_type。attr_coding_type指示属性编码类型。在根据实施方式的比特流中，attr_coding_type等于0、1或2中的任一个。attr_coding_type的其它值可被预留以供ISO/IEC未来使用。因此，根据实施方式的点云解码器可忽略0、1和2以外的attr_coding_type的值。0指示属性编码类型是预测权重提升变换编码，1指示属性编码类型是RAHT变换编码。2指示属性编码类型是固定权重提升。
当attr_coding_type等于0时，属性编码类型是预测权重提升变换编码。因此，属性切片数据的句法包括PredictingWeight_Lifting比特流(PredictingWeight_Lifting_bitstream(dimension))。
当attr_coding_type等于1时，属性编码类型是RAHT变换编码。因此，属性切片数据的句法包括RAHT比特流(RAHT_bitstream(dimension))。
当attr_coding_type(例如，参照图23描述的attr_coding_type)等于2时，属性编码类型是固定预测权重提升变换编码。因此，属性切片数据的句法包括FixedWeight_Lifting比特流(FixedWeight_Lifting_bitstream(dimension))。
另外，如参照图25描述的，根据实施方式的APS包括point_cloud_geometry_info_present_flag。当point_cloud_geometry_info_present_flag等于1时，属性切片数据的句法还包括着色八叉树位置比特流。
图中所示的第四句法2630是着色八叉树位置比特流的句法的示例。着色八叉树位置比特流的句法包括以下参数。
colorization_start_depth_level指示起始八叉树级别或应用用于生成着色八叉树的八叉树着色的八叉树深度级别。colorization_end_depth_level指示结束八叉树级别或应用八叉树着色的八叉树深度级别。
因此，应用八叉树着色的八叉树深度级别的总数被表示为通过将1与colorization_end_depth_level所指示的级别与colorization_start_depth_level所指示的级别之间的差相加而获得的值。
numOctreeDepthLevel＝colorization_end_depth_level-colorization_start_depth_level+1
以下是与应用八叉树着色的各个八叉树深度级别有关的信息。num_colorized_nodes[i]指示针对第i八叉树深度级别应用八叉树着色的节点的数量。i具有大于或等于0且小于numOctreeDepthLevel所指示的数的值。各个八叉树深度级别(第(i+colorization_start_depth_level)八叉树深度级别)等于i所指示的值与colorization_start_depth_level所指示的值之和。
position_index[i][j]指示第(i+colorization_start_depth_level)八叉树级别的第j节点的位置。j表示各个节点的索引。j具有大于或等于0且小于num_colorized节点的值的值。根据实施方式的位置包括由x、y和z轴组成的三维坐标系中的坐标值和/或按莫顿码顺序的对应点的顺序位置。可为各个节点发送根据实施方式的position_index[i][j]。当如根据point_data_selection_type选择节点的子节点当中按固定顺序的节点(例如，子节点中按升序的第一节点)的点云数据(或点)的方法(例如，图24的示例2400)中一样在全八叉树结构或对应八叉树级别重复相同的信息时，可发送根据实施方式的position_index[i][j]或者可仅在重复时间改变其传输位置(例如，句法可改变)。
图27是示出点云编码器的编码操作的框图。
根据实施方式的点云编码器2700(例如，图1的点云视频编码器10002、图4的点云编码器、参照图12、图14和图15描述的点云编码器)可执行参照图1至图26描述的编码操作(包括八叉树着色)。
点云(PCC)数据或点云压缩(PCC)数据是点云编码器2700的输入数据，并且可包括几何和/或属性。根据实施方式的几何是指示点的位置(例如，定位)的信息，并且可被表示为诸如正交坐标、柱坐标或球坐标的坐标系的参数。根据实施方式的属性指示点的属性(例如，颜色、透明度、反射率、灰度等)。几何可被称为几何信息(或几何数据)，属性可被称为属性信息(或属性数据)。
根据实施方式的点云编码器2700执行八叉树生成2710、几何预测2720和熵编码2730以执行参照图1至图26描述的几何编码，并且输出几何比特流。根据实施方式的八叉树生成2710、几何预测2720和熵编码2730与参照图4描述的坐标变换器40000、量化器40001、八叉树分析器40002和表面近似分析器40003、算术编码器40004和几何重构器40005的操作和/或参照图12描述的数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用代码生成器12003、表面模型处理器12004、帧内/帧间编码处理器12005、算术编码器12006、元数据处理器12007的操作相同或相似，因此将省略其详细描述。
为了执行参照图1至图26描述的属性编码，根据实施方式的点云编码器2700执行着色八叉树生成2740、属性预测2750、变换2760、量化2770和熵编码2780。
根据实施方式的着色八叉树生成2740、属性预测2750、变换2760、量化2770和熵编码2780与参照图4描述的几何重构器40005、颜色变换器40006、属性变换器40007、RAHT变换器40008、LOD生成器40009、提升变换器40010、系数量化器40011和/或算术编码器40012的操作和/或参照图12描述的颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12110和算术编码器12011的操作相同或相似，因此将省略其详细描述。
根据实施方式的点云编码器2700基于在八叉树生成2710中生成的八叉树结构或关于八叉树结构的信息来生成着色八叉树(2740)。根据实施方式的着色八叉树生成与参照图18至图24描述的八叉树着色相同或相似。根据实施方式的点云编码器2700基于着色八叉树来预测(估计)并去除各个深度级别的属性之间的相似性(属性预测2750)。根据实施方式的点云编码器2700基于相邻数据的空间分布来执行属性预测2750。点云编码器2700将预测的属性变换到适合于传输的格式或具有高压缩效率的域(2760)。点云编码器2700可根据数据类型基于各种变换方法(例如，DCT类型变换、提升变换、RAHT、小波变换等)执行或不执行变换。此后，点云编码器2700将变换的属性量化(2770)并执行熵编码以将其变换为比特单位数据以便于传输(2780)。
根据实施方式的点云编码器2700可基于着色八叉树结构来执行属性编码。
根据实施方式的点云编码器2700检测邻居节点。如参照图18至图26描述的，邻居节点是属于同一父节点的子节点。在根据实施方式的八叉树结构中，子节点很有可能具有相邻位置。因此，在子节点在由x、y和z轴组成的三维空间中彼此相邻的假设下，点云编码器2700对子节点当中的当前节点执行预测。根据实施方式的点云编码器2700可获得各个子节点的预测值。另外，点云编码器2700将属于同一父节点的子节点定义为兄弟节点并且将兄弟节点定义为具有相同的预测值以减少各个子节点的编码所需的系数的数量并执行高效编码。另外，相同的预测值可用作占用节点的属性，并且可用于预测与父节点匹配的属性。下面给出的式表示级别1的预测属性和级别1-1的预测属性。
[式8]
Figure BDA0003417045600000501
Figure BDA0003417045600000502
在该式中，
Figure BDA0003417045600000503
表示当a除以b时而获得的商。在该式中，Cl表示第l属性。k、l和m是相对于位置(x,y,z)定义外围节点(或邻居节点)的位置的参数。
根据实施方式的点云编码器2700基于预测属性来计算各个子节点的属性预测误差。下面给出的式作为计算各个子节点的属性预测误差的方法表示原始属性值与预测属性值之间的残差(rl(x,y,z))。
[式9]
rl(x，y，z)＝g{cl(x，y，z)，pl(x，y，z)}＝cl(x，y，z)-pl(x，y，z)
在该式中，rl(x,y,z)表示具有位置(x,y,z)的第l节点的残差。cl(x,y,z)表示具有位置(x,y,z)的第l节点的实际属性(例如，颜色)，pl(x,y,z)表示具有位置(x,y,z)的第l节点的估计属性(或预测值)。
根据实施方式的计算属性预测误差的方法不限于该示例，可基于各种方法(例如，加权差、加权平均差等)。
如上所述，在作为八元树结构的八叉树结构中，深度从上节点到下节点增加。根据实施方式的深度被称为级别和/或层。因此，上节点对应于较低级别，下节点对应于较高级别(例如，最高节点对应于级别0，最低节点对应于级别n)。根据实施方式，级别可被设定为从上节点至下节点减小(例如，最高节点为级别n，最低节点为级别0)。根据实施方式的点云编码器2700可用信号通知最高级别的预测属性值，并且可用信号通知较低级别的属性预测误差。另外，根据实施方式的点云编码器2700可考虑解码过程来确定各个级别(八叉树结构中的级别)的数据(属性)传送顺序。例如，点云编码器2700按级别的升序传送数据(例如，数据传送从上节点的预测属性值开始，并进行至下节点)。在相同级别，可按x、y和z轴上的坐标值的升序(例如，基于莫顿码按莫顿码顺序)来传送数据。根据实施方式，点云编码器2700可执行重排。另外，根据实施方式的点云编码器2700对预测属性值和属性预测误差执行由下式表示的量化。
[式10]
d′l(x，y，z)＝Q{dl(x，y，z)}＝round[dl(x，y，z)/q]
在该式中，q是量化系数，并且根据量化系数确定量化程度。dl(x,y,z)表示要量化的具有位置(x,y,z)的第l节点的数据。dl'(x,y,z)表示量化的数据。
根据实施方式的点云编码器2700可根据预测属性值和属性预测误差或针对各个级别使用不同的量化系数。
与根据实施方式的点云编码器2700的几何编码和属性编码有关的信息(例如，可伸缩表示信息)可经由参照图25和图26描述的比特流发送至接收装置。
图28是示出点云解码器的解码操作的框图。
根据实施方式的点云解码器2800执行与参照图27描述的点云编码器2700的操作的逆过程对应的操作。根据实施方式的点云解码器2800(例如，参照图10描述的点云视频解码器10006、参照图11描述的点云解码器、参照图19描述的点云解码器等)可执行上面参照图1至图25描述的解码操作。
根据实施方式的点云解码器2800接收比特流。根据实施方式的比特流(例如，参照图25和图26描述的比特流)包括几何比特流和属性比特流。根据实施方式的几何比特流可包括全几何或部分几何。由于根据实施方式的比特流包括参照图25和图26描述的可伸缩表示信息，所以点云解码器2800可基于可伸缩表示信息来执行参照图18至图26描述的可伸缩表示。
根据实施方式的点云解码器2800对几何比特流执行熵解码2810以执行参照图1至图26描述的几何编码(或几何解码)，并且执行八叉树重构2820以输出几何数据和八叉树结构。
根据实施方式的熵解码2810和八叉树重构2820与参照图11描述的算术解码器11000、八叉树合成器11001、表面近似合成器11002、几何重构器11003和坐标逆变换器11004的操作相同或相似。
因此，将省略其详细描述。
根据实施方式的点云解码器2800通过对属性比特流执行熵解码2830、逆量化2840、逆变换2850、属性重构2860和着色八叉树生成2870来执行参照图1至图26描述的属性编码(或属性解码)，并且输出属性数据。根据实施方式的熵解码2830、逆量化2840、逆变换2850和属性重构2860与参照图11描述的算术解码器11005、逆量化器11006、RAHT变换器11007、LOD生成器11008、逆提升器11009和/或颜色逆变换器11010的操作相同或相似，因此将省略其详细描述。可根据图27的点云编码器2700的操作执行或不执行根据实施方式的逆量化2840和逆变换2850。
根据实施方式的点云解码器2800基于从八叉树重构2820输出的八叉树结构和可伸缩表示深度级别(或可伸缩表示级别)来执行属性重构2860。根据实施方式的可伸缩表示深度级别可由接收装置根据性能来确定。另外，根据实施方式的可伸缩表示深度级别可由点云编码器(例如，点云编码器2700)确定并且与编码的点云数据一起发送。类似于参照图27描述的点云编码器2700，点云解码器2800基于八叉树结构来检测邻居节点以用于重构位置信息。根据实施方式的点云解码器2800可根据通过包括在比特流中的信令信息用信号通知的邻居节点的定义来检测邻居节点(例如，参照图27描述的属于同一父节点的子节点)。根据实施方式的点云解码器2800可按照由云编码器执行的属性预测的相反顺序来预测属性。例如，当点云编码器按级别的降序(例如，在从叶节点到根节点的方向上)执行属性预测时，点云解码器2800按级别的升序(例如，在从根节点到叶节点的方向上)预测属性。根据实施方式的点云解码器2800按照与点云编码器的属性预测相同的方式使用父节点的重构的属性作为子节点的预测值。根据实施方式，当使用一个或更多个预测方法时，上述比特流可包括关于这一个或更多个预测方法的信息。点云解码器2800可基于通过比特流发送的信令信息来预测属性。下式表示点云解码器2800的属性预测过程。
[式11]
Figure BDA0003417045600000521
根据实施方式的点云解码器2800可基于预测属性来重构各个子节点的属性(2860)。点云解码器2800的属性重构2860对应于参照图27描述的点云编码器2700的属性预测2750的逆过程。如参照图27描述的，在点云编码器2700生成属性预测误差的情况下，点云解码器2800可通过将预测属性与解码的属性预测误差相加来重构属性。下式表示属性重构过程。
[式12]
Figure BDA0003417045600000531
针对可伸缩解码或可伸缩表示执行根据实施方式的着色八叉树生成2870。根据实施方式的点云解码器2800基于在八叉树重构2820中输出的八叉树结构和可伸缩表示深度级别(或可伸缩表示级别)来生成着色八叉树(着色八叉树生成2870)。
根据实施方式的着色八叉树生成2870与参照图18至图24描述的八叉树着色相同或相似。因此，接收装置或点云解码器2800可提供各种分辨率的点云内容。
图29示出根据实施方式的根据可伸缩解码的几何和属性的细节。
图29的上部是示出根据可伸缩解码的几何的细节的示例2900。第一箭头2910指示在八叉树中从上节点到下节点的方向。如图中所示，随着可伸缩解码在八叉树中从上节点到下节点进行，存在更多点，因此几何的细节增加。八叉树结构的叶节点对应于几何的顶级别细节。
图29的下部是示出根据可伸缩解码的属性的细节的示例2920。第二箭头2930指示在八叉树中从上节点到下节点的方向。如图中所示，随着可伸缩解码在八叉树中从上节点到下节点进行，属性的细节增加。
图30是根据实施方式的处理点云数据的方法的示例性流程图。
图30的流程图3000示出由点云数据处理装置(例如，参照图1、图11、图14、图15和图18描述的发送装置或参照图27描述的点云数据编码器2700)执行的点云数据处理方法。根据实施方式的点云数据处理装置可执行与参照图1至图27描述的编码操作相同或相似的操作。
根据实施方式的点云数据处理装置可对包括几何信息和属性信息的点云数据进行编码(3010)。根据实施方式的几何信息指示点云数据的点的位置。根据实施方式的属性信息指示点云数据的点的属性。
根据实施方式的点云数据处理装置可对几何信息进行编码并对属性信息进行编码。根据实施方式的点云数据处理装置执行与参照图1至图27描述的几何信息编码相同或相似的操作。另外，点云数据处理装置执行与参照图1至图27描述的属性信息编码相同或相似的操作。根据实施方式的点云数据处理装置接收几何信息的八叉树结构。八叉树结构由一个或更多个级别表示。根据实施方式的点云数据处理装置通过使一个或更多个属性与八叉树结构的各个级别匹配(或者通过使属性与各个级别的节点匹配)来生成着色八叉树。根据实施方式的着色八叉树用于对属性信息进行编码以执行一些或所有属性信息的可伸缩表示。
由于根据实施方式的几何信息编码和属性信息编码与参照图1至图27描述的几何信息编码和属性信息编码相同或相似，所以将省略其详细描述。
根据实施方式的点云数据处理装置可发送包括编码的点云数据的比特流(3020)。
由于根据实施方式的比特流的结构与参照图25和图26描述的相同，所以将省略其详细描述。根据实施方式的比特流可包括可伸缩表示信息(例如，参照图18至图26描述的可伸缩表示信息)。根据实施方式的可伸缩表示信息可如参照图25和图26所述通过APS和属性切片的属性数据来发送，不限于上述示例。
根据实施方式的可伸缩表示信息包括指示可伸缩表示是否可用的信息(例如，参照图25描述的scalable_representation_available_flag)。当该信息指示可伸缩表示可用时，可伸缩表示信息还包括指示生成着色八叉树结构的方法的信息(例如，参照图25描述的octree_colorization_type)。根据实施方式的指示生成着色八叉树结构的方法的信息指示生成着色八叉树结构的方法是使一个或更多个任意属性与八叉树结构的各个级别匹配的方法(例如，octree_colorization_type等于0，并且着色八叉树是属性配对八叉树(例如，参照图23描述的属性配对八叉树))和使级别的较低级别的实际属性和位置与八叉树结构的各个级别匹配的方法(例如，octree_colorization_type等于1，并且着色八叉树是点配对八叉树(例如，参照图24描述的点配对八叉树))中的至少一种。根据实施方式的可伸缩表示信息的细节与参照图18至图26描述的那些相同，因此将省略其描述。
图31是根据实施方式的处理点云数据的方法的示例性流程图。
图31的流程图3100示出由点云数据处理装置(例如，参照图1、图13、图14、图16和图25描述的点云数据接收装置或图28的点云数据解码器2800))执行的点云数据处理方法。根据实施方式的点云数据处理装置可执行与参照图1至图28描述的解码操作相同或相似的操作。
根据实施方式的点云数据处理装置接收包括点云数据的比特流(3110)。根据实施方式的几何信息指示点云数据的点的位置。根据实施方式的属性信息指示点云数据的点的属性。根据实施方式的比特流的结构与参照图25和图26描述的相同，因此将省略其详细描述。
根据实施方式的点云数据处理装置对点云数据进行解码(3120)。
根据实施方式的点云数据处理装置可对几何信息进行解码并对属性信息进行解码。根据实施方式的点云数据处理装置执行与参照图1至图28描述的几何信息解码相同或相似的操作。另外，点云数据处理装置执行与参照图1至图28描述的属性信息解码相同或相似的操作。
根据实施方式的比特流可包括可伸缩表示信息(例如，参照图25和图26描述的可伸缩表示信息)。根据实施方式的可伸缩表示信息可如参照图25和图26所述通过APS和属性切片的属性数据来发送，不限于上述示例。
根据实施方式的可伸缩表示信息包括指示可伸缩表示是否可用的信息(例如，参照图25描述的scalable_representation_available_flag)。当该信息指示可伸缩表示可用时，可伸缩表示信息还包括指示生成着色八叉树结构的方法的信息(例如，参照图25描述的octree_colorization_type)。根据实施方式的指示生成着色八叉树结构的方法的信息指示生成着色八叉树结构的方法是使一个或更多个任意属性与八叉树结构的各个级别匹配的方法(例如，octree_colorization_type等于0，并且着色八叉树是属性配对八叉树(例如，参照图23描述的属性配对八叉树))和使级别的较低级别的实际属性和位置与八叉树结构的各个级别匹配的方法(例如，octree_colorization_type等于1，并且着色八叉树是点配对八叉树(例如，参照图24描述的点配对八叉树))中的至少一种。根据实施方式的可伸缩表示信息的细节与参照图18至图26描述的那些相同，因此将省略其描述。
点云数据处理装置接收解码的几何信息的八叉树结构。根据实施方式的八叉树结构由一个或更多个级别表示。根据实施方式的点云数据处理装置通过基于可伸缩表示信息使一个或更多个属性与八叉树结构的各个级别匹配(或将属性匹配到各个级别的节点)来生成着色八叉树。如参照图1至图28描述的，着色八叉树用于可伸缩表示。
根据参照图1至图31描述的实施方式的点云数据处理装置的组件可被实现为硬件、软件、固件或其组合，包括与存储器联接的一个或更多个处理器。根据实施方式的装置的组件可被实现为单个芯片，例如单个硬件电路。另选地，根据实施方式的点云数据处理装置的组件可被实现为单独的芯片。另外，根据实施方式的点云数据处理装置的至少一个组件可包括能够执行一个或更多个程序的一个或更多个处理器，其中，一个或更多个程序可包括执行或被配置为执行参照图1至图31描述的点云数据处理装置的一个或更多个操作/方法的指令。
尽管为了简单起见单独描述了附图，但是可通过将各个图中所示的实施方式合并来设计新的实施方式。根据本领域技术人员的需要设计可由计算机读取的记录有用于执行上述实施方式的程序的记录介质也落在所附权利要求及其等同物的范围内。根据实施方式的装置和方法可不限于上述实施方式的配置和方法。可通过选择性地组合所有或一些实施方式来对实施方式进行各种修改。尽管参照附图描述了优选实施方式，但本领域技术人员将理解，在不脱离所附权利要求中描述的本公开的精神或范围的情况下，可对实施方式进行各种修改和变化。这些修改不应从实施方式的技术思想或观点单独地理解。
可应用方法和装置的描述以彼此补充。例如，根据实施方式的点云数据传输方法可由根据实施方式的点云数据发送装置或包括在点云数据发送装置中的组件执行。另外，根据实施方式的点云数据接收方法可由根据实施方式的点云数据接收装置或包括在点云数据接收装置中的组件执行。
实施方式的装置的各种元件可由硬件、软件、固件或其组合实现。实施方式中的各种元件可由单个芯片(例如，单个硬件电路)实现。根据实施方式，根据实施方式的组件可分别被实现为单独的芯片。根据实施方式，根据实施方式的装置的至少一个或更多个组件可包括能够执行一个或更多个程序的一个或更多个处理器。一个或更多个程序可执行根据实施方式的任一个或更多个操作/方法或者包括用于执行其的指令。用于执行根据实施方式的装置的方法/操作的可执行指令可被存储在被配置为由一个或更多个处理器执行的非暂时性CRM或其它计算机程序产品中，或者可被存储在被配置为由一个或更多个处理器执行的暂时性CRM或其它计算机程序产品中。另外，根据实施方式的存储器可用作不仅涵盖易失性存储器(例如，RAM)，而且涵盖非易失性存储器、闪存和PROM的概念。另外，也可按载波(例如，经由互联网的传输)的形式实现。另外，处理器可读记录介质可分布到经由网络连接的计算机系统，使得处理器可读代码可按分布式方式存储和执行。
在本说明书中，术语“/”和“,”应该被解释为指示“和/或”。例如，表达“A/B”可意指“A和/或B”。此外，“A、B”可意指“A和/或B”。此外，“A/B/C”可意指“A、B和/或C中的至少一个”。另外，“A/B/C”可意指“A、B和/或C中的至少一个”。此外，在本说明书中，术语“或”应该被解释为指示“和/或”。例如，表达“A或B”可意指1)仅A、2)仅B或3)A和B二者。换言之，本文献中使用的术语“或”应该被解释为指示“另外地或另选地”。
诸如第一和第二的术语可用于描述实施方式的各种元件。然而，根据实施方式的各种组件不应受上述术语限制。这些术语仅用于将一个元件与另一元件相区分。例如，第一用户输入信号可被称为第二用户输入信号。类似地，第二用户输入信号可被称为第一用户输入信号。这些术语的使用应该不脱离各种实施方式的范围来解释。第一用户输入信号和第二用户输入信号均是用户输入信号，但除非上下文清楚地另外规定，否则并不意指相同的用户输入信号。
用于描述实施方式的术语是为了描述具体实施方式而使用的，并非旨在限制实施方式。如实施方式的描述和权利要求中使用的，除非上下文清楚地另外规定，否则单数形式包括复数个所指对象。表达“和/或”用于包括术语的所有可能组合。诸如“包括”或“具有”的术语旨在指示图形、数量、步骤、元件和/或组件的存在，应该理解为不排除另外存在图形、数量、步骤、元件和/或组件的可能性。如本文所使用的，诸如“如果”和“当”的条件表达不限于可选情况，旨在解释为当满足特定条件时执行相关操作，或者根据特定条件解释相关定义。
公开的模式
如上所述，在实现实施方式的最佳模式中描述了相关内容。
工业实用性
对于本领域技术人员而言将显而易见的是，可在实施方式的范围内对实施方式进行各种改变或修改。因此，实施方式旨在涵盖本公开的修改和变化，只要它们落在所附权利要求及其等同物的范围内。

Claims (20)

1.一种用于处理点云数据的方法，该方法包括以下步骤：
对包括几何信息和属性信息的所述点云数据进行编码，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及
发送包括经编码的点云数据的比特流。
2.根据权利要求1所述的方法，其中，对所述点云数据进行编码的步骤包括以下步骤：
对所述几何信息进行编码；以及
对所述属性信息进行编码。
3.根据权利要求2所述的方法，其中，对所述属性信息进行编码的步骤包括以下步骤：
接收所述几何信息的八叉树结构，其中，所述八叉树结构由一个或更多个级别表示；以及
通过将所述八叉树结构的各个级别匹配到一个或更多个属性来生成着色八叉树，其中，该着色八叉树用于对所述属性信息进行编码以用于部分或整个属性信息的可伸缩表示。
4.根据权利要求3所述的方法，其中，所述比特流包括可伸缩表示信息，该可伸缩表示信息包括表示是否启用所述可伸缩表示的信息。
5.根据权利要求4所述的方法，其中，当所述信息表示能够进行所述可伸缩表示时，所述可伸缩表示信息包括表示着色八叉树生成方法的信息，该着色八叉树生成方法对应于下列中的至少一种：通过将所述八叉树结构的各个级别匹配到一个或更多个任意属性的生成方法和通过将所述八叉树结构的级别匹配到所述级别的较低级别的属性和位置的生成方法。
6.一种用于处理点云数据的装置，该装置包括：
编码器，该编码器被配置为对包括几何信息和属性信息的所述点云数据进行编码，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及
发送器，该发送器被配置为发送包括经编码的点云数据的比特流。
7.根据权利要求6所述的装置，其中，所述编码器包括：
第一编码器，该第一编码器被配置为对所述几何信息进行编码；以及
第二编码器，该第二编码器被配置为对所述属性信息进行编码。
8.根据权利要求7所述的装置，其中，所述编码器被配置为：
接收所述几何信息的八叉树结构，其中，该八叉树结构由一个或更多个级别表示；并且
通过将所述八叉树结构的各个级别匹配到一个或更多个属性来生成着色八叉树，其中，该着色八叉树用于对所述属性信息进行编码以用于部分或整个属性信息的可伸缩表示。
9.根据权利要求8所述的装置，其中，所述比特流包括可伸缩表示信息，该可伸缩表示信息包括表示是否启用所述可伸缩表示的信息。
10.根据权利要求9所述的装置，其中，当所述信息表示能够进行所述可伸缩表示时，所述可伸缩表示信息包括表示着色八叉树生成方法的信息，该着色八叉树生成方法对应于下列中的至少一种：通过将所述八叉树结构的各个级别匹配到一个或更多个任意属性的生成方法和通过将所述八叉树结构的级别匹配到所述级别的较低级别的属性和位置的生成方法。
11.一种用于处理点云数据的方法，该方法包括以下步骤：
接收包括点云数据的比特流，其中，所述点云数据包括几何信息和属性信息，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及
对所述点云数据进行解码。
12.根据权利要求11所述的方法，其中，对所述点云数据进行解码的步骤包括以下步骤：
对所述几何信息进行解码；以及
对所述属性信息进行解码。
13.根据权利要求12所述的方法，其中，所述比特流包括可伸缩表示信息，该可伸缩表示信息包括表示是否启用所述可伸缩表示的信息。
14.根据权利要求13所述的方法，其中，当所述信息表示能够进行所述可伸缩表示时，所述可伸缩表示信息包括表示着色八叉树生成方法的信息，该着色八叉树生成方法对应于下列中的至少一种：通过将八叉树结构的各个级别匹配到一个或更多个任意属性的生成方法和通过将所述八叉树结构的级别匹配到所述级别的较低级别的属性和位置的生成方法。
15.根据权利要求14所述的方法，其中，对所述属性信息进行解码的步骤包括以下步骤：
接收经解码的几何信息的八叉树结构，其中，该八叉树结构由一个或更多个级别表示；以及
通过基于所述可伸缩表示信息将所述八叉树结构的各个级别匹配到一个或更多个属性来生成着色八叉树，其中，该着色八叉树用于可伸缩表示。
16.一种用于处理点云数据的装置，该装置包括：
接收器，该接收器被配置为接收包括点云数据的比特流，其中，所述点云数据包括几何信息和属性信息，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及
解码器，该解码器被配置为对所述点云数据进行解码。
17.根据权利要求16所述的装置，其中，所述解码器包括：
第一解码器，该第一解码器被配置为对所述几何信息进行解码；以及
第二解码器，该第二解码器被配置为对所述属性信息进行解码。
18.根据权利要求17所述的装置，其中，所述比特流包括可伸缩表示信息，该可伸缩表示信息包括表示是否启用所述可伸缩表示的信息。
19.根据权利要求18所述的装置，其中，当所述信息表示能够进行所述可伸缩表示时，所述可伸缩表示信息包括表示着色八叉树生成方法的信息，该着色八叉树生成方法对应于下列中的至少一种：通过将八叉树结构的各个级别匹配到一个或更多个任意属性的生成方法和通过将所述八叉树结构的级别匹配到所述级别的较低级别的属性和位置的生成方法。
20.根据权利要求19所述的装置，其中，所述解码器被配置为：
接收经解码的几何信息的八叉树结构，其中，该八叉树结构由一个或更多个级别表示；并且
通过基于所述可伸缩表示信息将所述八叉树结构的各个级别匹配到一个或更多个属性来生成着色八叉树，其中，该着色八叉树用于可伸缩表示。
CN202080044643.XA 2019-06-21 2020-05-29 用于处理点云数据的装置和方法 Pending CN114009046A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0074299 2019-06-21
KR20190074299 2019-06-21
PCT/KR2020/006959 WO2020256308A1 (ko) 2019-06-21 2020-05-29 포인트 클라우드 데이터 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
CN114009046A true CN114009046A (zh) 2022-02-01

Family

ID=74037484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080044643.XA Pending CN114009046A (zh) 2019-06-21 2020-05-29 用于处理点云数据的装置和方法

Country Status (4)

Country Link
US (1) US12010341B2 (zh)
EP (1) EP3979205A4 (zh)
CN (1) CN114009046A (zh)
WO (1) WO2020256308A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023025174A1 (zh) * 2021-08-24 2023-03-02 西安电子科技大学 点云预测、点云编码、点云解码方法及设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021062743A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 占位信息的预测方法、编码器、解码器、及存储介质
WO2021138787A1 (zh) * 2020-01-06 2021-07-15 Oppo广东移动通信有限公司 一种帧内预测方法、编码器、解码器及存储介质
KR20220123258A (ko) * 2020-01-06 2022-09-06 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 인트라 예측 방법, 장치, 인코더, 디코더 및 저장 매체
JP2023525207A (ja) * 2020-03-24 2023-06-15 オッポ広東移動通信有限公司 イントラ予測方法、装置、エンコーダ、デコーダ、及び記憶媒体
US11748945B1 (en) * 2023-02-14 2023-09-05 Illuscio, Inc. Systems and methods for signal-based point cloud representation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9530225B1 (en) 2013-03-11 2016-12-27 Exelis, Inc. Point cloud data processing for scalable compression
US9734595B2 (en) * 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
EP3429207A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10535161B2 (en) 2017-11-09 2020-01-14 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection
US11010931B2 (en) * 2018-10-02 2021-05-18 Tencent America LLC Method and apparatus for video coding
US20200202608A1 (en) * 2018-12-21 2020-06-25 Point Cloud Compression, B.V. Method and apparatus for receiving a volumetric video stream
US11039115B2 (en) * 2018-12-21 2021-06-15 Samsung Electronics Co., Ltd. Low complexity color smoothing of reconstructed point clouds
US20200211290A1 (en) * 2018-12-26 2020-07-02 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
US11210812B2 (en) * 2019-05-15 2021-12-28 Samsung Electronics Co., Ltd. Single-pass boundary detection in video-based point cloud compression
US11122102B2 (en) * 2019-07-03 2021-09-14 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
JP2022544571A (ja) * 2019-08-14 2022-10-19 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
KR102476057B1 (ko) * 2019-09-04 2022-12-09 주식회사 윌러스표준기술연구소 클라우드 가상 현실을 위한 imu 센서 데이터를 활용한 비디오 인코딩 및 디코딩 가속 방법 및 장치
US11158107B2 (en) * 2019-10-03 2021-10-26 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102295825B1 (ko) * 2019-10-03 2021-08-31 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11373276B2 (en) * 2020-01-09 2022-06-28 Tencent America LLC Techniques and apparatus for alphabet-partition coding of transform coefficients for point cloud compression
US11551334B2 (en) * 2020-01-09 2023-01-10 Tencent America LLC Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023025174A1 (zh) * 2021-08-24 2023-03-02 西安电子科技大学 点云预测、点云编码、点云解码方法及设备

Also Published As

Publication number Publication date
WO2020256308A1 (ko) 2020-12-24
EP3979205A4 (en) 2022-08-03
US12010341B2 (en) 2024-06-11
US20220417557A1 (en) 2022-12-29
EP3979205A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
CN114503571B (zh) 点云数据发送装置和方法、点云数据接收装置和方法
US20240121418A1 (en) Apparatus and method for processing point cloud data
CN114503586A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
EP4138393A1 (en) Apparatus for transmitting point cloud data, method for transmitting point cloud data, apparatus for receiving point cloud data, and method for receiving point cloud data
CN114175100A (zh) 用于处理点云数据的方法和装置
US12010341B2 (en) Device and method for processing point cloud data
US20220368751A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN114073085A (zh) 点云数据处理方法和设备
CN114073086A (zh) 点云数据处理设备和方法
CN114073092A (zh) 用于处理点云数据的设备和方法
EP4325852A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230059625A1 (en) Transform-based image coding method and apparatus therefor
CN115210765A (zh) 点云数据发送装置、发送方法、处理装置和处理方法
EP4228267A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN114051730A (zh) 处理点云数据的设备和方法
CN114402624A (zh) 点云数据处理设备和方法
US12003769B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP4161074A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
EP4083922A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN117178555A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
CN116438799A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN113597771B (zh) 用于处理点云数据的设备和方法
US20230281878A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
EP4387230A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20240064332A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination