CN116781913A - 点云媒体的编解码方法及相关产品 - Google Patents

点云媒体的编解码方法及相关产品 Download PDF

Info

Publication number
CN116781913A
CN116781913A CN202210243282.2A CN202210243282A CN116781913A CN 116781913 A CN116781913 A CN 116781913A CN 202210243282 A CN202210243282 A CN 202210243282A CN 116781913 A CN116781913 A CN 116781913A
Authority
CN
China
Prior art keywords
point cloud
attribute
slice
geometric
indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210243282.2A
Other languages
English (en)
Inventor
胡颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210243282.2A priority Critical patent/CN116781913A/zh
Priority to PCT/CN2022/135732 priority patent/WO2023169003A1/zh
Priority to US18/235,685 priority patent/US20230396808A1/en
Publication of CN116781913A publication Critical patent/CN116781913A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请属于音视频技术领域，具体涉及一种点云媒体的编解码方法及相关产品。本申请实施例通过在点云样本的媒体文件数据盒中提供压缩单元的类型字段，可以利用不同的字段取值指示待解码的压缩单元为几何头、属性头、几何片或者属性片，从而可以根据点云媒体的消费需求有选择地对部分文件内容进行数据解码，而无需解码全部的文件内容，因此不仅可以提高点云数据消费的灵活性，而且可以显著提高点云数据的传输效率和解码效率，降低带宽资源和计算资源的消耗。

Description

点云媒体的编解码方法及相关产品
技术领域
本申请属于音视频技术领域，具体涉及一种点云媒体的编码方法、点云媒体的解码方法、点云媒体的编码装置、点云媒体的解码装置、计算机可读介质、电子设备以及计算机程序产品。
背景技术
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。在通过点云采集设备获取到大规模的点云数据后，可以对点云数据进行编码封装以向用户传输和呈现。点云媒体在编码传输和解码消费等过程中普遍存在传输数据量大、数据冗余等缺陷，因此如何提高点云媒体的编解码灵活性是目前亟待解决的问题。
发明内容
本申请的目的在于提供一种点云媒体的编码方法、点云媒体的解码方法、点云媒体的编码装置、点云媒体的解码装置、计算机可读介质、电子设备以及计算机程序产品，至少在一定程度上克服相关技术中存在的编解码灵活性差的问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种点云媒体的解码方法，该方法包括：
获取点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；
对所述点云样本进行解封装处理，得到至少一个压缩单元；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据；
根据类型字段选取目标压缩单元，并对所述目标压缩单元进行解码处理，得到点云数据。
根据本申请实施例的一个方面，提供一种点云媒体的编码方法，该方法包括：
获取点云源数据，所述点云源数据包括多个点云帧；
对所述点云帧进行编码处理，得到至少一个压缩单元；
对所述至少一个压缩单元进行封装处理，得到点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据。
根据本申请实施例的一个方面，提供一种点云媒体的解码装置，该装置包括：
获取模块，被配置为获取点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；
解封装模块，被配置为对所述点云样本进行解封装处理，得到至少一个压缩单元；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据；
解码模块，被配置为根据类型字段选取目标压缩单元，并对所述目标压缩单元进行解码处理，得到点云数据。
根据本申请实施例的一个方面，提供一种点云媒体的编码装置，该装置包括：
获取模块，被配置为获取点云源数据，所述点云源数据包括多个点云帧；
编码模块，被配置为对所述点云帧进行编码处理，得到至少一个压缩单元；
封装模块，被配置为对所述至少一个压缩单元进行封装处理，得到点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的点云媒体的编解码方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的点云媒体的编解码方法。
根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的点云媒体的编解码方法。
在本申请实施例提供的技术方案中，通过在点云样本的媒体文件数据盒中提供压缩单元的类型字段，可以利用不同的字段取值指示待解码的压缩单元为几何头、属性头、几何片或者属性片，从而可以根据点云媒体的消费需求有选择地对部分文件内容进行数据解码，而无需解码全部的文件内容，因此不仅可以提高点云数据消费的灵活性，而且可以显著提高点云数据的传输效率和解码效率，降低带宽资源和计算资源的消耗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本申请实施例技术方案的示例性系统架构的示意图。
图2示出了本申请实施例在一个应用场景中的点云媒体编解码流程示意图。
图3示出了本申请一个实施例中的点云媒体的解码方法的步骤流程图。
图4示出了本申请一个实施例中基于TLV格式封装点云样本的语法结构。
图5示出了本申请一个实施例在单个轨道中封装几何码流和属性码流的示例性结构。
图6示出了本申请一个实施例在多个轨道中封装几何码流和属性码流的示例性结构。
图7示出了本申请一个实施例中基于TLV格式封装的压缩单元的语法结构。
图8示出了本申请一个实施例中基于G-PCC压缩模式封装点云样本的语法结构。
图9示出了本申请一个实施例中提供点云片的具体指示信息的点云样本语法结构。
图10示出了本申请一个实施例在子样本的媒体文件数据盒中与编解码器具体参数对应的语法结构。
图11示出了本申请一个实施例中多轨道封装模式下指示属性数量的元数据信息的语法结构。
图12示出了本申请一个实施例中多轨道封装模式下扩展属性类型的元数据信息的语法结构。
图13示出了本申请一个实施例中点云媒体的编码方法的步骤流程图。
图14示出了本申请实施例在多轨道封装的流媒体传输应用场景中进行点云数据编解码的流程图。
图15示出了本申请实施例在单轨道封装的本地点云媒体播放的应用场景中进行点云数据编解码的流程图。
图16示意性地示出了本申请实施例提供的点云解码装置的结构框图。
图17示意性地示出了本申请实施例提供的点云编码装置的结构框图。
图18示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在本申请的具体实施方式中，涉及到点云媒体的传输内容、解码内容和消费内容等与用户相关的数据，当本申请的各个实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本申请实施例中涉及的相关术语或者缩略语解释如下。
沉浸式媒体：能为消费者带来沉浸式体验的媒体内容，沉浸式媒体按照用户在消费媒体内容时的自由度，可以分为3DoF媒体、3DoF+媒体以及6DoF媒体。点云媒体即一种典型的6DoF媒体。
DoF：Degree of Freedom，自由度。本申请中是指用户在观看沉浸式媒体时支持的运动并产生内容交互的自由度。
3DoF：即三自由度，指用户头部围绕x,y,z轴旋转的三种自由度。
3DoF+：即在三自由度的基础上，用户还拥有沿x,y,z轴有限运动的自由度。
6DoF：即在三自由度的基础上，用户还拥有沿x,y,z轴自由运动的自由度。
点云：点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
PCC：Point Cloud Compression，点云压缩。
G-PCC：Geometry-based Point Cloud Compression，基于几何模型的点云压缩。
Sample：样本，媒体文件封装过程中的封装单位，一个媒体文件由很多个样本组成。以视频媒体为例，视频媒体的一个样本通常为一个视频帧。
DASH：dynamic adaptive streaming over HTTP，基于HTTP的动态自适应流是一种自适应比特率流技术，使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。
MPD：media presentation description，DASH中的媒体演示描述信令，用于描述媒体片段信息。
Representation：DASH中，一个或多个媒体成分的组合，比如某种分辨率的视频文件可以看做一个Representation。
Adaptation Sets：DASH中，一个或多个视频流的集合，一个Adaptation Sets中可以包含多个Representation。
Media Segment：媒体片段。符合一定的媒体格式、可播放的片段。播放时可能需要与其前面的0个或多个片段以及初始化片段配合。
点云媒体从编码方式上又可以分为基于传统视频编码方式进行压缩的点云媒体(Video-based Point Cloud Compression，VPCC)以及基于几何特征进行压缩的点云媒体(Geometry-based Point Cloud Compression，GPCC)。在点云媒体的文件封装中，三维位置信息通常称为点云媒体文件的几何组件(Geometry Component)，属性信息称为点云媒体文件的属性组件(Attribute Component)。一个点云媒体文件仅有一个几何组件，但可以存在一个或多个属性组件。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，其主要应用场景可以归为两大类别。1)机器感知点云，例如计算机辅助设计(ComputerAided Design,CAD)、自主导航系统(Autonomous Navigation System，ANS)、实时巡检系统、地理信息系统(Geography Information System，GIS)、视觉分拣机器人、抢险救灾机器人。2)人眼感知点云，例如虚拟现实(Virtual Reality，VR)游戏、数字文化遗产、自由视点广播、三维沉浸通信、三维沉浸交互等点云应用场景。
点云的获取主要有以下途径：计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI、CT、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
图1示出了可以应用本申请实施例技术方案的示例性系统架构的示意图。
如图1所示，系统架构100包括多个终端装置，所述终端装置可通过例如网络150彼此通信。举例来说，系统架构100可以包括通过网络150互连的第一终端装置110和第二终端装置120。在图1的实施例中，第一终端装置110和第二终端装置120执行单向数据传输。
举例来说，第一终端装置110可对点云数据(例如由终端装置110采集的点云数据)进行编码以通过网络150传输到第二终端装置120，已编码的点云数据以一个或多个已编码点云码流形式传输，第二终端装置120可从网络150接收已编码点云数据，对已编码点云数据进行解码以恢复点云数据，并根据恢复的点云数据显示点云内容。
在本申请的一个实施例中，系统架构100可以包括执行已编码点云数据的双向传输的第三终端装置130和第四终端装置140，所述双向传输比如可以发生在视频会议期间。对于双向数据传输，第三终端装置130和第四终端装置140中的每个终端装置可对点云数据(例如由终端装置采集的点云数据)进行编码，以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码点云数据，且可对已编码点云数据进行解码以恢复点云数据，并可根据恢复的点云数据在可访问的显示装置上显示点云内容。
在图1的实施例中，第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140可为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140之间传送已编码点云数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
本申请实施例中的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在对点云媒体进行编码后，需要对编码后的数据流进行封装并传输给用户。相对应地，在点云媒体播放器端，需要先对点云文件进行解封装，然后再进行解码，最后将解码后的数据流呈现。
图2示出了本申请实施例在一个应用场景中的点云媒体编解码流程示意图。
通过采集设备210进行点云数据采集可以捕获真实世界的视觉场景A，采集设备210例如可以是一组相机或者一个具有多镜头和传感器的相机设备。采集结果为点云源数据B，点云源数据B是由大量点云帧组成的帧序列。通过编码器220可以对一个或多个点云帧进行编码处理，得到编码后的G-PCC比特流，具体可以包括编码的几何比特流和属性比特流E。文件封装器230可以根据特定的媒体容器文件格式，对一个或多个编码比特流进行封装处理，得到用于文件回放的媒体文件F或一系列初始化段和用于流式传输的媒体片段Fs。在本申请的一些实施例中，媒体容器文件格式例如可以是ISO/IEC 14496-12[ISOBMFF]中指定的ISO基本媒体文件格式。文件封装器230还可以将元数据封装在媒体文件F或媒体片段Fs中。
文件封装器230输出的媒体文件F与文件解封装器240输入的媒体文件F'相同。文件解封装器通过处理媒体文件F'或处理接收到的媒体片段F's，可以提取得到编码比特流E'并解析元数据。解码器250可以将G-PCC比特流解码为解码信号D'，并根据解码信号D'生成点云数据。适用时，基于由各种类型的传感器(例如头部)确定的当前观看位置、观看方向或视口，可以通过渲染器260将点云数据渲染并显示到头戴式显示器或任何其他显示设备的屏幕上。除了被播放器用来访问解码后的点云数据的适当部分外，当前的观看位置或观看方向也可以用于解码优化。在视口相关的内容分发器270中，当前的观看位置和观看方向也被传递给策略模块，该策略模块可以用于确定要接收的轨道。
在点云媒体的传输技术中，通常采用流化传输技术来处理服务器和客户端之间的媒体资源传输。常见的媒体流化传输技术包括DASH(Dynamic Adaptive Streaming overHTTP)，HLS(HTTP Live Streaming)，SMT(Smart Media Transport)等技术。
以DASH为例，DASH是一种自适应比特率流技术，使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。DASH会将内容分解成一系列小型的基于HTTP的文件片段，每个片段包含很短长度的可播放内容，而内容总长度可能长达数小时(例如电影或体育赛事直播)。内容将被制成多种比特率的备选片段，以提供多种比特率的版本供选用。当媒体内容被DASH客户端播放时，客户端将根据当前网络条件自动选择下载和播放哪一个备选方案。客户端将选择可及时下载的最高比特率片段进行播放，从而避免播放卡顿或重新缓冲事件。也因如此，DASH客户端可以无缝适应不断变化的网络条件并提供高质量的播放体验，拥有更少的卡顿与重新缓冲发生率。
DASH使用现有的HTTP网络服务器基础设施。它允许如互联网电视、电视机顶盒、台式电脑、智能手机、平板电脑等设备消费通过互联网传送的多媒体内容(如视频、电视、广播等)，并可应对变动的互联网接收条件。
下面结合具体实施方式对本申请提供的点云媒体的编码方法、点云媒体的解码方法、点云媒体的编码装置、点云媒体的解码装置、计算机可读介质、电子设备以及计算机程序产品等技术方案做出详细说明。本申请实施例的各项技术方案可以应用于沉浸式媒体系统的服务器端、播放器端以及中间节点等环节。
图3示出了本申请一个实施例中的点云媒体的解码方法的步骤流程图，该方法可以应用于点云媒体系统的服务器、客户端以及中间节点等环节，本申请实施例以安装有点云解码装置的客户端设备执行的点云媒体的解码方法作为示例。如图3所示，该点云媒体的解码方法包括如下的步骤S310至步骤S330。
在步骤S310中，获取点云媒体文件，点云媒体文件包括封装于一个或者多个轨道中的点云样本。
点云媒体文件可以是如图2所示的经过编码和封装处理后得到的媒体文件或者媒体片段，该媒体文件或者媒体片段中承载有待传输的点云码流。
在本申请的一个实施例中，数据源可以根据点云码流中包含的几何参数信息、属性参数信息以及点云片的参数信息，将点云码流封装为单一轨道，或者也可以将单一轨道的点云媒体文件重新封装为包含多个轨道的点云媒体文件。
轨道是指用于承载编码几何比特流或者编码属性比特流的体积视觉轨道(volumetric visual track)，也可以是同时承载编码几何比特流和编码属性比特流的体积视觉轨道。
在点云码流以单轨道封装的情况下，每个点云样本都可以对应于一个的完整的点云帧。
在步骤S320中，对点云样本进行解封装处理，得到至少一个压缩单元；点云样本的媒体文件数据盒包括用于指示压缩单元的类型的类型字段，压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，几何头用于指示几何信息的参数集合，属性头用于指示属性信息的参数集合，几何片是用于指示几何信息的点云片数据，属性片是用于指示属性信息的点云片数据。
媒体文件数据盒可以是基于ISO基本媒体文件格式ISOBMFF(ISO Base MediaFile Format)的数据盒。ISOBMFF的具体信息可以参考标准ISO/IEC 14496-12。
当G-PCC码流被承载在单个轨道中时，可以通过将G-PCC码流存储在单个轨道中来利用简单的ISOBMFF封装，而无需进一步处理。
图4示出了本申请一个实施例中基于TLV格式封装点云样本的语法结构。每个点云样本由一个或多个压缩单元G-PCCunit组成。
图5示出了本申请一个实施例在单个轨道中封装几何码流和属性码流的示例性结构。如图5所示，在单轨道封装模式下，一个点云样本可以包括基于TLV格式封装的一个或者多个压缩单元，例如可以包括图5中的参数集合单元Parameter SetTLV、几何信息单元GeometryTLV和属性信息单元AttributeTLV。
TLV码流格式，即Type-length-value bytestream format，指的是由数据的类型Type、数据的长度Length和数据的值Value组成的结构体。关于TLV码流格式的具体信息可以参考标准ISO/IEC 23090-9。
图6示出了本申请一个实施例在多个轨道中封装几何码流和属性码流的示例性结构。其中，ftyp表示文件类型，描述点云样本遵从的规范的版本；moov表示点云样本的元数据信息metadata；mdat表示点云样本中携带的具体的媒体数据。
如图6所示，在多轨道封装模式下，每个点云组件的码流数据被映射到单独的轨道中。G-PCC组件轨道有两种类型：G-PCC几何轨道和G-PCC属性轨道。轨道中的每个点云样本都包含至少一个压缩单元G-PCC unit，该压缩单元承载单个G-PCC组件数据单元，而不是几何和属性数据单元或者不同属性数据单元的复用。G-PCC属性轨道不应复用不同的属性子流，例如颜色、反射率。
图7示出了本申请一个实施例中基于TLV格式封装的压缩单元的语法结构。其中，tlv_type是用于指示压缩单元的类型的类型字段。表1示出了本申请一个实施例中关于压缩单元类型字段不同取值的语义描述。
表1
tlv_type Description
0 Sequence parameter set
1 Geometry parameter set
2 Geometry data unit
3 Attribute parameter set
4 Attribute data unit
5 Tile inventory
6 Frame boundary marker
7 几何头
8 属性头
9 几何片
10 属性片
如表1所示，不同取值的类型字段可以用于指示不同的压缩单元类型。
当类型字段取值为0时，表示压缩单元的类型为序列参数集合SPS(SequenceParameter Set)。
当类型字段取值为1时，表示压缩单元的类型为几何参数集合GPS(GeometryParameter Set)。
当类型字段取值为2时，表示压缩单元的类型为几何数据单元Geometry dataunit。
当类型字段取值为3时，表示压缩单元的类型为属性参数集合APS(AttributeParameter Set)。
当类型字段取值为4时，表示压缩单元的类型为属性数据单元Attribute dataunit。
当类型字段取值为5时，表示压缩单元的类型为图块清单Tileinventory。
当类型字段取值为6时，表示压缩单元的类型为帧边界标记Frame boundarymarker。
以上压缩单元类型的具体信息可以参考标准ISO/IEC 23090-9。
为了提供更为具体的点云组件的指示信息，从而能够根据实际的点云消费需求更加灵活地进行点云媒体文件的传输和解码，本申请实施例还提供如下的压缩单元类型字段的语义描述。
当类型字段取值为7时，表示压缩单元的类型为几何头，几何头用于指示几何信息的参数集合。
当类型字段取值为8时，表示压缩单元的类型为属性头，属性头用于指示属性信息的参数集合。
当类型字段取值为9时，表示压缩单元的类型为几何片，几何片用于指示几何信息的点云片数据。
当类型字段取值为10时，表示压缩单元的类型为属性片，属性片用于指示属性信息的点云片数据。
在本申请实施例中，压缩单元G-PCCunit包含几何头、属性头、几何片、属性片中的任意一个。同一个点云样本中的压缩单元G-PCCunit对应同一个点云帧且具备相同的呈现时间。
在步骤S330中，根据类型字段选取目标压缩单元，并对目标压缩单元进行解码处理，得到点云数据。
通过在媒体文件数据盒中提供压缩单元的类型字段，可以利用不同的字段取值指示待解码的压缩单元为几何头、属性头、几何片或者属性片，从而可以根据点云媒体的消费需求有选择地对部分文件内容进行数据解码，而无需解码全部的文件内容，因此不仅可以提高点云数据消费的灵活性，而且可以显著提高点云数据的解码效率，降低计算资源的消耗。
在本申请的一个实施例中，点云样本的媒体文件数据盒还可以包括：
组件头数量字段num_component_headers，用于指示点云样本中包括的几何头参数集合以及属性头参数集合的数量。
片数量字段num_slices，用于指示点云样本中包括的点云片的数量，即几何片和属性片的数量。
在本申请的一个实施例中，当组件头数量字段的取值为0时，表示几何头参数集合以及属性头参数集合为解码器配置信息。
图8示出了本申请一个实施例中基于G-PCC压缩模式封装点云样本的语法结构。
组件头数量字段num_component_headers，用于指示当前点云帧包含的几何头以及属性头参数集合的个数。若该字段取值为0，则说明相应的几何头以及属性头参数集合在解码器配置信息中给出。
片数量字段num_slices，用于指示当前点云帧包含的点云片的个数。
针对组件头部分，可以提供如下指示信息的字段。
头类型字段header_type，用于指示参数集合的类型为几何头或者属性头。该字段取值为1表示参数集合为几何头参数集合；取值为2表示参数集合为属性头参数集合。
头长度字段header_length，用于指示参数集合的长度。
头数据字段header，用于指示参数集合中的数据。该字段的解析遵循相应编码标准中的参数集合的定义。
针对点云片部分，可以提供如下指示信息的字段。
片类型字段slice_type，用于指示点云片的类型，具体可以包括点云几何片以及对应于不同属性信息的点云属性片。
片长度字段slice_length，用于指示点云片的长度。点云片包含相应的点云片头与数据信息。
片数据字段slice，用于指示点云片中的数据。该字段的解析遵循相应编码标准中的点云片头和数据信息的定义。
在本申请的一个实施例中，当片类型字段取值为第一数值时，表示点云片的类型为点云几何片；当片类型字段取值为第二数值时，表示点云片的类型为点云颜色属性片；当片类型字段取值为第三数值时，表示点云片的类型为点云反射率属性片；当片类型字段取值为第四数值时，表示点云片的类型为包括颜色属性和反射率属性的点云混合属性片。
举例而言，片类型字段取值为0表示点云几何片；取值为1表示点云颜色属性片；取值为2表示点云反射率属性片；取值为3表示点云混合属性片(即包含颜色和反射率的点云属性片)。
通过提供与组件头或者点云片相关的数量字段和指示信息字段，可以基于字段取值指示点云样本的组件数据，因此可以对组件头或者点云片进行有选择地部分解码，进一步提高点云媒体的解码灵活性和解码效率，并进一步降低计算资源的成本消耗。
在本申请的一个实施例中，点云片包括片头和数据信息；点云样本的媒体文件数据盒还包括：
几何片头长度字段，用于指示点云片为几何片时的片头的长度；
几何片数据长度字段，用于指示点云片为几何片时的数据信息的长度；
属性片头长度字段，用于指示点云片为属性片时的片头的长度；
属性片数据长度字段，用于指示点云片为属性片时的数据信息的长度；
几何片头字段，用于指示点云片为几何片时的点云片头；
几何片数据字段，用于指示点云片为几何片时的数据信息；
属性片头字段，用于指示点云片为属性片时的点云片头；
属性片数据字段，用于指示点云片为属性片时的数据信息。
图9示出了本申请一个实施例中提供点云片的具体指示信息的点云样本语法结构。
当点云片的类型为几何片时，可以利用图9所示的几何片头长度字段geo_slice_header_length和几何片数据长度字段geo_slice_data_length分别指示几何片头的长度以及几何信息的长度，同时可以利用图9所示的几何片头字段geo_slice_header和几何片数据字段geo_slice_data分别指示几何片头以及几何信息的数据。
当点云片的类型为属性片时，可以利用图9所示的属性片头长度字段attr_slice_header_length和属性片数据长度字段attr_slice_data_length分别指示属性片头的长度以及属性信息的长度，同时可以利用图9所示的属性片头字段attr_slice_header和属性片数据字段attr_slice_data分别指示属性片头以及属性信息的数据。
在本申请的一个实施例中，对于一个点云帧样本，可以在其样本内进一步划分子样本，从而达到部分访问的目的。当点云样本包括一个或者多个子样本时，子样本的媒体文件数据盒可以包括子样本标识字段，该字段为用于指示子样本类型的标志位。
当子样本标识字段的取值为0时，表示子样本是基于压缩单元的子样本，即一个子样本由点云样本中的至少一个压缩单元构成。
当子样本标识字段的取值为1时，表示子样本是基于图块的子样本，即一个子样本由对应于一个图块的包含一个或者多个压缩单元的连续单元序列构成，或者一个子样本由包含每个参数集合、图块清单或者帧边界标记的一个或者多个压缩单元的连续单元序列构成。
在本申请的一个实施例中，子样本的媒体文件数据盒可以包括如下的与编解码器具体参数codec_specific_parameters相关的字段：
几何头标识字段，用于指示子样本是否为几何头参数集合；
属性头标识字段，用于指示子样本是否为属性头参数集合；
几何片标识字段，用于指示子样本是否为点云几何片；
属性片标识字段，用于指示子样本是否为点云属性片。
在本申请的一个实施例中，子样本的媒体文件数据盒还可以包括属性类型字段，该字段用于指示当子样本为点云属性片时的点云属性的类型。
在本申请的一个实施例中，当属性类型字段取值为第一数值时，表示点云属性的类型为颜色属性；
当属性类型字段取值为第二数值时，表示点云属性的类型为反射率属性；
当属性类型字段取值为第三数值时，表示点云属性的类型为颜色属性和反射率属性。
图10示出了本申请一个实施例在子样本的媒体文件数据盒中与编解码器具体参数对应的语法结构。
几何头标识字段geo_header_flag，取值为1表示子样本为几何头参数集合；取值为0表示子样本不是几何头参数集合。
属性头标识字段attr_header_flag，取值为1表示子样本为属性头参数集合；取值为0表示子样本不是属性头参数集合。
几何片标识字段geo_slice_flag，取值为1表示子样本为点云几何片；取值为0表示子样本不是点云几何片。
属性片标识字段attr_slice_flag，取值为1表示子样本为点云属性片；取值为0表示子样本不是点云属性片。
在本申请实施例中，几何头标识字段geo_header_flag、属性头标识字段attr_header_flag、几何片标识字段geo_slice_flag、属性片标识字段attr_slice_flag四个标志位不能同时为0。
属性类型字段attr_type指示点云属性片中点云属性的类型。取值为0表示点云属性片仅包含颜色属性；取值为1表示点云属性片仅包含反射率属性；取值为2表示点云属性片同时包含颜色属性和反射率属性。
在本申请的一个实施例中，点云媒体文件中的不同组件信息(几何数据、属性数据)可以基于多轨道封装模式在不同的轨道中进行封装。在此基础上，点云样本及其子样本的相关字段具有对应的取值范围约束。
在本申请的一个实施例中，点云媒体文件包括封装于几何轨道中的第一点云样本，几何轨道是用于封装几何数据的轨道。在第一点云样本的媒体文件数据盒中，片类型字段取值为第一数值，取值为第一数值的片类型字段用于表示第一点云样本中的点云片的类型为点云几何片；在第一点云样本的子样本的媒体文件数据盒中，属性片标识字段的取值范围不包括第二数值，取值为第二数值的属性片标识字段用于表示子样本为点云属性片。
举例而言，对于仅封装几何数据的轨道，若其点云样本中存在片类型字段slice_type，则该字段只能取值为0。同时，其子样本定义中的属性片标识字段attr_slice_flag，不允许存在取值为1的情况。
在本申请的一个实施例中，点云媒体文件包括封装于属性轨道中的第二点云样本，属性轨道是用于封装属性数据的轨道；在第二点云样本的媒体文件数据盒中，头类型字段取值为第三数值，取值为第三数值的头类型字段用于表示参数集合的类型为属性头；在第二点云样本的媒体文件数据盒中，片类型字段的取值范围不包括第一数值，取值为第一数值的片类型字段用于表示第二点云样本中的点云片为点云几何片；在第二点云样本的子样本的媒体文件数据盒中，几何头标识字段的取值范围不包括第二数值，取值为第二数值的几何头标识字段用于表示子样本为几何头参数集合；在第二点云样本的子样本的媒体文件数据盒中，几何片标识字段的取值范围不包括第二数值，取值为第二数值的几何片标识字段用于表示子样本为点云几何片。
举例而言，对于仅封装属性数据的轨道，若其点云样本中存在头类型字段header_type，则该字段只能取值为2，若其样本中存在片类型字段slice_type，其取值不能为0。同时，其子样本定义中的几何头标识字段geo_header_flag与几何片标识字段geo_slice_flag字段，不允许存在取值为1的情况。
在本申请的一个实施例中，点云媒体文件包括封装于多个轨道中的点云样本，点云样本的媒体文件数据盒包括对应于轨道的元数据信息；元数据信息包括：
组件类型字段，用于指示轨道中封装的点云样本的组件类型，组件类型包括用于表示属性数据的属性组件和用于表示几何数据的几何组件；
属性数量字段，用于指示轨道中封装的属性组件的数量；
属性类型字段，用于指示轨道中封装的属性组件的类型。
在此基础上，属性类型字段的不同的取值可以用于表示不同的属性组件的类型。当属性类型字段的取值为第一数值时，表示属性组件的类型为颜色属性；当属性类型字段的取值为第二数值时，表示属性组件的类型为反射率属性。
图11示出了本申请一个实施例中多轨道封装模式下指示属性数量的元数据信息的语法结构。
组件类型字段gpcc_type指示轨道中组件的类型。
属性数量字段attr_num指示轨道中包含的属性组件的个数。
属性类型字段attr_type指示轨道中包含的属性组件的类型。取值为0表示组件的类型为颜色属性；取值为1表示组件的类型为反射率属性。
通过在元数据信息中指示属性数量，可以通过属性数量字段与属性类型字段相结合，指示轨道中封装的每个属性组件的类型。
表2示出了本申请一个实施例中关于组件类型字段不同取值的语义描述。
表2
gpcc_type value Description
1 Reserved
2 Geometry Data
3 Reserved
4 Attribute Data
5..31 Reserved.
如表2所示，当组件类型字段gpcc_type取值为2时，代表点云组件是用于表示几何数据的几何组件；当组件类型字段gpcc_type取值为4时，代表点云组件是用于表示属性数据的属性组件；组件类型字段gpcc_type的其他取值(如1、3、5～31等)为保留值。
在本申请的一个实施例中，点云媒体文件包括封装于多个轨道中的点云样本，点云样本的媒体文件数据盒包括对应于轨道的元数据信息；元数据信息包括：
组件类型字段，用于指示轨道中封装的点云样本的组件类型，组件类型包括用于表示属性数据的属性组件和用于表示几何数据的几何组件；
属性类型字段，用于指示轨道中封装的属性组件的类型。
在此基础上，属性类型字段的不同的取值可以用于表示不同的属性组件的类型。当属性类型字段的取值为第一数值时，表示属性组件的类型为颜色属性；当属性类型字段的取值为第二数值时，表示属性组件的类型为反射率属性；当属性类型字段的取值为第三数值时，表示属性组件的类型同时包括颜色属性和反射率属性。
图12示出了本申请一个实施例中多轨道封装模式下扩展属性类型的元数据信息的语法结构。
组件类型字段gpcc_type指示轨道中组件的类型。
属性类型字段attr_type指示轨道中包含的属性组件的类型。取值为0表示组件的类型为颜色属性；取值为1表示组件的类型为反射率属性；取值为2表示组件的类型同时包含颜色属性和反射率属性。
通过在元数据信息中扩展属性类型的字段取值范围，可以利用属性类型字段分别指示轨道中封装的每个属性组件的类型。
在本申请的一个实施例中，数据源可以向数据接收方发送与点云媒体文件相对应的流媒体传输信令，数据接收方解析数据源发送的流媒体传输信令，得到流媒体传输信令中携带的组件描述符，组件描述符用于指示轨道中封装的点云组件的类型信息和属性信息；根据组件描述符获取由数据源发送的点云媒体文件。
流媒体传输信令是在数据源和数据接收方之间进行传输的用于协调通信过程的消息，例如可以是基于DASH协议的DASH信令，或者还可以是SMT信令。
在单轨道封装模式下，DASH信令包括具有一个或多个表示Representation的自适应集Adaptation Set。其中每个表示Representation均代表一个独立的点云码流。如果一个表示Representation由多个媒体段Media Segment组成，则DASH信令中还包括一个初始化媒体段Initialization Media Segment。
初始化媒体段Initialization Media Segment包含带有G-PCC参数集的GPCC解码器配置记录GPCCDecoderConfigurationRecord，例如在标准ISO/IEC 23090-9中定义的SPS、GPS和APS。
在多轨道封装模式下，DASH信令中的每个G-PCC组件表示为单独的自适应集Adaptation Set，可以称为组件自适应集Component Adaptation Set。包含几何信息的自适应集是作为G-PCC内容接入点的主GPCC自适应集。主GPCC自适应集包含在自适应集Adaptation Set级别上的单个初始化段Initialization Segment或者在表示Representation级别上的多个初始化段Initialization Segment(每个表示Representation各对应一个初始化段Initialization Segment)。初始化段Initialization Segment应包含规定的G-PCC参数集，这些参数集是初始化G-PCC解码器所必需的。
在自适应集Adaptation Set级别上，一个组件描述符GPCCComponentdescriptor应针对自适应集Adaptation Set的表示Representation中存在的每个点云组件发出信号。
在本申请的一个实施例中，组件描述符包括：
组件类型字段component@type，用于指示点云组件的类型为几何组件或者属性组件；
组件属性数量字段component@attr_num，用于指示属性组件的数量；
组件属性类型字段component@attr_type，用于指示属性组件的类型。
表3示出了本申请一个实施例中的组件描述符的语义解释。
表3
/>
在流媒体传输信令中，通过组件描述符指示点云媒体文件中携带的点云组件的组件类型、组件属性数量以及组件属性类型等信息，可以向数据接收方提供对点云媒体文件进行部分接收或者部分解码的指示信息，因而可以提高点云媒体的传输和解码效率，降低带宽资源和计算资源的成本消耗。
图13示出了本申请一个实施例中点云媒体的编码方法的步骤流程图，该方法可以应用于点云媒体系统的服务器、客户端以及中间节点等环节，本申请实施例以安装有点云编码装置的客户端设备执行点云媒体的编码方法作为示例。如图13所示，该点云媒体的编码方法包括如下的步骤S1310至步骤S1330。
在步骤S1310中，获取点云源数据，点云源数据包括多个点云帧。
点云源数据包括表示位于各种3D空间(例如，表示真实环境的3D空间、表示虚拟环境的3D空间等)中的对象和/或环境的点云视频(图像和/或视频)。
在本申请的一个实施例中，数据源可以使用一个或多个相机(例如，能够对深度信息进行保护的红外相机、能够提取与深度信息对应的颜色信息的RGB相机等)、投影仪(例如，用于对深度信息进行保护的红外图案投影仪)、LiDRA等采集设备来捕获点云源数据。从点云源数据的深度信息中可以提取由3D空间中的点构成的几何结构的形状，并可以从点云源数据的颜色信息中提取每个点的属性以对点云源数据进行保护。
以点云视频数据为例，点云视频可以包括一个或多个点云帧，一个点云帧可以表示一帧点云图像。在本申请的一个实施例中，可以基于面向内技术和面向外技术中的至少一种来捕获点云视频数据。
面向内技术是指用设置在中心对象周围的一个或更多个相机(或相机传感器)捕获中心对象的图像的技术。可以使用面向内技术生成向用户提供关键对象的360度图像的点云内容(例如，向用户提供对象(例如，诸如角色、玩家、对象或演员这样的关键对象)的360度图像的VR/AR内容)。
面向外技术是指用设置在中心对象周围的一个或更多个相机(或相机传感器)捕获中心对象的环境而非中心对象的图像的技术。可以使用面向外技术生成用于提供从用户的角度出现的周围环境的点云内容(例如，表示可以提供给自驾驶车辆的用户的外部环境的内容)。
当基于一个或更多个相机的捕获操作来生成点云内容时，坐标系在每个相机当中是不同的，因此，数据源可以在捕获操作之前校准一个或更多个相机以设置全局坐标系。另外，数据源可以通过将任意图像和/或视频与通过上述捕获技术捕获的图像和/或视频进行合成来生成点云内容。数据源可以对所捕获的图像和/或视频执行后处理，例如可以去除不需要的区域(例如背景)，识别所捕获的图像和/或视频连接到的空间，并且当存在空间孔时执行填充空间孔的操作等等。
数据源可以通过对从每个相机保护的点云视频的点执行坐标变换来生成一条点云内容。数据源可以基于每个相机位置的坐标对点执行坐标变换。因此，数据源可以生成一个表示宽泛的空间范围的点云内容，或可以生成具有高密度点的点云内容。
在步骤S1320中，对点云帧进行编码处理，得到至少一个压缩单元。
在步骤S1330中，对至少一个压缩单元进行封装处理，得到点云媒体文件，点云媒体文件包括封装于一个或者多个轨道中的点云样本；点云样本的媒体文件数据盒包括用于指示压缩单元的类型的类型字段，压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，几何头用于指示几何信息的参数集合，属性头用于指示属性信息的参数集合，几何片是用于指示几何信息的点云片数据，属性片是用于指示属性信息的点云片数据。
点云媒体文件可以是如图2所示的经过编码和封装处理后得到的媒体文件或者媒体片段，该媒体文件或者媒体片段中承载有待传输的点云码流。
在本申请的一个实施例中，数据源可以根据点云码流中包含的几何参数信息、属性参数信息以及点云片的参数信息，将点云码流封装为单一轨道，或者也可以将单一轨道的点云媒体文件重新封装为包含多个轨道的点云媒体文件。
轨道可以是用于承载编码几何比特流或者编码属性比特流的体积视觉轨道(volumetric visual track)，也可以是同时承载编码几何比特流和编码属性比特流的体积视觉轨道。
在点云码流以单轨道封装的情况下，每个点云样本都可以对应于一个的完整的点云帧。
媒体文件数据盒可以是基于ISO基本媒体文件格式ISOBMFF(ISO Base MediaFile Format)的数据盒。ISOBMFF的具体信息可以参考标准ISO/IEC 14496-12。
当G-PCC码流被承载在单个轨道中时，可以通过将G-PCC码流存储在单个轨道中来利用简单的ISOBMFF封装，而无需进一步处理。
在单轨道封装模式下，一个点云样本可以包括基于TLV格式封装的一个或者多个压缩单元，例如可以包括图5中的参数集合单元Parameter SetTLV、几何信息单元GeometryTLV和属性信息单元AttributeTLV。
TLV码流格式，即Type-length-value bytestream format，指的是由数据的类型Type、数据的长度Length和数据的值Value组成的结构体。关于TLV码流格式的具体信息可以参考标准ISO/IEC 23090-9。
在多轨道封装模式下，每个点云组件的码流数据被映射到单独的轨道中。G-PCC组件轨道有两种类型：G-PCC几何轨道和G-PCC属性轨道。轨道中的每个点云样本都包含至少一个压缩单元G-PCC unit，该压缩单元承载单个G-PCC组件数据单元，而不是几何和属性数据单元或者不同属性数据单元的复用。G-PCC属性轨道不应复用不同的属性子流，例如颜色、反射率。在多个轨道中封装几何码流和属性码流得到的数据结构可以参考图6。其中，ftyp表示文件类型，描述点云样本遵从的规范的版本；moov box表示点云样本的元数据信息metadata；mdat表示点云样本中携带的具体的媒体数据。
在本申请的一个实施例中，根据编码后的点云源数据的几何信息和属性信息，可以对点云样本的媒体文件数据盒进行字段赋值，赋值依据可以参考图7所示的基于TLV格式封装的压缩单元的语法结构，以及表1所示的关于压缩单元类型字段不同取值的语义描述。
针对不同类型的压缩单元，可以为对应的类型字段填充不同的数值。以表1作为示例。
当压缩单元的类型为序列参数集合SPS(Sequence Parameter Set)时，可以向对应的类型字段填充数值0。
当压缩单元的类型为几何参数集合GPS(Geometry Parameter Set)时，可以向对应的类型字段填充数值1。
当压缩单元的类型为几何数据单元Geometry data unit时，可以向对应的类型字段填充数值2。
当压缩单元的类型为属性参数集合APS(Attribute Parameter Set)t时，可以向对应的类型字段填充数值3。
当压缩单元的类型为属性数据单元Attribute data unitt时，可以向对应的类型字段填充数值4。
当压缩单元的类型为图块清单Tileinventoryt时，可以向对应的类型字段填充数值5。
当压缩单元的类型为帧边界标记Frame boundary markert时，可以向对应的类型字段填充数值6。
以上压缩单元类型的具体信息可以参考标准ISO/IEC 23090-9。
为了提供更为具体的点云组件的指示信息，从而能够根据实际的点云消费需求更加灵活地进行点云媒体文件的传输和解码，本申请实施例还可以根据语义描述对如下的压缩单元类型字段进行赋值。
当压缩单元的类型为几何头类型时，可以向对应的类型字段填充数值7，几何头用于指示几何信息的参数集合。
当压缩单元的类型为属性头时，可以向对应的类型字段填充数值8，属性头用于指示属性信息的参数集合。
当压缩单元的类型为几何片时，可以向对应的类型字段填充数值9，几何片用于指示几何信息的点云片数据。
当压缩单元的类型为属性片时，可以向对应的类型字段填充数值10，属性片用于指示属性信息的点云片数据。
在本申请实施例中，压缩单元G-PCCunit包含几何头、属性头、几何片、属性片中的任意一个。同一个点云样本中的压缩单元G-PCCunit对应同一个点云帧且具备相同的呈现时间。
通过在媒体文件数据盒中提供压缩单元的类型字段，可以利用不同的字段取值指示待解码的压缩单元为几何头、属性头、几何片或者属性片，从而可以根据点云媒体的消费需求有选择地对部分文件内容进行数据解码，而无需解码全部的文件内容，因此不仅可以提高点云数据消费的灵活性，而且可以显著提高点云数据的解码效率，降低计算资源的成本消耗。
图14示出了本申请实施例在多轨道封装的流媒体传输应用场景中进行点云数据编解码的流程图。如图14所示，服务器作为生产点云媒体文件的数据源，可以将点云数据编码并发送至用户所在的客户端，通过客户端对点云媒体文件进行解码后可以得到点云数据以供用户消费。具体的点云数据编解码过程可以包括如下步骤。
步骤S1401：服务器根据点云码流中包含的几何参数信息、属性参数信息以及点云片的参数信息，将点云码流封装为多轨道的点云媒体文件F1。
点云媒体文件F1例如可以包括Track1、Track2和Track3三个轨道。
在轨道Track1的媒体文件数据盒GPCCComponentInfoBox中，gpcc_type＝2；代表该轨道内封装的点云组件是用于表示几何数据的几何组件。
在轨道Track2的媒体文件数据盒GPCCComponentInfoBox中，gpcc_type＝4，attr_num＝1，attr_type＝0；代表该轨道内封装的点云组件是用于表示属性数据的属性组件，而且该轨道中仅包含一个属性组件，该属性组件的属性类型为颜色属性。
在轨道Track2的媒体文件数据盒GPCCComponentInfoBox中，gpcc_type＝4；attr_num＝1；attr_type＝1；代表该轨道内封装的点云组件是用于表示属性数据的属性组件，而且该轨道中仅包含一个属性组件，该属性组件的属性类型为反射率属性。
步骤S1402：服务器将文件F1按照DASH标准转化为流媒体传输场景下的多个片段。
步骤S1403：服务器生成MPD信令信息，并发送给客户端。
步骤S1404：客户端解析MPD信令中的组件描述符。
组件描述符中包括属性数量字段attr_num与属性类型字段attr_type，基于组件描述符的字段取值可以确定表示Representation中包含的属性组件的数量以及对应的类型。
步骤S1405：客户端根据自身的带宽和需求请求相应的表达进行消费。
基于组件描述符的取值可以有选择地向服务器请求传输不同的点云数据，避免点云媒体文件的全量传输和全量解码，进而提高数据传输效率以及解码效率，降低带宽资源和计算资源的消耗。例如，客户端1可以请求几何数据、颜色属性数据进行消费，客户端2请求几何数据、颜色、反射率属性数据进行消费。
图15示出了本申请实施例在单轨道封装的本地点云媒体播放的应用场景中进行点云数据编解码的流程图。如图15所示，服务器作为生产点云媒体文件的数据源，可以将点云数据编码并发送至用户所在的客户端，通过客户端对点云媒体文件进行解码后可以得到点云数据以供用户消费。具体的点云数据编解码过程可以包括如下步骤。
步骤S1501：服务器根据点云码流中包含的几何参数信息、属性参数信息以及点云片的参数信息，将点云码流封装为单轨道的点云媒体文件F1。
在点云媒体文件F1中可以划分点云样本的子样本，从而达到部分访问的目的。子样本是基于压缩单元的子样本，即一个子样本由点云样本中的至少一个压缩单元构成。
当点云样本包括一个或者多个子样本时，子样本的媒体文件数据盒可以包括子样本标识字段，该字段为用于指示子样本类型的标志位。当子样本标识字段的取值为0时，表示子样本是基于压缩单元的子样本，即一个子样本由点云样本中的至少一个压缩单元构成。
子样本的媒体文件数据盒可以包括如下的与编解码器具体参数codec_specific_parameters相关的字段：
几何头标识字段，用于指示子样本是否为几何头参数集合；
属性头标识字段，用于指示子样本是否为属性头参数集合；
几何片标识字段，用于指示子样本是否为点云几何片；
属性片标识字段，用于指示子样本是否为点云属性片；
属性类型字段，用于指示当子样本为点云属性片时的点云属性的类型。
其中，几何头标识字段geo_header_flag，取值为1表示子样本为几何头参数集合；取值为0表示子样本不是几何头参数集合。
属性头标识字段attr_header_flag，取值为1表示子样本为属性头参数集合；取值为0表示子样本不是属性头参数集合。
几何片标识字段geo_slice_flag，取值为1表示子样本为点云几何片；取值为0表示子样本不是点云几何片。
属性片标识字段attr_slice_flag，取值为1表示子样本为点云属性片；取值为0表示子样本不是点云属性片。
几何头标识字段geo_header_flag、属性头标识字段attr_header_flag、几何片标识字段geo_slice_flag、属性片标识字段attr_slice_flag四个标志位不能同时为0。
属性类型字段attr_type指示点云属性片中点云属性的类型。取值为0表示点云属性片仅包含颜色属性；取值为1表示点云属性片仅包含反射率属性；取值为2表示点云属性片同时包含颜色属性和反射率属性。
步骤S1502：服务器将点云媒体文件F1传输给客户端。
步骤S1503：客户端解析点云媒体文件F1的媒体文件数据盒，得到点云样本中包含的子样本划分的信息。
步骤S1504：客户端根据子样本划分的信息对点云媒体文件F1中的点云样本进行有选择地解码并消费。
基于媒体文件数据盒中的几何头标识字段geo_header_flag、属性头标识字段attr_header_flag、几何片标识字段geo_slice_flag、属性片标识字段attr_slice_flag、属性类型字段attr_type等信息可以确定子样本对应的压缩单元中包含的数据类型，因此可以根据自身需求，结合样本中包含的子样本划分的信息(子样本工具本身可以将一个样本划分为不同的数据块，结合本发明中定义的)对点云样本进行有选择地解码并消费。例如客户端1可以部分解码几何数据、颜色属性数据进行消费。客户端2可以完整解码几何数据、颜色属性数据、反射率属性数据进行消费。
本申请实施例通过在文件封装层面以及传输信令层面进行字段扩展，可以在媒体文件数据盒中定义单轨封装模式下轨道样本和子样本中的组件信息、多轨封装模式下轨道样本和子样本中的组件信息、以及定义多轨封装模式下轨道的组件指示信息，使得客户端可以按照组件类型传输、解封装以及解码所需的点云数据，达到部分访问和部分传输的目的，提高点云数据传输效率及解码效率，实现最大化节省带宽和计算资源。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的点云媒体的编解码方法。
图16示意性地示出了本申请实施例提供的点云解码装置的结构框图。
如图16所示，点云媒体的解码装置1600可以包括：
获取模块1610，被配置为获取点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；
解封装模块1620，被配置为对所述点云样本进行解封装处理，得到至少一个压缩单元；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据；
解码模块1630，被配置为根据类型字段选取目标压缩单元，并对所述目标压缩单元进行解码处理，得到点云数据。
图17示意性地示出了本申请实施例提供的点云编码装置的结构框图。
如图17所示，点云媒体的编码装置1700可以包括：
获取模块1710，被配置为获取点云源数据，所述点云源数据包括多个点云帧；
编码模块1720，被配置为对所述点云帧进行编码处理，得到至少一个压缩单元；
封装模块1730，被配置为对所述至少一个压缩单元进行封装处理，得到点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据。
本申请各实施例中提供的点云媒体的编码装置以及解码装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图18示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图18示出的电子设备的计算机系统1800仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图18所示，计算机系统1800包括中央处理器1801(Central Processing Unit，CPU)，其可以根据存储在只读存储器1802(Read-Only Memory，ROM)中的程序或者从存储部分1808加载到随机访问存储器1803(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器1803中，还存储有系统操作所需的各种程序和数据。中央处理器1801、在只读存储器1802以及随机访问存储器1803通过总线1804彼此相连。输入/输出接口1805(Input/Output接口，即I/O接口)也连接至总线1804。
以下部件连接至输入/输出接口1805：包括键盘、鼠标等的输入部分1806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1807；包括硬盘等的存储部分1808；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至输入/输出接口1805。可拆卸介质1811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1810上，以便于从其上读出的计算机程序根据需要被安装入存储部分1808。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1809从网络上被下载和安装，和/或从可拆卸介质1811被安装。在该计算机程序被中央处理器1801执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (23)

1.一种点云媒体的解码方法，其特征在于，包括：
获取点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；
对所述点云样本进行解封装处理，得到至少一个压缩单元；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据；
根据类型字段选取目标压缩单元，并对所述目标压缩单元进行解码处理，得到点云数据。
2.根据权利要求1所述的点云媒体的解码方法，其特征在于，所述点云样本的媒体文件数据盒包括：
组件头数量字段，用于指示所述点云样本中包括的参数集合的数量；
片数量字段，用于指示所述点云样本中包括的点云片的数量。
3.根据权利要求2所述的点云媒体的解码方法，其特征在于，当所述组件头数量字段的取值为0时，表示所述参数集合为解码器配置信息。
4.根据权利要求2所述的点云媒体的解码方法，其特征在于，所述点云样本的媒体文件数据盒还包括：
头类型字段，用于指示所述参数集合的类型为几何头或者属性头；
头长度字段，用于指示所述参数集合的长度；
头数据字段，用于指示所述参数集合中的数据。
5.根据权利要求2所述的点云媒体的解码方法，其特征在于，所述点云样本的媒体文件数据盒还包括：
片类型字段，用于指示所述点云片的类型；
片长度字段，用于指示所述点云片的长度；
片数据字段，用于指示所述点云片中的数据。
6.根据权利要求5所述的点云媒体的解码方法，其特征在于：
当所述片类型字段取值为第一数值时，表示所述点云片的类型为点云几何片；
当所述片类型字段取值为第二数值时，表示所述点云片的类型为点云颜色属性片；
当所述片类型字段取值为第三数值时，表示所述点云片的类型为点云反射率属性片；
当所述片类型字段取值为第四数值时，表示所述点云片的类型为包括颜色属性和反射率属性的点云混合属性片。
7.根据权利要求2所述的点云媒体的解码方法，其特征在于，所述点云片包括片头和数据信息；所述点云样本的媒体文件数据盒还包括：
几何片头长度字段，用于指示所述点云片为几何片时的片头的长度；
几何片数据长度字段，用于指示所述点云片为几何片时的数据信息的长度；
属性片头长度字段，用于指示所述点云片为属性片时的片头的长度；
属性片数据长度字段，用于指示所述点云片为属性片时的数据信息的长度；
几何片头字段，用于指示所述点云片为几何片时的点云片头；
几何片数据字段，用于指示所述点云片为几何片时的数据信息；
属性片头字段，用于指示所述点云片为属性片时的点云片头；
属性片数据字段，用于指示所述点云片为属性片时的数据信息。
8.根据权利要求1至7中任意一项所述的点云媒体的解码方法，其特征在于，所述点云样本包括一个或者多个子样本，所述子样本的媒体文件数据盒包括子样本标识字段；当所述子样本标识字段的取值为0时，表示所述子样本由所述点云样本中的至少一个压缩单元构成。
9.根据权利要求8所述的点云媒体的解码方法，其特征在于，所述子样本的媒体文件数据盒还包括：
几何头标识字段，用于指示所述子样本是否为几何头参数集合；
属性头标识字段，用于指示所述子样本是否为属性头参数集合；
几何片标识字段，用于指示所述子样本是否为点云几何片；
属性片标识字段，用于指示所述子样本是否为点云属性片。
10.根据权利要求9所述的点云媒体的解码方法，其特征在于，所述子样本的媒体文件数据盒还包括：
属性类型字段，用于指示当所述子样本为点云属性片时的点云属性的类型。
11.根据权利要求10所述的点云媒体的解码方法，其特征在于：
当所述属性类型字段取值为第一数值时，表示所述点云属性的类型为颜色属性；
当所述属性类型字段取值为第二数值时，表示所述点云属性的类型为反射率属性；
当所述属性类型字段取值为第三数值时，表示所述点云属性的类型为颜色属性和反射率属性。
12.根据权利要求8所述的点云媒体的解码方法，其特征在于，所述点云媒体文件包括封装于几何轨道中的第一点云样本，所述几何轨道是用于封装几何数据的轨道；
在所述第一点云样本的媒体文件数据盒中，片类型字段取值为第一数值，取值为第一数值的片类型字段用于表示所述第一点云样本中的点云片的类型为点云几何片；
在所述第一点云样本的子样本的媒体文件数据盒中，属性片标识字段的取值范围不包括第二数值，取值为第二数值的属性片标识字段用于表示所述子样本为点云属性片。
13.根据权利要求8所述的点云媒体的解码方法，其特征在于，所述点云媒体文件包括封装于属性轨道中的第二点云样本，所述属性轨道是用于封装属性数据的轨道；
在所述第二点云样本的媒体文件数据盒中，头类型字段取值为第三数值，取值为第三数值的头类型字段用于表示参数集合的类型为属性头；
在所述第二点云样本的媒体文件数据盒中，片类型字段的取值范围不包括第一数值，取值为第一数值的片类型字段用于表示所述第二点云样本中的点云片为点云几何片；
在所述第二点云样本的子样本的媒体文件数据盒中，几何头标识字段的取值范围不包括第二数值，取值为第二数值的几何头标识字段用于表示子样本为几何头参数集合；
在所述第二点云样本的子样本的媒体文件数据盒中，几何片标识字段的取值范围不包括第二数值，取值为第二数值的几何片标识字段用于表示子样本为点云几何片。
14.根据权利要求1至7中任意一项所述的点云媒体的解码方法，其特征在于，所述点云媒体文件包括封装于多个轨道中的点云样本，所述点云样本的媒体文件数据盒包括对应于所述轨道的元数据信息；所述元数据信息包括：
组件类型字段，用于指示所述轨道中封装的点云组件的组件类型，所述组件类型包括用于表示属性数据的属性组件和用于表示几何数据的几何组件；
属性数量字段，用于指示所述轨道中封装的属性组件的数量；
属性类型字段，用于指示所述轨道中封装的属性组件的类型。
15.根据权利要求14所述的点云媒体的解码方法，其特征在于：
当所述属性类型字段的取值为第一数值时，表示所述属性组件的类型为颜色属性；
当所述属性类型字段的取值为第二数值时，表示所述属性组件的类型为反射率属性；
当所述属性类型字段的取值为第三数值时，表示所述属性组件的类型包括所述颜色属性和所述反射率属性。
16.根据权利要求1至7中任意一项所述的点云媒体的解码方法，其特征在于，获取点云媒体文件，包括：
解析数据源发送的流媒体传输信令，得到所述流媒体传输信令中携带的组件描述符，所述组件描述符用于指示轨道中封装的点云组件的类型信息和属性信息；
根据所述组件描述符获取由所述数据源发送的点云媒体文件。
17.根据权利要求16所述的点云媒体的解码方法，其特征在于，所述组件描述符包括：
组件类型字段，用于指示点云组件的类型为几何组件或者属性组件；
组件属性数量字段，用于指示属性组件的数量；
组件属性类型字段，用于指示属性组件的类型。
18.一种点云媒体的编码方法，其特征在于，包括：
获取点云源数据，所述点云源数据包括多个点云帧；
对所述点云帧进行编码处理，得到至少一个压缩单元；
对所述至少一个压缩单元进行封装处理，得到点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据。
19.一种点云媒体的解码装置，其特征在于，包括：
获取模块，被配置为获取点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；
解封装模块，被配置为对所述点云样本进行解封装处理，得到至少一个压缩单元；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据；
解码模块，被配置为根据类型字段选取目标压缩单元，并对所述目标压缩单元进行解码处理，得到点云数据。
20.一种点云媒体的编码装置，其特征在于，包括：
获取模块，被配置为获取点云源数据，所述点云源数据包括多个点云帧；
编码模块，被配置为对所述点云帧进行编码处理，得到至少一个压缩单元；
封装模块，被配置为对所述至少一个压缩单元进行封装处理，得到点云媒体文件，所述点云媒体文件包括封装于一个或者多个轨道中的点云样本；所述点云样本的媒体文件数据盒包括用于指示所述压缩单元的类型的类型字段，所述压缩单元的类型包括几何头、属性头、几何片和属性片中的任意一个，所述几何头用于指示几何信息的参数集合，所述属性头用于指示属性信息的参数集合，所述几何片是用于指示几何信息的点云片数据，所述属性片是用于指示属性信息的点云片数据。
21.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至18中任意一项所述的方法。
22.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令使得所述电子设备执行权利要求1至18中任意一项所述的方法。
23.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至18中任意一项所述的方法。
CN202210243282.2A 2022-03-11 2022-03-11 点云媒体的编解码方法及相关产品 Pending CN116781913A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210243282.2A CN116781913A (zh) 2022-03-11 2022-03-11 点云媒体的编解码方法及相关产品
PCT/CN2022/135732 WO2023169003A1 (zh) 2022-03-11 2022-12-01 点云媒体的解码方法、点云媒体的编码方法及装置
US18/235,685 US20230396808A1 (en) 2022-03-11 2023-08-18 Method and apparatus for decoding point cloud media, and method and apparatus for encoding point cloud media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210243282.2A CN116781913A (zh) 2022-03-11 2022-03-11 点云媒体的编解码方法及相关产品

Publications (1)

Publication Number Publication Date
CN116781913A true CN116781913A (zh) 2023-09-19

Family

ID=87937145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210243282.2A Pending CN116781913A (zh) 2022-03-11 2022-03-11 点云媒体的编解码方法及相关产品

Country Status (3)

Country Link
US (1) US20230396808A1 (zh)
CN (1) CN116781913A (zh)
WO (1) WO2023169003A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021001377A (es) * 2018-08-08 2021-04-19 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo de codificacion de datos tridimensionales y dispositivo de decodificacion de datos tridimensionales.
US20220368751A1 (en) * 2019-07-03 2022-11-17 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11743501B2 (en) * 2020-04-07 2023-08-29 Qualcomm Incorporated High-level syntax design for geometry-based point cloud compression
WO2021210867A1 (ko) * 2020-04-12 2021-10-21 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021210837A1 (ko) * 2020-04-13 2021-10-21 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102355634B1 (ko) * 2020-04-14 2022-02-08 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN113542907B (zh) * 2020-04-16 2022-09-23 上海交通大学 多媒体数据收发方法、系统、处理器和播放器

Also Published As

Publication number Publication date
US20230396808A1 (en) 2023-12-07
WO2023169003A1 (zh) 2023-09-14

Similar Documents

Publication Publication Date Title
US11805304B2 (en) Method, device, and computer program for generating timed media data
KR102261559B1 (ko) 정보 처리 방법 및 장치
CN110800311B (zh) 用于传输媒体内容的方法、装置和计算机程序
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
US11638066B2 (en) Method, device and computer program for encapsulating media data into a media file
CN114697668B (zh) 点云媒体的编解码方法及相关产品
CN110741649B (zh) 用于轨道合成的方法及装置
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN115396647B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
WO2019138929A1 (ja) 情報処理装置および方法
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
JP2023531579A (ja) ボリュメトリックメディア処理方法および装置
WO2019138928A1 (ja) 情報処理装置および方法
KR102661694B1 (ko) 미디어 파일 캡슐화 방법, 미디어 파일 캡슐화 해제 방법 및 관련 디바이스
CN118118694A (zh) 点云封装与解封装方法、装置、介质及电子设备
CN116347118A (zh) 一种沉浸媒体的数据处理方法及相关设备
CN115150368A (zh) 媒体文件的关联处理方法、装置、介质及电子设备
CN117082262A (zh) 点云文件封装与解封装方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40092358

Country of ref document: HK