CN118118694A - 点云封装与解封装方法、装置、介质及电子设备 - Google Patents

点云封装与解封装方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN118118694A
CN118118694A CN202211517326.2A CN202211517326A CN118118694A CN 118118694 A CN118118694 A CN 118118694A CN 202211517326 A CN202211517326 A CN 202211517326A CN 118118694 A CN118118694 A CN 118118694A
Authority
CN
China
Prior art keywords
point cloud
entity
track
alternative
replaceable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211517326.2A
Other languages
English (en)
Inventor
胡颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211517326.2A priority Critical patent/CN118118694A/zh
Priority to PCT/CN2023/133893 priority patent/WO2024114519A1/zh
Publication of CN118118694A publication Critical patent/CN118118694A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请属于音视频技术领域，具体涉及一种点云封装与解封装方法、装置、介质及电子设备。本申请实施例中的点云封装方法包括：获取点云码流中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；根据所述信息数据盒将所述内容实体封装为点云文件。本申请实施例可以有效识别点云文件中可替换的点云码流。

Description

点云封装与解封装方法、装置、介质及电子设备
技术领域
本申请属于音视频技术领域，具体涉及一种点云封装方法、点云解封装方法、点云封装装置、点云解封装装置、计算机可读介质、电子设备以及计算机程序产品。
背景技术
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云媒体按照用户在消费媒体内容时的自由度，可以分为3自由度(DegreeofFreedom，简称DoF)媒体、3DoF+媒体以及6DoF媒体。
针对相同内容的点云媒体，可以通过编码形成具有不同质量的可替换的点云码流，以供用户选择消费。当不同质量的点云码流封装于同一个点云文件时，各个点云码流之间的替换关系难以识别。
发明内容
本申请的提供一种点云封装方法、点云解封装方法、点云封装装置、点云解封装装置、计算机可读介质、电子设备以及计算机程序产品，目的在于有效识别点云文件中可替换的点云码流。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种点云封装方法，该方法包括：
获取点云码流中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
根据所述信息数据盒将所述内容实体封装为点云文件。
根据本申请实施例的一个方面，提供一种点云解封装方法，该方法包括：
获取点云文件中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
根据所述信息数据盒解封装所述点云文件，得到由所述内容实体组成的点云码流。
根据本申请实施例的一个方面，提供一种点云封装装置，该装置包括：
第一获取模块，被配置为获取点云码流中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
封装模块，被配置为根据所述信息数据盒将所述内容实体封装为点云文件。
根据本申请实施例的一个方面，提供一种点云解封装装置，该装置包括：
第二获取模块，被配置为获取点云文件中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
解封装模块，被配置为根据所述信息数据盒解封装所述点云文件，得到由所述内容实体组成的点云码流。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的方法。
根据本申请实施例的一个方面，提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如以上技术方案中的方法。
在本申请实施例提供的技术方案中，通过配置点云码流中内容实体的信息数据盒并在信息数据盒中提供实体标识字段，能够指示内容实体为可替换组中的一个实体，或者指示内容实体包含于可替换的至少两个点云码流中，由此可以实现在点云码流层面提高识别度，有效识别具有替换关系的点云码流。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本申请实施例技术方案的示例性系统架构的示意图。
图2示出了本申请实施例在一个应用场景中的点云媒体编解码流程示意图。
图3示出了本申请相关技术中以多轨道封装的可替换组示意图。
图4示出了本申请一个实施例中对于两个相互之间可替换的点云码流可以采用的文件封装方式。
图5示出了本申请一个实施例中对于三个相互之间可替换的点云码流可以采用的文件封装方式。
图6示出了本申请一个实施例中基于指示点云码流可替换关系的点云封装方法。
图7示出了本申请一个实施例中新增可替换信息数据盒的数据结构。
图8示出了本申请一个实施例中基于单轨封装的点云文件封装结构。
图9示出了本申请一个实施例中基于组件的多轨封装的点云文件封装结构。
图10示出了本申请一个实施例中基于分片的多轨封装(几何数据与属性数据共同封装)的点云文件封装结构。
图11示出了本申请一个实施例中基于分片的多轨封装(几何数据与属性数据分别封装)的点云文件封装结构。
图12示出了本申请一个实施例中基于AVS标准的点云可替换信息结构。
图13示出了本申请一个实施例中基于AVS标准的点云可替换轨道组的数据盒结构。
图14示出了本申请一个实施例中基于AVS标准的非时序点云媒体可替换组的数据盒结构。
图15示出了本申请一个实施例中的基于指示点云码流可替换关系的点云解封装方法。
图16示意性地示出了本申请实施例提供的点云封装装置的结构框图。
图17示意性地示出了本申请实施例提供的点云解封装装置的结构框图。
图18示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例涉及点云媒体的编解码技术，现对相关技术术语解释如下。
点云：点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
Slice：点云片/点云条，代表部分或全部编码后点云数据的一系列语法元素(比如几何slice、属性slice)集合。
Track：轨道，轨道是媒体文件封装过程中的媒体数据集合，由多个具有时序性的样本组成。一个媒体文件可由一个或多个轨道组成，例如常见的：一个媒体文件可以包含一个视频媒体轨道、一个音频媒体轨道及一个字幕媒体轨道。特别地，元数据信息也可以作为一种媒体类型，以元数据媒体轨道的形式包含于文件中。
Sample：样本，样本是媒体文件封装过程中的封装单位，一个轨道由很多个样本组成，每个样本对应特定的时间戳信息，例如：一个视频媒体轨道可以由很多个样本组成，一个样本通常为一个视频帧。在本申请实施例中，点云媒体轨道中的一个样本可以为一个点云帧。
Sample Entry：样本入口，用于指示轨道中所有样本相关的元数据信息。比如在视频轨道的样本入口中，通常会包含解码器初始化相关的元数据信息。
Tile：点云帧边界空间区域内的六面体空间分块区域。一个点云空间分块由一个或多个点云片组成，点云空间分块之间不存在编解码依赖关系。
DASH：dynamic adaptive streaming over HTTP，基于HTTP的动态自适应流，是一种自适应比特率流技术，使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。
MPD：media presentation description，DASH中的媒体演示描述信令，用于描述媒体片段信息。
Representation：DASH中，一个或多个媒体成分的组合，比如某种分辨率的视频文件可以看做一个Representation。
Adaptation Sets：DASH中，一个或多个视频流的集合，一个Adaptation Sets中可以包含多个Representation。
Media Segment：媒体片段。符合一定的媒体格式、可播放的片段。播放时可能需要与其前面的0个或多个片段以及初始化片段配合。
DoF：Degree of Freedom，自由度，指的是用户在观看沉浸式媒体时支持的运动并产生内容交互的自由度。
3DoF：即三自由度，指用户头部围绕x,y,z轴旋转的三种自由度。
3DoF+：即在三自由度的基础上，用户还拥有沿x,y,z轴有限运动的自由度。
6DoF：即在三自由度的基础上，用户还拥有沿x,y,z轴自由运动的自由度。
AVS：Audio Video Coding Standard，中国国家视频编码标准。
MPEG：Moving Picture Experts Group，动态图像专家组，是ISO(InternationalStandardization Organization，国际标准化组织)与IEC(InternationalElectrotechnical Commission，国际电工委员会)成立的专门针对运动图像和语音压缩制定国际标准的组织。
ISOBMFF：ISO Based Media File Format，基于ISO标准的媒体文件格式。ISOBMFF是媒体文件的封装标准，最典型的ISOBMFF文件即MP4文件。
点云媒体从编码方式上可以分为基于传统视频编码方式进行压缩的点云媒体(Video-based Point Cloud Compression，VPCC)以及基于几何特征进行压缩的点云媒体(Geometry-based Point Cloud Compression，GPCC)。在点云媒体的文件封装中，三维位置信息通常称为点云文件的几何组件(Geometry Component)，属性信息称为点云文件的属性组件(Attribute Component)。一个点云文件仅有一个几何组件，但可以存在一个或多个属性组件。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，包括虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design,CAD)、地理信息系统(Geography Information System，GIS)、自动导航系统(AutonomousNavigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等。
点云的获取主要有以下途径：计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI、CT、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
在对点云媒体进行编码后，需要对编码后的数据流进行封装并传输给用户。相对应地，在点云媒体播放器端，需要先对点云文件进行解封装，然后再进行解码，最后将解码后的数据流呈现。
图1示出了可以应用本申请实施例技术方案的示例性系统架构的示意图。
如图1所示，系统架构100包括多个终端装置，所述终端装置可通过例如网络150彼此通信。举例来说，系统架构100可以包括通过网络150互连的第一终端装置110和第二终端装置120。在图1的实施例中，第一终端装置110和第二终端装置120执行单向数据传输。
举例来说，第一终端装置110可对点云数据(例如由终端装置110采集的点云数据)进行编码以通过网络150传输到第二终端装置120，已编码的点云数据以一个或多个已编码点云码流形式传输，第二终端装置120可从网络150接收已编码点云数据，对已编码点云数据进行解码以恢复点云数据，并根据恢复的点云数据显示点云内容。
在本申请的一个实施例中，系统架构100可以包括执行已编码点云数据的双向传输的第三终端装置130和第四终端装置140，所述双向传输比如可以发生在视频会议期间。对于双向数据传输，第三终端装置130和第四终端装置140中的每个终端装置可对点云数据(例如由终端装置采集的点云数据)进行编码，以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码点云数据，且可对已编码点云数据进行解码以恢复点云数据，并可根据恢复的点云数据在可访问的显示装置上显示点云内容。
在图1的实施例中，第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140可为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140之间传送已编码点云数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
本申请实施例中的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在对点云媒体进行编码后，需要对编码后的数据流进行封装并传输给用户。相对应地，在点云媒体播放器端，需要先对点云文件进行解封装，然后再进行解码，最后将解码后的数据流呈现。
图2示出了本申请实施例在一个应用场景中的点云媒体编解码流程示意图。
通过采集设备210进行点云数据采集可以捕获真实世界的视觉场景A，采集设备210例如可以是一组相机或者一个具有多镜头和传感器的相机设备。采集结果为点云源数据B，点云源数据B是由大量点云帧组成的帧序列。通过编码器220可以对一个或多个点云帧进行编码处理，得到编码后的G-PCC比特流，具体可以包括编码的几何比特流和属性比特流E。文件封装器230可以根据特定的媒体容器文件格式，对一个或多个编码比特流进行封装处理，得到用于文件回放的媒体文件F或一系列初始化段和用于流式传输的媒体片段Fs。在本申请的一些实施例中，媒体容器文件格式例如可以是ISO/IEC 14496-12[ISOBMFF]中指定的ISO基本媒体文件格式。文件封装器230还可以将元数据封装在媒体文件F或媒体片段Fs中。
文件封装器230输出的媒体文件F与文件解封装器240输入的媒体文件F'相同。文件解封装器通过处理媒体文件F'或处理接收到的媒体片段F's，可以提取得到编码比特流E'并解析元数据。解码器250可以将G-PCC比特流解码为解码信号D'，并根据解码信号D'生成点云数据。适用时，基于由各种类型的传感器(例如头部)确定的当前观看位置、观看方向或视口，可以通过渲染器260将点云数据渲染并显示到头戴式显示器或任何其他显示设备的屏幕上。除了被播放器用来访问解码后的点云数据的适当部分外，当前的观看位置或观看方向也可以用于解码优化。在视口相关的内容分发器270中，当前的观看位置和观看方向也被传递给策略模块，该策略模块可以用于确定要接收的轨道。
在点云媒体的传输技术中，通常采用流化传输技术来处理服务器和客户端之间的媒体资源传输。常见的媒体流化传输技术包括DASH(Dynamic Adaptive Streaming overHTTP)，HLS(HTTP Live Streaming)，SMT(Smart Media Transport)等技术。
以DASH为例，DASH是一种自适应比特率流技术，使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。DASH会将内容分解成一系列小型的基于HTTP的文件片段，每个片段包含很短长度的可播放内容，而内容总长度可能长达数小时(例如电影或体育赛事直播)。内容将被制成多种比特率的备选片段，以提供多种比特率的版本供选用。当媒体内容被DASH客户端播放时，客户端将根据当前网络条件自动选择下载和播放哪一个备选方案。客户端将选择可及时下载的最高比特率片段进行播放，从而避免播放卡顿或重新缓冲事件。也因如此，DASH客户端可以无缝适应不断变化的网络条件并提供高质量的播放体验，拥有更少的卡顿与重新缓冲发生率。DASH使用现有的HTTP网络服务器基础设施。它允许如互联网电视、电视机顶盒、台式电脑、智能手机、平板电脑等设备消费通过互联网传送的多媒体内容(如视频、电视、广播等)，并可应对变动的互联网接收条件。
在点云文件中封装有对应于不同点云轨道的可替换组(alternative group)，具有相同点云内容且具有不同点云质量的点云轨道可以划分在同一个可替换组内。当GPCC点云数据以单轨道封装时，不同质量的点云轨道同属一个可替换组。当GPCC点云数据以多轨道封装时，不同质量的点云内容的几何成分轨道同属一个可替换组，而属性成分轨道可以关联至几何成分轨道。
图3示出了本申请相关技术中以多轨道封装的可替换组示意图。如图3所示，在可替换组300中包括具有相同点云内容的第一点云数据310和第二点云数据320。其中，第一点云数据310是点云质量相对较高的无损压缩点云数据(Lossless coded GPCC)，第二点云数据320是点云质量相对较低的有损压缩点云数据(Lossy coded GPCC)。
第一点云数据310中包括第一几何组件轨道311和关联至第一几何组件轨道311的第一属性组件轨道312，第二点云数据320中包括第二几何组件轨道321和关联至第二几何组件轨道321的第二属性组件轨道322。
图4示出了本申请一个实施例中对于两个相互之间可替换的点云码流可以采用的文件封装方式。如图4所示，点云码流bitstream1和点云码流bitstream2可以采用如下三种不同的文件封装方式。
(1)将其分别封装为两个不同的文件，如图中所示的文件1和文件2。其中，文件1包含点云码流bitstream1对应的几何组件轨道track1和属性组件轨道track2，文件2包含点云码流bitstream2对应的几何组件轨道track1和属性组件轨道track2。
(2)将其封装为同一个文件且相互之间互为可替换关系，如图中所示的文件3。此时几何组件轨道track1和属性组件轨道track2对应于点云码流bitstream1，几何组件轨道track3和属性组件轨道track4对应于点云码流bitstream2。
(3)如果点云码流bitstream1和点云码流bitstream2中的几何信息完全一致，即几何信息采用完全相同的编码方式，此时还可以省略一个重复的几何轨道，将点云码流bitstream1和点云码流bitstream2封装成文件4。此时仅属性组件轨道track2和属性组件轨道track3互为可替换关系，几何组件轨道track1与属性组件轨道track2对应点云码流bitstream1，几何组件轨道track1与属性组件轨道track3对应点云码流bitstream2。
图5示出了本申请一个实施例中对于三个相互之间可替换的点云码流可以采用的文件封装方式。如图5所示，在使用图4所示的第3种文件封装方式的基础上，几何组件轨道track1与属性组件轨道track2对应点云码流bitstream1，几何组件轨道track1与属性组件轨道track3对应点云码流bitstream2，几何组件轨道track4与属性组件轨道track5对应点云码流bitstream3。由于点云码流bitstream3与点云码流bitstream1或者点云码流bitstream2之间不存在重复的几何组件轨道，因此仅仅指示track2和track3的可替换关系是不够的，还需要额外指示出track1+track2、track1+track3以及track4+track5之间的可替换关系，否则便无法清晰地指示各个点云码流之间的可替换关系。
针对相关技术中无法清晰指示点云码流之间的可替换关系的问题，本申请实施例提供一种点云可替换内容文件封装与信令指示方法，能够指示点云码流级别的可替换关系，并能够指示可替换的码流中共享的组件成分，包括共享的几何组件以及可能共享的属性组件。
图6示出了本申请一个实施例中基于指示点云码流可替换关系的点云封装方法，该方法可以应用于点云媒体系统的服务器端、播放器端或者中间节点等环节。
如图6所示，基于指示点云码流可替换关系的点云封装方法可以包括如下的步骤S610至S620。
S610：获取点云码流中内容实体的信息数据盒，信息数据盒包括实体标识字段；实体标识字段用于指示内容实体为可替换组中的一个实体，或者用于指示内容实体包含于可替换的至少两个点云码流中；可替换组是由具有可替换关系的多个内容实体组成的实体集合；
S620：根据信息数据盒将内容实体封装为点云文件。
本申请实施例中的内容实体可以是点云轨道或者点云项目。点云轨道包括具有时序性的多个点云样本，例如点云轨道中的一个点云样本可以是具有对应时间戳的点云帧，相当于动态视频中的视频帧。点云项目包括具有非时序性的多个点云样本，例如点云项目中的一个点云样本可以是不具有时序关系的点云图像，相当于静态图集中的一个图像。
本申请实施例利用在信息数据盒中配置的实体标识字段的不同取值能够指示点云码流之间的可替换关系。举例而言，点云轨道track1对应的实体标识字段取值为1，表示该轨道包含于可替换的两个点云码流bitstream1和bitstream2中。点云轨道track2和track3对应的实体标识字段均取值为0，表示点云轨道track2和点云轨道track3分别为可替换组中的一个可替换的轨道。点云轨道track1与点云轨道track2可以组成点云码流bitstream1，点云轨道track1与点云轨道track3可以组成另一个点云码流bitstream2，根据实体标识字段的指示作用，能够清晰地标识出点云码流bitstream1和bitstream2的可替换关系。
在本申请的一个实施例中，信息数据盒还包括替换标识字段，替换标识字段用于指示内容实体所属的可替换组的标识符。举例而言，在点云轨道track2的信息数据盒中，替换标识字段取值为2；在点云轨道track3的信息数据盒中，替换标识字段也取值为2。由此可以表示点云轨道track2和点云轨道track3归属于同一个标识符为2的可替换组。
在本申请的一个实施例中，当实体标识字段指示内容实体包含于可替换的至少两个点云码流中时，信息数据盒还包括集合数量字段和集合标识字段，集合数量字段用于指示可替换组中包含的内容实体的数量，集合标识字段用于指示可替换组的标识符。
举例而言，在点云轨道track1的信息数据盒中，实体标识字段取值为1，表示该轨道包含于可替换的两个点云码流bitstream1和bitstream2中。点云轨道track2和track3对应的实体标识字段均取值为0，且替换标识字段均取值为2，表示点云轨道track2和点云轨道track3归属于同一个标识符为2的可替换组。点云轨道track1与点云轨道track2可以组成点云码流bitstream1，点云轨道track1与点云轨道track3可以组成另一个点云码流bitstream2。为了标识点云码流bitstream1与点云码流bitstream2的组成关系，可以在点云轨道track1的信息数据盒中配置集合数量字段和集合标识字段；其中，集合数量字段取值为1，集合标识字段取值为2，表示该点云轨道track1仅被1个标识符为2的可替换组使用以形成可替换的点云码流bitstream1和bitstream2。
又例如，在点云码流bitstream1和点云码流bitstream2中还包括共享的点云轨道track4，点云轨道track4归属于标识符为3的另一个可替换组。那么在点云轨道track1的信息数据盒中，可以配置集合数量字段取值为2，集合标识字段取值为2和3，表示该点云轨道track1同时被2个标识符分别为2和3的可替换组使用以形成可替换的点云码流bitstream1和bitstream2。
在本申请的一个实施例中，当内容实体为点云轨道时，信息数据盒包含在点云轨道的样本入口中。
本申请实施例可以对点云轨道的ISOBMFF数据盒做语法扩展，用以实现上述的对于点云码流的可替换性标识。
图7示出了本申请一个实施例中新增可替换信息数据盒的数据结构。
shared_alternative_track_flag为实体标识字段，取值为0时表示当前点云轨道为多个可替换的轨道集合中的某一个轨道。取值为1时表示当前点云轨道被可替换的轨道集合中的多个轨道共同使用。
alternative_id为替换标识字段，指示当前轨道所属的可替换组的标识符。
num_share_alternative_group为集合数量字段，指示共享当前点云轨道的可替换组轨道集合的个数。
share_alternative_group_id为集合标识字段，指示共享当前点云轨道的可替换组的标识符。
在本申请的一个实施例中，在根据信息数据盒将内容实体封装为点云文件时，可以使用多种不同的封装模式。例如，单轨封装，基于组件的多轨封装，基于分片的多轨封装。其中，基于分片的多轨封装又可以包括几何数据与属性数据共同封装的模式，或者几何数据与属性数据分别封装的模式。
图8示出了本申请一个实施例中基于单轨封装的点云文件封装结构。如图8中所示，一个点云轨道单独封装为一个点云文件，该点云轨道包括样本入口以及多个点云样本，每个点云样本中可以包含参数信息、几何数据和属性数据。
图9示出了本申请一个实施例中基于组件的多轨封装的点云文件封装结构。如图9中所示，一个几何组件轨道track1与两个属性组件轨道track2、track3共同封装为一个点云文件。几何组件轨道track1包含样本入口和多个样本，其中每个样本包含参数信息和几何数据。属性组件轨道track2包含样本入口和多个样本，其中每个样本包含参数信息和属性1数据。属性组件轨道track3包含样本入口和多个样本，其中每个样本包含参数信息和属性2数据。属性1和属性2是两种不同的点云属性，例如可以是色彩、材质或者其他属性信息。
在本申请的一个实施例中，当点云码流使用基于组件的多轨封装模式时，点云码流包括用于封装点云几何数据的几何组件轨道和用于封装点云属性数据的属性组件轨道。
当信息数据盒包含在几何组件轨道的样本入口中时，实体标识字段指示几何组件轨道与可替换组中的至少两个属性组件轨道分别组合以形成可替换的点云码流。
当信息数据盒包含在属性组件轨道的样本入口中时，实体标识字段用于指示属性组件轨道是可替换组中的一个轨道，或者用于指示属性组件轨道与可替换组中的至少两个属性组件轨道分别组合以形成可替换的点云码流。
举例而言，在本申请实施例的一个应用场景中，当该数据盒包含于点云几何组件轨道的样本入口中时，该数据盒中的shared_alternative_track_flag字段取值必须为1，此时表示点云几何组件轨道被可替换的多个属性组件轨道共享。
当该数据盒包含于点云属性组件轨道的样本入口中时，若该数据盒中的shared_alternative_track_flag字段取值为1，则该点云属性组件轨道对应的点云几何组件轨道中必然包含GPCCAlternativeInfoBox且shared_alternative_track_flag字段取值必须为1，此时表示该点云属性组件以及对应的点云几何轨道被其他可替换的属性组件轨道共享。
图10示出了本申请一个实施例中基于分片的多轨封装(几何数据与属性数据共同封装)的点云文件封装结构。如图10中所示，点云文件中包含三个点云片轨道slicebasetrack、slicetrack 1以及slicetrack 2。
点云片轨道slicebasetrack包括样本入口和多个样本，其中每个样本包含用于保存元数据的几何头和属性头。
点云片轨道slicetrack 1包括样本入口和多个样本，其中每个样本可以包括点云片slice1的几何片头、几何数据、属性片头、属性数据，以及点云片slice2的几何片头、几何数据、属性片头、属性数据。
点云片轨道slicetrack 2包括样本入口和多个样本，其中每个样本可以包括点云片slice3的几何片头、几何数据、属性片头、属性数据。
图11示出了本申请一个实施例中基于分片的多轨封装(几何数据与属性数据分别封装)的点云文件封装结构。如图11中所示，点云文件中包含五个点云片轨道slicebasetrack、slicetrack 1、slicetrack 2、slicetrack 3以及slicetrack 4。
点云片轨道slicebasetrack包括样本入口和多个样本，其中每个样本包含用于保存元数据的几何头和属性头。
点云片轨道slicetrack 1为几何组件轨道，包括样本入口和多个样本，其中每个样本可以包括点云片slice1的几何片头、几何数据，以及点云片slice2的几何片头、几何数据。
点云片轨道slicetrack 2为属性组件轨道，包括样本入口和多个样本，其中每个样本可以包括点云片slice1的属性片头、属性数据，以及点云片slice2的属性片头、属性数据。
点云片轨道slicetrack 3为几何组件轨道，包括样本入口和多个样本，其中每个样本可以包括点云片slice3的几何片头、几何数据。
点云片轨道slicetrack 4为属性组件轨道，包括样本入口和多个样本，其中每个样本可以包括点云片slice3的属性片头、属性数据。
在本申请的一个实施例中，当点云码流使用基于分片的多轨封装模式时，点云码流包括以点云片作为封装样本的点云片轨道。
当信息数据盒包含在点云片轨道的样本入口中，且点云片轨道包含点云几何数据时，实体标识字段指示点云片轨道与可替换组中的至少两个包含点云属性数据的轨道分别组合以形成可替换的点云码流；
当信息数据盒包含在点云片轨道的样本入口中，且点云片轨道包含点云属性数据时，实体标识字段用于指示点云片轨道是可替换组中的一个轨道，或者用于指示点云片轨道与可替换组中的至少两个包含点云属性数据的轨道分别组合以形成可替换的点云码流。
举例而言，在本申请实施例的一个应用场景中，当该数据盒包含于点云分片轨道的样本入口中且该点云分片轨道包含几何组件数据时，该数据盒中的shared_alternative_track_flag字段取值必须为1，此时表示点云几何组件轨道被可替换的多个包含属性组件的点云分片轨道共享。
当该数据盒包含于点云分片轨道的样本入口中且该点云分片轨道包含属性组件数据时，若该数据盒中的shared_alternative_track_flag字段取值为1，则该点云分片轨道对应的包含几何组件数据的点云分片轨道中必然包含GPCCAlternativeInfoBox且shared_alternative_track_flag字段取值必须为1，此时表示该包含属性组件的点云分片轨道以及对应的包含几何组件数据的点云分片轨道被其他可替换的包含属性组件的点云分片轨道共享。
在本申请的一个实施例中，基于AVS标准，还可以通过扩展可替换信息结构及相关轨道组和实体组的方式来指示点云码流之间的可替换关系。
图12示出了本申请一个实施例中基于AVS标准的点云可替换信息结构。如图12所示，当点云轨道存在可替换轨道时，点云可替换信息结构AvsPCCAlternativeInfoStruct用于指示可替换组内多个轨道之间的差异。
其中，quality_ranking_flag取值为1时表示可替换组内的轨道之间存在质量上的可替换关系；取值为0时表示可替换组内的轨道之间不存在质量上的可替换关系。
quality_ranking指示质量等级信息，该字段取值越小，表明对应轨道的质量越高。
shared_alternative_track_flag取值为0时表示当前点云轨道为多个可替换的轨道集合中的某一个轨道。取值为1时表示当前点云轨道被可替换的轨道集合中的多个轨道共同使用。
alternative_id指示当前轨道所属的可替换组的标识符。
num_share_alternative_group指示共享当前点云轨道的可替换组轨道集合的个数。
share_alternative_group_id指示共享当前点云轨道的可替换组的标识符。
图13示出了本申请一个实施例中基于AVS标准的点云可替换轨道组的数据盒结构。点云轨道可以存在可替换关系，相互之间可替换的轨道同属于一个点云可替换轨道组。
图14示出了本申请一个实施例中基于AVS标准的非时序点云媒体可替换组的数据盒结构。点云项目可以存在可替换关系，相互之间可替换的项目同属于一个点云可替换组。
其中，group_id指示当前实体组的标识符。
num_entities_in_group指示当前实体组内的实体(轨道或者项目)数目。
entity_id指示实体的标识符。
AvsPCCAlternativeInfoStruct指示当前实体的可替换信息。
在本申请的一个实施例中，在根据信息数据盒将内容实体封装为点云文件之后，还可以生成用于描述点云文件的信令文件，信令文件包括实体标识元素，实体标识元素用于指示内容实体为可替换组中的一个实体，或者用于指示内容实体包含于可替换的至少两个点云码流中。
在本申请的一个实施例中，信令文件还包括替换标识元素，替换标识元素用于指示内容实体所属的可替换组的标识符。
在本申请的一个实施例中，当实体标识元素指示内容实体包含于可替换的至少两个点云码流中时，信令文件还包括集合标识元素，集合标识元素用于指示可替换组的标识符。
以DASH信令为例，在本申请实施例的一个应用场景中，可以通过在DASH信令中配置一个@schemeIdUri属性值为"urn:mpeg:mpegI:gpcc:2020:alternativeInfo"的SupplementalProperty元素，用以表示一个可替换信息描述子。该描述子用于定义可替换组内的轨道对应的representation的具体信息。
该描述子可描述Representation、Adaptation Set或者Preselection级别的媒体资源。当该描述子描述Adaptation Set或者Preselection级别时，意味着Adaptation Set或者Preselection级别内所有representation均对应同一个可替换信息。
一个MPD信令中可存在一个或多个可替换信息描述子。
表1示出了MPD信令中可替换信息描述子的语法和语义。
表1
在本申请的一个实施例中，也可以利用DASH信令中的现有的Preselection结构来指示点云码流之间的可替换关系。例如，本申请实施例可以将每个可替换的轨道组织为一个Adaptation Set，利用Preselection中的@preselectionComponents元素标识出一系列的Adaptation Set，且Preselection中的@id元素等于相应的alternative group id。
或者，本申请实施例可以将每个可替换的轨道组织为一个Representation，利用Preselection中的@preselectionComponents元素标识出一系列的Adaptation Set，且Preselection中的@id元素等于相应的alternative group id。
图15示出了本申请一个实施例中的基于指示点云码流可替换关系的点云解封装方法，该方法可以应用于点云媒体系统的服务器端、播放器端或者中间节点等环节。
如图15所示，基于指示点云码流可替换关系的点云解封装方法可以包括如下的步骤S1510至S1520。
S1510：获取点云文件中内容实体的信息数据盒，信息数据盒包括实体标识字段；实体标识字段用于指示内容实体为可替换组中的一个实体，或者用于指示内容实体包含于可替换的至少两个点云码流中；可替换组是由具有可替换关系的多个内容实体组成的实体集合。
S1520：根据信息数据盒解封装点云文件，得到由内容实体组成的点云码流。
在本申请的一个实施例中，在获取点云文件中内容实体的信息数据盒之前，方法还包括：获取用于描述点云文件的信令文件，信令文件包括实体标识元素，实体标识元素用于指示内容实体为可替换组中的一个实体，或者用于指示内容实体包含于可替换的至少两个点云码流中；根据信令文件请求传输点云文件。
本申请实施例中点云解封装方法的方案实施细节可以参考上述关于点云封装方法的实施例，此处不再赘述。
下面以一个应用场景作为示例，说明根据本申请实施例提供的点云封装与封装方法在服务器与客户端之间进行点云传输的方案。
在该应用场景中进行点云传输的方案包括如下过程。
(1)服务器将点云码流封装为点云文件。
当N个点云码流为相同内容不同质量的可替换版本时，若其中M(大于1)个码流的几何数据以完全相同的编码方式获得，且M个点云码流以基于组件的多轨封装方式进行文件封装：则仅保留一个几何组件轨道，并指示该共享的几何组件轨道和其他可替换的属性组件轨道之间的关系。
在M个码流中，若同时存在K个码流的某一组或多组点云属性数据以完全相同的编码方式获得，则对于一组同类型的点云属性数据，仅保留一个属性组件轨道；并指示该共享的点云属性轨道和几何组件轨道之间的关系。
图15示出了本申请实施例在一个应用场景中进行点云封装得到的点云文件结构。
如图15所示，服务器将点云码流封装为点云文件，其中3个点云码流bitstream1、bitstream2、bitstream3为相同内容不同质量的可替换版本，且其中bitstream1、bitstream2码流的几何数据以完全相同的编码方式获得，bitstream1、bitstream2码流以基于组件的多轨封装方式进行文件封装。bitstream1和bitstream2中的某个属性(如反射率)也以完全相同的编码方式获得。bitstream3以单轨方式封装。
则在点云文件中：对于bitstream1和bitstream2中的几何轨道以及反射率属性轨道，仅保留一个轨道；指示共享的几何轨道、反射率属性轨道和2个颜色属性轨道之间的关系。
Track1：{shared_alternative_track_flag＝1；alternative_id＝1；
num_share_alternative_group＝2；share_alternative_group_id＝{2,3}}
Track2：{shared_alternative_track_flag＝0；alternative_id＝2}
Track3：{shared_alternative_track_flag＝0；alternative_id＝2}
Track4：{shared_alternative_track_flag＝1；alternative_id＝3；
num_share_alternative_group＝1；share_alternative_group_id＝{2}}
Track5：{shared_alternative_track_flag＝0；alternative_id＝1}
(2)服务器将点云文件全部传输给客户端。
(3)客户端收到完整点云文件F1，其中包含可替换的所有点云轨道。客户端在对点云文件进行解封装、解码和呈现时，根据用户设备性能以及呈现效果的需求，结合文件中相应的元数据信息，选择F1中的轨道进行解码呈现。
根据点云文件中的数据盒信息，可知客户端有3中选择：
Track1+Track2+Track4；
Track1+Track3+Track4；
Track5。
下面以另一个应用场景作为示例，说明根据本申请实施例提供的点云封装与封装方法在服务器与客户端之间进行点云传输的方案。
在该应用场景中进行点云传输的方案包括如下过程。
(1)服务器将点云码流封装为点云文件。
点云文件的封装结构与上述应用场景相同，此处不再赘述。
(2)服务器根据几何组件轨道和属性组件轨道之间的共享以及可替换关系，生成相应的信令描述文件，将信令文件传输给客户端。
基于上述应用场景中封装的点云文件，生成的信令文件包括如下信息。
Representation1(Track1)：
PCCAlternativeInfo@shared_alternative_track_flag＝1；
PCCAlternativeInfo@alternative_id＝1；
PCCAlternativeInfo@share_alternative_group_id＝{2,3}。
Representation2(Track2)：
PCCAlternativeInfo@shared_alternative_track_flag＝0；
PCCAlternativeInfo@alternative_id＝2。
Representation3(Track3)：
PCCAlternativeInfo@shared_alternative_track_flag＝0；
PCCAlternativeInfo@alternative_id＝2。
Representation4(Track4)：
PCCAlternativeInfo@shared_alternative_track_flag＝1；
PCCAlternativeInfo@alternative_id＝3；
PCCAlternativeInfo@share_alternative_group_id＝{2}。
Representation5(Track5)：
PCCAlternativeInfo@shared_alternative_track_flag＝0；
PCCAlternativeInfo@alternative_id＝1。
(3)客户端收到信令文件，解析信令文件后，根据自身的需求请求相应的传输流(对应文件中的一个或多个轨道)Fs。客户端对收到的文件片段进行解封装和解码，最终呈现点云内容。
根据信令信息，可知客户端有3种选择：
Representation1+Representation2+Representation4；
Representation1+Representation3+Representation4；
Representation5。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的方法。
图16示意性地示出了本申请实施例提供的点云封装装置的结构框图。
如图16所示，点云封装装置1600包括：
第一获取模块1610，被配置为获取点云码流中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
封装模块1620，被配置为根据所述信息数据盒将所述内容实体封装为点云文件。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，所述信息数据盒还包括替换标识字段，所述替换标识字段用于指示所述内容实体所属的可替换组的标识符。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，当所述实体标识字段指示所述内容实体包含于可替换的至少两个所述点云码流中时，所述信息数据盒还包括集合数量字段和集合标识字段，所述集合数量字段用于指示共同使用所述内容实体的所述可替换组的数量，所述集合标识字段用于指示共同使用所述内容实体的所述可替换组的标识符。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，所述内容实体为点云轨道或者点云项目，所述点云轨道包括具有时序性的多个点云样本，所述点云项目包括具有非时序性的多个点云样本。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，当所述内容实体为点云轨道时，所述信息数据盒包含在所述点云轨道的样本入口中。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，当所述点云码流使用基于组件的多轨封装模式时，所述点云码流包括用于封装点云几何数据的几何组件轨道和用于封装点云属性数据的属性组件轨道。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，当所述信息数据盒包含在所述几何组件轨道的样本入口中时，所述实体标识字段指示所述几何组件轨道与可替换组中的至少两个属性组件轨道分别组合以形成可替换的点云码流；
当所述信息数据盒包含在所述属性组件轨道的样本入口中时，所述实体标识字段用于指示所述属性组件轨道是所述可替换组中的一个轨道，或者用于指示所述属性组件轨道与所述可替换组中的至少两个属性组件轨道分别组合以形成可替换的点云码流。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，当所述点云码流使用基于分片的多轨封装模式时，所述点云码流包括以点云片作为封装样本的点云片轨道。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，当所述信息数据盒包含在所述点云片轨道的样本入口中，且所述点云片轨道包含点云几何数据时，所述实体标识字段指示所述点云片轨道与所述可替换组中的至少两个包含点云属性数据的轨道分别组合以形成可替换的点云码流；
当所述信息数据盒包含在所述点云片轨道的样本入口中，且所述点云片轨道包含点云属性数据时，所述实体标识字段用于指示所述点云片轨道是所述可替换组中的一个轨道，或者用于指示所述点云片轨道与所述可替换组中的至少两个包含点云属性数据的轨道分别组合以形成可替换的点云码流。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，所述点云封装装置1600还包括：
生成模块，被配置为生成用于描述所述点云文件的信令文件，所述信令文件包括实体标识元素，所述实体标识元素用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，所述信令文件还包括替换标识元素，所述替换标识元素用于指示所述内容实体所属的可替换组的标识符。
在本申请的一个实施例中，基于上述实施例中的点云封装装置，当所述实体标识元素指示所述内容实体包含于可替换的至少两个所述点云码流中时，所述信令文件还包括集合标识元素，所述集合标识元素用于指示所述可替换组的标识符。
图17示意性地示出了本申请实施例提供的点云解封装装置的结构框图。如图17所示，点云解封装装置1700包括：
第二获取模块1710，被配置为获取点云文件中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
解封装模块1720，被配置为根据所述信息数据盒解封装所述点云文件，得到由所述内容实体组成的点云码流。
在本申请的一个实施例中，基于上述实施例中的点云解封装装置，所述点云解封装装置还包括：
第三获取模块，被配置为获取用于描述所述点云文件的信令文件，所述信令文件包括实体标识元素，所述实体标识元素用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；
传输模块，被配置为根据所述信令文件请求传输所述点云文件。
本申请各实施例中提供的点云封装装置以及点云解封装的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图18示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图18示出的电子设备的计算机系统1800仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图18所示，计算机系统1800包括中央处理器1801(Central Processing Unit，CPU)，其可以根据存储在只读存储器1802(Read-Only Memory，ROM)中的程序或者从存储部分1808加载到随机访问存储器1803(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器1803中，还存储有系统操作所需的各种程序和数据。中央处理器1801、在只读存储器1802以及随机访问存储器1803通过总线1804彼此相连。输入/输出接口1805(Input/Output接口，即I/O接口)也连接至总线1804。
以下部件连接至输入/输出接口1805：包括键盘、鼠标等的输入部分1806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1807；包括硬盘等的存储部分1808；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至输入/输出接口1805。可拆卸介质1811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1810上，以便于从其上读出的计算机程序根据需要被安装入存储部分1808。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1809从网络上被下载和安装，和/或从可拆卸介质1811被安装。在该计算机程序被中央处理器1801执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (19)

1.一种点云封装方法，其特征在于，包括：
获取点云码流中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
根据所述信息数据盒将所述内容实体封装为点云文件。
2.根据权利要求1所述的点云封装方法，其特征在于，所述信息数据盒还包括替换标识字段，所述替换标识字段用于指示所述内容实体所属的可替换组的标识符。
3.根据权利要求1所述的点云封装方法，其特征在于，当所述实体标识字段指示所述内容实体包含于可替换的至少两个所述点云码流中时，所述信息数据盒还包括集合数量字段和集合标识字段，所述集合数量字段用于指示共同使用所述内容实体的所述可替换组的数量，所述集合标识字段用于指示共同使用所述内容实体的所述可替换组的标识符。
4.根据权利要求1所述的点云封装方法，其特征在于，所述内容实体为点云轨道或者点云项目，所述点云轨道包括具有时序性的多个点云样本，所述点云项目包括具有非时序性的多个点云样本。
5.根据权利要求1至4中任意一项所述的点云封装方法，其特征在于，当所述内容实体为点云轨道时，所述信息数据盒包含在所述点云轨道的样本入口中。
6.根据权利要求5所述的点云封装方法，其特征在于，当所述点云码流使用基于组件的多轨封装模式时，所述点云码流包括用于封装点云几何数据的几何组件轨道和用于封装点云属性数据的属性组件轨道。
7.根据权利要求6所述的点云封装方法，其特征在于，当所述信息数据盒包含在所述几何组件轨道的样本入口中时，所述实体标识字段指示所述几何组件轨道与可替换组中的至少两个属性组件轨道分别组合以形成可替换的点云码流；
当所述信息数据盒包含在所述属性组件轨道的样本入口中时，所述实体标识字段用于指示所述属性组件轨道是所述可替换组中的一个轨道，或者用于指示所述属性组件轨道与所述可替换组中的至少两个属性组件轨道分别组合以形成可替换的点云码流。
8.根据权利要求5所述的点云封装方法，其特征在于，当所述点云码流使用基于分片的多轨封装模式时，所述点云码流包括以点云片作为封装样本的点云片轨道。
9.根据权利要求8所述的点云封装方法，其特征在于，当所述信息数据盒包含在所述点云片轨道的样本入口中，且所述点云片轨道包含点云几何数据时，所述实体标识字段指示所述点云片轨道与所述可替换组中的至少两个包含点云属性数据的轨道分别组合以形成可替换的点云码流；
当所述信息数据盒包含在所述点云片轨道的样本入口中，且所述点云片轨道包含点云属性数据时，所述实体标识字段用于指示所述点云片轨道是所述可替换组中的一个轨道，或者用于指示所述点云片轨道与所述可替换组中的至少两个包含点云属性数据的轨道分别组合以形成可替换的点云码流。
10.根据权利要求1至4中任意一项所述的点云封装方法，其特征在于，在根据所述信息数据盒将所述内容实体封装为点云文件之后，所述方法还包括：
生成用于描述所述点云文件的信令文件，所述信令文件包括实体标识元素，所述实体标识元素用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中。
11.根据权利要求10所述的点云封装方法，其特征在于，所述信令文件还包括替换标识元素，所述替换标识元素用于指示所述内容实体所属的可替换组的标识符。
12.根据权利要求10所述的点云封装方法，其特征在于，当所述实体标识元素指示所述内容实体包含于可替换的至少两个所述点云码流中时，所述信令文件还包括集合标识元素，所述集合标识元素用于指示所述可替换组的标识符。
13.一种点云解封装方法，其特征在于，包括：
获取点云文件中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
根据所述信息数据盒解封装所述点云文件，得到由所述内容实体组成的点云码流。
14.根据权利要求13所述的点云解封装方法，其特征在于，在获取点云文件中内容实体的信息数据盒之前，所述方法还包括：
获取用于描述所述点云文件的信令文件，所述信令文件包括实体标识元素，所述实体标识元素用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；
根据所述信令文件请求传输所述点云文件。
15.一种点云封装装置，其特征在于，包括：
第一获取模块，被配置为获取点云码流中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
封装模块，被配置为根据所述信息数据盒将所述内容实体封装为点云文件。
16.一种点云解封装装置，其特征在于，包括：
第二获取模块，被配置为获取点云文件中内容实体的信息数据盒，所述信息数据盒包括实体标识字段；所述实体标识字段用于指示所述内容实体为可替换组中的一个实体，或者用于指示所述内容实体包含于可替换的至少两个所述点云码流中；所述可替换组是由具有可替换关系的多个所述内容实体组成的实体集合；
解封装模块，被配置为根据所述信息数据盒解封装所述点云文件，得到由所述内容实体组成的点云码流。
17.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至14中任意一项所述的方法。
18.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令使得所述电子设备执行权利要求1至14中任意一项所述的方法。
19.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14中任意一项所述的方法。
CN202211517326.2A 2022-11-29 2022-11-29 点云封装与解封装方法、装置、介质及电子设备 Pending CN118118694A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211517326.2A CN118118694A (zh) 2022-11-29 2022-11-29 点云封装与解封装方法、装置、介质及电子设备
PCT/CN2023/133893 WO2024114519A1 (zh) 2022-11-29 2023-11-24 点云封装与解封装方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211517326.2A CN118118694A (zh) 2022-11-29 2022-11-29 点云封装与解封装方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
CN118118694A true CN118118694A (zh) 2024-05-31

Family

ID=91211086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211517326.2A Pending CN118118694A (zh) 2022-11-29 2022-11-29 点云封装与解封装方法、装置、介质及电子设备

Country Status (2)

Country Link
CN (1) CN118118694A (zh)
WO (1) WO2024114519A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435991B (zh) * 2019-01-11 2021-09-28 上海交通大学 基于分组的点云码流封装方法和系统
WO2021256909A1 (ko) * 2020-06-19 2021-12-23 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115150384B (zh) * 2021-03-31 2023-08-18 腾讯科技（深圳）有限公司 点云编解码方法、装置、计算机可读介质及电子设备
CN115243053B (zh) * 2021-04-22 2024-04-16 腾讯科技（深圳）有限公司 点云编解码方法及相关设备
CN115348243A (zh) * 2022-08-15 2022-11-15 上海交通大学 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质

Also Published As

Publication number Publication date
WO2024114519A1 (zh) 2024-06-06

Similar Documents

Publication Publication Date Title
US11477542B2 (en) Method, device, and computer program for generating timed media data
CN112804256B (zh) 多媒体文件中轨道数据的处理方法、装置、介质及设备
CN114697668B (zh) 点云媒体的编解码方法及相关产品
GB2579389A (en) Method, device and computer program for encapsulating media data into a media file
CN115396645B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
TWI806479B (zh) 點雲編解碼方法、裝置、電腦可讀介質及電子設備
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
TWI803274B (zh) 點雲解碼方法及裝置、點雲編碼方法及裝置以及電子設備
WO2023130896A1 (zh) 媒体数据的数据处理方法、装置、计算机设备及存储介质
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
CN118118694A (zh) 点云封装与解封装方法、装置、介质及电子设备
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
CN115150368B (zh) 媒体文件的关联处理方法、装置、介质及电子设备
Gudumasu et al. Adaptive Streaming of Visual Volumetric Video-based Coding Media
WO2022134962A1 (zh) 点云视窗的呈现方法、装置、计算机可读介质及电子设备
CN115061984A (zh) 点云媒体的数据处理方法、装置、设备、存储介质
CN116781675A (zh) 一种点云媒体的数据处理方法、装置、设备及介质
CN116347118A (zh) 一种沉浸媒体的数据处理方法及相关设备
CN115037943A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN116455880A (zh) 流媒体传输方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination