CN114079781A - 一种点云媒体的数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种点云媒体的数据处理方法、装置、设备及存储介质，该点云媒体的数据处理方法包括：获取点云媒体的第i帧率层级的帧率指示信息，点云媒体被划分为N个帧率层级，第i帧率层级为N个帧率层级中的任一个；第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级；按照第i帧率层级的帧率指示信息解析点云媒体。采用本申请实施例，能够对点云媒体的帧率进行区分和指示，提升点云媒体的解析效率，从而提升点云媒体的呈现效果。

Description

一种点云媒体的数据处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及点云媒体技术领域，具体涉及一种点云媒体的数据处理方法、一种点云媒体的数据处理装置、一种点云媒体的数据处理设备以及一种计算机可读存储介质。

背景技术

随着科学技术的不断发展，目前已经能够以较低的成本、在较短的时间周期内获得大量高精度的点云数据，点云数据往往以点云媒体的形式在内容制作设备与内容消费设备之间进行传输。

点云媒体的传输过程具体如下：内容制作设备对点云媒体进行编码后，对编码后的点云媒体进行封装，得到点云媒体的封装文件，内容制作设备将点云媒体的封装文件传输给内容消费设备；内容消费设备对内容制作设备传输的点云媒体的封装文件进行解封装，然后再进行解码，最后内容消费设备呈现该媒体文件。在上述过程中，点云媒体中包含的点云数据的数量较大，大量的点云数据造成了解封装、解码过程中的压力，使得点云媒体的解析(即解封装、解码)效率较低。

发明内容

本申请实施例提供了一种点云媒体的数据处理方法、装置、设备及存储介质，能够对点云媒体的帧率进行区分和指示，提升点云媒体的解析效率，从而提升点云媒体的呈现效果。

一方面，本申请实施例提供一种点云媒体的数据处理方法，该点云媒体的数据处理方法包括：

获取点云媒体的第i帧率层级的帧率指示信息，点云媒体被划分为N个帧率层级，第i帧率层级为N个帧率层级中的任一个；第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N 个帧率层级中除第i帧率层级之外的一个或多个帧率层级，N为大于1的整数，i为正整数且i∈[1，N]；

按照第i帧率层级的帧率指示信息解析点云媒体。

另一方面，本申请实施例提供一种点云媒体的数据处理方法，该方法包括：

将点云媒体划分为N个帧率层级，第i帧率层级为所述N个帧率层级中的任一个，N为大于1的整数，i为正整数且i∈[1，N]；

向内容消费设备传输所述第i帧率层级的帧率指示信息，以使所述内容消费设备按照所述第i帧率层级的帧率指示信息解析所述点云媒体；所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与其他帧率层级之间的依赖关系，所述其他帧率层级是指所述N个帧率层级中除所述第i帧率层级之外的一个或多个帧率层级。

另一方面，本申请实施例提供一种点云媒体的数据处理装置，该点云媒体的数据处理装置包括：

获取单元，用于获取点云媒体的第i帧率层级的帧率指示信息，点云媒体被划分为N个帧率层级，第i帧率层级为N个帧率层级中的任一个；第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级，N 为大于1的整数，i为正整数且i∈[1，N]；

处理单元，用于按照第i帧率层级的帧率指示信息解析点云媒体。

在一种实现方式中，点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级，或者多个文件轨道对应同一个帧率层级；第i帧率层级的帧率指示信息被封装在第k文件轨道中，第k文件轨道是P个文件轨道中与第i帧率层级相对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]；

获取单元，具体用于：

获取第k文件轨道；

若第k文件轨道中包含轨道参考类型数据盒，轨道参考类型数据盒中包含帧依赖标志字段，且帧依赖标志字段的取值为有效值，则将第k文件轨道中的轨道参考类型数据盒确定为第i帧率层级的帧率指示信息，帧依赖标志字段用于指示第i帧率层级与其他帧率层级之间具备依赖关系。

在一种实现方式中，若第k文件轨道中包含轨道参考类型数据盒，且轨道参考类型数据盒中包含的帧依赖标志字段为有效值，则轨道参考类型数据盒中包含与第i帧率层级具备依赖关系的第j帧率层级对应的第j文件轨道的标识；第j帧率层级是其他帧率层级中的任一个，且第j帧率层级的帧率小于第i帧率层级的帧率，j为正整数且j∈[1，N]；

处理单元，具体用于：

根据轨道参考类型数据盒中包含的第j文件轨道的标识获取第j文件轨道；

对第k文件轨道与第j文件轨道进行联合解码。

在一种实现方式中，若第k文件轨道中未包含轨道参考类型数据盒，或者，若所述第k文件轨道中虽然包含所述轨道参考类型数据盒，但所述轨道参考类型数据盒中的帧依赖标志字段的取值为无效值，则第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间不具备依赖关系；

处理单元，具体用于对第k文件轨道进行解码。

在一种实现方式中，获取单元，具体用于：

获取内容制作设备下发的点云媒体的描述信令文件，描述信令文件中包括点云媒体关联的N个帧率描述信息，所述N个帧率描述信息中的第i帧率描述信息用于描述第i帧率层级的帧率，第i帧率描述信息是N个帧率描述信息中的任一个；

若所述第i帧率描述信息被选择，则向内容制作设备发送获取请求，获取请求中携带第i帧率描述信息，以使内容制作设备根据获取请求返回第k文件轨道。

在一种实现方式中，第i帧率层级包含点云媒体的多个媒体帧，第i帧率层级中的多个媒体帧按照各个媒体帧在点云媒体中的重要性被归类至M个优先层中，M为大于1的整数；

M个优先层中，若第一优先层中的媒体帧在点云媒体中的重要性高于第二优先层中的媒体帧在点云媒体中的重要性，则第一优先层的优先级高于第二优先层的优先级，并且第二优先层中的媒体帧在传输过程中被丢弃的可能性高于第一优先层中的媒体帧在传输过程中被丢弃的可能性；

其中，第一优先层与第二优先层是M个优先层中的任意两层。

在一种实现方式中，第i帧率层级中的多个媒体帧在点云媒体中的重要性通过以下至少一种规则进行判定：

第i帧率层级包含的多个媒体帧中，属于关键帧类型的媒体帧的重要性高于属于非关键帧类型的媒体帧的重要性；

第i帧率层级包含的多个媒体帧中，能够被独立解码的媒体帧的重要性高于需要被联合解码的媒体帧的重要性；

第i帧率层级包含的需要被联合解码的多个媒体帧中，联合解码时所依赖的帧数量越少的媒体帧的重要性越高。

在一种实现方式中，点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第i帧率层级包括M个样本组， M个样本组中的任一个样本组为第m样本组，m为正整数且m∈[1，M]；

点云媒体关联有P个文件轨道，第i帧率层级对应第k文件轨道，第k文件轨道中包含第m样本组的点云帧优先级指示信息，点云帧优先级指示信息中包含帧优先级字段，帧优先级字段用于指示第m样本组中所有样本对应的媒体帧的优先级，帧优先级字段的取值越小，则第m样本组中所有样本对应的媒体帧的优先级越高；第k文件轨道是P个文件轨道中与第i帧率层级对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]。

另一方面，本申请实施例提供一种点云媒体的数据处理装置，该点云媒体的数据处理装置包括：

处理单元，用于将点云媒体划分为N个帧率层级，第i帧率层级为所述N 个帧率层级中的任一个，N为大于1的整数，i为正整数且i∈[1，N]；

传输单元，用于向内容消费设备传输所述第i帧率层级的帧率指示信息，以使所述内容消费设备按照所述第i帧率层级的帧率指示信息解析所述点云媒体；所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与其他帧率层级之间的依赖关系，所述其他帧率层级是指所述N个帧率层级中除所述第i帧率层级之外的一个或多个帧率层级。

在一种实现方式中，处理单元，具体用于：

按照点云媒体的显示效果将点云媒体划分为N个帧率层级；或者，

按照内容制作设备的编码能力将点云媒体划分为N个帧率层级；或者，

按照点云媒体的显示效果与内容制作设备的编码能力，将点云媒体划分为N 个帧率层级。

在一种实现方式中，点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级，或者多个文件轨道对应同一个帧率层级；第i帧率层级的帧率指示信息被封装在第k文件轨道中，第k文件轨道是P个文件轨道中与第i帧率层级相对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]；处理单元，还用于：

对第i帧率层级进行编码，得到第i帧率层级对应的点云压缩文件；

将第i帧率层级对应的点云压缩文件封装至第k文件轨道中；

若第i帧率层级与其他帧率层级之间具备依赖关系，则根据依赖关系生成轨道参考类型数据盒，轨道参考类型数据盒中包含帧依赖标志字段，将帧依赖标志字段的取值设为有效值；并将轨道参考类型数据盒封装至第k文件轨道中，轨道参考类型数据盒是第i帧率层级的帧率指示信息，帧依赖标志字段用于指示第i帧率层级与其他帧率层级之间具备依赖关系。

在一种实现方式中，处理单元，还用于：

按照第i帧率层级中的各个媒体帧在点云媒体中的重要性，将第i帧率层级中的各个媒体帧归类至M个优先层中，M为大于1的整数；点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第i帧率层级包括M个样本组，M个样本组中的任一个样本组为第m样本组， m为正整数且m∈[1，M]；

生成第m样本组的点云帧优先级指示信息，并将点云帧优先级指示信息封装至第k文件轨道中。

在一种实现方式中，处理单元，还用于：

生成点云媒体的描述信令文件，描述信令文件中包括点云媒体关联的N个帧率描述信息，N个帧率描述信息中的第i帧率描述信息用于描述第i帧率层级的帧率，第i帧率描述信息是N个帧率描述信息中的任一个；

向内容消费设备下发点云媒体的描述信令文件，并接收内容消费设备发送的获取请求，获取请求中携带被选择的第i帧率描述信息；

根据获取请求向内容消费设备返回第k文件轨道。

在一种实现方式中，传输单元，具体用于：

根据获取请求获取第k文件轨道；

若检测到网络拥塞，则根据第k文件轨道中的各个样本组的点云帧优先级指示信息，按照各个媒体帧的优先级由高至低的顺序丢弃第k文件轨道中的相应媒体帧，并对第k文件轨道进行重新封装后发送至内容消费设备。

另一方面，本申请实施例提供一种点云媒体的数据处理设备，该点云媒体的数据处理设备包括：

处理器，适于实现计算机指令；以及，

计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令适于由处理器加载并执行上述的点云媒体的数据处理方法。

另一方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被计算机设备的处理器读取并执行时，使得计算机设备执行上述的点云媒体的数据处理方法。

另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的点云媒体的数据处理方法。

本申请实施例中，点云媒体被划分为N个帧率层级，且N个帧率层级的帧率不相同，对点云媒体的帧率进行区分；第i帧率层级为N个帧率层级中的任一个，第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级，对N个帧率层级中的任一个帧率层级与除该帧率层级之外的其他帧率层级的依赖关系进行指示；在点云媒体的消费过程中，可以按需获取点云媒体的第i帧率层级的帧率指示信息，避免大量点云媒体同时进行传输，节省点云媒体传输时的传输带宽，提升点云媒体的传输效率；此外，按照第i帧率层级的帧率指示信息解析点云媒体时，根据第i帧率层级与其他帧率层级之间的依赖关系对点云媒体进行解析，能够提升点云媒体的解析效率，从而提升点云媒体的呈现效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个示例性实施例提供的一种点云媒体的数据处理系统的架构示意图；

图2a示出了本申请一个示例性实施例提供的一种点云媒体的数据处理架构的架构示意图；

图2b示出了本申请一个示例性实施例提供的一种样本的结构示意图；

图2c示出了本申请一个示例性实施例提供的一种包含多个文件轨道的容器的结构示意图；

图2d示出了本申请另一个示例性实施例提供的一种样本的结构示意图；

图3示出了本申请一个示例性实施例提供的一种点云媒体的数据处理方法的流程示意图；

图4示出了本申请另一个示例性实施例提供的一种点云媒体的数据处理方法的流程示意图；

图5示出了本申请一个示例性实施例提供的一种点云媒体的数据处理装置的结构示意图；

图6示出了本申请另一个示例性实施例提供的一种点云媒体的数据处理装置的结构示意图；

图7示出了本申请一个示例性实施例提供的一种点云媒体的数据处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种点云媒体的数据处理方案。所谓点云(Point Cloud) 是指空间中一组无规则分布的、表达三维物体或三维场景的空间结构及表面属性的离散点集。点云数据(Point Cloud Data)是点云的具体记录形式，点云中每个点的点云数据可以包括几何信息(即三维位置信息)和属性信息，其中，点云中每个点的几何信息是指该点的笛卡尔三维坐标数据，点云中每个点的属性信息可以包括但不限于以下至少一种：色彩信息、材质信息、激光反射强度信息。通常，点云中的每个点都具有相同数量的属性信息；例如，点云中的每个点都具有色彩信息和激光反射强度两种属性信息；或者点云中的每个点都具有色彩信息、材质信息和激光反射强度信息三种属性信息。

随着科学技术的进步与发展，目前已经能够以较低的成本、在较短的时间周期内获得大量高精确度的点云数据，点云数据的获取途径可以包括但不限于以下至少一种：①计算机设备生成。计算机设备可以根据虚拟三维物体及虚拟三维场景的生成点云数据。②3D(3-Dimension，三维)激光扫描获取。通过3 D激光扫描可以获取静态现实世界三维物体或三维场景的点云数据，每秒可以获取百万级点云数据；③3D摄影测量获取。通过3D摄影设备(即一组摄像机或具有多个镜头和传感器的摄像机设备)对现实世界的视觉场景进行采集以获取现实世界的视觉场景的点云数据，通过3D摄影可以获得动态现实世界三维物体或三维场景的点云数据。④通过医学设备获取生物组织器官的点云数据。在医学领域可以通过磁共振成像(Magnetic Resonance Imaging，MRI)、电子计算机断层扫描(ComputedTomography，CT)、电磁定位信息等医学设备获取生物组织器官的点云数据。

所谓点云媒体是指由点云数据形成的点云媒体文件，点云媒体包括多个媒体帧，点云媒体中的每个媒体帧由点云数据组成。点云媒体可以灵活方便地表达三维物体或三维场景的空间结构及表面属性，因此被广泛应用在虚拟现实(V irtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design，CAD)、地理信息系统(Geography InformationSystem，GIS)、自动导航系统(Auton omous Navigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等项目中。

基于上述描述，请参见图1，图1示出了本申请一个示例性实施例提供的一种点云媒体的数据处理系统的架构示意图，该点云媒体的数据处理系统10包括内容消费设备101和内容制作设备102。其中，内容制作设备是指点云媒体的提供者(例如点云媒体的内容制作者)所使用的计算机设备，该计算机设备可以是终端(例如PC(Personal Computer，个人计算机)、智能移动设备(例如智能手机)等)、服务器等；内容消费设备是指点云媒体的使用者(例如用户) 所使用的计算机设备，该计算机设备可以是终端(例如PC(PersonalComputer，个人计算机)、智能移动设备(例如智能手机)、VR设备(例如VR头盔、V R眼镜)等)。内容制作设备和内容消费设备可以通过有线通信或者无线通信的方式进行直接或间接地连接，本申请实施例在此不做限制。

图2a示出了本申请一个示例性实施例提供的一种点云媒体的数据处理架构的架构示意图，下面将结合图1所示的点云媒体的数据处理系统以及图2a所示的点云媒体的数据处理架构，对本申请实施例提供的点云媒体的数据处理方案进行介绍，点云媒体的数据处理过程包括内容制作设备侧的数据处理过程以及内容消费设备侧的数据处理过程，具体处理过程如下：

一、内容制作设备侧的数据处理过程：

(1)点云数据的获取过程。

在一种实现方式中，从点云数据的获取方式看，点云数据的获取方式可以分为通过捕获设备采集真实世界的视觉场景以获取以及通过计算机设备生成两种方式。在一种实现方式中，捕获设备可以是设置于内容制作设备中的硬件组件，例如捕获设备是终端的摄像头、传感器等。捕获设备也可以是与内容制作设备相连接的硬件装置，例如与服务器相连接摄像头等。捕获设备用于为内容制作设备提供点云数据的获取服务，捕获设备可以包括但不限于以下任一种：摄像设备、传感设备、扫描设备；其中，摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等；传感设备可以包括激光设备、雷达设备等；扫描设备可以包括3D激光扫描设备等。捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的点云数据，捕获到的点云数据在时间上和空间上均保持同步。在另一种实现方式中，计算机设备可以根据虚拟三维物体及虚拟三维场景的生成点云数据。由于点云数据的获取方式不同，通过不同方式获取到的点云数据对应的压缩编码方式也可能有所区别。

(2)点云数据的编码及封装过程。

在一种实现方式中，内容制作设备采用基于几何的点云压缩(Geometry-Ba sedPoint Cloud Compression，GPCC)编码方式或者基于传统视频编码的点云压缩(Video-BasedPointCloudCompression，VPCC)编码方式对获取到的点云数据进行编码处理，得到点云数据的GPCC比特流或者VPCC比特流。

在一种实现方式中，以GPCC编码方式为例，内容制作设备采用文件轨道对编码后的点云数据的GPCC比特流进行封装；所谓文件轨道是指编码后的点云数据的GPCC比特流的封装容器；GPCC比特流可以封装在单个文件轨道中， GPCC比特流也可以封装到多个文件轨道中，GPCC比特流封装在单个文件轨道中和GPCC比特流封装在多个文件轨道中的具体情况如下：

①GPCC比特流封装在单个文件轨道中。当GPCC比特流在单个文件轨道中传输时，要求GPCC比特流根据单个文件轨道的传输规则进行声明并表示。封装在单个文件轨道中的GPCC比特流无需进行进一步处理，可以通过ISOBM FF(International Organization forStandardization Base Media File Format，国际标准化组织基本媒体文件格式)进行封装。具体地，封装在单个文件轨道中的每个样本(Sample)都包含一个或多个GPCC组件，所谓样本是指一个或多个点云的封装结构集合，也就是说，每个样本由一个或多个类型-长度-值字节流格式(Type-Length-Value ByteStream Format，TLV)封装结构组成。图2b示出了本申请一个示例性实施例提供的一种样本的结构示意图，如图2b所示，在进行单个文件轨道传输时，该文件轨道中的样本由GPCC参数集TLV、几何比特流TLV和属性比特流TLV组成，该样本被封装到单个文件轨道中。

②GPCC比特流封装在多个文件轨道中。当编码的GPCC几何比特流和编码的GPCC属性比特流在不同的文件轨道中进行传输时，文件轨道中的每个样本都包含至少一个TLV封装结构，该TLV封装结构中携带单个GPCC组件数据，并且TLV封装结构中不同时包含编码的GPCC几何比特流和编码的GPCC 属性比特流。图2c示出了本申请一个示例性实施例提供的一种包含多个文件轨道的容器的结构示意图，如图2c所示，在文件轨道1中传输的封装包1包含编码的GPCC几何比特流，不包含编码的GPCC属性比特流；在文件轨道2中传输的封装包2包含编码的GPCC属性比特流，不包含编码的GPCC几何比特流。由于内容消费设备在解码时首先应对编码的GPCC几何比特流进行解码，而编码的GPCC属性比特流的解码取决于解码后的几何信息，因此将不同的GPCC 分量比特流封装在单独的文件轨道中，使得内容消费设备可以在编码的GPCC 属性比特流之前访问承载编码的GPCC几何比特流的文件轨道。图2d示出了本申请另一个示例性实施例提供的一种样本的结构示意图，如图2d所示，在进行多个文件轨道传输时，编码的GPCC几何比特流和编码的GPCC属性比特流在不同的文件轨道中进行传输，该文件轨道中的样本由GPCC参数集TLV、几何比特流TLV组成，样本中不包含属性比特流TLV，该样本被封装在多个文件轨道中的任一个文件轨道中。

在一种实现方式中，获取到的点云数据经内容制作设备编码、封装后形成点云媒体的封装文件，该点云媒体的封装文件可以是整个媒体文件，也可以是媒体文件中的媒体片段；并且内容制作设备按照点云媒体的文件格式要求采用媒体呈现描述信息(即描述信令文件)(Media presentation description，MPD) 记录该点云媒体的封装文件的元数据，此处的元数据是对与点云媒体的呈现有关的信息的总称，该元数据可以包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。内容制作设备将MPD下发至内容消费设备，以使内容消费设备根据该MDP中的相关描述信息请求获取点云媒体的封装文件。具体地，点云媒体的封装文件和MDP通过传输机制(例如DASH (DynamicAdaptive Streaming over HTTP，动态自适应流媒体传输)、SMT (Smart MediaTransport，智能媒体传输))由内容制作设备下发至内容消费设备。

二、内容消费设备侧的数据处理过程：

(1)点云数据的解封装及解码过程。

在一种实现方式中，内容消费设备可以通过内容制作设备下发的MDP获取点云媒体的封装文件。内容消费设备端的文件解封装的过程与内容制作设备端的文件封装过程是相逆的，内容消费设备按照点云媒体的文件格式要求对点云媒体的封装文件进行解封装，得到编码比特流(即GPCC比特流或VPCC比特流)。内容消费设备端的解码过程与内容制作设备端的编码过程是相逆的，内容消费设备对编码比特流进行解码，还原出点云数据。

(2)点云数据的渲染过程。

在一种实现方式中，内容消费设备根据MDP中与渲染、视窗相关的元数据对GPCC比特流解码得到的点云数据进行渲染，渲染完成即实现了对点云数据对应的视觉场景的呈现。

本申请实施例中，对于内容制作设备端，首先通过采集设备对真实世界的视觉场景进行采样，得到与真实世界的视觉场景对应的点云数据；然后通过GP CC编码方式或VPCC编码方式对获取的点云数据进行编码处理，得到GPCC比特流或VPCC比特流(GPCC比特流或VPCC比特流中均包括编码后的几何比特流和编码后的属性比特流)；接着对GPCC比特流或者VPCC比特流进行封装得到点云媒体的封装文件(包括媒体文件或媒体片段)；内容制作设备还可以将元数据封装到媒体文件或媒体片段中，并通过传输机制(例如动态自适应流媒体传输机制)将点云媒体的封装文件下发至内容消费设备。对于内容消费设备端，首先接收内容制作设备发送的点云媒体的封装文件；然后对点云媒体的封装文件进行解封装处理，得到编码的GPCC比特流(或者VPCC比特流) 以及元数据；接着解析编码的GPCC比特流或VPCC比特流中的元数据(即对编码的GPCC比特流或VPCC比特流进行解码处理，得到点云数据)；最后基于当前用户的观看(视窗)方向，对解码后的点云数据进行渲染，并显示在内容消费设备中。需要说明的是，当前用户的观看(视窗)方向由头部跟踪以及视觉跟踪功能确定。除了通过渲染器用来渲染当前用户的观看(视窗)方向的点云数据外，还可以通过音频解码器来对当前用户的观看(视窗)方向的音频进行解码优化。通过内容制作设备对采集到的点云数据进行编码、封装，实现了点云数据的存储和传输；内容制作设备将封装得到的点云媒体的封装文件下发至内容消费设备，实现了点云数据的发布和共享；内容消费设备对点云媒体的封装文件进行解封装、解码消费，使得真实世界的视觉场景在内容消费设备中得以呈现。

可以理解的是，本申请实施例描述的点云媒体的数据处理系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

由上述点云媒体的数据处理过程可知，内容制作设备需要对点云媒体进行编码、封装成点云媒体的封装文件后才能下发至内容消费设备，相应地，内容消费设备需要对点云媒体的封装文件进行解封装、解码后才能渲染呈现该点云媒体。目前，已存在一种样本描述数据盒(SampleDescriptionBox)中存储了点云媒体的编码类型和初始化解码器需要的信息；点云媒体中包括多个媒体帧，一个样本中可以包括点云媒体的一个或多个媒体帧；内容消费设备可以依据该样本描述数据盒中的指示信息(即编码类型和初始化解码器需要的信息)确定解码类型、配置解码器，进而对点云媒体的封装文件进行解析；样本描述数据盒中包含容积视觉样本入口(VolumetricVisualSampleEntry)类，通过该容积视觉样本入口类中提供的信息可以对点云媒体的封装文件中的样本进行解析，样本描述数据盒中关于容积视觉样本入口类的语法可参见表1：

表1

上述表1所示的语法的语义如下：compressorname是编码器名称，它以固定的32字节字段格式设置，第一个字节设置为要显示的字节数，其后设置为使用UTF-8(8-bitUnicode Transformation Format)编码的可显示数据的字节数，然后填充以总共32个字节(包括大小字节)。该字段可以设置为0。

结合表1可知，目前样本描述数据盒中关于容积视觉样本入口类中仅提供内容制作设备对点云媒体进行编码的编码器信息；内容消费设备可以基于该编码器信息配置解码器，从而对点云媒体进行解码。由此可见，目前点云媒体的数据处理过程中，由于点云媒体中包含多个样本，即包含多个媒体帧，内容制作设备需要对大量媒体帧进行编码、封装，造成了内容制作设备的编码压力、封装压力；点云媒体包含的大量媒体帧同时在内容制作设备与内容消费设备之间进行传输时，点云媒体的容积较大，造成了传输带宽的浪费；并且内容消费设备也存在解封装压力、解码压力，导致点云媒体的解析效率较低。

基于此，本申请实施例对点云媒体的帧率进行区分和指示，将点云媒体划分为多个帧率层级，每个帧率层级对应的点云媒体的帧率不同；所谓点云媒体的帧率(Frame PerSecond，FPS)是指内容消费设备中每秒钟呈现的点云媒体的媒体帧的帧数。相应的，本申请实施例对样本描述数据盒进行扩展，在样本描述数据盒中增加了轨道参考类型数据盒(TrackReferenceTypeBox)，并在轨道参考类型数据盒中增加帧依赖标志字段(frame_dependency_flag)，以目标帧率层级为例，目标帧率层级是点云媒体划分的多个帧率层级中的任一个，帧依赖标志字段用于指示目标帧率层级与点云媒体划分的多个帧率层级中除目标帧率层级之外的其他帧率层级之间的依赖关系，最终得到扩展后的样本描述数据盒。扩展后的样本描述数据盒中关于轨道参考类型数据盒以及容积视觉样本入口类的语法可参见表2：

表2

上述表2所示的语法的语义如下①-②：

①帧数量字段frame_count指示点云媒体中的单个样本中包含的媒体帧的数量，frame_count默认值为1，即指示点云媒体中的单个样本中包含的1个媒体帧。

②帧依赖标志字段frame_dependency_flag用于指示目标帧率层级与点云媒体划分的多个帧率层级中除目标帧率层级之外的其他帧率层级之间的依赖关系；若帧依赖标志字段的取值为有效值，该有效值例如为“1”，则表明目标帧率层级与点云媒体划分的多个帧率层级中除目标帧率层级之外的其他帧率层级 (例如参考帧率层级)之间具备依赖关系，所谓目标帧率层级与其他帧率层级 (例如参考帧率层级)具备依赖关系是指该目标帧率层级对应的点云媒体在解码过程中需要依赖该其他帧率层级(例如参考帧率层级)对应的点云媒体；目标帧率层级所依赖其他帧率层级(例如参考帧率层级)的帧率低于目标帧率层级的帧率；并且此时轨道参考类型数据盒TrackReferenceTypeBox中的参考类型 reference_type应取值为‘pcfd’；并且所依赖的其他帧率层级(例如参考帧率层级)对应的文件轨道的轨道标识在轨道参考类型数据盒TrackReferenceTypeBo x中的track_IDs中包含；若帧依赖标志字段的取值为无效值，该无效值例如为“0”，则表明目标帧率层级与点云媒体划分的多个帧率层级中除目标帧率层级之外的其他帧率层级之间不具备依赖关系。

结合表2可知，将点云媒体划分为不同的帧率层级后，内容消费设备可以按需向内容制作设备请求媒体文件，例如，内容消费设备向内容制作设备请求目标帧率层级下的点云媒体；内容制作设备可以根据内容消费设备的需求按照目标帧率层级的帧率对点云媒体进行编码、封装，减轻了内容制作设备的编码压力、封装压力；同时，目标帧率层级下的点云媒体的容积较小，目标帧率层级下的点云媒体在内容制作设备与内容消费设备之间进行传输时，有效节省传输带宽；内容消费设备可以根据目标帧率层级与其他帧率层级之间的依赖关系对目标帧率层级下的点云媒体进行解析，提高点云媒体的解析效率，提升点云媒体在内容消费设备中的呈现效果。

此外，本申请实施例还对各个帧率层级下的点云媒体中包含的多个媒体帧的优先级进行区分和指示；具体地，一个媒体帧采用一个样本表示，以目标帧率层级为例，目标帧率层级下的点云媒体包含的各个媒体帧被划分到多个优先层中，同一优先层中的多个媒体帧属于同一个样本组，属于同一个样本组的所有媒体帧的优先级相同；优先级越高的媒体帧在传输过程中被丢弃的可能性越小，优先级越低的媒体帧在传输过程中被丢弃的可能性越大。相应地，本申请实施例对样本描述数据盒进行扩展，在样本描述数据盒中增加了点云帧率优先组入口(PointCloudFramePriorityGroupEntry)类(即点云帧优先级指示信息)，最终得到扩展后的样本描述数据盒，扩展后的样本描述数据盒中关于点云帧率优先组入口类的语法可参见表3：

表3

上述表3所示的语法的语义如下①-②：

①frame_priority是帧优先级字段，帧优先级字段用于指示目标样本组(即目标优先层)中所有样本(即所有媒体帧)的优先级，目标样本组是目标帧率层级包含的任一个优先组；该帧优先级字段取值越低，则说明目标样本组中的各个媒体帧的优先级越高；目标样本组中的各个媒体帧的优先级越高，则目标样本组中的各个媒体帧在传输过程中被丢弃的可能性越小。

②pcfp是目标样本组的组类型。

结合表3可知，对点云媒体划分的多个帧率层级中的任一个帧率层级(即目标帧率层级)中的各个媒体帧的优先级进行区分与指示，目标帧率层级下的点云媒体在由内容制作设备向内容消费设备进行传输的过程中，若检测到传输网络发生拥塞，可以对目标帧率层级下的点云媒体中优先级较低的媒体帧进行丢弃，从而节省传输带宽，提高点云媒体的传输效率。

基于上述描述，请参见图3，图3示出了本申请一个示例性实施例提供的一种点云媒体的数据处理方法的流程示意图，该方法可以由图1所示实施例中的内容消费设备101执行，该点云媒体的数据处理方法包括以下步骤S301至步骤 S302：

步骤S301，获取点云媒体的第i帧率层级的帧率指示信息，点云媒体被划分为N个帧率层级，第i帧率层级为N个帧率层级中的任一个，N为大于1的整数，i为正整数且i∈[1，N]。

在一种实现方式中，第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，第i帧率层级为N个帧率层级中的任一个，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级。点云媒体关联有P个文件轨道(track)，一个文件轨道对应一个帧率层级，或者多个文件轨道对应同一个帧率层级，第i帧率层级的帧率指示信息被封装在第 k文件轨道中，获取第k文件轨道即获取第i帧率层级的帧率指示信息，第k文件轨道是P个文件轨道中与第i帧率层级相对应的任一个文件轨道，P为大于1 的整数，k为正整数且k∈[1，P]。在一种实现方式中，若第k文件轨道中包含轨道参考类型数据盒(TrackReferenceTypeBox)，轨道参考类型数据盒中包含帧依赖标志字段(frame_dependency_flag)，且帧依赖标志字段的取值为有效值，则将第k文件轨道中的轨道参考类型数据盒确定为第i帧率层级的帧率指示信息，帧依赖标志字段用于指示第i帧率层级与其他帧率层级之间具备依赖关系；若第k文件轨道中包含轨道参考类型数据盒，且轨道参考类型数据盒中包含的帧依赖标志字段为有效值，则轨道参考类型数据盒中包含与第i帧率层级具备依赖关系的第j帧率层级对应的第j文件轨道的标识(track_IDs)，也就是说第i 帧率层级下的点云媒体具备解码依赖性，即第i帧率层级下的点云媒体在解码时依赖于第j帧率层级下的点云媒体；第j帧率层级是其他帧率层级中的任一个，且第j帧率层级的帧率小于第i帧率层级的帧率，j为正整数且j∈[1，N]。在另一种实现方式中，若第k文件轨道中未包含轨道参考类型数据盒，或者，若第k 文件轨道中虽然包含轨道参考类型数据盒，但轨道参考类型数据盒中的帧依赖标志字段的取值为无效值，则第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间不具备依赖关系，也就是说第i帧率层级下的点云媒体不具备解码依赖性，即第i帧率层级下的点云媒体可以被独立解码。

在一种实现方式中，内容消费设备获取内容制作设备下发的点云媒体的描述信令文件(MPD)，描述信令文件中包括点云媒体关联的N个帧率描述信息 (Representation)，N个帧率描述信息中的第i帧率描述信息用于描述第i帧率层级的帧率，第i帧率描述信息中的帧率由帧率属性字段frameRate指出，第i 帧率描述信息是N个帧率描述信息中的任一个；若第i帧率描述信息被选择，内容消费设备则向内容制作设备发送获取请求，获取请求中携带第i帧率描述信息，以使内容制作设备根据获取请求返回第k文件轨道，第i帧率层级的帧率指示信息被封装在第k文件轨道中。

在一种实现方式中，第i帧率层级包含点云媒体的多个媒体帧，第i帧率层级中的多个媒体帧按照各个媒体帧在点云媒体中的重要性被归类至M个优先层中，M为大于1的整数；在M个优先层中，若第一优先层中的媒体帧在点云媒体中的重要性高于第二优先层中的媒体帧在点云媒体中的重要性，则第一优先层的优先级高于第二优先层的优先级，并且第二优先层中的媒体帧在传输过程中被丢弃的可能性高于第一优先层中的媒体帧在传输过程中被丢弃的可能性；其中，第一优先层与第二优先层是M个优先层中的任意两层。在一种实现方式中，点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第i帧率层级包括M个样本组，M个样本组中的任一个样本组为第m样本组，m为正整数且m∈[1，M]；点云媒体关联有P个文件轨道，第i帧率层级对应第k文件轨道，第k文件轨道中包含第m样本组的点云帧优先级指示信息(PointCloudFramePriorityGroupEntry)，点云帧优先级指示信息中包含帧优先级字段(frame_priority)，帧优先级字段用于指示第m 样本组中所有样本对应的媒体帧的优先级，帧优先级字段的取值越小，则第m 样本组中所有样本对应的媒体帧的优先级越高。

具体地，第i帧率层级中的多个媒体帧在点云媒体中的重要性可以通过以下至少一种规则进行判定：①第i帧率层级包含的多个媒体帧中，属于关键帧类型的媒体帧的重要性高于属于非关键帧类型的媒体帧的重要性；相较于非关键帧类型的媒体帧，关键帧类型的媒体帧中包含的点云数据更丰富，呈现效果更好；②第i帧率层级包含的多个媒体帧中，能够被独立解码的媒体帧的重要性高于需要被联合解码的媒体帧的重要性；所谓能够被独立解码的媒体帧是指该媒体帧在解码过程中不依赖于其他媒体帧；所谓需要被联合解码的媒体帧是指该媒体帧在解码过程中依赖其他媒体帧，无法被独立解码；③第i帧率层级包含的需要被联合解码的多个媒体帧中，联合解码时所依赖的帧数量越少的媒体帧的重要性越高；例如，第一媒体帧和第二媒体帧是第i帧率层级包含的需要被联合解码的两个媒体帧，第一媒体帧联合解码时依赖的媒体帧的数量为3个，第二媒体帧联合解码时依赖的媒体帧的数量为2个，则第二媒体帧在点云媒体中的重要性高于第一媒体帧在点云媒体中的重要性。

步骤S302，按照第i帧率层级的帧率指示信息解析点云媒体。

在一种实现方式中，当第k文件轨道中包含轨道参考类型数据盒，并且轨道参考类型数据盒中包含的帧依赖标志字段为有效值，并且轨道参考类型数据盒中包含与第i帧率层级具备依赖关系的第j帧率层级对应的第j文件轨道的标识时，说明第i帧率层级下的点云媒体具备解码依赖性，即第i帧率层级下的点云媒体在解码时依赖于第j帧率层级下的点云媒体；内容消费设备根据轨道参考类型数据盒中包含的第j文件轨道的标识获取第j文件轨道，并对第k文件轨道与第j文件轨道进行联合解码。

在另一种实现方式中，当第k文件轨道中未包含轨道参考类型数据盒时，或者，当第k文件轨道中虽然包含轨道参考类型数据盒，但轨道参考类型数据盒中的帧依赖标志字段的取值为无效值时，说明第i帧率层级下的点云媒体不具备解码依赖性，即第i帧率层级下的点云媒体可以被独立解码，内容消费设备对第k文件轨道进行解码。

本申请实施例中，点云媒体被划分为N个帧率层级，且N个帧率层级的帧率不相同，通过划分点云媒体的帧率层级，对点云媒体的帧率进行区分；第i 帧率层级为N个帧率层级中的任一个，第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级，通过轨道参考类型数据盒以及轨道参考类型数据盒中的帧依赖标志字段，对点云媒体的帧率，以及各个帧率层级之间的依赖关系进行指示；在点云媒体的消费过程中，根据帧率描述信息按需获取点云媒体的第i帧率层级的帧率指示信息，避免大量点云媒体同时进行传输，节省点云媒体传输时的传输带宽，提升点云媒体的传输效率；此外，按照第i帧率层级的帧率指示信息解析点云媒体时，根据第i帧率层级与其他帧率层级之间的依赖关系对点云媒体进行解析，能够提升点云媒体的解析效率，从而提升点云媒体的呈现效果；另外，通过点云帧优先级指示信息以及点云帧优先级指示信息中的帧优先级字段对第i帧率层级包含的点云媒体中的多个媒体帧的优先级进行区分和指示，在第i帧率层级包含的点云媒体的传输过程中，可以根据传输网络的拥堵情况适当丢弃优先级较低的媒体帧，在不影响点云媒体的呈现效果的前提下，进一步节省传输带宽，提升点云媒体的传输效率。

请参见图4，图4示出了本申请另一个示例性实施例提供的一种点云媒体的数据处理方法的流程示意图，该方法可以由图1所示实施例中的内容制作设备1 02执行，该点云媒体的数据处理方法包括以下步骤S401至步骤S402：

步骤S401，将点云媒体划分为N个帧率层级，第i帧率层级为N个帧率层级中的任一个，N为大于1的整数，i为正整数且i∈[1，N]。

在一种实现方式中，点云媒体的帧率层级的划分依据可以包括但不限于以下至少一种：①内容制作设备按照点云媒体的显示效果将点云媒体划分为N个帧率层级；一般来说，帧率层级的帧率越高，该帧率层级包含的点云媒体点显示效果越好；目前行业内普遍将点云媒体划分为两个帧率层级，分别是第一帧率层级和第二帧率层级，第一帧率层级的帧率为30fps(每秒传输帧数)，第二帧率层级的帧率为60fps，第二帧率层级的帧率高于第一帧率层级的帧率，第二帧率层级包含的点云媒体的显示效果比第二帧率层级包含的点云媒体的显示效果好；因此，内容制作设备可以按照点云媒体的显示效果将点云媒体划分为多个帧率层级。②内容制作设备按照内容制作设备的编码能力将点云媒体划分为N 个帧率层级；一般来说，帧率层级的帧率越高，每秒传输媒体帧的帧数越多，需要内容制作设备具备的编码能力越强；例如，第一帧率层级的帧率为30fps，第二帧率层级的帧率为60fps，第二帧率层级的帧率高于第一帧率层级的帧率，内容制作设备对第二帧率层级包含的点云媒体进行编码时需要的编码能力高于内容制作设备对第一帧率层级包含的点云媒体进行编码时需要的编码能力；因此，内容制作设备可以按照内容制作设备的编码能力将点云媒体划分为多个帧率层级。③内容制作设备还可以综合考虑点云媒体的显示效果和内容制作设备的编码能力，按照点云媒体的显示效果与所述内容制作设备的编码能力将点云媒体划分为所述N个帧率层级。

步骤S402，向内容消费设备输出第i帧率层级的帧率指示信息，以使内容消费设备按照第i帧率层级的帧率指示信息解析点云媒体。

在一种实现方式中，第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级。在一种实现方式中，点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级，或者多个文件轨道对应一个帧率层级；具体实现中，以GPCC编码方式为例，如果按照单轨道方式进行封装，则一个帧率层级内的所有媒体帧被封装至同一文件轨道中，此时P＝N，即一个文件轨道对应一个帧率层级。如果按照多轨道方式进行封装，则一个帧率层级内的媒体帧可能会被封装至多个文件轨道中，此时P＞N，则该多个文件轨道对应同一个帧率层级。需要说明的是，当同一个帧率层级内的媒体帧被封装至多个文件轨道中时，与该帧率层级关联的多个文件轨道中关于该帧率层级的帧率的指示信息相同；例如，第i帧率层级内的媒体帧被封装至3个文件轨道中时，3 个文件轨道中关于第i帧率层级的帧率的指示信息相同，例如，3个文件轨道中关于第i帧率层级的帧率的指示信息均为30fps。第i帧率层级的帧率指示信息被封装在第k文件轨道中，第k文件轨道是所述P个文件轨道中与第i帧率层级相对应的任一个文件轨道。具体地，第i帧率层级的帧率指示信息的封装过程如下：对第i帧率层级进行编码，得到第i帧率层级对应的点云压缩文件；将第i 帧率层级对应的点云压缩文件封装至第k文件轨道中；若第i帧率层级与其他帧率层级之间具备依赖关系，则根据依赖关系生成轨道参考类型数据盒，轨道参考类型数据盒中包含帧依赖标志字段，将帧依赖标志字段的取值设为有效值；并将轨道参考类型数据盒封装至第k文件轨道中，轨道参考类型数据盒是第i 帧率层级的帧率指示信息，帧依赖标志字段用于指示第i帧率层级与其他帧率层级之间具备依赖关系。

在一种实现方式中，内容制作设备按照第i帧率层级中的各个媒体帧在点云媒体中的重要性，将第i帧率层级中的各个媒体帧归类至M个优先层中，M为大于1的整数；点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第i帧率层级包括M个样本组，M个样本组中的任一个样本组为第m样本组，m为正整数且m∈[1，M]；内容制作设备生成第m样本组的点云帧优先级指示信息，并将点云帧优先级指示信息封装至第k文件轨道中。

在一种实现方式中，内容制作设备生成点云媒体的描述信令文件，描述信令文件中包括点云媒体关联的N个帧率描述信息，N个帧率描述信息中的第i 帧率描述信息用于描述第i帧率层级的帧率，第i帧率描述信息是N个帧率描述信息中的任一个；内容制作设备向内容消费设备下发点云媒体的描述信令文件，并接收内容消费设备发送的获取请求，获取请求中携带被选择的第i帧率描述信息；内容制作设备根据获取请求向内容消费设备返回第k文件轨道。

举例来说，如表4所示，内容制作设备将点云媒体A划分为2个帧率层级，分别是第一帧率层级和第二帧率层级，第一帧率层级的帧率为30fps，第二帧率层级的帧率为60fps；内容制作设备将点云媒体B划分为3个帧率层级，分别是第三帧率层级、第四帧率层级和第五帧率层级，第三帧率层级的帧率为15fps，第四帧率层级的帧率为30fps、第五帧率层级的帧率为60fps。内容制作设备对点云媒体A和点云媒体B分别进行编码，生成对应帧率层级的点云压缩文件；其中点云文件A的第二帧率层级对应的点云压缩文件解码时需要依赖第一帧率层级对应的点云压缩文件；点云媒体B的各个帧率层级之间不存在依赖关系，即点云媒体B的各个帧率层级的点云压缩文件可以被独立解码。内容制作设备对点云媒体A和点云媒体B的各个帧率层级的点云压缩文件分别进行封装；以点云媒体的几何比特流和点云媒体的属性比特流封装在一个文件轨道中为例，对于点云媒体A，点云媒体A关联2个文件轨道，分别是第一文件轨道和第二文件轨道，第一文件轨道对应第一帧率层级，第二文件轨道对应第二帧率层级；对于点云媒体B，点云媒体B关联3个文件轨道，分别是第三文件轨道、第四文件轨道和第五文件轨道，第三文件轨道对应第三帧率层级，第四文件轨道对应第四帧率层级，第五文件轨道对应第五帧率层级。内容制作设备将点云媒体A 和点云媒体B相关的描述信令文件MPD发送给多个内容消费设备(以第一内容消费设备和第二内容消费设备为例)；点云媒体A的描述信令文件中包含点云媒体A关联的2个帧率描述信息Representation，每个帧率描述信息所描述的帧率由帧率属性字段frameRate给出，2个帧率描述信息分别是第一帧率描述信息和第二帧率描述信息，第一帧率描述信息与第一帧率层级对应，第二帧率描述信息与第二帧率层级对应；点云媒体B的描述信令文件中包含点云媒体B关联的3个帧率描述信息，分别是第三帧率描述信息、第四帧率描述信息和第五帧率描述信息，第三帧率描述信息与第三帧率层级对应，第四帧率描述信息与第四帧率层级对应，第五帧率描述信息与第五帧率层级对应。

表4

例如，内容制作设备接收第一内容消费设备发送的第一获取请求，第一获取请求中携带被选择的第一帧率描述信息；内容制作设备根据第一获取请求向内容消费设备返回第一文件轨道；第一文件轨道中不包含轨道参考类型数据盒，或者，第一文件轨道中虽然包含轨道参考类型数据盒，但轨道参考类型数据盒中的帧依赖标志字段的取值为无效值，说明第一文件轨道可以被独立解码，内容消费设备按照第一文件轨道中封装的第一帧率层级的帧率指示信息对点云媒体A进行解码消费。又如，内容制作设备接收第一内容消费设备发送的第二获取请求，第二获取请求中携带被选择的第二帧率描述信息；内容制作设备根据第二获取请求向内容消费设备返回第二文件轨道，第二文件轨道中封装有第二帧率层级的帧率指示信息(即轨道参考类型数据盒)，第二文件轨道中包含轨道参考类型数据盒，且轨道参考类型数据盒中包含的帧依赖标志字段为有效值，说明第二文件轨道需要被联合解码；第一内容消费设备根据第二帧率层级的帧率指示信息中的第一文件轨道的轨道标识，获取第一文件轨道；内容消费设备对第一文件轨道与第二文件轨道进行联合解码。具体地，当第一内容消费设备检测到轨道参考类型数据盒中包含第一文件轨道的轨道标识时，第一内容消费设备检查第一内容消费设备的存储空间中是否存储有第一文件轨道，若第一内容消费设备的存储空间中存储有第一文件轨道，第一内容消费设备从第一内容消费设备的存储空间中获取第一文件轨道；若第一内容消费设备的存储空间不存在第一文件轨道，第一内容消费设备向内容制作设备请求第一文件轨道，请求过程如上所述。

在一种实现方式中，内容制作设备将第k文件轨道传输至内容消费设备的过程中，若内容制作设备检测到传输网络拥塞，内容制作设备按照各个媒体帧的优先级由高至低的顺序丢弃第k文件轨道中的相应媒体帧，并对第k文件轨道进行重新封装后发送至内容消费设备。在另一种实现方式中，内容制作设备将第k文件轨道传输至内容消费设备的传输网络中包括多个中间节点，若第一中间节点(传输网络中的任一个中间节点)检测到网络拥塞，第一中间节点按照各个媒体帧的优先级由高至低的顺序丢弃第k文件轨道中的相应媒体帧，并对第k文件轨道进行重新封装后发送至第二中间节点(传输网络中除第一中间节点之外的任一个中间节点)。其中，内容制作设备将第k文件轨道传输至内容消费设备的传输网络可以为CDN(Content Delivery Network，内容分发网络)。

举例来说，如表5所示，在内容制作设备的编码环节，内容制作设备按照点云媒体的第一帧率层级各个媒体帧在点云媒体中的重要性将各个媒体帧归类至3个优先层中，分别是第一优先层、第二优先层和第三优先层；点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第一帧率层级包括3个样本组；第一优先层中的各个媒体帧的优先级最高，是第一帧率层级中的关键帧，点云媒体解码时必须依赖第一优先层中的各个媒体帧，并且第一优先层中的各个媒体帧解码时不依赖其他优先层；第二优先层中的各个媒体帧的优先级次高，第二优先层中的各个媒体帧解码时依赖第一优先层中的各个媒体帧，但不依赖第三优先层中的各个媒体帧，第二优先层中的各个媒体帧可以大幅提升点云媒体的消费体验；第三优先层中的各个媒体帧的优先级最低，第三优先层中的各个媒体帧解码时依赖第一优先层中的各个媒体帧和第二优先层中的各个媒体帧，第三优先层中的各个媒体帧可以进一步提升点云媒体的消费体验。如表5所示，在内容制作设备的封装环节，内容制作设备第一帧率层级中各个媒体帧的优先级进行指示；第一优先层、第二优先层和第三优先层中的各个媒体帧属于一个优先级类型的样本组(sample gr oup)，该优先级类型的样本组的组类型(group type)为‘pcfp’，第一优先层、第二优先层和第三优先层分别对应优先级类型的样本组中的第一样本组、第二样本组和第三样本组；内容制作设备采用3个点云帧优先级指示信息(PointCloundFramePriorityGroupEntry)对3个样本组(即3个优先层)进行优先级指示，点云帧优先级指示信息中包含帧优先级字段(frame_priority)，样本组中各个媒体帧的帧优先级字段的取值越小，该样本组中的各个媒体帧的优先级越高；第一点云帧优先级指示信息对应第一优先层，第一点云帧优先级指示信息中的帧优先级字段的取值为0；第二点云帧优先级指示信息对应第二优先层，第二点云帧优先级指示信息中的帧优先级字段的取值为1；第三点云帧优先级指示信息对应第三优先层，第三点云帧优先级指示信息中的帧优先级字段的取值为2。

表5

例如，内容制作设备将第一帧率层级的点云媒体传输至内容消费设备的传输网络中包含第一中间节点和第二中间节点；内容制作设备将第一帧率层级的点云媒体传输至第一网络节点，第一节点检测到传输网络拥塞，第一中间节点将帧优先级字段取值为2的各个媒体帧丢弃，即丢弃第三优先层中的各个媒体帧，即丢弃第三样本组中的各个媒体帧，并对丢帧后的点云媒体进行重新封装后发送至第二中间节点；第二中间节点检测到传输网络拥塞，第二中间节点将帧优先级字段取值为1的各个媒体帧丢弃，即丢弃第二优先层中的各个媒体帧，即丢弃第二样本组中的各个媒体帧，并对丢帧后的点云媒体进行重新封装后发送至内容消费设备；内容消费设备接收到第二中间节点传输的点云媒体，此时点云媒体中仅剩帧优先级字段取值为0的媒体帧，即第一优先层中的各个媒体帧。

本申请实施例中，点云媒体被划分为N个帧率层级，且N个帧率层级的帧率不相同，通过划分点云媒体的帧率层级，对点云媒体的帧率进行区分；第i 帧率层级为N个帧率层级中的任一个，第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级，通过轨道参考类型数据盒以及轨道参考类型数据盒中的帧依赖标志字段，对点云媒体的帧率，以及各个帧率层级之间的依赖关系进行指示；在点云媒体的消费过程中，根据帧率描述信息按需获取点云媒体的第i帧率层级的帧率指示信息，避免大量点云媒体同时进行传输，节省点云媒体传输时的传输带宽，提升点云媒体的传输效率；此外，按照第i帧率层级的帧率指示信息解析点云媒体时，根据第i帧率层级与其他帧率层级之间的依赖关系对点云媒体进行解析，能够提升点云媒体的解析效率，从而提升点云媒体的呈现效果；另外，通过点云帧优先级指示信息以及点云帧优先级指示信息中的帧优先级字段对第i帧率层级包含的点云媒体的多个媒体帧的优先级进行区分和指示，在第i帧率层级包含的点云媒体的传输过程中，可以根据传输网络的拥堵情况适当丢弃优先级较低的媒体帧，在不影响点云媒体的呈现效果的前提下，进一步节省传输带宽，提升点云媒体的传输效率。

请参见图5，图5示出了本申请一个示例性实施例提供的一种点云媒体的数据处理装置的结构示意图，该点云媒体的数据处理装置50可以用于执行图3所示的点云媒体的数据处理方法中的相应步骤，该点云媒体的数据处理装置50包括如下单元：

获取单元501，用于获取点云媒体的第i帧率层级的帧率指示信息，点云媒体被划分为N个帧率层级，第i帧率层级为N个帧率层级中的任一个；第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级， N为大于1的整数，i为正整数且i∈[1，N]；

处理单元502，用于按照第i帧率层级的帧率指示信息解析点云媒体。

在一种实现方式中，点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级或者多个文件轨道对应同一个帧率层级；第i帧率层级的帧率指示信息被封装在第k文件轨道中，第k文件轨道是P个文件轨道中与第i帧率层级相对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]；

获取单元501，具体用于：

获取第k文件轨道；

若第k文件轨道中包含轨道参考类型数据盒，轨道参考类型数据盒中包含帧依赖标志字段，且帧依赖标志字段的取值为有效值，则将第k文件轨道中的轨道参考类型数据盒确定为第i帧率层级的帧率指示信息，帧依赖标志字段用于指示第i帧率层级与其他帧率层级之间具备依赖关系。

在一种实现方式中，若第k文件轨道中包含轨道参考类型数据盒，且轨道参考类型数据盒中包含的帧依赖标志字段为有效值，则轨道参考类型数据盒中包含与第i帧率层级具备依赖关系的第j帧率层级对应的第j文件轨道的标识；第j帧率层级是其他帧率层级中的任一个，且第j帧率层级的帧率小于第i帧率层级的帧率，j为正整数且j∈[1，N]；

处理单元502，具体用于：

根据轨道参考类型数据盒中包含的第j文件轨道的标识获取第j文件轨道；

对第k文件轨道与第j文件轨道进行联合解码。

在一种实现方式中，若第k文件轨道中未包含轨道参考类型数据盒，或者，若所述第k文件轨道中虽然包含所述轨道参考类型数据盒，但所述轨道参考类型数据盒中的帧依赖标志字段的取值为无效值，则第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间不具备依赖关系；

处理单元502，具体用于对第k文件轨道进行解码。

在一种实现方式中，获取单元501，具体用于：

获取内容制作设备下发的点云媒体的描述信令文件，描述信令文件中包括点云媒体关联的N个帧率描述信息，所述N个帧率描述信息中的第i帧率描述信息用于描述第i帧率层级的帧率，第i帧率描述信息是N个帧率描述信息中的任一个；

若所述第i帧率描述信息被选择，则向内容制作设备发送获取请求，获取请求中携带第i帧率描述信息，以使内容制作设备根据获取请求返回第k文件轨道。

在一种实现方式中，第i帧率层级包含点云媒体的多个媒体帧，第i帧率层级中的多个媒体帧按照各个媒体帧在点云媒体中的重要性被归类至M个优先层中，M为大于1的整数；

M个优先层中，若第一优先层中的媒体帧在点云媒体中的重要性高于第二优先层中的媒体帧在点云媒体中的重要性，则第一优先层的优先级高于第二优先层的优先级，并且第二优先层中的媒体帧在传输过程中被丢弃的可能性高于第一优先层中的媒体帧在传输过程中被丢弃的可能性；

其中，第一优先层与第二优先层是M个优先层中的任意两层。

在一种实现方式中，第i帧率层级中的多个媒体帧在点云媒体中的重要性通过以下至少一种规则进行判定：

第i帧率层级包含的多个媒体帧中，属于关键帧类型的媒体帧的重要性高于属于非关键帧类型的媒体帧的重要性；

第i帧率层级包含的多个媒体帧中，能够被独立解码的媒体帧的重要性高于需要被联合解码的媒体帧的重要性；

第i帧率层级包含的需要被联合解码的多个媒体帧中，联合解码时所依赖的帧数量越少的媒体帧的重要性越高。

在一种实现方式中，点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第i帧率层级包括M个样本组， M个样本组中的任一个样本组为第m样本组，m为正整数且m∈[1，M]；

点云媒体关联有P个文件轨道，第i帧率层级对应第k文件轨道，第k文件轨道中包含第m样本组的点云帧优先级指示信息，点云帧优先级指示信息中包含帧优先级字段，帧优先级字段用于指示第m样本组中所有样本对应的媒体帧的优先级，帧优先级字段的取值越小，则第m样本组中所有样本对应的媒体帧的优先级越高；第k文件轨道是P个文件轨道中与第i帧率层级对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]。

根据本申请的一个实施例，图5所示的点云媒体的数据处理装置50中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，该点云媒体的数据处理装置50也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。根据本申请的另一个实施例，可以通过在包括例如中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的通用计算机的通用计算设备上运行能够执行如图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图5中所示的点云媒体的数据处理装置50，以及来实现本申请实施例的点云媒体的数据处理方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于图1所示点云媒体的数据处理系统的内容消费设备101中，并在其中运行。

本申请实施例中，点云媒体被划分为N个帧率层级，且N个帧率层级的帧率不相同，对点云媒体的帧率进行区分；第i帧率层级为N个帧率层级中的任一个，第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级，对N个帧率层级中的任一个帧率层级与除该帧率层级之外的其他帧率层级的依赖关系进行指示；在点云媒体的消费过程中，可以按需获取点云媒体的第i帧率层级的帧率指示信息，避免大量点云媒体同时进行传输，节省点云媒体传输时的传输带宽，提升点云媒体的传输效率；此外，按照第i帧率层级的帧率指示信息解析点云媒体时，根据第i帧率层级与其他帧率层级之间的依赖关系对点云媒体进行解析，能够提升点云媒体的解析效率，从而提升点云媒体的呈现效果。

请参见图6，图6示出了本申请另一个示例性实施例提供的一种点云媒体的数据处理装置的结构示意图，该点云媒体的数据处理装置60可以用于执行图4 所示的点云媒体的数据处理方法中的相应步骤，该点云媒体的数据处理装置60 包括如下单元：

处理单元601，用于将点云媒体划分为N个帧率层级，第i帧率层级为所述 N个帧率层级中的任一个，N为大于1的整数，i为正整数且i∈[1，N]；

传输单元602，用于向内容消费设备传输所述第i帧率层级的帧率指示信息，以使所述内容消费设备按照所述第i帧率层级的帧率指示信息解析所述点云媒体；所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与其他帧率层级之间的依赖关系，所述其他帧率层级是指所述N个帧率层级中除所述第i帧率层级之外的一个或多个帧率层级。

在一种实现方式中，处理单元601，具体用于：

按照点云媒体的显示效果将点云媒体划分为N个帧率层级；或者，

按照内容制作设备的编码能力将点云媒体划分为N个帧率层级；或者，

按照点云媒体的显示效果与内容制作设备的编码能力，将点云媒体划分为N 个帧率层级。

在一种实现方式中，点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级，或者多个文件轨道对应同一个帧率层级；第i帧率层级的帧率指示信息被封装在第k文件轨道中，第k文件轨道是P个文件轨道中与第i帧率层级相对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]；处理单元601，还用于：

对第i帧率层级进行编码，得到第i帧率层级对应的点云压缩文件；

将第i帧率层级对应的点云压缩文件封装至第k文件轨道中；

若第i帧率层级与其他帧率层级之间具备依赖关系，则根据依赖关系生成轨道参考类型数据盒，轨道参考类型数据盒中包含帧依赖标志字段，将帧依赖标志字段的取值设为有效值；并将轨道参考类型数据盒封装至第k文件轨道中，轨道参考类型数据盒是第i帧率层级的帧率指示信息，帧依赖标志字段用于指示第i帧率层级与其他帧率层级之间具备依赖关系。

在一种实现方式中，处理单元601，还用于：

按照第i帧率层级中的各个媒体帧在点云媒体中的重要性，将第i帧率层级中的各个媒体帧归类至M个优先层中，M为大于1的整数；点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第i帧率层级包括M个样本组，M个样本组中的任一个样本组为第m样本组， m为正整数且m∈[1，M]；

生成第m样本组的点云帧优先级指示信息，并将点云帧优先级指示信息封装至第k文件轨道中。

在一种实现方式中，处理单元601，还用于：

生成点云媒体的描述信令文件，描述信令文件中包括点云媒体关联的N个帧率描述信息，N个帧率描述信息中的第i帧率描述信息用于描述第i帧率层级的帧率，第i帧率描述信息是N个帧率描述信息中的任一个；

向内容消费设备下发点云媒体的描述信令文件，并接收内容消费设备发送的获取请求，获取请求中携带被选择的第i帧率描述信息；

根据获取请求向内容消费设备返回第k文件轨道。

在一种实现方式中，传输单元602，具体用于：

根据获取请求获取第k文件轨道；

若检测到网络拥塞，则根据第k文件轨道中的各个样本组的点云帧优先级指示信息，按照各个媒体帧的优先级由高至低的顺序丢弃第k文件轨道中的相应媒体帧，并对第k文件轨道进行重新封装后发送至内容消费设备。

根据本申请的一个实施例，图6所示的点云媒体的数据处理装置60中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，该点云媒体的数据处理装置60也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。根据本申请的另一个实施例，可以通过在包括例如中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的通用计算机的通用计算设备上运行能够执行如图4中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的点云媒体的数据处理装置60，以及来实现本申请实施例的点云媒体的数据处理方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于图1所示点云媒体的数据处理系统的内容制作设备102中，并在其中运行。

本申请实施例中，点云媒体被划分为N个帧率层级，且N个帧率层级的帧率不相同，对点云媒体的帧率进行区分；第i帧率层级为N个帧率层级中的任一个，第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级，对N个帧率层级中的任一个帧率层级与除该帧率层级之外的其他帧率层级的依赖关系进行指示；在点云媒体的消费过程中，可以按需获取点云媒体的第i帧率层级的帧率指示信息，避免大量点云媒体同时进行传输，节省点云媒体传输时的传输带宽，提升点云媒体的传输效率；此外，按照第i帧率层级的帧率指示信息解析点云媒体时，根据第i帧率层级与其他帧率层级之间的依赖关系对点云媒体进行解析，能够提升点云媒体的解析效率，从而提升点云媒体的呈现效果。

请参见图7，图7示出了本申请一个示例性实施例提供的一种点云媒体的数据处理设备的结构示意图，该点云媒体的数据处理设备70至少包括处理器701 以及计算机可读存储介质702。其中，处理器701以及计算机可读存储介质702 可通过总线或者其它方式连接。计算机可读存储介质702可以存储在存储器中，计算机可读存储介质702用于存储计算机程序，计算机程序包括计算机指令，处理器701用于执行计算机可读存储介质702存储的计算机指令。处理器701 (或称CPU(Central Processing Unit，中央处理器))是点云媒体的数据处理设备70的计算核心以及控制核心，其适于实现一条或多条计算机指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。

本申请实施例还提供了一种计算机可读存储介质(Memory)，计算机可读存储介质是点云媒体的数据处理设备70中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质702既可以包括点云媒体的数据处理设备70中的内置存储介质，当然也可以包括点云媒体的数据处理设备70所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了点云媒体的数据处理设备70的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的计算机指令，这些计算机指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质702可以是高速RAM存储器，也可以是非不稳定的存储器 (Non-Volatile Memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器701的计算机可读存储介质。

在一种实现方式中，该点云媒体的数据处理设备70可以是图1所示的点云媒体的数据处理系统中的内容消费设备101；该计算机可读存储介质702中存储有第一计算机指令；由处理器701加载并执行计算机可读存储介质702中存放的第一计算机指令，以实现图3所示方法实施例中的相应步骤；具体实现中，计算机可读存储介质702中的第一计算机指令由处理器701加载并执行如下步骤：

获取点云媒体的第i帧率层级的帧率指示信息，点云媒体被划分为N个帧率层级，第i帧率层级为N个帧率层级中的任一个；第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N 个帧率层级中除第i帧率层级之外的一个或多个帧率层级，N为大于1的整数， i为正整数且i∈[1，N]；

按照第i帧率层级的帧率指示信息解析点云媒体。

在一种实现方式中，点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级，或者多个文件轨道对应同一个帧率层级；第i帧率层级的帧率指示信息被封装在第k文件轨道中，第k文件轨道是P个文件轨道中与第i帧率层级相对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]；计算机可读存储介质702中的第一计算机指令由处理器701加载时具体执行如下步骤：

获取第k文件轨道；

若第k文件轨道中包含轨道参考类型数据盒，轨道参考类型数据盒中包含帧依赖标志字段，且帧依赖标志字段的取值为有效值，则将第k文件轨道中的轨道参考类型数据盒确定为第i帧率层级的帧率指示信息，帧依赖标志字段用于指示第i帧率层级与其他帧率层级之间具备依赖关系。

在一种实现方式中，若第k文件轨道中包含轨道参考类型数据盒，且轨道参考类型数据盒中包含的帧依赖标志字段为有效值，则轨道参考类型数据盒中包含与第i帧率层级具备依赖关系的第j帧率层级对应的第j文件轨道的标识；第j帧率层级是其他帧率层级中的任一个，且第j帧率层级的帧率小于第i帧率层级的帧率，j为正整数且j∈[1，N]；计算机可读存储介质702中的第一计算机指令由处理器701加载时具体执行如下步骤：

根据轨道参考类型数据盒中包含的第j文件轨道的标识获取第j文件轨道；

对第k文件轨道与第j文件轨道进行联合解码。

在一种实现方式中，若第k文件轨道中未包含轨道参考类型数据盒，或者，若所述第k文件轨道中虽然包含所述轨道参考类型数据盒，但所述轨道参考类型数据盒中的帧依赖标志字段的取值为无效值，则第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间不具备依赖关系；计算机可读存储介质702中的第一计算机指令由处理器701加载时具体执行如下步骤：对第k文件轨道进行解码。

在一种实现方式中，计算机可读存储介质702中的第一计算机指令由处理器701加载时具体执行如下步骤：

获取内容制作设备下发的点云媒体的描述信令文件，描述信令文件中包括点云媒体关联的N个帧率描述信息，所述N个帧率描述信息中的第i帧率描述信息用于描述第i帧率层级的帧率，第i帧率描述信息是N个帧率描述信息中的任一个；

若所述第i帧率描述信息被选择，则向内容制作设备发送获取请求，获取请求中携带第i帧率描述信息，以使内容制作设备根据获取请求返回第k文件轨道。

在一种实现方式中，第i帧率层级包含点云媒体的多个媒体帧，第i帧率层级中的多个媒体帧按照各个媒体帧在点云媒体中的重要性被归类至M个优先层中，M为大于1的整数；

M个优先层中，若第一优先层中的媒体帧在点云媒体中的重要性高于第二优先层中的媒体帧在点云媒体中的重要性，则第一优先层的优先级高于第二优先层的优先级，并且第二优先层中的媒体帧在传输过程中被丢弃的可能性高于第一优先层中的媒体帧在传输过程中被丢弃的可能性；

其中，第一优先层与第二优先层是M个优先层中的任意两层。

在一种实现方式中，第i帧率层级中的多个媒体帧在点云媒体中的重要性通过以下至少一种规则进行判定：

第i帧率层级包含的多个媒体帧中，属于关键帧类型的媒体帧的重要性高于属于非关键帧类型的媒体帧的重要性；

第i帧率层级包含的多个媒体帧中，能够被独立解码的媒体帧的重要性高于需要被联合解码的媒体帧的重要性；

第i帧率层级包含的需要被联合解码的多个媒体帧中，联合解码时所依赖的帧数量越少的媒体帧的重要性越高。

在一种实现方式中，点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第i帧率层级包括M个样本组， M个样本组中的任一个样本组为第m样本组，m为正整数且m∈[1，M]；

点云媒体关联有P个文件轨道，第i帧率层级对应第k文件轨道，第k文件轨道中包含第m样本组的点云帧优先级指示信息，点云帧优先级指示信息中包含帧优先级字段，帧优先级字段用于指示第m样本组中所有样本对应的媒体帧的优先级，帧优先级字段的取值越小，则第m样本组中所有样本对应的媒体帧的优先级越高；第k文件轨道是P个文件轨道中与第i帧率层级对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]。

在一种实现方式中，该点云媒体的数据处理设备70可以是图1所示的点云媒体的数据处理系统中的内容制作设备102；该计算机可读存储介质702中存储有第二计算机指令；由处理器701加载并执行计算机可读存储介质702中存放的第二计算机指令，以实现图4所示方法实施例中的相应步骤；具体实现中，计算机可读存储介质702中的第二计算机指令由处理器701加载并执行如下步骤：

将点云媒体划分为N个帧率层级，第i帧率层级为所述N个帧率层级中的任一个，N为大于1的整数，i为正整数且i∈[1，N]；

向内容消费设备传输所述第i帧率层级的帧率指示信息，以使所述内容消费设备按照所述第i帧率层级的帧率指示信息解析所述点云媒体；所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与其他帧率层级之间的依赖关系，所述其他帧率层级是指所述N个帧率层级中除所述第i帧率层级之外的一个或多个帧率层级。

在一种实现方式中，计算机可读存储介质702中的第二计算机指令由处理器701加载时具体执行如下步骤：

按照点云媒体的显示效果将点云媒体划分为N个帧率层级；或者，

按照内容制作设备的编码能力将点云媒体划分为N个帧率层级；或者，

按照点云媒体的显示效果与内容制作设备的编码能力，将点云媒体划分为N 个帧率层级。

在一种实现方式中，点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级，或者多个文件轨道对应同一个帧率层级；第i帧率层级的帧率指示信息被封装在第k文件轨道中，第k文件轨道是P个文件轨道中与第i帧率层级相对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]；计算机可读存储介质702中的第二计算机指令由处理器701加载时还执行如下步骤：

对第i帧率层级进行编码，得到第i帧率层级对应的点云压缩文件；

将第i帧率层级对应的点云压缩文件封装至第k文件轨道中；

若第i帧率层级与其他帧率层级之间具备依赖关系，则根据依赖关系生成轨道参考类型数据盒，轨道参考类型数据盒中包含帧依赖标志字段，将帧依赖标志字段的取值设为有效值；并将轨道参考类型数据盒封装至第k文件轨道中，轨道参考类型数据盒是第i帧率层级的帧率指示信息，帧依赖标志字段用于指示第i帧率层级与其他帧率层级之间具备依赖关系。

在一种实现方式中，计算机可读存储介质702中的第二计算机指令由处理器701加载时还执行如下步骤：

按照第i帧率层级中的各个媒体帧在点云媒体中的重要性，将第i帧率层级中的各个媒体帧归类至M个优先层中，M为大于1的整数；点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则第i帧率层级包括M个样本组，M个样本组中的任一个样本组为第m样本组， m为正整数且m∈[1，M]；

生成第m样本组的点云帧优先级指示信息，并将点云帧优先级指示信息封装至第k文件轨道中。

在一种实现方式中，计算机可读存储介质702中的第二计算机指令由处理器701加载时还执行如下步骤：

生成点云媒体的描述信令文件，描述信令文件中包括点云媒体关联的N个帧率描述信息，N个帧率描述信息中的第i帧率描述信息用于描述第i帧率层级的帧率，第i帧率描述信息是N个帧率描述信息中的任一个；

向内容消费设备下发点云媒体的描述信令文件，并接收内容消费设备发送的获取请求，获取请求中携带被选择的第i帧率描述信息；

根据获取请求向内容消费设备返回第k文件轨道。

在一种实现方式中，计算机可读存储介质702中的第二计算机指令由处理器701加载时具体执行如下步骤：

根据获取请求获取第k文件轨道；

若检测到网络拥塞，则根据第k文件轨道中的各个样本组的点云帧优先级指示信息，按照各个媒体帧的优先级由高至低的顺序丢弃第k文件轨道中的相应媒体帧，并对第k文件轨道进行重新封装后发送至内容消费设备。

本申请实施例中，点云媒体被划分为N个帧率层级，且N个帧率层级的帧率不相同，对点云媒体的帧率进行区分；第i帧率层级为N个帧率层级中的任一个，第i帧率层级的帧率指示信息用于指示第i帧率层级与其他帧率层级之间的依赖关系，其他帧率层级是指N个帧率层级中除第i帧率层级之外的一个或多个帧率层级，对N个帧率层级中的任一个帧率层级与除该帧率层级之外的其他帧率层级的依赖关系进行指示；在点云媒体的消费过程中，可以按需获取点云媒体的第i帧率层级的帧率指示信息，避免大量点云媒体同时进行传输，节省点云媒体传输时的传输带宽，提升点云媒体的传输效率；此外，按照第i帧率层级的帧率指示信息解析点云媒体时，根据第i帧率层级与其他帧率层级之间的依赖关系对点云媒体进行解析，能够提升点云媒体的解析效率，从而提升点云媒体的呈现效果。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选方式中提供的点云媒体的数据处理方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种点云媒体的数据处理方法，其特征在于，所述方法包括：

获取点云媒体的第i帧率层级的帧率指示信息，所述点云媒体被划分为N个帧率层级，所述第i帧率层级为所述N个帧率层级中的任一个；所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与其他帧率层级之间的依赖关系，所述其他帧率层级是指所述N个帧率层级中除所述第i帧率层级之外的一个或多个帧率层级，N为大于1的整数，i为正整数且i∈[1，N]；

按照所述第i帧率层级的帧率指示信息解析所述点云媒体。

2.如权利要求1所述的方法，其特征在于，所述点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级，或者多个文件轨道对应同一个帧率层级；所述第i帧率层级的帧率指示信息被封装在第k文件轨道中，所述第k文件轨道是所述P个文件轨道中与所述第i帧率层级相对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]；

所述获取点云媒体的第i帧率层级的帧率指示信息，包括：

获取所述第k文件轨道；

若所述第k文件轨道中包含轨道参考类型数据盒，所述轨道参考类型数据盒中包含帧依赖标志字段，且所述帧依赖标志字段的取值为有效值，则将所述第k文件轨道中的所述轨道参考类型数据盒确定为所述第i帧率层级的帧率指示信息，所述帧依赖标志字段用于指示所述第i帧率层级与所述其他帧率层级之间具备依赖关系。

3.如权利要求2所述的方法，其特征在于，若所述第k文件轨道中包含所述轨道参考类型数据盒，且所述轨道参考类型数据盒中包含的所述帧依赖标志字段为有效值，则所述轨道参考类型数据盒中包含与所述第i帧率层级具备依赖关系的第j帧率层级对应的第j文件轨道的标识；所述第j帧率层级是所述其他帧率层级中的任一个，且所述第j帧率层级的帧率小于所述第i帧率层级的帧率，j为正整数且j∈[1，N]；

所述按照所述第i帧率层级的帧率指示信息解析所述点云媒体，包括：

根据所述轨道参考类型数据盒中包含的所述第j文件轨道的标识获取所述第j文件轨道；

对所述第k文件轨道与所述第j文件轨道进行联合解码。

4.如权利要求2所述的方法，其特征在于，若所述第k文件轨道中未包含所述轨道参考类型数据盒，或者，若所述第k文件轨道中虽然包含所述轨道参考类型数据盒，但所述轨道参考类型数据盒中的帧依赖标志字段的取值为无效值，则所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与所述其他帧率层级之间不具备依赖关系；

所述按照所述第i帧率层级的帧率指示信息解析所述点云媒体，包括：对所述第k文件轨道进行解码。

5.如权利要求2所述的方法，其特征在于，所述获取所述第k文件轨道，包括：

获取内容制作设备下发的所述点云媒体的描述信令文件，所述描述信令文件中包括所述点云媒体关联的N个帧率描述信息，所述N个帧率描述信息中的第i帧率描述信息用于描述所述第i帧率层级的帧率，所述第i帧率描述信息是所述N个帧率描述信息中的任一个；

若所述第i帧率描述信息被选择，则向所述内容制作设备发送获取请求，所述获取请求中携带所述第i帧率描述信息，以使所述内容制作设备根据所述获取请求返回所述第k文件轨道。

6.如权利要求1所述的方法，其特征在于，所述第i帧率层级包含所述点云媒体的多个媒体帧，所述第i帧率层级中的多个媒体帧按照各个媒体帧在所述点云媒体中的重要性被归类至M个优先层中，M为大于1的整数；

所述M个优先层中，若第一优先层中的媒体帧在所述点云媒体中的重要性高于第二优先层中的媒体帧在所述点云媒体中的重要性，则所述第一优先层的优先级高于所述第二优先层的优先级，并且所述第二优先层中的媒体帧在传输过程中被丢弃的可能性高于所述第一优先层中的媒体帧在传输过程中被丢弃的可能性；

其中，所述第一优先层与所述第二优先层是所述M个优先层中的任意两层。

7.如权利要求6所述的方法，其特征在于，所述第i帧率层级中的多个媒体帧在所述点云媒体中的重要性通过以下至少一种规则进行判定：

所述第i帧率层级包含的多个媒体帧中，属于关键帧类型的媒体帧的重要性高于属于非关键帧类型的媒体帧的重要性；

所述第i帧率层级包含的多个媒体帧中，能够被独立解码的媒体帧的重要性高于需要被联合解码的媒体帧的重要性；

所述第i帧率层级包含的需要被联合解码的多个媒体帧中，联合解码时所依赖的帧数量越少的媒体帧的重要性越高。

8.如权利要求6所述的方法，其特征在于，所述点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则所述第i帧率层级包括M个样本组，所述M个样本组中的任一个样本组为第m样本组，m为正整数且m∈[1，M]；

所述点云媒体关联有P个文件轨道，所述第i帧率层级对应第k文件轨道，所述第k文件轨道中包含所述第m样本组的点云帧优先级指示信息，所述点云帧优先级指示信息中包含帧优先级字段，所述帧优先级字段用于指示所述第m样本组中所有样本对应的媒体帧的优先级，所述帧优先级字段的取值越小，则所述第m样本组中所有样本对应的媒体帧的优先级越高；所述第k文件轨道是所述P个文件轨道中与所述第i帧率层级对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]。

9.一种点云媒体的数据处理方法，其特征在于，所述方法包括：

将点云媒体划分为N个帧率层级，第i帧率层级为所述N个帧率层级中的任一个，N为大于1的整数，i为正整数且i∈[1，N]；

向内容消费设备传输所述第i帧率层级的帧率指示信息，以使所述内容消费设备按照所述第i帧率层级的帧率指示信息解析所述点云媒体；所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与其他帧率层级之间的依赖关系，所述其他帧率层级是指所述N个帧率层级中除所述第i帧率层级之外的一个或多个帧率层级。

10.如权利要求9所述的方法，其特征在于，所述将点云媒体划分为N个帧率层级，包括：

按照所述点云媒体的显示效果将所述点云媒体划分为所述N个帧率层级；或者，

按照内容制作设备的编码能力将所述点云媒体划分为所述N个帧率层级；或者，

按照所述点云媒体的显示效果与所述内容制作设备的编码能力，将所述点云媒体划分为所述N个帧率层级。

11.如权利要求9所述的方法，其特征在于，所述点云媒体关联有P个文件轨道，一个文件轨道对应一个帧率层级，或者多个文件轨道对应同一个帧率层级；所述第i帧率层级的帧率指示信息被封装在第k文件轨道中，所述第k文件轨道是所述P个文件轨道中与所述第i帧率层级相对应的任一个文件轨道，P为大于1的整数，k为正整数且k∈[1，P]；所述第i帧率层级的帧率指示信息的封装过程包括：

对所述第i帧率层级进行编码，得到所述第i帧率层级对应的点云压缩文件；

将所述第i帧率层级对应的点云压缩文件封装至所述第k文件轨道中；

若所述第i帧率层级与所述其他帧率层级之间具备依赖关系，则根据所述依赖关系生成轨道参考类型数据盒，所述轨道参考类型数据盒中包含帧依赖标志字段，将所述帧依赖标志字段的取值设为有效值；并将所述轨道参考类型数据盒封装至所述第k文件轨道中，所述轨道参考类型数据盒是所述第i帧率层级的帧率指示信息，所述帧依赖标志字段用于指示所述第i帧率层级与所述其他帧率层级之间具备依赖关系。

12.如权利要求11所述的方法，其特征在于，所述方法还包括：

按照所述第i帧率层级中的各个媒体帧在所述点云媒体中的重要性，将所述第i帧率层级中的各个媒体帧归类至M个优先层中，M为大于1的整数；所述点云媒体中的一个媒体帧采用一个样本表示，位于同一优先层中的多个媒体帧属于同一个样本组，则所述第i帧率层级包括M个样本组，所述M个样本组中的任一个样本组为第m样本组，m为正整数且m∈[1，M]；

生成所述第m样本组的点云帧优先级指示信息，并将所述点云帧优先级指示信息封装至所述第k文件轨道中。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

生成所述点云媒体的描述信令文件，所述描述信令文件中包括所述点云媒体关联的N个帧率描述信息，所述N个帧率描述信息中的第i帧率描述信息用于描述所述第i帧率层级的帧率，所述第i帧率描述信息是所述N个帧率描述信息中的任一个；

向所述内容消费设备下发所述点云媒体的描述信令文件，并接收所述内容消费设备发送的获取请求，所述获取请求中携带被选择的所述第i帧率描述信息；

根据所述获取请求向所述内容消费设备返回所述第k文件轨道。

14.如权利要求13所述的方法，其特征在于，所述根据所述获取请求向所述内容消费设备返回所述第k文件轨道，包括：

根据所述获取请求获取所述第k文件轨道；

若检测到网络拥塞，则根据所述第k文件轨道中的各个样本组的点云帧优先级指示信息，按照各个媒体帧的优先级由高至低的顺序丢弃所述第k文件轨道中的相应媒体帧，并对所述第k文件轨道进行重新封装后发送至所述内容消费设备。

15.一种点云媒体的数据处理装置，其特征在于，所述点云媒体的数据处理装置包括：

获取单元，用于获取点云媒体的第i帧率层级的帧率指示信息，所述点云媒体被划分为N个帧率层级，所述第i帧率层级为所述N个帧率层级中的任一个；所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与其他帧率层级之间的依赖关系，所述其他帧率层级是指所述N个帧率层级中除所述第i帧率层级之外的一个或多个帧率层级，N为大于1的整数，i为正整数且i∈[1，N]；

处理单元，用于按照所述第i帧率层级的帧率指示信息解析所述点云媒体。

16.一种点云媒体的数据处理装置，其特征在于，所述点云媒体的数据处理装置包括：

处理单元，用于将点云媒体划分为N个帧率层级，第i帧率层级为所述N个帧率层级中的任一个，N为大于1的整数，i为正整数且i∈[1，N]；

传输单元，用于向内容消费设备传输所述第i帧率层级的帧率指示信息，以使所述内容消费设备按照所述第i帧率层级的帧率指示信息解析所述点云媒体；所述第i帧率层级的帧率指示信息用于指示所述第i帧率层级与其他帧率层级之间的依赖关系，所述其他帧率层级是指所述N个帧率层级中除所述第i帧率层级之外的一个或多个帧率层级。

17.一种点云媒体的数据处理设备，其特征在于，所述点云媒体的数据处理设备包括：

处理器，适于实现计算机指令；以及，

计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令适于由所述处理器加载并执行如权利要求1至14任一项所述的点云媒体的数据处理方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令，所述计算机指令适于由所述处理器加载并执行如权利要求1至14任一项所述的点云媒体的数据处理方法。

Images