CN115037943A - 一种媒体数据处理方法、装置、设备以及可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种媒体数据处理方法、装置、设备以及可读存储介质，该方法包括：获取点云媒体的至少一种辅助信息以及未赋值的通用指示信息；对点云媒体进行编码，得到点云码流；对点云码流、至少一种辅助信息以及未赋值的通用指示信息进行封装，得到媒体文件；媒体文件包括已赋值的通用指示信息，已赋值的通用指示信息是根据至少一种辅助信息，对未赋值的通用指示信息进行赋值所得到的；已赋值的通用指示信息用于指示至少一种辅助信息。采用本申请，可以降低点云码流的冗余及降低网络传输资源的浪费。本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。

Description

一种媒体数据处理方法、装置、设备以及可读存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种媒体数据处理方法、装置、设备以及可读存储介质。

背景技术

沉浸式媒体是指能为业务对象带来沉浸式体验的媒体内容，点云媒体是一种典型的沉浸式媒体。

现有技术中，内容制作设备先对点云媒体进行编码，得到点云码流，然后对点云媒体进行封装，封装时，如果存在第一辅助信息，则内容制作设备将点云码流与第一辅助信息进行封装，得到点云媒体对应的第一媒体文件；如果存在辅助信息类型不同于第一辅助信息的第二辅助信息，则将点云码流与第二辅助信息进行封装，得到点云媒体对应的第二媒体文件。显然，针对不同类型的辅助信息，现有技术会得到多个不同的媒体文件，但多个不同的媒体文件均包括相同的点云码流，故导致了点云码流的冗余，进而在传输多个不同的媒体文件时，会导致网络传输资源的浪费。

发明内容

本申请实施例提供了一种媒体数据处理方法、装置、设备以及可读存储介质，可以降低点云码流的冗余以及降低网络传输资源的浪费。

本申请实施例一方面提供了一种媒体数据处理方法，包括：

获取点云媒体的至少一种辅助信息以及未赋值的通用指示信息；

对点云媒体进行编码，得到点云码流；

对点云码流、至少一种辅助信息以及未赋值的通用指示信息进行封装，得到媒体文件；媒体文件包括已赋值的通用指示信息，已赋值的通用指示信息是根据至少一种辅助信息，对未赋值的通用指示信息进行赋值所得到的；已赋值的通用指示信息用于指示至少一种辅助信息。

本申请实施例一方面提供了一种媒体数据处理方法，包括：

获取媒体文件；媒体文件包括根据点云媒体的至少一种辅助信息所得到的已赋值的通用指示信息；已赋值的通用指示信息用于指示至少一种辅助信息；

对媒体文件进行解封装，得到点云码流以及至少一种辅助信息，对点云码流进行解码，得到点云媒体。

本申请实施例一方面提供了一种媒体数据处理装置，包括：

信息获取模块，用于获取点云媒体的至少一种辅助信息以及未赋值的通用指示信息；

信息封装模块，用于对点云媒体进行编码，得到点云码流；

信息封装模块，还用于对点云码流、至少一种辅助信息以及未赋值的通用指示信息进行封装，得到媒体文件；媒体文件包括已赋值的通用指示信息，已赋值的通用指示信息是根据至少一种辅助信息，对未赋值的通用指示信息进行赋值所得到的；已赋值的通用指示信息用于指示至少一种辅助信息。

其中，已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

其中，至少一种辅助信息包括辅助信息B_c；c为正整数，且c小于或等于至少一种辅助信息的总数量；

辅助信息B_c包括用于指示点云媒体的目标范围D_c的辅助级别参数；目标范围D_c包括空间范围E_c或时间范围F_c；

当媒体文件包括用于指示辅助信息B_c的第一辅助信息数据盒，且第一辅助信息数据盒包含于媒体文件对应的点云轨道的样本入口处时，目标范围D_c包括空间范围E_c；已赋值的数据盒信息包括第一辅助信息数据盒；

其中，辅助信息B_c中的一个辅助级别参数用于指示一个空间范围；一个空间范围包括G个点云帧分别包含的一个空间区域；点云媒体包括G个点云帧；G为正整数；或者

当媒体文件包括用于指示辅助信息B_c的辅助信息元数据轨道时，目标范围D_c包括时间范围F_c；已赋值的元数据轨道信息包括辅助信息元数据轨道；

其中，辅助信息元数据轨道包括与辅助信息B_c相关联的M个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括M个点云帧；M为正整数。

其中，第一辅助信息数据盒包括字段值为第一类型值的辅助信息类型字段、静态数据结构数量字段以及具有默认属性的辅助信息数据结构；

第一类型值表示辅助信息B_c所属的辅助信息类型；

静态数据结构数量字段用于指示具有静态属性的辅助信息数据结构的总数量。

其中，静态数据结构数量字段的取值为H，表示H个具有静态属性的辅助信息数据结构；H个具有静态属性的辅助信息数据结构包括具有静态属性的辅助信息数据结构I_j，其中，H、j均为正整数，且j小于或等于H；

具有静态属性的辅助信息数据结构I_j包括字段值为辅助级别参数L_j的辅助级别字段，以及字段值为第一指示值的目标范围指示字段；辅助级别参数L_j不同于默认辅助级别参数；默认辅助级别参数以及辅助级别参数L_j均属于辅助信息B_c中的辅助级别参数；

第一指示值表示辅助级别参数L_j用于指示一个空间范围的辅助级别。

其中，具有默认属性的辅助信息数据结构包括字段值为默认辅助级别参数的辅助级别字段，以及字段值为第二指示值的目标范围指示字段；默认辅助级别参数属于辅助信息B_c中的辅助级别参数；

第二指示值表示默认辅助级别参数用于指示一个空间范围的辅助级别；默认辅助级别参数所指示的空间范围包括点云媒体中除了具有静态属性的辅助信息数据结构所指示的空间范围之外的空间范围。

其中，第一辅助信息数据盒包括辅助算法指示字段；

当辅助算法指示字段的字段值取值为第三指示值时，表示辅助信息B_c存在辅助算法；

当辅助算法指示字段的字段值取值为第四指示值时，表示辅助信息B_c不存在辅助算法；第四指示值不同于第三指示值。

其中，当辅助算法指示字段的字段值取值为第三指示值时，第一辅助信息数据盒还包括辅助算法类型字段；

当辅助算法类型字段的字段值为第二类型值时，表示辅助信息B_c由辅助信息检测算法确定；

当辅助算法类型字段的字段值为第三类型值时，表示辅助信息B_c由数据统计确定；第三类型值不同于第二类型值。

其中，媒体数据处理装置，还包括：

信令传输模块，用于当存在第一辅助信息数据盒时，将针对媒体文件的传输信令传输至客户端；传输指令携带辅助信息描述数据K_c；辅助信息描述数据K_c用于指示客户端在通过流化传输方式获取媒体文件时，确定媒体文件中的不同媒体子文件之间的获取顺序；辅助信息描述数据K_c是基于辅助信息B_c所生成的。

其中，辅助信息描述数据K_c包括默认级别指示字段；

当默认级别指示字段的字段值为第五指示值时，表示默认信息指示字段对应的辅助级别参数为默认辅助级别参数；

当默认级别指示字段的字段值为第六指示值时，表示默认级别指示字段对应的辅助级别参数不为默认辅助级别参数；第六指示值不同于第五指示值；默认级别指示字段对应的辅助级别参数属于辅助信息B_c中的辅助级别参数。

其中，辅助信息元数据轨道的样本入口处包括生效范围指示字段以及第二辅助信息数据盒；生效范围指示字段用于指示M个样本序号分别对应的辅助级别参数的生效范围；第二辅助信息数据盒用于指示辅助信息B_c中具有静态属性的信息；M个样本序号分别对应的辅助级别参数属于辅助信息B_c中的辅助级别参数。

其中，M个样本序号包括样本序号τ，τ为正整数且τ小于或等于M；

当生效范围指示字段的字段值取值为第七指示值时，表示样本序号τ对应的辅助级别参数的生效范围为辅助信息元数据轨道；

当生效范围指示字段的字段值取值为第八指示值时，表示样本序号τ对应的辅助级别参数的生效范围为样本序号τ所对应的点云帧；第八指示值不同于第七指示值。

其中，辅助信息元数据轨道包括样本序号O_n；n为正整数且n小于或等于M；时间范围F_c包括样本序号O_n所对应的点云帧；

辅助信息元数据轨道包括针对样本序号O_n的辅助级别指示字段；

当辅助级别指示字段的字段值为第九指示值时，表示与样本序号O_n相关联的辅助级别由默认辅助级别参数确定；默认辅助级别参数属于辅助信息B_c中的辅助级别参数；

当辅助级别指示字段的字段值为第十指示值时，表示与样本序号O_n相关联的辅助级别由辅助信息数据结构确定；第十指示值不同于第九指示值。

其中，当辅助级别指示字段的字段值为第九指示值时，表示默认辅助级别参数用于指示样本序号O_n所对应的点云帧的辅助级别。

其中，当辅助级别指示字段的字段值为第十指示值时，辅助信息元数据轨道还包括针对样本序号O_n的数据结构数量字段；数据结构数量字段用于指示辅助信息数据结构的总数量。

其中，数据结构数量字段的取值为P，表示P个辅助信息数据结构；P个辅助信息数据结构包括辅助信息数据结构Qr，r，P均为正整数且r小于或等于P；

辅助信息数据结构Q_r包括字段值为辅助级别参数S_r的辅助级别字段，以及目标范围指示字段；辅助级别参数S_r属于辅助信息B_c中的辅助级别参数；

当目标范围指示字段的字段值为第一指示值时，表示辅助级别参数S_r用于指示，样本序号O_n所对应的点云帧中的一个空间区域的辅助级别；

当目标范围指示字段的字段值为第二指示值时，表示辅助级别参数S_r用于指示，样本序号O_n所对应的点云帧的辅助级别；第二指示值不同于第一指示值。

其中，至少一种辅助信息包括目标辅助信息；目标辅助信息包括用于指示目标范围的辅助级别参数；

信息封装模块，包括：

第一编码单元，用于根据目标辅助信息中的辅助级别参数，对点云媒体的目标范围进行优化编码，得到点云码流。

其中，目标范围的总数量为至少两个，至少两个目标范围包括第一目标范围以及第二目标范围；目标辅助信息中的辅助级别参数包括第一目标范围对应的第一辅助级别参数，以及第二目标范围对应的第二辅助级别参数；

第一编码单元，包括：

第一确定子单元，用于根据第一辅助级别参数，确定第一目标范围的第一编码级别，根据第二辅助级别参数，确定第二目标范围的第二编码级别，当第一辅助级别参数大于第二辅助级别参数时，第一编码级别优于第二编码级别；

第一编码子单元，用于通过第一编码级别，对第一目标范围进行优化编码，得到第一子点云码流，通过第二编码级别，对第二目标范围进行优化编码，得到第二子点云码流；

第一生成子单元，用于根据第一子点云码流以及第二子点云码流，生成点云码流。

其中，至少一种辅助信息包括第一辅助信息以及第二辅助信息；第一辅助信息包括用于指示点云媒体的目标范围的辅助级别参数σ；第二辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ρ；第一辅助信息对应的辅助信息类型不同于第二辅助信息对应的辅助信息类型；

信息封装模块，包括：

第二编码单元，用于根据辅助级别参数σ，以及辅助级别参数ρ，对目标范围进行优化编码，得到点云码流。

其中，目标范围的总数量为至少两个，至少两个目标范围包括第三目标范围以及第四目标范围；辅助级别参数σ包括第三目标范围对应的第三辅助级别参数，以及第四目标范围对应的第四辅助级别参数；辅助级别参数ρ包括第三目标范围对应的第五辅助级别参数，以及第四目标范围对应的第六辅助级别参数；

第二编码单元，包括：

第一求和子单元，用于对第三辅助级别参数以及第五辅助级别参数进行加权求和，得到第三目标范围对应的第一总辅助级别参数；

第二求和子单元，用于对第四辅助级别参数以及第六辅助级别参数进行加权求和，得到第四目标范围对应的第二总辅助级别参数；

第二确定子单元，用于根据第一总辅助级别参数，确定第三目标范围的第三编码级别，根据第二总辅助级别参数，确定第四目标范围的第四编码级别；当第一总编码级别参数大于第二总辅助级别参数时，第三编码级别优于第四编码级别；

第二编码子单元，用于通过第三编码级别，对第三目标范围进行优化编码，得到第三子点云码流，通过第四编码级别，对第四目标范围进行优化编码，得到第四子点云码流；

第二生成子单元，用于根据第三点云子码流以及第四点云子码流，生成点云码流。

本申请实施例一方面提供了一种媒体数据处理装置，包括：

文件获取模块，用于获取媒体文件；媒体文件包括根据点云媒体的至少一种辅助信息所得到的已赋值的通用指示信息；已赋值的通用指示信息用于指示至少一种辅助信息；

码流解码模块，用于对媒体文件进行解封装，得到点云码流以及至少一种辅助信息，对点云码流进行解码，得到点云媒体。

其中，至少一种辅助信息包括目标辅助信息；

目标辅助信息包括用于指示点云媒体的目标范围的辅助级别参数；目标范围包括空间范围或时间范围；

已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

其中，媒体文件包括用于指示目标辅助信息的辅助信息数据盒；已赋值的数据盒信息包括辅助信息数据盒；

媒体数据处理装置，还包括：

第一确定模块，用于当辅助信息数据盒包含于媒体文件对应的点云轨道的样本入口处时，确定目标范围包括空间范围；

其中，目标辅助信息中的一个辅助级别参数用于指示一个空间范围；一个空间范围包括T个点云帧分别包含的一个空间区域；点云媒体包括T个点云帧；T为正整数。

其中，空间范围的总数量为至少两个，至少两个空间范围包括第一空间范围以及第二空间范围；

媒体数据处理装置，还包括：

第一获取模块，用于在目标辅助信息中，获取用于指示第一空间范围的辅助级别参数U_v，获取用于指示第二空间范围的辅助级别参数U_v+1；v为正整数，且v小于目标辅助信息中的辅助级别参数的总数量；

第二确定模块，用于若辅助级别参数U_v大于辅助级别参数U_v+1，则确定第一空间范围对应的渲染级别，优于第二空间范围对应的渲染级别；

第二确定模块，还用于若辅助级别参数U_v小于辅助级别参数U_v+1，则确定第二空间范围对应的渲染级别，优于第一空间范围对应的渲染级别。

其中，媒体数据处理装置，还包括：

第三确定模块，用于当媒体文件包括用于指示目标辅助信息的辅助信息元数据轨道时，确定目标范围包括时间范围；已赋值的元数据轨道信息包括辅助信息元数据轨道；

其中，辅助信息元数据轨道包括与目标辅助信息相关联的W个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括W个点云帧；W为正整数。

其中，时间范围包括W个点云帧中的第一点云帧以及第二点云帧；

媒体数据处理装置，还包括：

第二获取模块，用于在目标辅助信息中，获取用于指示第一点云帧的辅助级别参数X_y，获取用于指示第二点云帧的辅助级别参数X_y+1；y为正整数，且y小于辅助信息中的辅助级别参数的总数量；

第四确定模块，用于若辅助级别参数X_y大于辅助级别参数X_y+1，则确定第一点云帧对应的渲染级别，优于第二点云帧对应的渲染级别；

第四确定模块，还用于若辅助级别参数X_y小于辅助级别参数X_y+1，则确定第二点云帧对应的渲染级别，优于第一点云帧对应的渲染级别。

其中，媒体数据处理装置，还包括：

第二获取模块，还用于若第一点云帧包括至少两个空间区域，且至少两个空间区域分别对应的辅助级别不同，则在目标辅助信息中，获取第一空间区域对应的辅助级别参数Zα，获取第二空间区域对应的辅助级别参数Zα+1；第一空间区域以及第二空间区域均属于至少两个空间区域；α为正整数，且α小于辅助信息中的辅助级别参数的总数量；

第五确定模块，用于若辅助级别参数Zα大于辅助级别参数Zα+1，则确定第一空间区域对应的渲染级别，优于第二空间区域对应的渲染级别；

第五确定模块，还用于若辅助级别参数Zα小于辅助级别参数Zα+1，则确定第二空间区域对应的渲染级别，优于第一空间区域对应的渲染级别。

其中，至少一种辅助信息包括第一辅助信息以及第二辅助信息；第一辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ζ；第二辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ψ；目标范围的总数量为至少两个；至少两个目标范围包括目标范围β以及目标范围δ；第一辅助信息对应的辅助信息类型不同于第二辅助信息对应的辅助信息类型；

媒体数据处理装置，还包括：

第三获取模块，用于在辅助级别参数ζ中，获取目标范围β对应的辅助级别参数ε，获取目标范围δ对应的辅助级别参数φ；

第三获取模块，还用于在辅助级别参数ψ中，获取目标范围β对应的辅助级别参数γ，获取目标范围δ对应的辅助级别参数μ；

加权求和模块，用于对辅助级别参数ε以及辅助级别参数γ进行加权求和，得到目标范围β对应的总辅助级别参数η；

加权求和模块，还用于对辅助级别参数φ以及辅助级别参数μ进行加权求和，得到目标范围δ对应的总辅助级别参数λ；

第六确定模块，用于若总辅助级别参数η大于总辅助级别参数λ，则确定目标范围β对应的渲染级别，优于目标范围δ对应的渲染级别；

第六确定模块，还用于若总辅助级别参数η小于于总辅助级别参数λ，则确定目标范围δ对应的渲染级别，优于目标范围β对应的渲染级别。

本申请一方面提供了一种计算机设备，包括：处理器、存储器、网络接口；

上述处理器与上述存储器、上述网络接口相连，其中，上述网络接口用于提供数据通信功能，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序，以使得计算机设备执行本申请实施例中的方法。

本申请实施例一方面提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，上述计算机程序适于由处理器加载并执行本申请实施例中的方法。

本申请实施例一方面提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行本申请实施例中的方法。

本申请实施例提出了一种未赋值的通用指示信息，在获取到点云媒体的至少一种辅助信息时，可以对点云媒体对应的点云码流、至少一种辅助信息以及未赋值的通用指示信息进行封装，封装过程中，可以根据至少一种辅助信息，对未赋值的通用指示信息进行赋值，得到已赋值的通用指示信息，进而可以得到包括已赋值的通用指示信息的媒体文件，其中，已赋值的通用指示信息用于指示上述至少一种辅助信息。上述可知，本申请实施例通过对未赋值的通用指示信息进行赋值，可以指示点云媒体的任意一种类型的辅助信息，故可以将不同类型的辅助信息均封装至一个媒体文件中，故可以避免一个辅助信息对应一个媒体文件，进而可以降低点云码流的冗余，通过传输一个包含不同类型的辅助信息的媒体文件，可以降低网络传输资源的浪费。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的3DoF的示意图；

图1b是本申请实施例提供的3DoF+的示意图；

图1c是本申请实施例提供的6DoF的示意图；

图2是本申请实施例提供的一种沉浸式媒体从采集到被消费的流程示意图；

图3是本申请实施例提供的一种沉浸式媒体系统的架构示意图；

图4是本申请实施例提供的一种媒体数据处理方法的流程示意图一；

图5是本申请实施例提供的一种显著度级别参数仅与时间相关，与空间区域无关的示意图；

图6是本申请实施例提供的一种显著度级别参数与空间区域相关，且空间区域的显著度级别参数随着时间变化的示意图；

图7是本申请实施例提供的一种媒体数据处理方法的流程示意图二；

图8是本申请实施例提供的一种显著度级别参数与空间区域相关，且与空间区域相关的显著度级别参数不随时间变化的示意图；

图9是本申请实施例提供的一种媒体数据处理方法的流程示意图三；

图10是本申请实施例提供的一种媒体数据处理装置的结构示意图一；

图11是本申请实施例提供的一种媒体数据处理装置的结构示意图二；

图12是本申请实施例提供的一种计算机设备的结构示意图；

图13是本申请实施例提供的一种数据处理系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面对本申请实施例涉及的一些技术术语进行介绍：

一、沉浸式媒体：

沉浸式媒体是指能够提供沉浸式体验的媒体内容，使沉浸于该媒体内容中的业务对象能够获得现实世界中视觉、听觉等感官体验的媒体文件。沉浸式媒体按照业务对象在消费媒体内容时的自由度(Degree of Freedom，简称DoF)，可以分为3DoF媒体、3DoF+媒体以及6DoF媒体。其中，点云媒体是一种典型的6DoF媒体。在本申请实施例中，将进行沉浸式媒体(例如点云媒体)消费的用户(即观看者)统称为业务对象。

二、点云：

点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。

点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，包括虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design，CAD)、地理信息系统(Geography Information System，GIS)、自动导航系统(AutonomousNavigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等。

点云的获取主要有以下途径：计算机生成、3D(3-Dimension，三维)激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI(Magnetic ResonanceImaging，磁共振成像)、CT(Computed Tomography，电子计算机断层扫描)、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。

三、轨道(Track)：

轨道是媒体文件封装过程中的媒体数据集合，由多个时序的样本组成。一个媒体文件可由一个或多个轨道组成，例如常见的：一个媒体文件可以包含一个视频媒体轨道、一个音频媒体轨道及一个字幕媒体轨道。特别地，元数据信息也可以作为一种媒体类型，以元数据媒体轨道的形式包含于文件中，在本发明中简称为元数据轨道。

四、样本(Sample)：

样本是媒体文件封装过程中的封装单位，一个轨道由很多个样本组成，每个样本对应特定的时间戳信息，例如：一个视频媒体轨道可以由很多个样本组成，一个样本通常为一个视频帧。在本申请实施例中，点云媒体轨道中的一个样本可以为一个点云帧。

五、样本入口(Sample Entry)：

样本入口用于指示轨道中所有样本相关的元数据信息。比如在视频轨道的样本入口中，通常会包含解码器初始化相关的元数据信息。

六、点云片(Slice)：

点云片(点云条)，代表部分或全部编码后点云帧数据的一系列语法元素(比如几何slice、属性slice)集合。

七、空间分块区域(Tile)：

点云帧边界空间区域内的六面体空间分块区域，本申请简称空间分块，一个空间分块由一个或多个点云片组成，空间分块之间不存在编解码依赖关系。

八、辅助信息(Auxiliary Info)

辅助信息是指与点云媒体的呈现有关的信息，包括可以辅助或协助点云媒体进行渲染的信息，本申请实施例不对辅助信息的类型进行限定，包括但不限于显著度信息、可信度信息、质量等级以及优先级。

其中，显著度(Auxiliary)：

由于人类的视觉系统能够自然地在对场景的快速扫视中，确定当前场景中最明显和突出的区域，因此人们在观看图片时会自然地被图片内容中突出的那一部分吸引。对于图片来说，最吸引观察者注意力的那一部分即为图片的显著区域。对于一幅图片来说，其不同的区域对观察者的吸引力各不相同，而表征这些区域对观察者吸引力程度的概念就叫做显著度(Auxiliary)或者显著性。

可信度(Reliability)：

由于点云采集手段和采集环境的限制，在某些环境之下，点云采集到的点可能具备不同的质量，这种质量也被定义为可信度，即以采集的点对于点云应用的有效程度或者可信赖程度来衡量这些点的质量。

质量等级(Quality Grade)：

质量等级是对点云媒体的客观质量(比如峰值信噪比，Peak Signal to NoiseRatio，简写为PSNR)或者主观质量(比如人眼打分)的衡量。

优先级(priority)：

优先级是指对点云媒体处理的优先程度，比如解码过程，传输过程的优先程度。

九、DoF(自由度)：

本申请中DoF是指业务对象在观看沉浸式媒体(如点云媒体)时，支持的运动并产生内容交互的自由度，可以包括3DoF(三自由度)、3DoF+和6DoF(六自由度)。其中，3DoF是指业务对象头部围绕x轴、y轴、z轴旋转的三种自由度。3DoF+是在三自由度的基础上，业务对象还拥有沿x轴、y轴、z轴有限运动的自由度。6DoF是在三自由度的基础上，业务对象还拥有沿x轴、y轴、z轴自由运动的自由度。

十、ISOBMFF(ISO Based Media File Format)：

基于ISO(International Standard Organization，国际标准化组织)标准的媒体文件格式，是媒体文件的封装标准，较为典型的ISOBMFF文件即MP4(Moving PictureExperts Group 4，动态图像专家组4)文件。

十一、DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)：是一种自适应比特率技术，使高质量流媒体可以通过传统的HTTP网络服务器在互联网传递。

十二、MPD(Media Presentation Description，DASH中的媒体演示描述信令)，用于描述媒体文件中的媒体片段信息。

十三、表示层级(Representation)：是指DASH中一个或多个媒体成分的组合，比如某种分辨率的视频文件可以看做一个Representation。

十四、自适应集层级(Adaptation Sets)：是指DASH中一个或多个视频流的集合，一个Adaptation Sets中可以包含多个Representation。

十五、媒体片段(Media Segment)：符合一定的媒体格式、可播放的片段。播放时可能需要与其前面的0个或多个片段以及初始化片段(Initialization Segment)配合。

本申请实施例涉及沉浸式媒体的数据处理技术，下面将对沉浸式媒体的数据处理过程中的一些概念进行介绍，特别说明的是，本申请后续实施例中均以沉浸式媒体为点云媒体为例进行说明。

请参见图1a，图1a是本申请实施例提供的3DoF的示意图。如图1a所示，3DoF是指消费沉浸式媒体的业务对象在一个三维空间的中心点固定，业务对象头部沿着X轴、Y轴和Z轴旋转来观看媒体内容提供的画面。

请参见图1b，图1b是本申请实施例提供的3DoF+的示意图。如图1b所示，3DoF+是指当沉浸式媒体提供的虚拟场景具有一定的深度信息，业务对象头部可以基于3DoF在一个有限的空间内移动来观看媒体内容提供的画面。

请参见图1c，图1c是本申请实施例提供的6DoF的示意图。如图1c所示，6DoF分为窗口6DoF、全方向6DoF和6DoF，其中，窗口6DoF是指业务对象在X轴、Y轴的旋转移动受限，以及在Z轴的平移受限；例如，业务对象不能够看到窗户框架外的景象，以及业务对象无法穿过窗户。全方向6DoF是指业务对象在X轴、Y轴和Z轴的旋转移动受限，例如，业务对象在受限的移动区域中不能自由的穿过三维的360度VR内容。6DoF是指业务对象在3DoF的基础上，可以沿着X轴、Y轴、Z轴自由平移，例如，业务对象可以在三维的360度VR内容中自由的走动。

请参见图2，图2是本申请实施例提供的一种沉浸式媒体从采集到被消费的流程示意图。如图2所示，针对沉浸式媒体的完整处理过程具体可以包括：视频采集，视频编码，视频文件封装，视频文件传输，视频文件解封装，视频解码和最终的视频呈现。

其中，视频采集用于将模拟视频转换为数字视频，并按数字视频文件的格式进行保存，也就是说，视频采集可将多个相机从不同角度采集到的视频信号(例如，点云数据)转换为二进制数字信息，其中，由视频信号转换为的二进制数字信息是一种二进制数据流，该二进制数字信息也可称为该视频信号的码流或者位流(Bitstream)。视频编码则是指通过压缩技术，将原始视频格式的文件转换为另一种视频格式文件。从视频信号的获取方式看，视频信号可以分为相机拍摄到的以及计算机生成的两种方式，由于统计特性的不同，其对应的压缩编码方式也可能有所区别，常用的压缩编码方式具体可以包括HEVC(HighEfficiency Video Coding，国际视频编码标准HEVC/H.265)，VVC(Versatile VideoCoding，国际视频编码标准VVC/H.266)，AVS(Audio Video Coding Standard，中国国家视频编码标准)，AVS3(由AVS标准组推出的第三代视频编码标准)等。

在视频编码后，则需要对编码后的数据流(例如，点云码流)进行封装并传输给业务对象，视频文件封装是指按照封装格式(或容器，或文件容器)，将已经编码压缩好的视频码流和音频码流按照一定的格式存放在一个文件中，常见的封装格式包括AVI格式(AudioVideo Interleaved，音频视频交错格式)或者ISOBMFF格式。在一个实施例中，将音频码流和视频码流按照如ISOBMFF的文件格式封装在文件容器中形成媒体文件(也可称为封装文件、视频文件)，该媒体文件可由多个轨道组成，比如可以包含一个视频轨道、一个音频轨道以及一个字幕轨道。

内容制作设备执行上述编码过程和文件封装过程后，可以将媒体文件传输到内容消费设备上的客户端，客户端则可在进行解封装、解码等逆操作后，在客户端中进行最终视频内容的呈现。其中，媒体文件可基于各种传输协议发送到客户端，这里的传输协议可包括但不限于：DASH协议、HLS(HTTP Live Streaming，动态码率自适应传输)协议、SMTP(SmartMedia Transport Protocol，智能媒体传输协议)、TCP(Transmission Control Protocol，传输控制协议)等。

可以理解，客户端的文件解封装的过程与上述的文件封装过程是相逆的，客户端可按照封装时的文件格式要求对媒体文件进行解封装，得到音频码流和视频码流。客户端的解码过程与编码过程也是相逆的，例如，该客户端可对视频码流解码，还原出视频内容，且可对音频码流解码，还原出音频内容。

为便于理解，请一并参见图3，图3是本申请实施例提供的一种沉浸式媒体系统的架构示意图。如图3所示，该沉浸式媒体系统可以包括内容制作设备(例如，内容制作设备200A)和内容消费设备(例如，内容消费设备200B)，内容制作设备可以是指，点云媒体的提供者(例如点云媒体的内容制作者)所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)等)或服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

内容消费设备可以是指点云媒体的使用者(例如点云媒体的观看者，即业务对象)所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等)、智能家电、车载终端、飞行器等)，该计算机设备集成有客户端。内容制作设备以及内容消费设备可以通过有线或无线通信方式，进行直接或间接地连接，本申请在此不做限制。

其中，上述客户端可以为具有显示文字、图像、音频以及视频等数据信息功能的客户端，包括但不限于多媒体客户端(例如，视频客户端)、社交类客户端(例如，即时通信客户端)、资讯类应用(例如，新闻客户端)、娱乐客户端(例如，游戏客户端)、购物客户端、车载客户端、浏览器等。其中，该客户端可以为独立的客户端，也可以为集成在某客户端(例如，社交客户端)中的嵌入式子客户端，在此不做限定。

可以理解的是，本申请涉及沉浸式媒体的数据处理技术可以依托于云技术进行实现；例如，将云服务器作为内容制作设备。云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

点云媒体的数据处理过程包括在内容制作设备侧的数据处理过程及在内容消费设备侧的数据处理过程。

在内容制作设备侧的数据处理过程主要包括：(1)点云媒体的媒体内容的获取与制作过程；(2)点云媒体的编码及文件封装的过程。在内容消费设备侧的数据处理过程主要包括：(1)点云媒体的文件解封装及解码的过程；(2)点云媒体的渲染过程。另外，内容制作设备与内容消费设备之间涉及点云媒体的传输过程，该传输过程可以基于各种传输协议来进行，此处的传输协议可包括但不限于：DASH协议、HLS协议、SMT协议、TCP协议等。

下面将结合图3，分别对点云媒体的数据处理过程中涉及的各个过程进行简单介绍。

一、在内容制作设备侧的数据处理过程：

(1)点云媒体的媒体内容的获取与制作过程。

1)点云媒体的媒体内容的获取过程。

点云媒体的媒体内容是通过捕获设备采集现实世界的声音-视觉场景获得的。在一种实现中，捕获设备可以是指设于内容制作设备中的硬件组件，例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中，该捕获设备也可以是与内容制作设备相连接的硬件装置，例如与服务器相连接的摄像头，用于为内容制作设备提供点云媒体的媒体内容的获取服务。该捕获设备可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置，以同时捕获该空间内不同角度的音频内容和视频内容，捕获的音频内容和视频内容在时间和空间上均保持同步。本申请实施例可以将由部署在特定位置的捕获设备所采集到的用于提供多自由度(如6DoF)观看体验的三维空间的媒体内容称作点云媒体。

例如，以获取点云媒体的视频内容为例进行说明，如图3所示，视觉场景20A(例如真实世界的视觉场景)，可以由内容制作设备200A相连接的一组相机阵列捕获，或者，可以由与内容制作设备200A相连接的具有多个摄像头和传感器的摄像设备捕获。采集结果可以为源点云数据20B(即点云媒体的视频内容)。

2)点云媒体的媒体内容的制作过程。

应当理解，本申请实施例所涉及的点云媒体的媒体内容的制作过程，可以理解为点云媒体的内容制作的过程，且这里的点云媒体的内容制作，主要由部署在多个位置的相机或相机阵列拍摄得到的点云数据等形式的内容制作而成，比如，内容制作设备可以将点云媒体从三维的表示转换成二维的表示。

此外，需要说明的是，由于采用捕获设备可以捕获到全景视频，这样的视频经内容制作设备处理并传输至内容消费设备进行相应的数据处理后，内容消费设备侧的业务对象需要通过执行一些特定动作(如头部旋转)，来观看360度的视频信息，而执行非特定动作(如移动头部)并不能获得相应的视频变化，VR体验不佳，因此需要额外提供与全景视频相匹配的深度信息，来使业务对象获得更优的沉浸度和更佳的VR体验，这就涉及6DoF制作技术。当业务对象可以在模拟的场景中较自由地移动时，称为6DoF。采用6DoF制作技术进行点云媒体的视频内容的制作时，捕获设备一般会选用激光设备、雷达设备等，捕获空间中的点云数据。

(2)点云媒体的编码及文件封装的过程。

捕获到的音频内容可直接进行音频编码，形成点云媒体的音频码流。捕获到的视频内容可进行视频编码，得到点云媒体的视频码流。此处需要说明的是，如果采用6DoF制作技术，在视频编码过程中需要采用特定的编码方式(如基于传统视频编码的点云压缩方式)进行编码。内容制作设备按照点云媒体的文件格式(如ISOBMFF)，将音频码流和视频码流封装在文件容器中，形成点云媒体的媒体文件资源，该媒体文件资源可以是媒体文件或媒体片段形成的点云媒体的媒体文件；并按照点云媒体的文件格式要求，采用媒体呈现描述信息(即MPD)记录该点云媒体的媒体文件资源的元数据，此处的元数据是对与点云媒体的呈现有关的信息的总称，该元数据可包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。可以理解，内容制作设备会存储经过数据处理过程之后形成的媒体呈现描述信息(本申请包括辅助信息)和媒体文件资源。

如图3所示，内容制作设备200A对源点云数据20B中的一个或多个数据帧进行点云媒体编码，例如，采用基于几何模型的点云压缩(Geometry-based Point CloudCompression，G-PCC，其中，PCC即点云压缩)，从而得到编码后的点云码流20E(即视频码流，例如G-PCC码流)。随后，内容制作设备200A可以根据特定的媒体文件格式(如ISOBMFF)，将一个或多个编码后的码流封装成一个用于本地回放的媒体文件20F，或者，封装成一个用于流式传输的片段序列20F_s。此外，内容制作设备200A中的文件封装器也可以将相关元数据添加到媒体文件20F或片段序列20F_s中。进一步，内容制作设备200A可以采用某种传输机制(如DASH、SMT)将片段序列20F_s传输到内容消费设备200B，或者，将媒体文件20F传输到内容消费设备200B。在一些实施方式中，内容消费设备200B可以为一个播放器。

二、在内容消费设备侧的数据处理过程：

(3)点云媒体的文件解封装及解码的过程。

内容消费设备可以通过内容制作设备的推荐或按照内容消费设备侧的业务对象的需求，自适应动态从内容制作设备获得点云媒体的媒体文件资源和相应的媒体呈现描述信息，例如内容消费设备可根据业务对象的头部/眼睛的位置信息，确定业务对象的观看方向和观看位置，再基于确定的观看方向和观看位置动态，向内容制作设备请求获得相应的媒体文件资源。通过传输机制(如DASH、SMT)，媒体文件资源和媒体呈现描述信息由内容制作设备传输给内容消费设备。内容消费设备侧的文件解封装的过程，与内容制作设备侧的文件封装过程是相逆的，内容消费设备按照点云媒体的文件格式要求(例如，ISOBMFF)对媒体文件资源进行解封装，得到音频码流和视频码流。内容消费设备侧的解码过程与内容制作设备侧的编码过程是相逆的，内容消费设备对音频码流进行音频解码，还原出音频内容；内容消费设备对视频码流进行视频解码，还原出视频内容。

例如，如图3所示，内容制作设备200A中的文件封装器输出的媒体文件20F，与内容消费设备200B中输入文件解封装器的媒体文件20F'是相同的。文件解封装器对媒体文件20F'或接收到的片段序列20F'_s进行文件解封装处理，并提取出编码后的点云码流20E'，同时解析相应的元数据，随后可以对点云码流20E'进行点云媒体解码，得到解码后的视频信号20D'，且可以从视频信号20D'生成点云数据(即还原出的视频内容)。其中，媒体文件20F和媒体文件20F'可以包括轨道格式定义，它可能包含对轨道中的样本所包含的基本流的约束。

(4)点云媒体的渲染过程。

内容消费设备根据媒体文件资源对应的媒体呈现描述信息中与渲染相关的元数据(例如本申请的辅助信息)，对音频解码得到的音频内容及视频解码得到的视频内容进行渲染，渲染完成即实现了对该内容的播放输出。

沉浸式媒体系统支持数据盒，数据盒是指包括元数据的数据块或对象，即数据盒中包含了相应媒体内容的元数据。在实际应用中，内容制作设备可通过数据盒来指导内容消费设备对点云媒体的媒体文件进行消费。点云媒体可以包括多个数据盒，例如包括ISOBMFF数据盒(ISO Base Media File Format Box，简称为ISOBMFF Box)，其包含用于描述文件封装时的相应信息的元数据，在本申请实施例中，ISOBMFF数据盒包括用于指示点云媒体的辅助信息的元数据。

上述可知，内容消费设备可以动态地从内容制作设备侧获取点云媒体对应的媒体文件资源，由于媒体文件资源是由内容制作设备对捕获到的音视频内容进行编码以及封装后所得到的，因此，内容消费设备接收到内容制作设备返回的媒体文件资源后，需要先对该媒体文件资源进行解封装，得到相应的音视频码流，随后再对该音视频码流进行解码，最终才能将解码后的音视频内容呈现给业务对象。这里的点云媒体可以包括但不限于VPCC(Video-based Point Cloud Compression，基于传统视频编码的点云压缩)点云媒体、GPCC(Geometry-based Point Cloud Compression，基于几何模型的点云压缩)点云媒体。

可以理解的是，辅助信息对图像的处理和分析都有着非常重要的意义，能够极大地提高图像处理分析的效率。本申请实施例不对辅助信息的类型进行限定，可以为任意一种用于辅助点云媒体进行渲染的信息，例如显著度信息(包括显著度级别参数以及显著度级别参数的获取算法)、可信度信息(包括可信度级别参数以及可信度级别参数的获取算法)、优先级信息(包括优先级级别参数，或优先级级别参数以及优先级级别参数的获取算法)以及质量等级信息(包括质量等级参数以及该质量等级参数的获取算法)。

可以理解的是，不同类型的辅助信息均具有意义，故实际应用时，内容制作设备可能会获取多种不同辅助信息类型(简称类型)的辅助信息，本申请实施例提出一种未赋值的通用指示信息，故可以将多种不同类型的辅助信息与点云码流进行封装，得到点云媒体对应的媒体文件，将媒体文件进行保存，以后续播放，或通过流化传输方式，将媒体文件传输至内容消费设备。内容消费设备对接收的媒体文件进行解封装，得到点云码流以及通过已赋值的通用指示信息所指示的多种不同类型的辅助信息，进一步，对点云码流进行解码，得到点云媒体，根据多种不同类型的辅助信息，内容消费设备对点云媒体进行渲染并呈现媒体内容。

基于上述，根据不同类型的辅助信息，本申请实施例提出一种可以用于指示不同类型的辅助信息的通用指示信息，故将不同类型的辅助信息均封装至一个媒体文件中，故可以避免一个辅助信息对应一个媒体文件，进而可以降低点云码流的冗余，通过传输一个包含不同类型的辅助信息的媒体文件，还可以降低网络传输资源的浪费。此外，通过未赋值的通用指示信息，本申请实施例可以提高不同的类型的辅助信息被封装的效率，以及不同的辅助信息被解封装的效率，进而可以根据消费需要，提高点云媒体的渲染效果，呈现符合消费需求的媒体内容。

应当理解，本申请实施例提供的方法可以应用于沉浸式媒体系统的服务器端(即内容制作设备侧)、播放器端(即内容消费设备侧)以及中间节点(例如，SMT(Smart MediaTransport，智能媒体传输)接收实体、SMT发送实体)等环节。其中，内容制作设备获取点云媒体的至少一种辅助信息，对点云媒体进行编码，得到点云码流，并对点云码流、至少一种辅助信息以及未赋值的通用指示信息进行封装，得到媒体文件的具体过程，以及内容消费设备基于媒体文件中的至少一种辅助信息，对点云媒体进行渲染的具体过程可以参见下述图4-图9所对应实施例的描述。

进一步地，请参见图4，图4是本申请实施例提供的一种媒体数据处理方法的流程示意图一。该方法可由沉浸式媒体系统中的内容制作设备(例如，上述图3所对应实施例中的内容制作设备200A)来执行，比如，该内容制作设备可以为服务器，本申请实施例以服务器执行为例进行说明。该方法至少可以包括以下步骤S101-步骤S102。

步骤S101，获取点云媒体的至少一种辅助信息以及未赋值的通用指示信息。

具体的，至少一种辅助信息包括辅助信息B_c；c为正整数，且c小于或等于至少一种辅助信息的总数量；辅助信息B_c包括用于指示点云媒体的目标范围D_c的辅助级别参数；目标范围D_c包括空间范围E_c或时间范围F_c。

点云媒体的获取过程以及制作过程，请参见上文图3中的描述，此处不进行赘述。本申请实施例中的辅助信息可以包括两类信息(是指一种辅助信息的组成)，一类信息是辅助算法信息，即获取辅助级别参数的信息，本申请实施例不对获取辅助级别参数的算法进行限定，可以根据实际应用场景进行设定；另一类信息是用于指示目标范围的辅助级别参数。

本申请实施例对至少一种辅助信息的总数量不进行限定，总数量可以为1，表示1种辅助信息；总数量可以为大于1的正整数，例如2，表示2种辅助信息，2种辅助信息可以包括第一辅助信息以及第二辅助信息，其中，第一辅助信息对应的辅助信息类型不同于第二辅助信息对应的辅助信息类型，例如第一辅助信息为可信度信息，第二辅助信息为显著度信息。显著度信息可以包括用于指示点云媒体的目标范围(为了区分，将该目标范围称作显著度对应的目标范围)的显著度级别参数，以及该显著度级别参数对应的获取算法。可信度信息可以包括用于指示点云媒体的目标范围(为了区分，将该目标范围称作可信度对应的目标范围)的可信度级别参数，以及该可信度级别参数对应的获取算法。可以理解的是，至少一种辅助信息的总数量可以根据实际应用消费需求进行确定。

在至少两种辅助信息的场景下，即服务器获取多种不同类型的辅助信息，其中，服务器获取多种不同类型的辅助信息的过程是相互独立的，例如上述示例的可信度信息以及显著度信息，在本申请实施例中，服务器获取可信度信息的过程，与获取显著度信息的过程是相互独立的，此时，显著度对应的目标范围，与可信度对应的目标范围是相互独立的，即显著度对应的目标范围可以与可信度对应的目标范围相同，也可以不同。此外，获取显著度信息的算法与获取可信度信息的算法是相互独立的。

可以理解的是，不同的点云媒体，其对应的辅助级别参数需要关联的范围是不同的，为了便于叙述以及理解，此处暂以辅助级别参数为显著度级别参数示例。一些点云媒体对应的显著度级别参数仅随时间发生变化，即点云媒体的点云帧内不存在不同的显著度级别参数，此时，显著度级别参数无需关联到空间区域。一些点云媒体对应的显著度级别参数仅随着空间发生变化，即点云媒体的点云帧内存在不同的显著度级别参数，例如第一点云帧中的第一空间区域对应的显著度级别参数，不同于第一点云帧中的第二空间区域对应的显著度级别参数，但点云媒体中的剩余点云帧的内部显著度级别参数的变化，与第一点云帧内的显著度级别参数的变化相同，此时，显著度级别参数无需关联到点云帧。一些点云媒体对应的显著度级别参数随着时间以及空间发生变化，例如，第一点云帧的显著度级别参数不同于第二点云帧的显著度级别参数，且第一点云帧内存在不同的显著度级别参数。其它类型的辅助级别参数可以参照上文关于显著度信息的显著度级别参数的描述进行理解。

因此，本申请实施例针对沉浸式媒体，特别是点云媒体，提出了一种通用的辅助信息指示方法，可以涵盖可信度、显著度、质量等级、优先级等不同类型的辅助信息的指示，该方法在文件封装层面和信令传输层面，通过

1、定义用于指示不同范围(包括空间范围和时间范围)的通用指示信息；

2、定义不同类型的辅助信息获取算法；

3、在信令传输层面将辅助信息和空间信息进行关联；

可以更灵活地确定点云媒体中不同空间区域、不同点云帧的辅助信息，从而满足更多的点云应用场景，使服务器能够根据辅助信息进行编码优化，使客户端能够根据辅助信息进行传输优化。同时，通用的辅助指示信息还可以进行个性化的扩展，支持更多的点云应用。

本申请实施例在系统层添加若干描述性字段，包括文件封装层面和传输信令层面的字段扩展，以支持本申请实施例。下文中以扩展ISOBMFF数据盒的形式示例，定义点云媒体的辅助信息指示方法。传输信令层面的字段扩展，请参见下文图7中DASH信令以及SMT信令的描述。

本申请实施例可以通过辅助信息数据结构提供点云媒体的辅助信息，请一并参见表1，表1用于指示本申请实施例提供的一种辅助信息数据结构的语法：

表1

上述表1所示语法的语义如下：auxiliary_info_level为辅助级别字段，取值为16位无符号整数，指示辅助信息中的辅助级别参数，对于可信度信息、显著度信息、质量等级信息、优先级信息来说，该字段取值越大表明相应信息的级别越高。associate_space_flag为目标范围指示字段，取值为1位无符号整数，该字段取值为第一指示值(如表1中的1)时，表示辅助级别参数为一个点云帧中的一个空间区域(将其简称为特定空间区域)的辅助级别；该字段取值为第二指示值(例如0)时，表示辅助级别参数不是特定空间区域的辅助级别。需要说明的是，associate_space_flag取值为第二指示值时，包含以下含义：其对应的辅助级别字段的取值为默认辅助级别参数，且所指示的区域为非特定空间区域，非特定空间区域是指associate_space_flag取值为第一指示值所指示的空间区域之外的空间区域。此外需要说明的是，本申请实施例不对第一指示值以及第二指示值的具体取值进行限定，两个指示值不同即可。

表1中的region_id_ref_flag为空间范围指示字段，取值为1位无符号整数，该字段取值为第十一指示值(如表1中的1)时，表示与辅助级别参数关联的空间区域由该空间区域的标识符进行索引；该字段取值为第十二指示值(例如0)时，表示与辅助级别关联的空间区域由空间信息相关数据结构进行指示。需要说明的是，本申请实施例不对第十一指示值以及第十二指示值的具体取值进行限定，两个指示值不同即可。

表1中的spatial_region_id为空间区域标识符字段，取值为16位无符号整数，指示与辅助级别参数关联的空间区域对应的空间区域标识符。anchor_point指示空间区域的锚点坐标，bounding_info指示空间区域的长宽高信息。

表1中的slice_info_flag为点云片信息字段，取值为1位无符号整数，该字段取值为第一信息值(如表1中的1)时，表示与辅助级别参数关联的空间区域，关联有一个或多个点云片(称之为关联点云片)；该字段取值为第二信息值(例如0)时，表示与辅助级别关联的空间区域，无与之相关的点云片。需要说明的是，本申请实施例不对第一信息值以及第二信息值的具体取值进行限定，两个信息值不同即可。

表1中的num_slices为点云片数量字段，取值为16位无符号整数，指示与空间区域关联的点云片数量，即关联点云片的总数量。slice_id为点云片标识符字段，取值为16位无符号整数，指示关联点云片的点云片标识符。

表1中的tile_info_flag为空间分块信息字段，取值为1位无符号整数，该字段取值为第三信息值(如表1中的1时)，表示与辅助级别关联的空间区域，关联有一个或多个点云空间分块(称为关联空间分块)；该字段取值为第四信息值(例如0)时，表示与辅助级别关联的空间区域，无与之相关的点云空间分块。本申请实施例不对第三信息值以及第四信息值的具体取值进行限定，两个信息值不同即可。

表1中的num_tiles为空间分块信息字段，取值为16位无符号整数，指示与空间区域关联的空间分块数量，即关联空间分块的总数量。tile_id为空间分块标识符字段，取值为16位无符号整数，指示关联空间分块的空间分块标识符。可以理解的是，辅助级别参数所指示的空间区域，与tile或slice的关联可以任选其一。

特别地，当通过空间区域标识符进行索引辅助级别参数所指示的空间区域时，该空间区域标识符对应的空间区域在空间范围上的动态变化，不影响辅助级别参数的静态指示。

未赋值的通用指示信息可以包括未赋值的数据盒信息，以及未赋值的元数据轨道信息。其中，未赋值的数据盒信息是指未赋值的辅助信息数据盒，本文将已赋值的辅助信息数据盒简称为辅助信息数据盒，可以理解的是，未赋值的辅助信息数据盒包括的字段与辅助信息数据盒包括的字段是相同的，两者的区别在于前者的字段未被赋值，后者的字段根据辅助信息被赋值。未赋值的元数据轨道信息是指未赋值的辅助信息元数据轨道，本文将已赋值的辅助信息元数据轨道简称为辅助信息元数据轨道，可以理解的是，未赋值的辅助信息元数据轨道包括的字段与辅助信息元数据轨道包括的字段是相同的，两者的区别在于前者的字段未被赋值，后者的字段根据辅助信息被赋值。

已知辅助信息可能随空间变化，也可能随时间变化，还可能随时间以及空间变化，本申请实施例为了满足指示不同目标范围的辅助信息，提供了上述未赋值的通用指示信息，具体如下。在点云媒体的辅助级别参数仅与空间相关，与时间无关时，服务器仅对未赋值辅助信息数据盒进行赋值，得到辅助信息数据盒(例如第一辅助信息数据盒)，该辅助信息数据盒包含于点云媒体对应的点云轨道的样本入口处。请一并参见表2，表2用于指示本申请实施例提供的一种辅助信息数据盒结构的语法：

表2

辅助信息数据盒可包含于点云轨道的样本入口处，指示该点云轨道中不随时间变化的辅助信息，其数量为0个或多个，在点云媒体具有多个点云轨道的场景下，辅助信息数据盒可以处于任意一个点云轨道的样本入口处。当辅助信息数据盒位于点云媒体对应的点云轨道的样本入口中时，num_static_auxiliary_struct的字段取值必须大于0。

上述表2所示语法的语义如下：auxiliary_algorithm_flag为辅助算法指示字段，取值为1位无符号整数，该字段取值为第三指示值(如表2中的1)时，表示辅助信息存在辅助信息存在辅助算法(即获取辅助信息的算法)，该字段取值为第四指示值(例如0)时，表示辅助信息不存在辅助算法。本申请实施例不对第三指示值以及第四指示值的具体取值进行限定，两个指示值不同即可。

表2中的auxiliary_algorithm_type为辅助算法类型字段，取值为8位无符号整数，用于指示获取辅助信息的算法类型。该字段取值为第二类型值(例如0)时，表示辅助信息由辅助信息检测算法获得；该字段取值为第三类型值(例如1)时，表示辅助信息由对象主观评价统计获得，即数据统计获得；其余取值可由应用自行扩展。

表2中的auxiliary_info_type为辅助信息类型字段，取值为8位无符号整数，用于指示辅助信息所述的辅助信息类型，该字段取值含义如表3所示，表3是申请实施例提供的一种辅助信息类型字段的字段值以及含义的示意表。

表3

取值	含义
		0	表示该辅助信息为可信度信息
1	表示该辅助信息为显著度信息
		2	表示该辅助信息为质量等级信息
3	表示该辅助信息为优先级信息
		4～127	自定义扩展
128～255	保留

表2中num_static_auxiliary_struct为静态数据结构数量字段，取值为16位无符号整数，指示静态关联到特定空间区域的辅助信息数据结构的数量。static_auxiliary_info为具有静态属性的辅助信息数据结构，用于指示静态关联到特定空间区域的辅助信息，具有静态属性的辅助信息数据结构中associate_space_flag取值必须为第一指示值。

表2中的default_auxiliary_info为具有默认属性的辅助信息数据结构，用于指示默认的辅助信息，具有默认属性的辅助信息数据结构中associate_space_flag取值必须为第二指示值。

需要注意的是，当点云轨道对应多种类型(比如显著度和可信度同时存在)的辅助信息时，每种类型的静态辅助信息可以对应一个辅助信息数据盒。

上述描述了辅助信息数据盒，其用于描述辅助信息中的具有静态属性的信息，例如辅助信息的类型、辅助信息的获取算法，以及辅助信息中不随时间变化的辅助级别参数。在点云媒体的辅助级别参数与时间相关(包括仅与时间相关，以及与时间以及空间均相关)时，服务器对未赋值的辅助信息数据盒以及未赋值的辅助信息元数据轨道进行辅助，得到辅助信息元数据轨道，该辅助信息元数据轨道的样本入口处包含辅助信息数据盒(例如第二辅助信息数据盒)。请一并参见表4，表4用于指示本申请实施例提供的一种辅助信息元数据轨道结构的语法：

表4

可以理解的是，辅助信息元数据轨道(也可称为动态辅助信息元数据轨道，dynamic auxiliary information metadata track，简写为daui)，包括对应于点云媒体中的点云帧(也称作样本)的样本序号。辅助信息元数据轨道用于指示点云轨道中随时间变化的辅助信息，该辅助信息元数据轨道的样本入口中的AuxiliaryInfoBox数据盒，指示点云轨道中不随时间变化的静态辅助信息。此外，当点云轨道对应多种类型(比如显著度和可信度同时存在)的随着时间变化的辅助信息时，每种类型的辅助信息可以对应一个辅助信息元数据轨道。

上述表4所示语法的语义如下：frame_range_auxiliary_info为生效范围指示字段，取值为1位无符号整数，该字段取值为第七指示值(例如0)时，表示辅助信息元数据轨道中指示的辅助级别参数在整个辅助信息元数据轨道范围内生效，即样本间的辅助级别参数可以相互进行比较。该字段取值为第八指示值(例如1)时，表示辅助信息元数据轨道样本中指示的辅助级别参数，仅在相应点云帧的范围内生效，即样本间的辅助级别参数不可以相互比较。

表4中的default_auxiliary_flag为辅助级别指示字段，取值为1位无符号整数，该字段取值为第九指示值(例如1)时，表示相应点云帧具备默认辅助级别参数。该字段取值为第十指示值(如表2中的0)时，表示相应点云帧的辅助级别由样本内的AuxiliaryInfoStruct确定。本申请实施例不对第九指示值以及第十指示值的取值进行限定，两个指示值不同即可。

表4中的num_saliceny_struct为数据结构数量字段，取值为16位无符号整数，该字段用于指示辅助信息数据结构的总数量。

综上所述，本申请实施例提出一种通用指示信息，可以指示不同类型的辅助信息，且可以指示不同目标范围的辅助信息。

步骤S102，对点云媒体进行编码，得到点云码流。

具体的，至少一种辅助信息包括第一辅助信息以及第二辅助信息；第一辅助信息包括用于指示点云媒体的目标范围的辅助级别参数σ；第二辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ρ；第一辅助信息对应的辅助信息类型不同于第二辅助信息对应的辅助信息类型；根据辅助级别参数σ，以及辅助级别参数ρ，对目标范围进行优化编码，得到点云码流。

其中，目标范围的总数量为至少两个，至少两个目标范围包括第三目标范围以及第四目标范围；辅助级别参数σ包括第三目标范围对应的第三辅助级别参数，以及第四目标范围对应的第四辅助级别参数；辅助级别参数ρ包括第三目标范围对应的第五辅助级别参数，以及第四目标范围对应的第六辅助级别参数；根据辅助级别参数σ，以及辅助级别参数ρ，对目标范围进行优化编码，得到点云码流的具体过程可以包括：对第三辅助级别参数以及第五辅助级别参数进行加权求和，得到第三目标范围对应的第一总辅助级别参数；对第四辅助级别参数以及第六辅助级别参数进行加权求和，得到第四目标范围对应的第二总辅助级别参数；根据第一总辅助级别参数，确定第三目标范围的第三编码级别，根据第二总辅助级别参数，确定第四目标范围的第四编码级别；当第一总编码级别参数大于第二总辅助级别参数时，第三编码级别优于第四编码级别；通过第三编码级别，对第三目标范围进行优化编码，得到第三子点云码流，通过第四编码级别，对第四目标范围进行优化编码，得到第四子点云码流；根据第三点云子码流以及第四点云子码流，生成点云码流。

在至少两种辅助信息的场景下，服务器处理多种不同类型的辅助信息的过程可以是相互独立的，包括但不限于编码过程、封装过程、传输过程。例如服务器获取上述示例的可信度信息以及显著度信息，在本申请实施例中，服务器在对点云媒体进行编码时，可以不根据辅助信息进行优化编码，即直接对点云媒体进行编码，可以根据可信度信息对点云媒体进行优化编码，可以根据显著度信息对点云媒体进行优化编码，也可以根据显著度信息以及可信度信息，对点云媒体进行优化编码。在对点云媒体进行封装时，采用通用指示信息指示可信度信息的过程，与采用通用指示信息指示显著度信息的过程是相互独立的。其余处理过程亦如此。

本步骤以多种不同类型的辅助信息，共同对点云媒体进行优化编码示例，其中，多种不同类型的辅助信息共同对点云媒体进行优化编码的前提是，该多种不同类型的辅助信息所指示的目标范围相同。为了便于理解以及叙述，以两种不同类型的辅助信息(比如第一辅助信息以及第二辅助信息)示例，如为其它数量的多种辅助信息，可以参见两种不同类型的辅助信息的描述。

服务器首先确定第一辅助信息中用于指示目标范围的辅助级别参数σ(例如可信度级别参数)，确定第二辅助信息中用于指示目标范围的辅助级别参数ρ(例如显著度级别参数)，目标范围的总数量为至少两个，至少两个目标范围包括第三目标范围以及第四目标范围。

服务器在辅助级别参数σ中，获取第三目标范围对应的第三辅助级别参数，以及第四目标范围对应的第四辅助级别参数。服务器在辅助级别参数ρ中，获取第三目标范围对应的第五辅助级别参数，以及第四目标范围对应的第六辅助级别参数。进一步，服务器对第三辅助级别参数以及第五辅助级别参数进行加权求和，得到第三目标范围对应的第一总辅助级别参数，其中，第三辅助级别参数以及第五辅助级别参数分别对应的权重，可以根据实际应用场景进行设定，本申请对此不作限定。服务器对第四辅助级别参数以及第六辅助级别参数进行加权求和，得到第四目标范围对应的第二总辅助级别参数，其中，第四辅助级别参数对应的权重，等于第三辅助级别参数对应的权重；第五辅助级别参数对应的权重，等于第六辅助级别参数对应的权重。进一步，服务器根据第一总辅助级别参数，确定第三目标范围的第三编码级别，根据第二总辅助级别参数，确定第四目标范围的第四编码级别；当第一总编码级别参数大于第二总辅助级别参数时，第三编码级别优于第四编码级别。通过第三编码级别，服务器对第三目标范围进行优化编码，得到第三子点云码流，通过第四编码级别，对第四目标范围进行优化编码，得到第四子点云码流。进一步，服务器根据第三点云子码流以及第四点云子码流，生成点云码流。

上述优化编码过程，可以由内容制作设备执行，也可以在内容制作设备生成媒体文件并传输给中间节点后，中间节点先对媒体文件进行解封装以及解码，得到点云媒体，再依据点云媒体的显著度信息对点云媒体进行优化编码。

可选地，在点云传输系统的中间环节，若对辅助信息的使用已经完成，则可以在媒体文件中去除相应的辅助信息元数据，例如去除用于指示该辅助信息的辅助信息数据盒或辅助信息元数据轨道。比如中间节点根据第一辅助信息对点云文件进行重新编码和重新封装，那么在重新封装的过程中，可以不再封装第一辅助信息相关的元数据，新的媒体文件中只包含第二辅助信息。

其中，服务器根据一种辅助级别参数对点云媒体进行优化编码的过程，请参见下文图7中的描述，此处暂不进行叙述。

步骤S103，对点云码流、至少一种辅助信息以及未赋值的通用指示信息进行封装，得到媒体文件；媒体文件包括已赋值的通用指示信息，已赋值的通用指示信息是根据至少一种辅助信息，对未赋值的通用指示信息进行赋值所得到的；已赋值的通用指示信息用于指示至少一种辅助信息。

具体的，已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

其中，当媒体文件包括用于指示辅助信息B_c的辅助信息元数据轨道时，目标范围D_c包括时间范围F_c；已赋值的元数据轨道信息包括辅助信息元数据轨道。

其中，辅助信息元数据轨道的样本入口处包括生效范围指示字段以及第二辅助信息数据盒；生效范围指示字段用于指示M个样本序号分别对应的辅助级别参数的生效范围；第二辅助信息数据盒用于指示辅助信息B_c中具有静态属性的信息；M个样本序号分别对应的辅助级别参数属于辅助信息B_c中的辅助级别参数。

其中，M个样本序号包括样本序号τ，τ为正整数且τ小于或等于M；当生效范围指示字段的字段值取值为第七指示值时，表示样本序号τ对应的辅助级别参数的生效范围为辅助信息元数据轨道；当生效范围指示字段的字段值取值为第八指示值时，表示样本序号τ对应的辅助级别参数的生效范围为样本序号τ所对应的点云帧；第八指示值不同于第七指示值。

其中，辅助信息元数据轨道包括样本序号O_n；n为正整数且n小于或等于M；时间范围F_c包括样本序号O_n所对应的点云帧；辅助信息元数据轨道包括针对样本序号O_n的辅助级别指示字段；当辅助级别指示字段的字段值为第九指示值时，表示与样本序号O_n相关联的辅助级别由默认辅助级别参数确定；默认辅助级别参数属于辅助信息B_c中的辅助级别参数；当辅助级别指示字段的字段值为第十指示值时，表示与样本序号O_n相关联的辅助级别由辅助信息数据结构确定；第十指示值不同于第九指示值。

其中，当辅助级别指示字段的字段值为第九指示值时，表示默认辅助级别参数用于指示样本序号O_n所对应的点云帧的辅助级别。

其中，当辅助级别指示字段的字段值为第十指示值时，辅助信息元数据轨道还包括针对样本序号O_n的数据结构数量字段；数据结构数量字段用于指示辅助信息数据结构的总数量。

其中，数据结构数量字段的取值为P，表示P个辅助信息数据结构；P个辅助信息数据结构包括辅助信息数据结构Q_r，r，P均为正整数且r小于或等于P；辅助信息数据结构Q_r包括字段值为辅助级别参数S_r的辅助级别字段，以及目标范围指示字段；辅助级别参数S_r属于辅助信息B_c中的辅助级别参数；当目标范围指示字段的字段值为第一指示值时，表示辅助级别参数S_r用于指示，样本序号O_n所对应的点云帧中的一个空间区域的辅助级别；当目标范围指示字段的字段值为第二指示值时，表示辅助级别参数S_r用于指示，样本序号O_n所对应的点云帧的辅助级别；第二指示值不同于第一指示值。

在点云媒体对应的点云轨道中，一个点云帧可称作一个样本。由于服务器对不同的辅助信息的处理过程是相互独立的，故为了便于理解以及叙述，下文将以一种辅助信息进行描述。

由步骤S101可知，不同的点云媒体，其辅助信息的变化范围不同。其中，点云媒体可以包括第一点云媒体，第一点云媒体包括M个点云帧，M为正整数。此处以可信度信息示例辅助信息，请一并参见图5，图5是本申请实施例提供的一种可信度级别参数仅与时间相关，与空间区域无关的示意图。如图5所示，样本1是指按时间排序，在第一点云媒体中序号为1的样本(即点云帧)，样本2是指按时间排序，在第一点云媒体中序号为2的样本，样本3是指按时间排序，在第一点云媒体中序号为3的样本，…，样本M是指按时间排序，在第一点云媒体中序号为M的样本。由于图5是以可信度信息示例辅助信息，故图5中的辅助级别参数是指可信度级别参数。

根据第一点云媒体的内容，服务器可以定义第一点云媒体的各区域的可信度信息，其中，样本1整体的可信度级别为默认可信度级别参数，可以理解的是，沉浸式媒体系统可以预先设置默认可信度级别参数，本申请实施例不对默认可信度级别参数的取值进行限定，可以根据实际应用场景进行设定。样本2整体的可信度级别参数为120，样本3整体的可信度级别参数为110，…，样本M整体的可信度级别参数为默认可信度级别参数。

其中，可信度级别参数越大，表明可信度越高，故在第一点云媒体中，样本2是可信度最高的样本(即点云帧)，样本3是可信度次高的样本，其余样本仅具备默认可信度(假设默认可信度级别参数为100)。明显地，在第一点云媒体中，可信度级别参数仅和时间相关，与空间区域无关，故图5为点云帧级别的可信度级别参数，则服务器可以生成如表5所示的辅助信息元数据轨道，以指示第一点云媒体的可信度信息。表5是本申请实施例提供的一种用于指示可信度信息的辅助信息元数据轨道结构表。

表5

其中，表5中各个字段的含义，请参见上文表1、表2以及表4中的描述，此处不进行赘述。

进一步，点云媒体可以包括第二点云媒体，第二点云媒体包括一个或多个点云帧(例如M个点云帧)，此处以显著度信息示例辅助信息，请一并参见图6，图6是本申请实施例提供的一种显著度级别参数与空间区域相关，且空间区域的显著度级别参数随着时间变化的示意图。其中，图6中关于样本1-样本M的含义，请参见图5中的释义，此处不进行赘述。由于图6是以显著度信息示例辅助信息，故图6中的辅助级别参数是指显著度级别参数。

根据第二点云媒体的内容，服务器可以定义第二点云媒体的各区域的显著度信息，其中，样本1、样本2、样本3、样本4、…、样本M分别对应的显著度级别不完全相同，即第二点云媒体的显著度级别参数随着时间发生变化，且存在部分点云帧，其内部空间区域也对应有不同的显著度级别参数，即显著度级别参数在空间区域也发生变化。

如图6所示，样本1整体的显著度级别参数为默认显著度级别参数，其中，默认显著度级别参数的含义如图5中的描述，样本1对应的空间区域可以划分为两个空间区域，其中，样本1中的第一个空间区域(简称为空间区域1)对应的显著度级别参数为2，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片0以及点云片1；样本1中的第二个空间区域(简称空间区域2)对应的显著度级别参数为1，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片2以及点云片3；在样本1中，第一空间区域的显著度高于第二空间区域。

如图6所示，样本2整体的显著度级别参数为2，样本2内部空间不进行划分。样本3整体的显著度级别参数为默认显著度级别参数，样本3对应的空间区域可以划分为两个空间区域，其中，样本3中的第一个空间区域(简称为空间区域1)对应的显著度级别参数为0，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片0以及点云片1；样本3中的第二个空间区域(简称空间区域2)对应的显著度级别参数为1，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片2以及点云片3；在样本3中，第一空间区域的显著度低于第二空间区域。

如图6所示，样本4、…、样本M分别对应的显著度级别参数均为默认显著度级别参数，故在第二点云媒体中，样本2是显著度最高的样本(即点云帧)，样本1中存在显著度最高的空间区域和显著度次高的空间区域，样本3中存在显著度次高的空间区域，其余样本仅具备默认显著度级别参数(假设默认显著度级别参数为0)。明显地，在第二点云媒体中，显著度级别参数与时间以及空间区域均相关，故服务器可以生成如表6所示的辅助信息元数据轨道，以指示第二点云媒体的显著度信息。表6是本申请实施例提供的一种用于指示显著度信息的辅助信息元数据轨道结构表。

表6

其中，表6中各个字段的含义，请参见上文表1、表2以及表4中的描述，此处不进行赘述。

点云媒体可以包括第三点云媒体，第三点云媒体对应的辅助级别参数可以仅与空间区域相关，与时间无关，本申请实施例暂不对第三点云媒体展开描述，请参见下文图7所对应的实施例中的描述。

服务器将点云码流封装为媒体文件，并在媒体文件中以元数据的形式(即辅助信息元数据轨道)指示上述辅助信息。由于点云辅助信息随时间变化，则传输信令中不包含辅助信息描述数据，但是辅助信息元数据轨道会以Representation的形式作为媒体资源存在于传输信令。由上文图3可知，服务器将点云文件传输给客户端的方式有两种，分别为：

a)客户端C1下载完整的点云文件(即媒体文件)后在本地播放。

b)客户端C2与服务器建立流化传输，在接收点云文件片段Fs的同时进行呈现消费。

上述可知，本申请实施例可以确定点云媒体对应的用于指示时间范围的辅助信息，或点云媒体对应的用于指示空间范围的辅助信息，故本申请实施例可以将点云媒体的辅助信息与点云码流一并封装，得到媒体文件，且本申请实施例提供的辅助信息指示方法，可以提高点云媒体的辅助信息的精准性，进而在渲染点云媒体时，可以通过精准的辅助信息，确定目标范围的渲染效果，故可以优化点云媒体的呈现效果。此外，本申请针对不同类型的辅助信息，可以采用一种待赋值的通用指示信息进行指示，故可以提高辅助信息被封装的效率。此外，将不同类型的辅助信息均封装至一个媒体文件中，本申请实施例可以避免一个辅助信息对应一个媒体文件，故可以降低点云码流的冗余；通过传输一个包含不同类型的辅助信息的媒体文件，还可以降低网络传输资源的浪费。

进一步地，请参见图7，图7是本申请实施例提供的一种媒体数据处理方法的流程示意图二。该方法可由沉浸式媒体系统中的内容制作设备(例如，上述图3所对应实施例中的内容制作设备200A)来执行，比如，该内容制作设备可以为服务器，本申请实施例以服务器执行为例进行说明。该方法至少可以包括以下步骤S201-步骤S204。

步骤S201，获取点云媒体的至少一种辅助信息以及未赋值的通用指示信息；至少一种辅助信息包括辅助信息B_c；c为正整数，且c小于或等于至少一种辅助信息的总数量。

具体的，辅助信息B_c包括用于指示点云媒体的目标范围D_c的辅助级别参数；目标范围D_c包括空间范围E_c或时间范围F_c。

步骤S201的具体实现过程，请参见上文图4所对应的实施例中的步骤S101，此处不进行赘述。

步骤S202，对点云媒体进行编码，得到点云码流。

具体的，至少一种辅助信息包括目标辅助信息；目标辅助信息包括用于指示目标范围的辅助级别参数；根据目标辅助信息中的辅助级别参数，对点云媒体的目标范围进行优化编码，得到点云码流。

其中，目标范围的总数量为至少两个，至少两个目标范围包括第一目标范围以及第二目标范围；目标辅助信息中的辅助级别参数包括第一目标范围对应的第一辅助级别参数，以及第二目标范围对应的第二辅助级别参数；根据目标辅助信息中的辅助级别参数，对点云媒体的目标范围进行优化编码，得到点云码流的具体过程可以包括：根据第一辅助级别参数，确定第一目标范围的第一编码级别，根据第二辅助级别参数，确定第二目标范围的第二编码级别，当第一辅助级别参数大于第二辅助级别参数时，第一编码级别优于第二编码级别；通过第一编码级别，对第一目标范围进行优化编码，得到第一子点云码流，通过第二编码级别，对第二目标范围进行优化编码，得到第二子点云码流；根据第一子点云码流以及第二子点云码流，生成点云码流。

上文图4中的步骤S102描述了以多种不同类型的辅助信息，共同对点云媒体进行优化编码，本步骤叙述服务器以一种辅助信息(例如目标辅助信息)对点云媒体进行优化编码。可以理解的是，目标范围的总数量为至少两个，至少两个目标范围有包括第一目标范围以及第二目标范围。

服务器在目标辅助信息中，获取第一目标范围对应的第一辅助级别参数，获取第二目标范围对应的第二辅助级别参数，进一步，服务器根据第一辅助级别参数，确定第一目标范围的第一编码级别，根据第二辅助级别参数，确定第二目标范围的第二编码级别，当第一辅助级别参数大于第二辅助级别参数时，第一编码级别优于第二编码级别。进一步，通过第一编码级别，服务器对第一目标范围进行优化编码，得到第一子点云码流，通过第二编码级别，服务器对第二目标范围进行优化编码，得到第二子点云码流。进一步，根据第一子点云码流以及第二子点云码流，服务器可以生成点云码流。

上述优化编码过程，可以由内容制作设备执行，也可以在内容制作设备生成媒体文件并传输给中间节点后，中间节点先对媒体文件进行解封装以及解码，得到点云媒体，再依据点云媒体的显著度信息对点云媒体进行优化编码。

步骤S203，对点云码流、至少一种辅助信息以及未赋值的通用指示信息进行封装，得到媒体文件；媒体文件包括已赋值的通用指示信息，已赋值的通用指示信息是根据至少一种辅助信息，对未赋值的通用指示信息进行赋值所得到的；已赋值的通用指示信息用于指示至少一种辅助信息。

具体的，已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

其中，当媒体文件包括用于指示辅助信息B_c的辅助信息元数据轨道时，目标范围D_c包括时间范围F_c；已赋值的元数据轨道信息包括辅助信息元数据轨道。

其中，媒体文件包括用于指示辅助信息B_c的辅助信息数据盒，当辅助信息数据盒包含于媒体文件对应的点云轨道的样本入口处时，目标范围D_c包括空间范围E_c；其中，辅助信息B_c中的一个辅助级别参数用于指示一个空间范围；一个空间范围包括G个点云帧分别包含的一个空间区域；点云媒体包括G个点云帧；G为正整数。

其中，第一辅助信息数据盒包括字段值为第一类型值的辅助信息类型字段、静态数据结构数量字段以及具有默认属性的辅助信息数据结构；第一类型值表示辅助信息B_c所属的辅助信息类型；静态数据结构数量字段用于指示具有静态属性的辅助信息数据结构的总数量。

其中，静态数据结构数量字段的取值为H，表示H个具有静态属性的辅助信息数据结构；H个具有静态属性的辅助信息数据结构包括具有静态属性的辅助信息数据结构I_j，其中，H、j均为正整数，且j小于或等于H；具有静态属性的辅助信息数据结构I_j包括字段值为辅助级别参数L_j的辅助级别字段，以及字段值为第一指示值的目标范围指示字段；辅助级别参数L_j不同于默认辅助级别参数；默认辅助级别参数以及辅助级别参数L_j均属于辅助信息B_c中的辅助级别参数；第一指示值表示辅助级别参数L_j用于指示一个空间范围的辅助级别。

其中，具有默认属性的辅助信息数据结构包括字段值为默认辅助级别参数的辅助级别字段，以及字段值为第二指示值的目标范围指示字段；默认辅助级别参数属于辅助信息B_c中的辅助级别参数；第二指示值表示默认辅助级别参数用于指示一个空间范围的辅助级别；默认辅助级别参数所指示的空间范围包括点云媒体中除了具有静态属性的辅助信息数据结构所指示的空间范围之外的空间范围。

其中，第一辅助信息数据盒包括辅助算法指示字段；当辅助算法指示字段的字段值取值为第三指示值时，表示辅助信息B_c存在辅助算法；当辅助算法指示字段的字段值取值为第四指示值时，表示辅助信息B_c不存在辅助算法；第四指示值不同于第三指示值。

其中，当辅助算法指示字段的字段值取值为第三指示值时，第一辅助信息数据盒还包括辅助算法类型字段；当辅助算法类型字段的字段值为第二类型值时，表示辅助信息B_c由辅助信息检测算法确定；当辅助算法类型字段的字段值为第三类型值时，表示辅助信息B_c由数据统计确定；第三类型值不同于第二类型值。

已赋值的通用指示信息的总数量与至少一种辅助信息的总数量相同。已赋值的数据盒信息的总数量，可以表明至少一种辅助信息中不随时间发生变化的辅助信息的总数量。已赋值的元数据轨道信息的总数量，可以表明至少一种辅助信息中随时间发生变化的辅助信息的总数量。

上文图4以第一点云媒体示例，描述了点云媒体的辅助信息仅随时间变化；以第二点云媒体示例，描述了点云媒体的辅助信息不仅随着时间发生变化，且存在部分点云帧，其内部空间区域的辅助级别参数也发生变化。本步骤以第三点云媒体示例，描述点云媒体的辅助信息仅与空间区域相关，不随时间变化。此处以显著度信息示例辅助信息，请一并参见图8，图8是本申请实施例提供的一种显著度级别参数与空间区域相关，且与空间区域相关的显著度级别参数不随时间变化的示意图。假设第三点云媒体包括G个点云帧，G为正整数，且G个点云帧中的每个点云帧的内部结构均如图8所示。由于图8是以显著度信息示例辅助信息，故图5中的辅助级别参数是指显著度级别参数。

根据第三点云媒体的内容，服务器可以定义第三点云媒体的各区域的显著度信息，其中，每个点云帧的第一个空间区域(简称空间区域1)的显著度级别参数均为2，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片0以及点云片1。每个点云帧的第二个空间区域(简称空间区域2)的显著度级别参数均为1，其由两个点云片组成，两个点云片分别对应的点云片标识符包括点云片2以及点云片3。故在第三点云媒体中，空间区域1具备更高的显著度，空间区域2具备低的显著度。此时，服务器可以提供辅助信息数据盒以指示第三点云媒体中的显著度信息，该显著度信息数据盒可以如表7所示，表7是本申请实施例提供的一种用于指示显著度信息的辅助信息数据盒结构表。

表7

表7中各字段的含义，请参见上文表1以及表2中的描述，此处不进行赘述。

进一步，服务器将点云码流封装为点云文件，并在文件中以元数据的形式(即辅助信息数据盒)指示上述显著度信息。

步骤S204，当存在用于指示辅助信息B_c的第一辅助信息数据盒时，将针对媒体文件的传输信令传输至客户端；传输指令携带辅助信息描述数据K_c；辅助信息描述数据K_c用于指示客户端在通过流化传输方式获取媒体文件时，确定媒体文件中的不同媒体子文件之间的获取顺序；辅助信息描述数据K_c是基于辅助信息B_c所生成的。

具体的，辅助信息描述数据K_c包括默认级别指示字段；当默认级别指示字段的字段值为第五指示值时，表示默认信息指示字段对应的辅助级别参数为默认辅助级别参数；当默认级别指示字段的字段值为第六指示值时，表示默认级别指示字段对应的辅助级别参数不为默认辅助级别参数；第六指示值不同于第五指示值；默认级别指示字段对应的辅助级别参数属于辅助信息B_c中的辅助级别参数。

可以理解的是，不同的点云媒体，其对应的辅助级别参数需要关联的范围是不同的，因此，本申请实施例针对沉浸式媒体，特别是点云媒体，提出了一种辅助信息指示方法，该方法在系统层添加若干描述性字段，包括文件封装层面和传输信令层面的字段扩展。上文已介绍了文件封装层面的字段扩展，下文将以DASH信令、SMT信令的形式举例。其中，辅助信息描述数据包括在DASH信令中定义的辅助信息描述子，以及在SMT信令中定义的辅助信息描述符，具体如下所述。

本申请实施例在DASH信令中进行扩展，并提出辅助信息描述子，辅助信息描述子(AuxiliaryInfo descriptor)为补充(SupplementalProperty)元素，其@schemeIdUri属性为"urn:avs:ims:2022:apcc"。该描述子可存在于adaptation set层级或representation层级，存在于adaptation set层级时，辅助信息描述子描述该adaptation set内所有的representation；存在于representation层级时，辅助信息描述子描述对应的representation。AuxiliaryInfoDescriptor描述子指示点云媒体的辅助信息的相关属性，具体属性请一并参见表8，表8用于指示本申请实施例提供的一种辅助信息描述子的元素和属性。

表8

其中，表8中的N表示辅助信息中辅助级别参数的总数量，如图8中，N＝2，表示有两个辅助级别参数。M表示其对应的字段(如表8中的AuxiliaryInfo@AuxiliaryLevel)为强制(Mandatory)字段；CM表示其对应的字段(如表8中的AuxiliaryInfo@spatialRegionId)，为条件强制(Conditional Mandatory)字段；O表示其对应的字段(如表8中的AuxiliaryInfo@tileId)为可选(Optiona)l字段。

表8中的unsigned表示无符号，Short表示短整型，bool表示布尔型变量，Int表示整型，vector表示向量，float表示浮点型。

另一种可行的传输信令扩展，本申请实施例在SMT信令中进行扩展，并提出辅助信息描述符，其存在于representation层级，用于描述相应媒体资源，指示该媒体资源的辅助信息。请一并参见表9，表9用于指示本申请实施例提供的一种辅助信息描述符语法：

表9

表9所示语法的语义如下：default_auxiliary_info_flag取值为第五指示值时，表示该描述符中指示的信息为默认辅助信息；该字段取值为第六指示值时，表示该描述符中指示的信息为特定空间区域的辅助信息。auxiliary_info_type指示辅助信息类型，其取值含义与辅助信息数据盒中的auxiliary_info_type字段相同。auxiliary_info_level指示辅助信息的级别，对于可信度信息、显著度信息、质量等级信息、优先级信息来说，该字段取值越大，表明相应信息的级别越高。Region_id_ref_flag取值为第十一指示值(例如1)时，辅助级别对应的空间区域由空间区域标识符进行索引；该字段取值为第十二指示值(例如0)时，辅助级别对应的空间区域由空间区域位置信息直接指示。Spatial_region_id为空间区域标识符字段，指示空间区域标识符。Anchor_point_x，y，z指示空间区域锚点的x，y，z坐标。Bounding_box_x，y，z指示空间区域沿x，y，z轴的长度。Related_tile_info_flag取值为第三信息值(例如1)时，表示与辅助级别参数关联的空间区域，关联到一个或多个空间分块；取值为第四信息值(例如0)时，表示与辅助级别关联的空间区域，无与之相关的空间分块。Related_slice_info_flag取值为第一信息值(例如1)时，表示与辅助级别关联的空间区域，关联到一个或多个点云片；取值为第二信息值(例如0)时，表示与辅助级别关联的空间区域无与之相关的点云片。Num_tiles指示与空间区域关联的空间分块数量。Tile_id指示关联空间分块的标识符。Num_slices指示与空间区域关联的点云片数量。Slice_id指示关联点云片的标识符。上述各字段的含义，也可以参见上文表1中的描述。

在辅助信息中的辅助级别参数随时间变化时，点云媒体的辅助信息以元数据轨道的形式在媒体文件中存在，此时，在传输信令中不包含辅助信息描述子或辅助信息描述符，但是辅助信息元数据轨道或辅助信息样本组将会以Representation的形式作为媒体资源存在于传输信令。

在点云媒体的辅助信息与空间区域关联且不随时间变化时，如图8所示例的第三点云媒体，此时，服务器在传输信令中将辅助信息和空间信息进行关联，生成信令并发送给客户端。针对图8所示例的第三点云媒体，服务器所生成的传输信令中包含3个辅助信息描述子：

AuxiliaryInfo descriptor1：

@defaultInfoFlag＝0；@auxiliaryInfoType＝1；@auxiliaryInfoLevel＝2；

@regionIdRefFlag＝1；@spatialRegionId＝1；@sliceId＝0,1；

AuxiliaryInfo descriptor2：

@defaultInfoFlag＝0；@auxiliaryInfoType＝1；@auxiliaryInfoLevel＝1；

@regionIdRefFlag＝1；@spatialRegionId＝2；@sliceId＝2,3

AuxiliaryInfo descriptor3：

@defaultInfoFlag＝1；@auxiliaryInfoType＝1；@auxiliaryInfoLevel＝0；

针对图8所示例的第三点云媒体，与服务器建立流化传输时，对于客户端，若空间区域1和空间区域2对应不同的媒体资源Representation1和Representation2，由于空间区域1具备更高的辅助级别参数，客户端在传输时可以优先保证Representation1的传输。

上述可知，本申请实施例可以确定点云媒体对应的用于指示时间范围的辅助信息，或点云媒体对应的用于指示空间范围的辅助信息，故本申请实施例可以将点云媒体的辅助信息与点云码流一并封装，得到媒体文件，且本申请实施例提供的辅助信息指示方法，可以提高点云媒体的辅助信息的精准性，进而在渲染点云媒体时，可以通过精准的辅助信息，确定目标范围的渲染效果，故可以优化点云媒体的呈现效果。此外，本申请针对不同类型的辅助信息，可以采用一种通用指示信息进行指示，故可以提高辅助信息被封装的效率。此外，将不同类型的辅助信息均封装至一个媒体文件中，本申请实施例可以避免一个辅助信息对应一个媒体文件，故可以降低点云码流的冗余；通过传输一个包含不同类型的辅助信息的媒体文件，还可以降低网络传输资源的浪费。

进一步地，请参见图9，图9是本申请实施例提供的一种媒体数据处理方法的流程示意图三。该方法可由沉浸式媒体系统中的内容消费设备(例如，上述图3所对应实施例中的内容消费设备200B)来执行，比如，该内容消费设备可以为集成有客户端(例如视频客户端)的终端。该方法至少可以包括以下步骤S301-步骤S302：

步骤S301，获取媒体文件；媒体文件包括根据点云媒体的至少一种辅助信息所得到的已赋值的通用指示信息；已赋值的通用指示信息用于指示至少一种辅助信息。

具体的，至少一种辅助信息包括目标辅助信息；目标辅助信息包括用于指示点云媒体的目标范围的辅助级别参数；目标范围包括空间范围或时间范围；

已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

客户端可以获取服务器发送的沉浸式媒体的媒体文件，并对该媒体文件进行解封装，从而得到该媒体文件中的点云码流以及点云媒体的辅助信息。可以理解，解封装的过程与封装的过程是相逆的，客户端可以按照封装时采用的文件格式要求来对媒体文件进行解封装，从而得到点云码流。服务器生成并发送媒体文件的具体过程可以参见上述图4所对应的实施例，这里不再进行赘述。

步骤S302，对媒体文件进行解封装，得到点云码流以及至少一种辅助信息，对点云码流进行解码，得到点云媒体。

具体的，媒体文件包括用于指示目标辅助信息的辅助信息数据盒；已赋值的数据盒信息包括辅助信息数据盒；当辅助信息数据盒包含于媒体文件对应的点云轨道的样本入口处时，确定目标范围包括空间范围；其中，目标辅助信息中的一个辅助级别参数用于指示一个空间范围；一个空间范围包括T个点云帧分别包含的一个空间区域；点云媒体包括T个点云帧；T为正整数。

其中，空间范围的总数量为至少两个，至少两个空间范围包括第一空间范围以及第二空间范围；

渲染点云媒体的具体过程可以包括：在目标辅助信息中，获取用于指示第一空间范围的辅助级别参数U_v，获取用于指示第二空间范围的辅助级别参数U_v+1；v为正整数，且v小于目标辅助信息中的辅助级别参数的总数量；若辅助级别参数U_v大于辅助级别参数U_v+1，则确定第一空间范围对应的渲染级别，优于第二空间范围对应的渲染级别；若辅助级别参数U_v小于辅助级别参数U_v+1，则确定第二空间范围对应的渲染级别，优于第一空间范围对应的渲染级别。

具体的，当媒体文件包括用于指示目标辅助信息的辅助信息元数据轨道时，确定目标范围包括时间范围；已赋值的元数据轨道信息包括辅助信息元数据轨道；其中，辅助信息元数据轨道包括与目标辅助信息相关联的W个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括W个点云帧；W为正整数。

其中，时间范围包括W个点云帧中的第一点云帧以及第二点云帧；渲染点云媒体的具体过程可以包括：在目标辅助信息中，获取用于指示第一点云帧的辅助级别参数X_y，获取用于指示第二点云帧的辅助级别参数X_y+1；y为正整数，且y小于辅助信息中的辅助级别参数的总数量；若辅助级别参数X_y大于辅助级别参数X_y+1，则确定第一点云帧对应的渲染级别，优于第二点云帧对应的渲染级别；若辅助级别参数X_y小于辅助级别参数X_y+1，则确定第二点云帧对应的渲染级别，优于第一点云帧对应的渲染级别。

其中，渲染点云媒体的具体过程还可以包括：若第一点云帧包括至少两个空间区域，且至少两个空间区域分别对应的辅助级别不同，则在目标辅助信息中，获取第一空间区域对应的辅助级别参数Zα，获取第二空间区域对应的辅助级别参数Zα+1；第一空间区域以及第二空间区域均属于至少两个空间区域；α为正整数，且α小于辅助信息中的辅助级别参数的总数量；若辅助级别参数Zα大于辅助级别参数Zα+1，则确定第一空间区域对应的渲染级别，优于第二空间区域对应的渲染级别；若辅助级别参数Zα小于辅助级别参数Zα+1，则确定第二空间区域对应的渲染级别，优于第一空间区域对应的渲染级别。

可选的，至少一种辅助信息包括第一辅助信息以及第二辅助信息；第一辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ζ；第二辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ψ；目标范围的总数量为至少两个；至少两个目标范围包括目标范围β以及目标范围δ；第一辅助信息对应的辅助信息类型不同于第二辅助信息对应的辅助信息类型；在辅助级别参数ζ中，获取目标范围β对应的辅助级别参数ε，获取目标范围δ对应的辅助级别参数φ；在辅助级别参数ψ中，获取目标范围β对应的辅助级别参数γ，获取目标范围δ对应的辅助级别参数μ；对辅助级别参数ε以及辅助级别参数γ进行加权求和，得到目标范围β对应的总辅助级别参数η；对辅助级别参数φ以及辅助级别参数μ进行加权求和，得到目标范围δ对应的总辅助级别参数λ；若总辅助级别参数η大于总辅助级别参数λ，则确定目标范围β对应的渲染级别，优于目标范围δ对应的渲染级别；若总辅助级别参数η小于于总辅助级别参数λ，则确定目标范围δ对应的渲染级别，优于目标范围β对应的渲染级别。

可以理解，解码的过程与编码的过程是相逆的，客户端可以按照编码时采用的文件格式要求来对点云码流进行解码，从而得到点云媒体。

客户端对点云文件/文件片段进行解封装和解码后，可以根据点云媒体的辅助信息，在呈现和渲染点云媒体的过程中灵活分配计算资源，优化目标范围的呈现效果。如图5所示的第一点云媒体，sample2是可信度最高的点云帧，sample3是可信度次高的点云帧，其余sample仅具备默认可信度级别参数(可以将其设置为100)，因此客户端对于sample2和sample3的渲染可以更加精细，即渲染级别与可信度级别成正向关系。

请再参见图6所示例的第二点云媒体，sample2是显著度最高的帧，sample1中存在显著度最高的空间区域和显著度次高的空间区域，sample3中存在显著度次高的空间区域，其余sample仅具备默认显著度，即参考显著度级别参数，因此客户端对于sample2、sample1中的具有显著度最高的空间区域和显著度次高的空间区域、sample3中具有显著度次高的空间区域的渲染可以更加精细，例如sample2对应的渲染级别优于sample1对应的渲染级别，在sample1中，具有显著度最高的空间区域对应的渲染级别，优于显著度次高的空间区域对应的渲染级别；而sample1对应的渲染级别优于sample3对应的渲染级别。

请再参见图8所示例的第三点云媒体，空间区域1是显著度较高的区域，因此客户端对于空间区域1的渲染可以更加精细，即空间区域1对应的渲染级别优于空间区域2对应的渲染级别。

此外，若多个不同类型的辅助信息分别指示的目标范围相同，则本申请实施例可以根据多种不同类型的辅助信息，对点云媒体进行优化呈现。

上述可知，本申请实施例可以确定点云媒体对应的用于指示时间范围的辅助信息，或点云媒体对应的用于指示空间范围的辅助信息，故本申请实施例可以将点云媒体的辅助信息与点云码流一并封装，得到媒体文件，且本申请实施例提供的辅助信息指示方法，可以提高点云媒体的辅助信息的精准性，进而在渲染点云媒体时，可以通过精准的辅助信息，确定目标范围的渲染效果，故可以优化点云媒体的呈现效果。此外，本申请针对不同类型的辅助信息，可以采用一种通用指示信息进行指示，故可以提高辅助信息被封装的效率。

请参见图10，图10是本申请实施例提供的一种媒体数据处理装置的结构示意图一。该媒体数据处理装置可以是运行于内容制作设备的一个计算机程序(包括程序代码)，例如该媒体数据处理装置为内容制作设备中的一个应用软件；该装置可以用于执行本申请实施例提供的媒体数据处理方法中的相应步骤。如图10所示，该媒体数据处理装置1可以包括：信息获取模块11以及信息封装模块12。

信息获取模块11，用于获取点云媒体的至少一种辅助信息以及未赋值的通用指示信息；

信息封装模块12，用于对点云媒体进行编码，得到点云码流；

信息封装模块，还用于对点云码流、至少一种辅助信息以及未赋值的通用指示信息进行封装，得到媒体文件；媒体文件包括已赋值的通用指示信息，已赋值的通用指示信息是根据至少一种辅助信息，对未赋值的通用指示信息进行赋值所得到的；已赋值的通用指示信息用于指示至少一种辅助信息。

其中，信息获取模块11以及信息封装模块12的具体实现方式可以参见上述图4所对应实施例中的步骤S101-步骤S102，这里不再进行赘述。

在一种实施方式中，已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

在一种实施方式中，至少一种辅助信息包括辅助信息B_c；c为正整数，且c小于或等于至少一种辅助信息的总数量；

辅助信息B_c包括用于指示点云媒体的目标范围D_c的辅助级别参数；目标范围D_c包括空间范围E_c或时间范围F_c。

在一种实施方式中，至少一种辅助信息包括辅助信息B_c；c为正整数，且c小于或等于至少一种辅助信息的总数量；

辅助信息B_c包括用于指示点云媒体的目标范围D_c的辅助级别参数；目标范围D_c包括空间范围E_c或时间范围F_c；

当媒体文件包括用于指示辅助信息B_c的第一辅助信息数据盒，且第一辅助信息数据盒包含于媒体文件对应的点云轨道的样本入口处时，目标范围D_c包括空间范围E_c；已赋值的数据盒信息包括第一辅助信息数据盒；

其中，辅助信息B_c中的一个辅助级别参数用于指示一个空间范围；一个空间范围包括G个点云帧分别包含的一个空间区域；点云媒体包括G个点云帧；G为正整数；或者

当媒体文件包括用于指示辅助信息B_c的辅助信息元数据轨道时，目标范围D_c包括时间范围F_c；已赋值的元数据轨道信息包括辅助信息元数据轨道；

其中，辅助信息元数据轨道包括与辅助信息B_c相关联的M个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括M个点云帧；M为正整数。

在一种实施方式中，第一辅助信息数据盒包括字段值为第一类型值的辅助信息类型字段、静态数据结构数量字段以及具有默认属性的辅助信息数据结构；

第一类型值表示辅助信息B_c所属的辅助信息类型；

静态数据结构数量字段用于指示具有静态属性的辅助信息数据结构的总数量。

在一种实施方式中，静态数据结构数量字段的取值为H，表示H个具有静态属性的辅助信息数据结构；H个具有静态属性的辅助信息数据结构包括具有静态属性的辅助信息数据结构I_j，其中，H、j均为正整数，且j小于或等于H；

具有静态属性的辅助信息数据结构I_j包括字段值为辅助级别参数L_j的辅助级别字段，以及字段值为第一指示值的目标范围指示字段；辅助级别参数L_j不同于默认辅助级别参数；默认辅助级别参数以及辅助级别参数L_j均属于辅助信息B_c中的辅助级别参数；

第一指示值表示辅助级别参数L_j用于指示一个空间范围的辅助级别。

在一种实施方式中，具有默认属性的辅助信息数据结构包括字段值为默认辅助级别参数的辅助级别字段，以及字段值为第二指示值的目标范围指示字段；默认辅助级别参数属于辅助信息B_c中的辅助级别参数；

第二指示值表示默认辅助级别参数用于指示一个空间范围的辅助级别；默认辅助级别参数所指示的空间范围包括点云媒体中除了具有静态属性的辅助信息数据结构所指示的空间范围之外的空间范围。

在一种实施方式中，第一辅助信息数据盒包括辅助算法指示字段；

当辅助算法指示字段的字段值取值为第三指示值时，表示辅助信息B_c存在辅助算法；

当辅助算法指示字段的字段值取值为第四指示值时，表示辅助信息B_c不存在辅助算法；第四指示值不同于第三指示值。

在一种实施方式中，当辅助算法指示字段的字段值取值为第三指示值时，第一辅助信息数据盒还包括辅助算法类型字段；

当辅助算法类型字段的字段值为第二类型值时，表示辅助信息B_c由辅助信息检测算法确定；

当辅助算法类型字段的字段值为第三类型值时，表示辅助信息B_c由数据统计确定；第三类型值不同于第二类型值。

请再参见图10，媒体数据处理装置1还可包括：信令传输模块13。

信令传输模块13，用于当存在第一辅助信息数据盒时，将针对媒体文件的传输信令传输至客户端；传输指令携带辅助信息描述数据K_c；辅助信息描述数据K_c用于指示客户端在通过流化传输方式获取媒体文件时，确定媒体文件中的不同媒体子文件之间的获取顺序；辅助信息描述数据K_c是基于辅助信息B_c所生成的。

其中，信令传输模块13的具体实现方式可以参见上述图7所对应实施例中的步骤S204，这里不再进行赘述。

在一种实施方式中，辅助信息描述数据K_c包括默认级别指示字段；当默认级别指示字段的字段值为第五指示值时，表示默认信息指示字段对应的辅助级别参数为默认辅助级别参数；当默认级别指示字段的字段值为第六指示值时，表示默认级别指示字段对应的辅助级别参数不为默认辅助级别参数；第六指示值不同于第五指示值；默认级别指示字段对应的辅助级别参数属于辅助信息B_c中的辅助级别参数。

在一种实施方式中，辅助信息元数据轨道的样本入口处包括生效范围指示字段以及第二辅助信息数据盒；生效范围指示字段用于指示M个样本序号分别对应的辅助级别参数的生效范围；第二辅助信息数据盒用于指示辅助信息B_c中具有静态属性的信息；M个样本序号分别对应的辅助级别参数属于辅助信息B_c中的辅助级别参数。

在一种实施方式中，M个样本序号包括样本序号τ，τ为正整数且τ小于或等于M；

当生效范围指示字段的字段值取值为第七指示值时，表示样本序号τ对应的辅助级别参数的生效范围为辅助信息元数据轨道；

当生效范围指示字段的字段值取值为第八指示值时，表示样本序号τ对应的辅助级别参数的生效范围为样本序号τ所对应的点云帧；第八指示值不同于第七指示值。

在一种实施方式中，辅助信息元数据轨道包括样本序号O_n；n为正整数且n小于或等于M；时间范围F_c包括样本序号O_n所对应的点云帧；

辅助信息元数据轨道包括针对样本序号O_n的辅助级别指示字段；

当辅助级别指示字段的字段值为第九指示值时，表示与样本序号O_n相关联的辅助级别由默认辅助级别参数确定；默认辅助级别参数属于辅助信息B_c中的辅助级别参数；

当辅助级别指示字段的字段值为第十指示值时，表示与样本序号O_n相关联的辅助级别由辅助信息数据结构确定；第十指示值不同于第九指示值。

在一种实施方式中，当辅助级别指示字段的字段值为第九指示值时，表示默认辅助级别参数用于指示样本序号O_n所对应的点云帧的辅助级别。

在一种实施方式中，当辅助级别指示字段的字段值为第十指示值时，辅助信息元数据轨道还包括针对样本序号O_n的数据结构数量字段；数据结构数量字段用于指示辅助信息数据结构的总数量。

在一种实施方式中，数据结构数量字段的取值为P，表示P个辅助信息数据结构；P个辅助信息数据结构包括辅助信息数据结构Q_r，r，P均为正整数且r小于或等于P；

辅助信息数据结构Q_r包括字段值为辅助级别参数S_r的辅助级别字段，以及目标范围指示字段；辅助级别参数S_r属于辅助信息B_c中的辅助级别参数；

当目标范围指示字段的字段值为第一指示值时，表示辅助级别参数S_r用于指示，样本序号O_n所对应的点云帧中的一个空间区域的辅助级别；

当目标范围指示字段的字段值为第二指示值时，表示辅助级别参数S_r用于指示，样本序号O_n所对应的点云帧的辅助级别；第二指示值不同于第一指示值。

请再参见图10，至少一种辅助信息包括目标辅助信息；目标辅助信息包括用于指示目标范围的辅助级别参数；

信息封装模块12可以包括：第一编码单元121。

第一编码单元121，用于根据目标辅助信息中的辅助级别参数，对点云媒体的目标范围进行优化编码，得到点云码流。

其中，第一编码单元121的具体实现方式可以参见上述图7所对应实施例中的步骤S202，这里不再进行赘述。

请再参见图10，目标范围的总数量为至少两个，至少两个目标范围包括第一目标范围以及第二目标范围；目标辅助信息中的辅助级别参数包括第一目标范围对应的第一辅助级别参数，以及第二目标范围对应的第二辅助级别参数；

第一编码单元121可以包括：第一确定子单元1211、第一编码子单元1212以及第一生成子单元1213。

第一确定子单元1211，用于根据第一辅助级别参数，确定第一目标范围的第一编码级别，根据第二辅助级别参数，确定第二目标范围的第二编码级别，当第一辅助级别参数大于第二辅助级别参数时，第一编码级别优于第二编码级别；

第一编码子单元1212，用于通过第一编码级别，对第一目标范围进行优化编码，得到第一子点云码流，通过第二编码级别，对第二目标范围进行优化编码，得到第二子点云码流；

第一生成子单元1213，用于根据第一子点云码流以及第二子点云码流，生成点云码流。

其中，第一确定子单元1211、第一编码子单元1212以及第一生成子单元1213的具体实现方式可以参见上述图7所对应实施例中的步骤S202，这里不再进行赘述。

请再参见图10，至少一种辅助信息包括第一辅助信息以及第二辅助信息；第一辅助信息包括用于指示点云媒体的目标范围的辅助级别参数σ；第二辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ρ；第一辅助信息对应的辅助信息类型不同于第二辅助信息对应的辅助信息类型；

信息封装模块12可以包括：第二编码单元122。

第二编码单元122，用于根据辅助级别参数σ，以及辅助级别参数ρ，对目标范围进行优化编码，得到点云码流。

其中，第二编码单元122的具体实现方式可以参见上述图4所对应实施例中的步骤S102，这里不再进行赘述。

请再参见图10，目标范围的总数量为至少两个，至少两个目标范围包括第三目标范围以及第四目标范围；辅助级别参数σ包括第三目标范围对应的第三辅助级别参数，以及第四目标范围对应的第四辅助级别参数；辅助级别参数ρ包括第三目标范围对应的第五辅助级别参数，以及第四目标范围对应的第六辅助级别参数；

第二编码单元122可以包括：第一求和子单元1221、第二求和子单元1222、第二确定子单元1223、第二编码子单元1224以及第二生成子单元1225。

第一求和子单元1221，用于对第三辅助级别参数以及第五辅助级别参数进行加权求和，得到第三目标范围对应的第一总辅助级别参数；

第二求和子单元1222，用于对第四辅助级别参数以及第六辅助级别参数进行加权求和，得到第四目标范围对应的第二总辅助级别参数；

第二确定子单元1223，用于根据第一总辅助级别参数，确定第三目标范围的第三编码级别，根据第二总辅助级别参数，确定第四目标范围的第四编码级别；当第一总编码级别参数大于第二总辅助级别参数时，第三编码级别优于第四编码级别；

第二编码子单元1224，用于通过第三编码级别，对第三目标范围进行优化编码，得到第三子点云码流，通过第四编码级别，对第四目标范围进行优化编码，得到第四子点云码流；

第二生成子单元1225，用于根据第三点云子码流以及第四点云子码流，生成点云码流。

其中，第一求和子单元1221、第二求和子单元1222、第二确定子单元1223、第二编码子单元1224以及第二生成子单元1225的具体实现方式可以参见上述图4所对应实施例中的步骤S102，这里不再进行赘述。

上述可知，本申请实施例可以确定点云媒体对应的用于指示时间范围的辅助信息，或点云媒体对应的用于指示空间范围的辅助信息，故本申请实施例可以将点云媒体的辅助信息与点云码流一并封装，得到媒体文件，且本申请实施例提供的辅助信息指示方法，可以提高点云媒体的辅助信息的精准性，进而在渲染点云媒体时，可以通过精准的辅助信息，确定目标范围的渲染效果，故可以优化点云媒体的呈现效果。此外，本申请针对不同类型的辅助信息，可以采用一种通用指示信息进行指示，故可以提高辅助信息被封装的效率。此外，将不同类型的辅助信息均封装至一个媒体文件中，本申请实施例可以避免一个辅助信息对应一个媒体文件，故可以降低点云码流的冗余；通过传输一个包含不同类型的辅助信息的媒体文件，还可以降低网络传输资源的浪费。

请参见图11，图11是本申请实施例提供的一种媒体数据处理装置的结构示意图二。该媒体数据处理装置可以是运行于内容消费设备的一个计算机程序(包括程序代码)，例如该媒体数据处理装置为内容消费设备中的一个应用软件(例如，视频客户端)；该装置可以用于执行本申请实施例提供的媒体数据处理方法中的相应步骤。如图11所示，该媒体数据处理装置2可以包括：文件获取模块21以及码流解码模块22。

文件获取模块21，用于获取媒体文件；媒体文件包括根据点云媒体的至少一种辅助信息所得到的已赋值的通用指示信息；已赋值的通用指示信息用于指示至少一种辅助信息；

码流解码模块22，用于对媒体文件进行解封装，得到点云码流以及至少一种辅助信息，对点云码流进行解码，得到点云媒体。

其中，文件获取模块21以及码流解码模块22的具体实现方式可以参见上述图9所对应实施例中的步骤S301-步骤S302，这里不再进行赘述。

在一种实施方式中，至少一种辅助信息包括目标辅助信息；

目标辅助信息包括用于指示点云媒体的目标范围的辅助级别参数；目标范围包括空间范围或时间范围；

已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

请再参见图11，媒体文件包括用于指示目标辅助信息的辅助信息数据盒；已赋值的数据盒信息包括辅助信息数据盒；

媒体数据处理装置2还可以包括：

第一确定模块23，用于当辅助信息数据盒包含于媒体文件对应的点云轨道的样本入口处时，确定目标范围包括空间范围；

其中，目标辅助信息中的一个辅助级别参数用于指示一个空间范围；一个空间范围包括T个点云帧分别包含的一个空间区域；点云媒体包括T个点云帧；T为正整数。

其中，第一确定模块23的具体实现方式可以参见上述图9所对应实施例中的步骤S302，这里不再进行赘述。

请再参见图11，空间范围的总数量为至少两个，至少两个空间范围包括第一空间范围以及第二空间范围；

媒体数据处理装置2还可以包括：第一获取模块24以及第二确定模块25。

第一获取模块24，用于在目标辅助信息中，获取用于指示第一空间范围的辅助级别参数U_v，获取用于指示第二空间范围的辅助级别参数U_v+1；v为正整数，且v小于目标辅助信息中的辅助级别参数的总数量；

第二确定模块25，用于若辅助级别参数U_v大于辅助级别参数U_v+1，则确定第一空间范围对应的渲染级别，优于第二空间范围对应的渲染级别；

第二确定模块25，还用于若辅助级别参数U_v小于辅助级别参数U_v+1，则确定第二空间范围对应的渲染级别，优于第一空间范围对应的渲染级别。

其中，第一获取模块24以及第二确定模块25的具体实现方式可以参见上述图9所对应实施例中的步骤S302，这里不再进行赘述。

请再参见图11，媒体数据处理装置2还可以包括：第三确定模块26。

第三确定模块26，用于当媒体文件包括用于指示目标辅助信息的辅助信息元数据轨道时，确定目标范围包括时间范围；已赋值的元数据轨道信息包括辅助信息元数据轨道；

其中，第三确定模块26的具体实现方式可以参见上述图9所对应实施例中的步骤S302，这里不再进行赘述。

在一种实施方式中，辅助信息元数据轨道包括与目标辅助信息相关联的W个样本序号；其中，一个样本序号对应于一个点云帧；点云媒体包括W个点云帧；W为正整数。

请再参见图11，时间范围包括W个点云帧中的第一点云帧以及第二点云帧；

媒体数据处理装置2还可以包括：第二获取模块27以及第四确定模块28。

第二获取模块27，用于在目标辅助信息中，获取用于指示第一点云帧的辅助级别参数X_y，获取用于指示第二点云帧的辅助级别参数X_y+1；y为正整数，且y小于辅助信息中的辅助级别参数的总数量；

第四确定模块28，用于若辅助级别参数X_y大于辅助级别参数X_y+1，则确定第一点云帧对应的渲染级别，优于第二点云帧对应的渲染级别；

第四确定模块28，还用于若辅助级别参数X_y小于辅助级别参数X_y+1，则确定第二点云帧对应的渲染级别，优于第一点云帧对应的渲染级别。

其中，第二获取模块27以及第四确定模块28的具体实现方式可以参见上述图9所对应实施例中的步骤S302，这里不再进行赘述。

请再参见图11，媒体数据处理装置2还可以包括：第五确定模块29。

第二获取模块27，还用于若第一点云帧包括至少两个空间区域，且至少两个空间区域分别对应的辅助级别不同，则在目标辅助信息中，获取第一空间区域对应的辅助级别参数Zα，获取第二空间区域对应的辅助级别参数Zα+1；第一空间区域以及第二空间区域均属于至少两个空间区域；α为正整数，且α小于辅助信息中的辅助级别参数的总数量；

第五确定模块29，用于若辅助级别参数Zα大于辅助级别参数Zα+1，则确定第一空间区域对应的渲染级别，优于第二空间区域对应的渲染级别；

第五确定模块29，还用于若辅助级别参数Zα小于辅助级别参数Zα+1，则确定第二空间区域对应的渲染级别，优于第一空间区域对应的渲染级别。

其中，第二获取模块27以及第五确定模块29的具体实现方式可以参见上述图9所对应实施例中的步骤S302，这里不再进行赘述。

请再参见图11，至少一种辅助信息包括第一辅助信息以及第二辅助信息；第一辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ζ；第二辅助信息包括用于指示点云媒体的目标范围的辅助级别参数ψ；目标范围的总数量为至少两个；至少两个目标范围包括目标范围β以及目标范围δ；第一辅助信息对应的辅助信息类型不同于第二辅助信息对应的辅助信息类型；

媒体数据处理装置2还可以包括：第三获取模块30、加权求和模块31以及第六确定模块32。

第三获取模块30，用于在辅助级别参数ζ中，获取目标范围β对应的辅助级别参数ε，获取目标范围δ对应的辅助级别参数φ；

第三获取模块30，还用于在辅助级别参数ψ中，获取目标范围β对应的辅助级别参数γ，获取目标范围δ对应的辅助级别参数μ；

加权求和模块31，用于对辅助级别参数ε以及辅助级别参数γ进行加权求和，得到目标范围β对应的总辅助级别参数η；

加权求和模块31，还用于对辅助级别参数φ以及辅助级别参数μ进行加权求和，得到目标范围δ对应的总辅助级别参数λ；

第六确定模块32，用于若总辅助级别参数η大于总辅助级别参数λ，则确定目标范围β对应的渲染级别，优于目标范围δ对应的渲染级别；

第六确定模块32，还用于若总辅助级别参数η小于于总辅助级别参数λ，则确定目标范围δ对应的渲染级别，优于目标范围β对应的渲染级别。

其中，第三获取模块30、加权求和模块31以及第六确定模块32的具体实现方式可以参见上述图9所对应实施例中的步骤S302，这里不再进行赘述。

上述可知，本申请实施例可以确定点云媒体对应的用于指示时间范围的辅助信息，或点云媒体对应的用于指示空间范围的辅助信息，故本申请实施例可以将点云媒体的辅助信息与点云码流一并封装，得到媒体文件，且本申请实施例提供的辅助信息指示方法，可以提高点云媒体的辅助信息的精准性，进而在渲染点云媒体时，可以通过精准的辅助信息，确定目标范围的渲染效果，故可以优化点云媒体的呈现效果。此外，本申请针对不同类型的辅助信息，可以采用一种通用指示信息进行指示，故可以提高辅助信息被封装的效率。此外，将不同类型的辅助信息均封装至一个媒体文件中，本申请实施例可以避免一个辅助信息对应一个媒体文件，故可以降低点云码流的冗余；通过传输一个包含不同类型的辅助信息的媒体文件，还可以降低网络传输资源的浪费。

请参见图12，是本申请实施例提供的一种计算机设备的结构示意图。如图12所示，该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在如图12所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序。应当理解，本申请实施例中所描述的计算机设备1000可执行前文各实施例中对数据处理方法或装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现前文各实施例中对数据处理方法或装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备可执行前文各实施例中对数据处理方法或装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

进一步的，请参见图13，图13是本申请实施例提供的一种数据处理系统的结构示意图。该数据处理系统3可以包含数据处理装置1a和数据处理装置2a。其中，数据处理装置1a可以为上述图10所对应实施例中的媒体数据处理装置1，可以理解的是，该数据处理装置1a可以集成在上述图3所对应实施例中的内容制作设备200A，因此，这里将不再进行赘述。其中，数据处理装置2a可以为上述图11所对应实施例中的媒体数据处理装置2，可以理解的是，该数据处理装置2a可以集成在上述图3对应实施例中的内容消费设备200B，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的数据处理系统实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (32)

1.一种媒体数据处理方法，其特征在于，包括：

获取点云媒体的至少一种辅助信息以及未赋值的通用指示信息；

对所述点云媒体进行编码，得到点云码流；

对所述点云码流、所述至少一种辅助信息以及所述未赋值的通用指示信息进行封装，得到媒体文件；所述媒体文件包括已赋值的通用指示信息，所述已赋值的通用指示信息是根据所述至少一种辅助信息，对所述未赋值的通用指示信息进行赋值所得到的；所述已赋值的通用指示信息用于指示所述至少一种辅助信息。

2.根据权利要求1所述的方法，其特征在于，所述已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

3.根据权利要求2所述的方法，其特征在于，所述至少一种辅助信息包括辅助信息B_c；c为正整数，且c小于或等于所述至少一种辅助信息的总数量；

所述辅助信息B_c包括用于指示所述点云媒体的目标范围D_c的辅助级别参数；所述目标范围D_c包括空间范围E_c或时间范围F_c；

当所述媒体文件包括用于指示所述辅助信息B_c的第一辅助信息数据盒，且所述第一辅助信息数据盒包含于所述媒体文件对应的点云轨道的样本入口处时，所述目标范围D_c包括所述空间范围E_c；所述已赋值的数据盒信息包括所述第一辅助信息数据盒；

其中，所述辅助信息B_c中的一个辅助级别参数用于指示一个空间范围；所述一个空间范围包括G个点云帧分别包含的一个空间区域；所述点云媒体包括所述G个点云帧；G为正整数；或者

当所述媒体文件包括用于指示所述辅助信息B_c的辅助信息元数据轨道时，所述目标范围D_c包括所述时间范围F_c；所述已赋值的元数据轨道信息包括所述辅助信息元数据轨道；

其中，所述辅助信息元数据轨道包括与所述辅助信息B_c相关联的M个样本序号；其中，一个样本序号对应于一个点云帧；所述点云媒体包括M个点云帧；M为正整数。

4.根据权利要求3所述的方法，其特征在于，所述第一辅助信息数据盒包括字段值为第一类型值的辅助信息类型字段、静态数据结构数量字段以及具有默认属性的辅助信息数据结构；

所述第一类型值表示所述辅助信息B_c所属的辅助信息类型；

所述静态数据结构数量字段用于指示具有静态属性的辅助信息数据结构的总数量。

5.根据权利要求4所述的方法，其特征在于，所述静态数据结构数量字段的取值为H，表示H个具有静态属性的辅助信息数据结构；所述H个具有静态属性的辅助信息数据结构包括具有静态属性的辅助信息数据结构I_j，其中，H、j均为正整数，且j小于或等于H；

所述具有静态属性的辅助信息数据结构I_j包括字段值为辅助级别参数L_j的辅助级别字段，以及字段值为第一指示值的目标范围指示字段；所述辅助级别参数L_j不同于默认辅助级别参数；所述默认辅助级别参数以及所述辅助级别参数L_j均属于所述辅助信息B_c中的辅助级别参数；

所述第一指示值表示所述辅助级别参数L_j用于指示一个空间范围的辅助级别。

6.根据权利要求4所述的方法，其特征在于，所述具有默认属性的辅助信息数据结构包括字段值为默认辅助级别参数的辅助级别字段，以及字段值为第二指示值的目标范围指示字段；所述默认辅助级别参数属于所述辅助信息B_c中的辅助级别参数；

所述第二指示值表示所述默认辅助级别参数用于指示一个空间范围的辅助级别；所述默认辅助级别参数所指示的空间范围包括所述点云媒体中除了所述具有静态属性的辅助信息数据结构所指示的空间范围之外的空间范围。

7.根据权利要求3所述的方法，其特征在于，所述第一辅助信息数据盒包括辅助算法指示字段；

当所述辅助算法指示字段的字段值取值为第三指示值时，表示所述辅助信息B_c存在辅助算法；

当所述辅助算法指示字段的字段值取值为第四指示值时，表示所述辅助信息B_c不存在辅助算法；所述第四指示值不同于所述第三指示值。

8.根据权利要求7所述的方法，其特征在于，当所述辅助算法指示字段的字段值取值为所述第三指示值时，所述第一辅助信息数据盒还包括辅助算法类型字段；

当所述辅助算法类型字段的字段值为第二类型值时，表示所述辅助信息B_c由辅助信息检测算法确定；

当所述辅助算法类型字段的字段值为第三类型值时，表示所述辅助信息B_c由数据统计确定；所述第三类型值不同于所述第二类型值。

9.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当存在所述第一辅助信息数据盒时，将针对所述媒体文件的传输信令传输至客户端；所述传输指令携带辅助信息描述数据K_c；所述辅助信息描述数据K_c用于指示所述客户端在通过流化传输方式获取所述媒体文件时，确定所述媒体文件中的不同媒体子文件之间的获取顺序；所述辅助信息描述数据K_c是基于所述辅助信息B_c所生成的。

10.根据权利要求9所述的方法，其特征在于，所述辅助信息描述数据K_c包括默认级别指示字段；

当所述默认级别指示字段的字段值为第五指示值时，表示所述默认信息指示字段对应的辅助级别参数为默认辅助级别参数；

当所述默认级别指示字段的字段值为第六指示值时，表示所述默认级别指示字段对应的辅助级别参数不为默认辅助级别参数；所述第六指示值不同于所述第五指示值；所述默认级别指示字段对应的辅助级别参数属于所述辅助信息B_c中的辅助级别参数。

11.根据权利要求3所述的方法，其特征在于，所述辅助信息元数据轨道的样本入口处包括生效范围指示字段以及第二辅助信息数据盒；所述生效范围指示字段用于指示所述M个样本序号分别对应的辅助级别参数的生效范围；所述第二辅助信息数据盒用于指示所述辅助信息B_c中具有静态属性的信息；所述M个样本序号分别对应的辅助级别参数属于所述辅助信息B_c中的辅助级别参数。

12.根据权利要求11所述的方法，其特征在于，所述M个样本序号包括样本序号τ，τ为正整数且τ小于或等于M；

当所述生效范围指示字段的字段值取值为第七指示值时，表示所述样本序号τ对应的辅助级别参数的生效范围为所述辅助信息元数据轨道；

当所述生效范围指示字段的字段值取值为第八指示值时，表示所述样本序号τ对应的辅助级别参数的生效范围为所述样本序号τ所对应的点云帧；所述第八指示值不同于所述第七指示值。

13.根据权利要求11所述的方法，其特征在于，所述辅助信息元数据轨道包括样本序号O_n；n为正整数且n小于或等于M；所述时间范围F_c包括样本序号O_n所对应的点云帧；

所述辅助信息元数据轨道包括针对所述样本序号O_n的辅助级别指示字段；

当所述辅助级别指示字段的字段值为第九指示值时，表示与所述样本序号O_n相关联的辅助级别由默认辅助级别参数确定；所述默认辅助级别参数属于所述辅助信息B_c中的辅助级别参数；

当所述辅助级别指示字段的字段值为第十指示值时，表示与所述样本序号O_n相关联的辅助级别由辅助信息数据结构确定；所述第十指示值不同于所述第九指示值。

14.根据权利要求13所述的方法，其特征在于，当所述辅助级别指示字段的字段值为所述第九指示值时，表示所述默认辅助级别参数用于指示所述样本序号O_n所对应的点云帧的辅助级别。

15.根据权利要求13所述的方法，其特征在于，当所述辅助级别指示字段的字段值为所述第十指示值时，所述辅助信息元数据轨道还包括针对所述样本序号O_n的数据结构数量字段；所述数据结构数量字段用于指示所述辅助信息数据结构的总数量。

16.根据权利要求15所述的方法，其特征在于，所述数据结构数量字段的取值为P，表示P个辅助信息数据结构；所述P个辅助信息数据结构包括辅助信息数据结构Q_r，r，P均为正整数且r小于或等于P；

所述辅助信息数据结构Q_r包括字段值为辅助级别参数S_r的辅助级别字段，以及目标范围指示字段；所述辅助级别参数S_r属于所述辅助信息B_c中的辅助级别参数；

当所述目标范围指示字段的字段值为第一指示值时，表示所述辅助级别参数S_r用于指示，所述样本序号O_n所对应的点云帧中的一个空间区域的辅助级别；

当所述目标范围指示字段的字段值为第二指示值时，表示所述辅助级别参数S_r用于指示，所述样本序号O_n所对应的点云帧的辅助级别；所述第二指示值不同于所述第一指示值。

17.根据权利要求1所述的方法，其特征在于，所述至少一种辅助信息包括目标辅助信息；所述目标辅助信息包括用于指示目标范围的辅助级别参数；

所述对所述点云媒体进行编码，得到点云码流，包括：

根据所述目标辅助信息中的辅助级别参数，对所述点云媒体的所述目标范围进行优化编码，得到点云码流。

18.根据权利要求17所述的方法，其特征在于，所述目标范围的总数量为至少两个，至少两个目标范围包括第一目标范围以及第二目标范围；所述目标辅助信息中的辅助级别参数包括所述第一目标范围对应的第一辅助级别参数，以及所述第二目标范围对应的第二辅助级别参数；

所述根据所述目标辅助信息中的辅助级别参数，对所述点云媒体的所述目标范围进行优化编码，得到点云码流，包括：

根据所述第一辅助级别参数，确定所述第一目标范围的第一编码级别，根据所述第二辅助级别参数，确定所述第二目标范围的第二编码级别，当所述第一辅助级别参数大于所述第二辅助级别参数时，所述第一编码级别优于所述第二编码级别；

通过所述第一编码级别，对所述第一目标范围进行优化编码，得到第一子点云码流，通过所述第二编码级别，对所述第二目标范围进行优化编码，得到第二子点云码流；

根据所述第一子点云码流以及所述第二子点云码流，生成所述点云码流。

19.根据权利要求1所述的方法，其特征在于，所述至少一种辅助信息包括第一辅助信息以及第二辅助信息；所述第一辅助信息包括用于指示所述点云媒体的目标范围的辅助级别参数σ；所述第二辅助信息包括用于指示所述点云媒体的目标范围的辅助级别参数ρ；所述第一辅助信息对应的辅助信息类型不同于所述第二辅助信息对应的辅助信息类型；

所述对所述点云媒体进行编码，得到点云码流，包括：

根据所述辅助级别参数σ，以及所述辅助级别参数ρ，对所述目标范围进行优化编码，得到点云码流。

20.根据权利要求19所述的方法，其特征在于，所述目标范围的总数量为至少两个，至少两个目标范围包括第三目标范围以及第四目标范围；所述辅助级别参数σ包括所述第三目标范围对应的第三辅助级别参数，以及所述第四目标范围对应的第四辅助级别参数；所述辅助级别参数ρ包括所述第三目标范围对应的第五辅助级别参数，以及所述第四目标范围对应的第六辅助级别参数；

所述根据所述辅助级别参数σ，以及所述辅助级别参数ρ，对所述目标范围进行优化编码，得到点云码流，包括：

对所述第三辅助级别参数以及所述第五辅助级别参数进行加权求和，得到所述第三目标范围对应的第一总辅助级别参数；

对所述第四辅助级别参数以及所述第六辅助级别参数进行加权求和，得到所述第四目标范围对应的第二总辅助级别参数；

根据所述第一总辅助级别参数，确定所述第三目标范围的第三编码级别，根据所述第二总辅助级别参数，确定所述第四目标范围的第四编码级别；当所述第一总编码级别参数大于所述第二总辅助级别参数时，所述第三编码级别优于所述第四编码级别；

通过所述第三编码级别，对所述第三目标范围进行优化编码，得到第三子点云码流，通过所述第四编码级别，对所述第四目标范围进行优化编码，得到所述第四子点云码流；

根据所述第三点云子码流以及所述第四点云子码流，生成所述点云码流。

21.一种媒体数据处理方法，其特征在于，包括：

获取媒体文件；所述媒体文件包括根据点云媒体的至少一种辅助信息所得到的已赋值的通用指示信息；所述已赋值的通用指示信息用于指示所述至少一种辅助信息；

对所述媒体文件进行解封装，得到点云码流以及所述至少一种辅助信息，对所述点云码流进行解码，得到所述点云媒体。

22.根据权利要求21所述的方法，其特征在于，所述至少一种辅助信息包括目标辅助信息；

所述目标辅助信息包括用于指示所述点云媒体的目标范围的辅助级别参数；所述目标范围包括空间范围或时间范围；

所述已赋值的通用指示信息包括已赋值的数据盒信息或已赋值的元数据轨道信息中的至少一个。

23.根据权利要求22所述的方法，其特征在于，所述媒体文件包括用于指示所述目标辅助信息的辅助信息数据盒；所述已赋值的数据盒信息包括所述辅助信息数据盒；

所述方法还包括：

当所述辅助信息数据盒包含于所述媒体文件对应的点云轨道的样本入口处时，确定所述目标范围包括所述空间范围；

其中，所述目标辅助信息中的一个辅助级别参数用于指示一个空间范围；所述一个空间范围包括T个点云帧分别包含的一个空间区域；所述点云媒体包括所述T个点云帧；T为正整数。

24.根据权利要求23所述的方法，其特征在于，所述空间范围的总数量为至少两个，至少两个空间范围包括第一空间范围以及第二空间范围；

所述方法还包括：

在所述目标辅助信息中，获取用于指示所述第一空间范围的辅助级别参数U_v，获取用于指示所述第二空间范围的辅助级别参数U_v+1；v为正整数，且v小于所述目标辅助信息中的辅助级别参数的总数量；

若所述辅助级别参数U_v大于所述辅助级别参数U_v+1，则确定所述第一空间范围对应的渲染级别，优于所述第二空间范围对应的渲染级别；

若所述辅助级别参数U_v小于所述辅助级别参数U_v+1，则确定所述第二空间范围对应的渲染级别，优于所述第一空间范围对应的渲染级别。

25.根据权利要求22所述的方法，其特征在于，所述方法还包括：

当所述媒体文件包括用于指示所述目标辅助信息的辅助信息元数据轨道时，确定所述目标范围包括所述时间范围；所述已赋值的元数据轨道信息包括所述辅助信息元数据轨道；

其中，所述辅助信息元数据轨道包括与所述目标辅助信息相关联的W个样本序号；其中，一个样本序号对应于一个点云帧；所述点云媒体包括W个点云帧；W为正整数。

26.根据权利要求25所述的方法，其特征在于，所述时间范围包括所述W个点云帧中的第一点云帧以及第二点云帧；

所述方法还包括：

在所述目标辅助信息中，获取用于指示所述第一点云帧的辅助级别参数X_y，获取用于指示所述第二点云帧的辅助级别参数X_y+1；y为正整数，且y小于所述辅助信息中的辅助级别参数的总数量；

若所述辅助级别参数X_y大于所述辅助级别参数X_y+1，则确定所述第一点云帧对应的渲染级别，优于所述第二点云帧对应的渲染级别；

若所述辅助级别参数X_y小于所述辅助级别参数X_y+1，则确定所述第二点云帧对应的渲染级别，优于所述第一点云帧对应的渲染级别。

27.根据权利要求26所述的方法，其特征在于，所述方法还包括：

若所述第一点云帧包括至少两个空间区域，且所述至少两个空间区域分别对应的辅助级别不同，则在所述目标辅助信息中，获取第一空间区域对应的辅助级别参数Zα，获取第二空间区域对应的辅助级别参数Zα+1；所述第一空间区域以及所述第二空间区域均属于所述至少两个空间区域；α为正整数，且α小于所述辅助信息中的辅助级别参数的总数量；

若所述辅助级别参数Zα大于所述辅助级别参数Zα+1，则确定所述第一空间区域对应的渲染级别，优于所述第二空间区域对应的渲染级别；

若所述辅助级别参数Zα小于所述辅助级别参数Zα+1，则确定所述第二空间区域对应的渲染级别，优于所述第一空间区域对应的渲染级别。

28.根据权利要求21所述的方法，其特征在于，所述至少一种辅助信息包括第一辅助信息以及第二辅助信息；所述第一辅助信息包括用于指示所述点云媒体的目标范围的辅助级别参数ζ；所述第二辅助信息包括用于指示所述点云媒体的目标范围的辅助级别参数ψ；所述目标范围的总数量为至少两个；至少两个目标范围包括目标范围β以及目标范围δ；所述第一辅助信息对应的辅助信息类型不同于所述第二辅助信息对应的辅助信息类型；

所述方法还包括：

在所述辅助级别参数ζ中，获取所述目标范围β对应的辅助级别参数ε，获取所述目标范围δ对应的辅助级别参数φ；

在所述辅助级别参数ψ中，获取所述目标范围β对应的辅助级别参数γ，获取所述目标范围δ对应的辅助级别参数μ；

对所述辅助级别参数ε以及辅助级别参数γ进行加权求和，得到所述目标范围β对应的总辅助级别参数η；

对所述辅助级别参数φ以及辅助级别参数μ进行加权求和，得到所述目标范围δ对应的总辅助级别参数λ；

若所述总辅助级别参数η大于所述总辅助级别参数λ，则确定所述目标范围β对应的渲染级别，优于所述目标范围δ对应的渲染级别；

若所述总辅助级别参数η小于于所述总辅助级别参数λ，则确定所述目标范围δ对应的渲染级别，优于所述目标范围β对应的渲染级别。

29.一种媒体数据处理装置，其特征在于，包括：

信息获取模块，用于获取点云媒体的至少一种辅助信息以及未赋值的通用指示信息；

信息封装模块，用于对所述点云媒体进行编码，得到点云码流；

所述信息封装模块，还用于对所述点云码流、所述至少一种辅助信息以及所述未赋值的通用指示信息进行封装，得到媒体文件；所述媒体文件包括已赋值的通用指示信息，所述已赋值的通用指示信息是根据所述至少一种辅助信息，对所述未赋值的通用指示信息进行赋值所得到；所述已赋值的通用指示信息用于指示所述至少一种辅助信息。

30.一种媒体数据处理装置，其特征在于，包括：

文件获取模块，用于获取媒体文件；所述媒体文件包括根据点云媒体的至少一种辅助信息所得到的已赋值的通用指示信息；所述已赋值的通用指示信息用于指示所述至少一种辅助信息；

码流解码模块，用于对所述媒体文件进行解封装，得到点云码流以及所述至少一种辅助信息，对所述点云码流进行解码，得到所述点云媒体。

31.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；

所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供数据通信功能，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1至28任一项所述的方法。

32.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行，以使具有所述处理器的计算机设备执行权利要求1-28任一项所述的方法。

Images