CN115941995A - 媒体文件封装与解封装方法、装置、设备及存储介质 - Google Patents

媒体文件封装与解封装方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115941995A
CN115941995A CN202110970077.1A CN202110970077A CN115941995A CN 115941995 A CN115941995 A CN 115941995A CN 202110970077 A CN202110970077 A CN 202110970077A CN 115941995 A CN115941995 A CN 115941995A
Authority
CN
China
Prior art keywords
media
information
window
recommended
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110970077.1A
Other languages
English (en)
Inventor
胡颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110970077.1A priority Critical patent/CN115941995A/zh
Priority to EP22860189.4A priority patent/EP4394718A1/en
Priority to PCT/CN2022/109524 priority patent/WO2023024843A1/zh
Publication of CN115941995A publication Critical patent/CN115941995A/zh
Priority to US18/464,760 priority patent/US20230421819A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种媒体文件封装与解封装方法、装置、设备及存储介质，该方法包括：获取沉浸式媒体的内容，并根据沉浸式媒体的内容，确定沉浸式媒体的推荐视窗；确定推荐视窗对应的沉浸式媒体的特征信息；将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，生成沉浸式媒体的媒体文件；向文件解封装设备发送第一指示信息，第一指示信息用于指示推荐视窗的元数据，推荐视窗的元数据包括推荐视窗对应的沉浸式媒体的特征信息。即本申请通过将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，文件解封装设备可以根据推荐视窗对应的沉浸式媒体的特征信息，请求推荐视窗对应的媒体文件进行消费，进而节省宽带和解码资源，提高解码效率。

Description

媒体文件封装与解封装方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种媒体文件封装与解封装方法、装置、设备及存储介质。
背景技术
沉浸式媒体指能为消费者带来沉浸式体验的媒体内容，沉浸式媒体按照用户在消费媒体内容时的自由度，可以分为3自由度(Degree of Freedom，简称DoF)媒体、3DoF+媒体以及6DoF媒体。
文件封装设备在对沉浸式媒体进行封装后，会向用户发送推荐视窗信息，以使用户消费推荐视窗对应的媒体资源。但是目前的视频码流的封装方式，文件封装设备虽然可以向文件解封装设备推荐视窗，但是无法将推荐视窗对应的媒体资源推荐给文件解封装设备，进而造成解码资源浪费，且解码效率低的问题。
发明内容
本申请提供一种媒体文件封装与解封装方法、装置、设备及存储介质，文件解封装设备可以请求推荐视窗关联的媒体文件，进而节省宽带和解码资源，提高解码效率。
第一方面，本申请提供一种媒体文件封装方法，应用于文件封装设备，该方法包括：
获取沉浸式媒体的内容，并根据所述沉浸式媒体的内容，确定所述沉浸式媒体的推荐视窗；
确定所述推荐视窗对应的沉浸式媒体的特征信息；
将所述推荐视窗与所述推荐视窗对应的沉浸式媒体的特征信息进行关联，生成所述沉浸式媒体的媒体文件；
向文件解封装设备发送第一指示信息，所述第一指示信息用于指示所述推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息。
第二方面，本申请提供一种媒体文件封装方法，应用于文件解封装设备，该方法包括：
接收文件封装设备发送的第一指示信息，所述第一指示信息用于指示推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息，所述推荐视窗是根据所述沉浸式媒体的内容确定的；
响应于所述第一指示信息，确定是否请求所述推荐视窗的元数据。
第三方面，本申请提供一种媒体文件封装装置，应用于文件封装设备，该装置包括：
获取单元，用于获取沉浸式媒体的内容，并根据所述沉浸式媒体的内容，确定所述沉浸式媒体的推荐视窗；
处理单元，用于确定所述推荐视窗对应的沉浸式媒体的特征信息；
封装单元，用于将所述推荐视窗与所述推荐视窗对应的沉浸式媒体的特征信息进行关联，生成所述沉浸式媒体的媒体文件；
收发单元，用于向文件解封装设备发送第一指示信息，所述第一指示信息用于指示所述推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息。
第四方面，本申请提供一种媒体文件解封装装置，应用于文件解封装设备，该装置包括：
收发单元，用于接收文件封装设备发送的第一指示信息，所述第一指示信息用于指示推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息，所述推荐视窗是根据所述沉浸式媒体的内容确定的；
处理单元，用于响应于所述第一指示信息，确定是否请求所述推荐视窗的元数据。
第五方面，本申请提供一种文件封装设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。
第六方面，本申请提供一种文件解封装设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第二方面的方法。
第七方面，提供了一种计算设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面和/或第二方面的方法。
第八方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面和/或第二方面的方法。
综上，在本申请中，文件封装设备通过获取沉浸式媒体的内容，并根据沉浸式媒体的内容，确定沉浸式媒体的推荐视窗；确定推荐视窗对应的沉浸式媒体的特征信息；将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，生成沉浸式媒体的媒体文件；向文件解封装设备发送第一指示信息，第一指示信息用于指示推荐视窗的元数据，推荐视窗的元数据包括推荐视窗对应的沉浸式媒体的特征信息。即本申请通过将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，这样文件解封装设备获取到推荐视窗的元数据后，可以根据推荐视窗对应的沉浸式媒体的特征信息，请求推荐视窗对应的沉浸式媒体的媒体文件进行消费，而无需申请沉浸式媒体的整个媒体文件进行消费，进而节省宽带和解码资源，提高解码效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了三自由度的示意图；
图2示意性示出了三自由度+的示意图；
图3示意性示出了六自由度的示意图；
图4A为本申请一实施例提供的一种沉浸媒体系统的架构图；
图4B为本申请一实施例提供的V3C媒体的内容流程示意图；
图5为本申请实施例提供的一种媒体文件封装与解封装方法的交互流程图；
图6为本申请实施例提供的一种媒体文件封装与解封装方法的交互流程图；
图7为本申请实施例涉及的提供的多轨容器示意图；
图8为本申请实施例提供的一种媒体文件封装与解封装方法的交互流程图；
图9为本申请一实施例提供的媒体文件封装装置的结构示意图；
图10为本申请一实施例提供的媒体文件解封装装置的结构示意图；
图11是本申请实施例提供的计算设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例涉及沉浸媒体的数据处理技术。
在介绍本申请技术方案之前，下面先对本申请相关知识进行介绍：
多视角/多视点视频：指采用多组摄像机阵列，从多个角度拍摄的带有深度信息的视频。多视角/多视点视频也叫自由视角/自由视点视频，是一种提供六自由度体验的沉浸式媒体。
点云：点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
V3C容积媒体：visual volumetric video-based coding media，指捕获自三维空间视觉内容并提供3DoF+、6DoF观看体验的，以传统视频编码的，在文件封装中包含容积视频类型轨道的沉浸式媒体，包括多视角视频、视频编码点云等。
PCC：Point Cloud Compression，点云压缩。
G-PCC：Geometry-based Point Cloud Compression，基于几何模型的点云压缩。
V-PCC：Video-based Point Cloud Compression，基于传统视频编码的点云压缩。
图集：指示2D平面帧上的区域信息，3D呈现空间的区域信息，以及二者之间的映射关系和映射所需的必要参数信息。
Track：轨道，媒体文件封装过程中的媒体数据集合，一个媒体文件可由多个轨道组成，比如一个媒体文件可以包含一个视频轨道，一个音频轨道以及一个字幕轨道。
组件轨道(component track)，指点云几何数据轨道或者点云属性数据轨道。
Sample：样本，媒体文件封装过程中的封装单位，一个媒体轨道由很多个样本组成。比如视频轨道的一个样本通常为一个视频帧。
DoF：Degree of Freedom，自由度。力学系统中是指独立坐标的个数，除了平移的自由度外，还有转动及振动自由度。本申请实施例中指用户在观看沉浸式媒体时，支持的运动并产生内容交互的自由度。
3DoF：即三自由度，指用户头部围绕XYZ轴旋转的三种自由度。图1示意性示出了三自由度的示意图。如图1所示，就是在某个地方、某一个点在三个轴上都可以旋转，可以转头，也可以上下低头，也可以摆头。通过三自由度的体验，用户能够360度地沉浸在一个现场中。如果是静态的，可以理解为是全景的图片。如果全景的图片是动态，就是全景视频，也就是VR视频。但是VR视频是有一定局限性的，用户是不能够移动的，不能选择任意的一个地方去看。
3DoF+：即在三自由度的基础上，用户还拥有沿XYZ轴做有限运动的自由度，也可以将其称之为受限六自由度，对应的媒体码流可以称之为受限六自由度媒体码流。图2示意性示出了三自由度+的示意图。
6DoF：即在三自由度的基础上，用户还拥有沿XYZ轴自由运动的自由度，对应的媒体码流可以称之为六自由度媒体码流。图3示意性示出了六自由度的示意图。其中，6DoF媒体是指的6自由度视频，是指视频可以提供用户在三维空间的XYZ轴方向自由移动视点，以及围绕XYX轴自由旋转视点的高自由度观看体验。6DoF媒体是以摄像机阵列采集得到的空间不同视角的视频组合。为了便于6DoF媒体的表达、存储、压缩和处理，将6DoF媒体数据表达为以下信息的组合：多摄像机采集的纹理图，多摄像机纹理图所对应的深度图，以及相应的6DoF媒体内容描述元数据，元数据中包含了多摄像机的参数，以及6DoF媒体的拼接布局和边缘保护等描述信息。在编码端，把多摄像机的纹理图信息和对应的深度图信息进行拼接处理，并且把拼接方式的描述数据根据所定义的语法和语义写入元数据。拼接后的多摄像机深度图和纹理图信息通过平面视频压缩方式进行编码，并且传输到终端解码后，进行用户所请求的6DoF虚拟视点的合成，从而提供用户6DoF媒体的观看体验。
AVS：Audio Video Coding Standard，音视频编码标准。
ISOBMFF：ISO Based Media File Format，基于ISO(International StandardOrganization，国际标准化组织)标准的媒体文件格式。ISOBMFF是媒体文件的封装标准，最典型的ISOBMFF文件即MP4(Moving Picture Experts Group4，动态图像专家组4)文件。
DASH：dynamic adaptive streaming over HTTP，基于HTTP的动态自适应流是一种自适应比特率流技术，使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。
MPD：media presentation description，DASH中的媒体演示描述信令，用于描述媒体片段信息。
HEVC：High Efficiency Video Coding，国际视频编码标准HEVC/H.265。
VVC：versatile video coding，国际视频编码标准VVC/H.266。
Intra(picture)Prediction:帧内预测。
Inter(picture)Prediction：帧间预测。
SCC：screen content coding，屏幕内容编码。
沉浸式媒体指能为消费者带来沉浸式体验的媒体内容，沉浸式媒体按照用户在消费媒体内容时的自由度，可以分为3DoF媒体、3DoF+媒体以及6DoF媒体。其中常见的6DoF媒体包括多视角视频以及点云媒体。
多视角视频通常由摄像机阵列从多个角度对场景进行拍摄，形成场景的纹理信息(色彩信息等)和深度信息(空间距离信息等)，再加上2D平面帧到3D呈现空间的映射信息，即构成了可在用户侧进行消费的6DoF媒体。
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，包括虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design,CAD)、地理信息系统(Geography Information System，GIS)、自动导航系统(AutonomousNavigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等。
点云的获取主要有以下途径：计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI、CT、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
在对点云媒体进行编码后，需要对编码后的数据流进行封装并传输给用户。相对应地，在点云媒体播放器端，需要先对点云文件进行解封装，然后再进行解码，最后将解码后的数据流呈现。因此，在解封装环节，获取到特定的信息之后，能够在一定程度上提升解码环节的效率，从而为点云媒体的呈现带来更好的体验。
图4A为本申请一实施例提供的一种沉浸媒体系统的架构图。如图4A所示，沉浸媒体系统包括编码设备和解码设备，编码设备可以是指沉浸媒体的提供者所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)等)或服务器。解码设备可以是指沉浸媒体的使用者所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等))。沉浸媒体的数据处理过程包括在编码设备侧的数据处理过程及在解码设备侧的数据处理过程。
在编码设备端的数据处理过程主要包括：
(1)沉浸媒体的媒体内容的获取与制作过程；
(2)沉浸媒体的编码及文件封装的过程。在解码设备端的数据处理过程主要包括：
(3)沉浸媒体的文件解封装及解码的过程；
(4)沉浸媒体的渲染过程。
另外，编码设备与解码设备之间涉及沉浸媒体的传输过程，该传输过程可以基于各种传输协议来进行，此处的传输协议可包括但不限于：DASH(Dynamic AdaptiveStreaming over HTTP，动态自适应流媒体传输)协议、HLS(HTTP Live Streaming，动态码率自适应传输)协议、SMTP(Smart Media Transport Protocaol，智能媒体传输协议)、TCP(Transmission Control Protocol，传输控制协议)等。
下面将结合图4A，分别对沉浸媒体的数据处理过程中涉及的各个过程进行详细介绍。
一、在编码设备端的数据处理过程：
(1)沉浸媒体的媒体内容的获取与制作过程。
1)沉浸媒体的媒体内容的获取过程。
真实世界的视听场景(A)由音频传感器以及一组相机或具有多个镜头和传感器的相机设备捕获。采集产生一组数字图像/视频(Bi)和音频(Ba)信号。摄像机/镜头通常覆盖摄像机组或摄像机设备中心点周围的所有方向，因此称为360度视频。
在一种实现中，捕获设备可以是指设于编码设备中的硬件组件，例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中，该捕获设备也可以是与编码设备相连接的硬件装置，例如与服务器相连接摄像头。
该捕获设备可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。
捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容，捕获的音频内容和视频内容在时间和空间上均保持同步。通过捕获设备采集到的媒体内容称作沉浸媒体的原始数据。
2)沉浸媒体的媒体内容的制作过程。
捕获到的音频内容本身就是适合被执行沉浸媒体的音频编码的内容。捕获到的视频内容进行一系列制作流程后才可成为适合被执行沉浸媒体的视频编码的内容，该制作流程包括：
①拼接。由于捕获到的视频内容是捕获设备在不同角度下拍摄得到的，拼接就是指对这些各个角度拍摄的视频内容拼接成一个完整的、能够反映现实空间360度视觉全景的视频，即拼接后的视频是一个在三维空间表示的全景视频(或球面视频)。
②投影。投影就是指将拼接形成的一个三维视频映射到一个二维(3-Dimension，2D)图像上的过程，投影形成的2D图像称为投影图像；投影的方式可包括但不限于：经纬图投影、正六面体投影。
③区域封装。投影图像可以被直接进行编码，也可以对投影图像进行区域封装之后再进行编码。实践中发现，在沉浸媒体的数据处理过程中，对于二维投影图像进行区域封装之后再进行编码能够大幅提升沉浸媒体的视频编码效率，因此区域封装技术被广泛应用到沉浸媒体的视频处理过程中。所谓区域封装是指将投影图像按区域执行转换处理的过程，区域封装过程使投影图像被转换为封装图像。区域封装的过程具体包括：将投影图像划分为多个映射区域，然后再对多个映射区域分别进行转换处理得到多个封装区域，将多个封装区域映射到一个2D图像中得到封装图像。其中，映射区域是指执行区域封装前在投影图像中经划分得到的区域；封装区域是指执行区域封装后位于封装图像中的区域。
转换处理可以包括但不限于：镜像、旋转、重新排列、上采样、下采样、改变区域的分辨率及移动等处理。
需要说明的是，由于采用捕获设备只能捕获到全景视频，这样的视频经编码设备处理并传输至解码设备进行相应的数据处理后，解码设备侧的用户只能通过执行一些特定动作(如头部旋转)来观看360度的视频信息，而执行非特定动作(如移动头部)并不能获得相应的视频变化，VR体验不佳，因此需要额外提供与全景视频相匹配的深度信息，来使用户获得更优的沉浸度和更佳的VR体验，这就涉及6DoF(Six Degrees of Freedom，六自由度)制作技术。当用户可以在模拟的场景中较自由的移动时，称为6DoF。采用6DoF制作技术进行沉浸媒体的视频内容的制作时，捕获设备一般会选用光场摄像头、激光设备、雷达设备等，捕获空间中的点云数据或光场数据，并且在执行上述制作流程①-③的过程中还需要进行一些特定处理，例如对点云数据的切割、映射等过程，深度信息的计算过程等。
同一时间实例的图像(Bi)被拼接、可能旋转、投影并映射到打包图片(D)上。
(2)沉浸媒体的编码及文件封装的过程。
捕获到的音频内容可直接进行音频编码形成沉浸媒体的音频码流。经过上述制作流程①-②或①-③之后，对投影图像或封装图像进行视频编码，得到沉浸媒体的视频码流，例如，将打包图片(D)被编码为编码图像(Ei)或编码视频比特流(Ev)。捕获的音频(Ba)被编码为音频比特流(Ea)。然后，根据特定的媒体容器文件格式，将编码的图像、视频和/或音频组合成用于文件回放的媒体文件(F)或用于流式传输的初始化段和媒体段的序列(Fs)。编码设备端还将元数据，例如投影和区域信息，包括到文件或片段中，有助于呈现解码的打包图片。
此处需要说明的是，如果采用6DoF制作技术，在视频编码过程中需要采用特定的编码方式(如点云编码)进行编码。将音频码流和视频码流按照沉浸媒体的文件格式(如ISOBMFF(ISO Base Media File Format，ISO基媒体文件格式))封装在文件容器中形成沉浸媒体的媒体文件资源，该媒体文件资源可以是媒体文件或媒体片段形成沉浸媒体的媒体文件；并按照沉浸媒体的文件格式要求采用媒体呈现描述信息(Media presentationdescription，MPD)记录该沉浸媒体的媒体文件资源的元数据，此处的元数据是对与沉浸媒体的呈现有关的信息的总称，该元数据可包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。如图4A所示，编码设备会存储经过数据处理过程之后形成的媒体呈现描述信息和媒体文件资源。
沉浸媒体系统支持数据盒(Box)，数据盒是指包括元数据的数据块或对象，即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒，例如包括球面区域缩放数据盒(Sphere Region Zooming Box)，其包含用于描述球面区域缩放信息的元数据；2D区域缩放数据盒(2DRegionZoomingBox)，其包含用于描述2D区域缩放信息的元数据；区域封装数据盒(Region Wise PackingBox)，其包含用于描述区域封装过程中的相应信息的元数据，等等。
使用递送机制将片段Fs递送给玩家。
二、在解码设备端的数据处理过程：
(3)沉浸媒体的文件解封装及解码的过程；
解码设备可以通过编码设备的推荐或按照解码设备端的用户需求自适应动态从编码设备获得沉浸媒体的媒体文件资源和相应的媒体呈现描述信息，例如解码设备可根据用户的头部/眼睛/身体的跟踪信息确定用户的朝向和位置，再基于确定的朝向和位置动态向编码设备请求获得相应的媒体文件资源。媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由编码设备传输给解码设备。解码设备端的文件解封装的过程与编码设备端的文件封装过程是相逆的，解码设备按照沉浸媒体的文件格式要求对媒体文件资源进行解封装，得到音频码流和视频码流。解码设备端的解码过程与编码设备端的编码过程是相逆的，解码设备对音频码流进行音频解码，还原出音频内容。
另外，解码设备对视频码流的解码过程包括如下：
①对视频码流进行解码，得到平面图像；根据媒体呈现描述信息提供的元数据，如果该元数据指示沉浸媒体执行过区域封装过程，该平面图像是指封装图像；如果该元数据指示沉浸媒体未执行过区域封装过程，则该平面图像是指投影图像；
②如果元数据指示沉浸媒体执行过区域封装过程，解码设备就将封装图像进行区域解封装得到投影图像。此处区域解封装与区域封装是相逆的，区域解封装是指将封装图像按照区域执行逆转换处理的过程，区域解封装使封装图像被转换为投影图像。区域解封装的过程具体包括：按照元数据的指示对封装图像中的多个封装区域分别进行逆转换处理得到多个映射区域，将该多个映射区域映射至一个2D图像从而得到投影图像。逆转换处理是指与转换处理相逆的处理，例如：转换处理是指逆时针旋转90度，那么逆转换处理是指顺时针旋转90度。
③根据媒体呈现描述信息将投影图像进行重建处理以转换为3D图像，此处的重建处理是指将二维的投影图像重新投影至3D空间中的处理。
(4)沉浸媒体的渲染过程。
解码设备根据媒体呈现描述信息中与渲染、视窗相关的元数据对音频解码得到的音频内容及视频解码得到的3D图像进行渲染，渲染完成即实现了对该3D图像的播放输出。特别地，如果采用3DoF和3DoF+的制作技术，解码设备主要基于当前视点、视差、深度信息等对3D图像进行渲染，如果采用6DoF的制作技术，解码设备主要基于当前视点对视窗内的3D图像进行渲染。其中，视点指用户的观看位置点，视差是指用户的双目产生的视线差或由于运动产生的视线差，视窗是指观看区域。
沉浸媒体系统支持数据盒(Box)，数据盒是指包括元数据的数据块或对象，即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒，例如包括球面区域缩放数据盒(Sphere Region Zooming Box)，其包含用于描述球面区域缩放信息的元数据；2D区域缩放数据盒(2DRegionZoomingBox)，其包含用于描述2D区域缩放信息的元数据；区域封装数据盒(Region Wise PackingBox)，其包含用于描述区域封装过程中的相应信息的元数据等。
例如图4A所示，编码设备端输出的文件(F)与解码设备端输入的文件(F')相同。解码设备端处理文件(F')或接收到的片段(F's)以提取编码比特流(E'a、E'v和/或E'i)，并解析元数据。视口相关视频数据可以在多个轨道中承载，在解码之前，这些轨道可以在位流中重写，并合并成单个视频位流E'v。然后将音频、视频和/或图像解码为解码信号(B'a为音频信号，D'为图像/视频信号)。基于当前的观看方向或视口，以及元数据中的投影、球形覆盖、旋转和区域等信息，将解码的图像/视频(D')显示在头戴式显示器或任何其他显示设备的屏幕上。其中当前观看方向由头部跟踪信息和/或眼部跟踪信息确定。同时，解码后的音频信号(B'a)被渲染，例如通过耳机被用户接听。除了视频信号和音频信号被渲染之外，当前观看方向也可以被用于优化解码。在视口的相关交付中，当前观看方向也会传递给策略模块，该模块根据观看方向确定要接收的视频轨道。
图4B为本申请一实施例提供的V3C媒体的内容流程示意图，如图4B所示，沉浸媒体系统包括文件封装器和文件解封装器。在一些实施例中，文件封装器可以理解为上述编码设备，文件解封装器可以理解为上述解码设备。
真实世界或合成视觉场景(A)由一组相机、或具有多个镜头和传感器的相机设备或虚拟相机捕获。采集结果是源容积数据(B)。一个或多个容积帧被编码为V3C比特流，包括一个图集比特流、至多一个占用比特流、一个几何比特流和零个或多个属性比特流(Ev)。
然后，根据特定的媒体容器文件格式，一个或多个编码的比特流被打包成用于本地回放的媒体文件(F)或用于流式传输的初始化段和媒体段的序列(Fs)。其中，媒体容器文件格式是ISO/IEC 14496-12中规定的ISO基本媒体文件格式。文件封装器还可以将元数据包含到文件或段中。使用递送机制将片段Fs递送给玩家。
文件封装器输出的文件(F)与文件解封装器作为输入的文件(F')相同。文件解封装器处理文件(F')或接收到的片段(F's)提取编码比特流(E'v)，并解析元数据。然后将V3C比特流解码为解码信号(D')。基于当前的观看方向或视口，将解码后的解码信号(D')进行重建、渲染并显示在头戴式显示器或任何其他显示设备的屏幕上。当前观看方向由头部跟踪信息，和/或眼部跟踪信息确定。在视口的相关交付中，当前观看方向也会传递给策略模块，该模块根据观看方向确定要接收的轨道。
上述过程适用于实时和按需用例。
下面对本申请实施例涉及的语法结构(Structures)进行介绍：
1.1.1外在相机信息
1.1.1.1语法
Figure BDA0003225620020000131
1.1.1.2语义
cam_pos_x、cam_pos_y和cam_pos_z：分别表示全局参考坐标系中以米为单位的相机位置的x、y和z坐标。这些值应以32位二进制浮点格式表示，其中4个字节以大端顺序并按照IEEE 754中指定的解析过程进行解析。
cam_quat_x、cam_quat_y和cam_quat_z：分别表示使用四元数表示的相机旋转的x、y和z分量。这些值应在–230到230的范围内，包括230和230。当不存在旋转分量时，应推断其值等于0。旋转分量的值可计算如下：
qX＝cam_quat_x÷230,
qY＝cam_quat_y÷230,
qZ＝cam_quat_z÷230。
使用四元数表示的当前相机模型旋转的第四个分量qW计算如下：
qW＝Sqrt(1–(qX2+qY2+qZ2))
点(w,x,y,z)表示绕向量(x,y,z)所指向的轴旋转一个角度2*cos^{-1}(w)＝2*sin^{-1}(sqrt(x^{2}+y^{2}+z^{2}))。
需要注意的是，与ISO/IEC FDIS 23090-5一致，qW始终为正。如果需要负的qW，可以用相反的符号来表示所有三个语法元素，cam_quat_x、cam_quat_y和cam_quat_z，这是等效的。
1.1.2相机内在信息
1.1.2.1语法
Figure BDA0003225620020000141
Figure BDA0003225620020000151
1.1.2.2语义
camera_id：是用于标识给定视口相机参数的标识符编号。
camera_type：表示视口相机的投影方式。值0指定ERP投影。值1指定透视投影。值2指定正交投影。3到255范围内的值保留供ISO/IEC将来使用。
erp_horizontal_fov：指定对应于视口区域水平尺寸的ERP投影的经度范围，以弧度为单位。该值应在0到2π的范围内。
erp_vertical_fov：指定对应于视口区域垂直大小的ERP投影的纬度范围，以弧度为单位。该值应在0到π的范围内。
perspective_horizontal_fov：以弧度为单位指定透视投影的水平视野，值应在0和π的范围内。透视纵横比指定透视投影(水平/垂直)视口的相对纵横比。该值应以32位二进制浮点格式表示，其中4个字节以大端顺序并按照IEEE 754中指定的解析过程进行解析。
ortho_aspect_ratio：指定正交投影(水平/垂直)视口的相对纵横比。该值应以32位二进制浮点格式表示，其中4个字节以大端顺序并按照IEEE754中指定的解析过程进行解析。
ortho_horizontal_size：指定正交的水平尺寸(以米为单位)。该值应以32位二进制浮点格式表示，其中4个字节以大端顺序并按照IEEE 754中指定的解析过程进行解析。
clipping_near_plane和clipping_far_plane：表示基于视口的远近裁剪平面(以米为单位)的近远深度(或距离)。这些值应以32位二进制浮点格式表示，其中4个字节以大端顺序并按照IEEE 754中指定的解析过程进行解析。
1.1.3视口信息
1.1.3.1语法
Figure BDA0003225620020000152
Figure BDA0003225620020000161
1.1.3.2语义
center_view_flag：是一个标志，指示发出信号的视口位置是对应于视口的中心还是对应于视口的两个立体位置之一。值1表示发出信号的视口位置对应于视口的中心。值0表示发出信号的视口位置对应于视口的两个立体位置之一。
left_view_flag：是指示所发送的视口信息是否对应于视口的右立体位置的左立体位置的标志。值1表示用信号通知的视口信息对应于视口的左侧立体位置。值0表示发出信号的视口信息对应于视口的右侧立体位置。
extCamInfo：是外部相机信息结构的一个实例，用于定义视口的外部相机参数。
intCamInfo：是内部相机信息结构的一个实例，定义了视口的固有相机参数。
1.2视口信息定时元数据轨道
1.2.1总则
本条款描述了使用定时元数据轨道，以V3C运输格式发送视口信息，由内在和外在相机参数组成，包括视口位置和旋转信息以及视口相机参数。为了表示V3C比特流的视口信息，视口信息定时元数据轨道仅引用相关的V3C图集轨道，而不直接引用V3C视频组件轨道。
包含“cdtg”轨道引用的视口信息定时元数据轨道共同描述了引用的轨道和轨道组。当定时元数据轨道链接到一个或多个带有“cdsc”轨道引用的V3C图集轨道时，它会单独描述每个V3C图集轨道。
视口信息定时元数据轨道中的任何样本都可以被标记为同步样本。对于定时元数据轨道中的特定样本，如果引用的V3C图集轨道中至少有一个具有相同解码时间的媒体样本是同步样本，则该特定样本应标记为同步样本，否则，该样本可能或可能未标记为同步样本。
1.2.2视口信息示例入口
1.2.2.1定义
数据盒类型:'6vpt'
包含于:Sample Description Box('stsd')
是否强制:否
数量:0个或1个
与V3C运输格式相关联的视口信息的示例条目由ViewportInfoSampleEntry定义。
视口信息样本条目应包含一个ViewportInfoConfigurationBox，描述视口类型以及(如果适用于轨道的所有样本)内在和/或外在相机参数。
RFC 6381中定义的此轨道的编解码器参数值应设置为“6vpt”。
1.2.2.2语法
Figure BDA0003225620020000171
Figure BDA0003225620020000181
1.2.2.3语义
viewport_type：指示当前样本入口对应的所有样本的视窗类型，其取值含义如下表1所示。
表1
Figure BDA0003225620020000182
viewport_description：以空字符结尾的字符串，提供推荐视窗的文本描述信息。
dynamic_int_camera_flag：取值为0表示当前样本入口对应的所有样本的相机内参固定不变。如果dynamic_ext_camera_flag取值为0，则dynamic_int_camera_flag取值也必须为0。
dynamic_ext_camera_flag：取值为0表示当前样本入口对应的所有样本的相机外参固定不变。
对于等于3的viewport_type，定时元数据指示在播放关联的V3C媒体轨道时推荐的初始视口信息，由初始视口位置和旋转组成。当打算使用另一个视口开始播放媒体轨道时，初始视口位置(cam_pos_x,cam_pos_y,cam_pos_z)等于(0,0,0)相对于全局坐标轴和初始视图旋转(cam_quat_x,cam_quat_y,cam_quat_z)等于(0,0,0)相对于全局坐标轴，该元数据轨道应存在并与媒体轨道相关联。在没有这种类型的元数据的情况下，对于初始视口，cam_pos_x、cam_pos_y、cam_pos_z、cam_quat_x、cam_quat_y和cam_quat_z都应该被推断为等于0。
1.2.3视口信息示例格式
每个视口示例都带有一组在相关示例条目中定义的类型的视口。每个视口的参数包括IntCameraInfoStruct和ExtCameraInfoStruct描述的外部和内部相机信息参数。虽然ExtCameraInfoStruct描述的外在相机信息参数预计会出现在每个样本中，但IntCameraInfoStruct描述的内在相机参数仅在早期样本中发出信号的内在相机参数不再适用时才会出现在样本中。
如果不修改，先前来自早期样本的某个视口定义的外在或内在相机参数将保持不变。
1.2.3.1语法
Figure BDA0003225620020000191
1.2.3.2语义
如果存在视口信息定时元数据轨道，则ExtCameraInfoStruct()表示的外部相机参数应存在于样本条目或样本级别。禁止以下两种情况同时发生；对于所有样本，dynamic_ext_camera_flag[i]等于0，camera_extrinsic_flag[i]等于0。
num_viewports：表示样本中发出信号的视口数量。
viewport_id[i]：是用于标识第i个视口的标识符号。
viewport_cancel_flag[i]：等于1表示取消具有id为viewport_id[i]的视口。指示第i个视口的视口信息如下。
camera_intrinsic_flag[i]：等于1表示内在相机参数存在于当前样本的第i个视口中。如果dynamic_int_camera_flag[i]等于0，则它应该等于0。此外，当camera_extrinsic_flag[i]等于0时，它应该被设置为0。
camera_extrinsic_flag[i]：等于1表示外部相机参数存在于当前样本的第i个视口中。如果dynamic_ext_camera_flag[i]等于0，它应该等于0。
由上述可知，目前技术定义了沉浸式媒体的视窗结构以及视窗相关的时序元数据，然而目前技术没有将视窗与视点的选择、不同质量等级的点云分块选择相结合，使得文件解封装设备无法只请求推荐视窗相关的媒体资源。进而造成解码资源浪费，且解码效率低的问题。
为了解决上述技术问题，本申请通过将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，即在推荐视窗的元数据中包括推荐视窗对应的沉浸式媒体的特征信息，这样文件解封装设备获取到推荐视窗的元数据后，可以根据推荐视窗对应的沉浸式媒体的特征信息，请求推荐视窗对应的沉浸式媒体的媒体文件进行消费，而无需申请沉浸式媒体的整个媒体文件进行消费，进而节省宽带和解码资源，提高解码效率。
下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图5为本申请实施例提供的一种媒体文件封装与解封装方法的交互流程图，如图5所示，该方法包括如下步骤：
S501、文件封装设备获取沉浸式媒体的内容，并根据沉浸式媒体的内容，确定沉浸式媒体的推荐视窗。
在一些实施例中，文件封装设备也称为视频封装设备，或者视频编码设备。
本申请实施例对沉浸式媒体的具体类型不做限制，可以是已有的任意类型的沉浸式媒体。
在一种示例性中，上述沉浸式媒体可以是多视角视频媒体。
在另一种示例中，上述沉浸式媒体可以是点云媒体。
在另一种示例中，上述沉浸式媒体即包括多视角视频媒体，又包括点云媒体。
其中沉浸式媒体为多视角视频媒体时，沉浸式媒体的内容也称为多视角视频数据。沉浸式媒体为点云媒体时，沉浸式媒体的内容也称为点云数据。
本申请实施例中，文件封装设备获取沉浸式媒体的内容的方式包括但不限于如下几种：
方式一，文件封装设备从采集设备处获取沉浸式媒体的内容，例如，文件封装设备获取多个视角的相机所采集的多视角视频数据，或者从点云采集设备处获取点云数据。
方式二，文件封装设备从存储设备处获取沉浸式媒体的内容，例如，多个视角的相机采集到多视角视频数据后，将多视角视频数据存储在存储设备中，或者，点云采集设备采集到点云数据后，将点云数据存储在存储设备中。
本申请实施例对根据沉浸式媒体的内容，确定沉浸式媒体的推荐视窗的方式不做限制，具体可以参考已有技术，在此不再赘述。
S502、文件封装设备确定推荐视窗对应的沉浸式媒体的特征信息。
本申请实施例所述的沉浸式媒体的特征信息可以理解为可以唯一指示该沉浸式媒体的信息。例如，若沉浸式媒体为多视角视频媒体，则沉浸式媒体的特征信息可以包括沉浸式媒体对应的视角信息或相机信息等。
在一种实施例中，若沉浸式媒体为多视角视频媒体，且沉浸式媒体的视频轨道按照视点或视点组进行划分，此时，上述S502包括：
S502-A、文件封装设备将推荐视窗对应的多视角视频媒体的视角信息，确定为推荐视窗对应的沉浸式媒体的特征信息。
其中，推荐视窗对应的多视角视频媒体的视角信息包括：推荐视窗对应的多视角视频媒体的视点组信息、视点信息和相机信息中的至少一个。
在一种示例中，若推荐视窗对应的多视角视频媒体的视角信息为视点组信息，则视点组信息包括：推荐视窗关联的视点组的数量、推荐视窗关联的视点组的标识。
在一种示例中，若推荐视窗对应的多视角视频媒体的视角信息为视点信息，则视点信息包括：推荐视窗关联的视点的数量、推荐视窗关联的视点的标识。
在一种示例中，若推荐视窗对应的多视角视频媒体的视角信息为相机信息，则相机信息包括：推荐视窗关联的相机的数量、推荐视窗关联的相机的标识。
在一种实施例中，若沉浸式媒体为点云媒体，且点云媒体按照点云分块进行封装，以及点云媒体的各点云分块具有不同的质量等级，此时，上述S502包括：
S502-B、文件封装设备将推荐视窗对应的点云分块的可替换组选择信息，确定为推荐视窗对应的沉浸式媒体的特征信息。
其中，点云分块的可替换组选择信息包括点云分块对应的组件轨道的标识信息和点云分块对应的质量等级中的至少一个。
需要说明的是，组件轨道可以理解为封装点云分块的数据码流的轨道，其中组件轨道可以包括：Occ.轨道、Geo轨道、Att轨道等。
在一种可能的实现方式中，点云分块的可替换组选择信息还包括点云分块所对应的可替换组数量、可替换组的标识、从可替换组中选择的组件轨道的数量中的至少一个。
由上述可知，根据上述方法，针对不同类型的沉浸式媒体，确定出推荐视窗对应的沉浸式媒体的特征信息，接着，执行如下S503。
S503、文件封装设备将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，生成沉浸式媒体的媒体文件。
在一种实施例中，若推荐视窗对应的沉浸式媒体的特征信息为推荐视窗对应的多视角视频媒体的视角信息时，上述S503包括：
S503-A、文件封装设备将推荐视窗与推荐视窗对应的多视角视频媒体的视角信息进行关联。
本步骤中，文件封装设备将推荐视窗与推荐视窗对应的多视角视频媒体的视角信息进行关联可以理解为将推荐视窗对应的多视角视频媒体的视角信息添加至推荐视窗的元数据中。这样文件解封装设备可以根据推荐视窗的元数据，知晓推荐视窗关联的视角信息，进而请求推荐视窗关联的视角信息的媒体文件进行解码，进而节约带宽和解码资源，提高解码效率。
在一些实施例中，若上述媒体文件的封装标准为ISOBMFF，则推荐视窗对应的多视角视频媒体的视角信息数据结构如下：
Figure BDA0003225620020000231
其中，num_view_groups：指示推荐视窗关联的视点组的数量。
view_group_id：指示视点组的标识符。
num_views：指示推荐视窗关联的视点数量。num_view_groups取值和num_views取值不能同时为0。
view_id：指示推荐视窗关联的视点的标识符。
可选地，也可用相机标识符来替代视点标识符，具体如下：
num_cameras：指示拍摄相机的数目。
camera_id：指示每个拍摄相机的标识符。
可选的，上述推荐视窗对应的多视角视频媒体的视角信息数据结构可以添加在推荐视窗的元数据样本中。
在一种实施例中，若推荐视窗对应的沉浸式媒体的特征信息为推荐视窗对应的点云分块的可替换组选择信息时，上述S503包括：
S503-B、文件封装设备将推荐视窗与推荐视窗对应的点云分块的可替换组选择信息进行关联。
本步骤中，文件封装设备将推荐视窗与推荐视窗对应的点云分块的可替换组选择信息进行关联可以理解为将推荐视窗对应的点云分块的可替换组选择信息添加至推荐视窗的元数据中。这样文件解封装设备可以根据推荐视窗的元数据，知晓推荐视窗关联的可替换组选择信息，例如知晓推荐视窗关联的组件轨道的标识信息和/或推荐视窗对应的点云分块的质量等级，进而请求推荐视窗关联的组件轨道进行解码，或者请求推荐视窗对应的点云分块的质量等级对应的组件轨道进行解码，从而节约带宽和解码资源，提高解码效率。
若上述点云媒体的媒体文件的封装标准为ISOBMFF，则目前标准定义了可替换组选择信息数据结构，具体如下：
Figure BDA0003225620020000241
其中，alternative_type：可替换轨道的差异属性类型，根据该差异类型的取值，该轨道可以具备一个或多个差异属性。
quality_ranking：质量等级信息，该字段取值越小，表明对应轨道的质量越高。
lossless_flag：该字段取值为0，表明对应轨道采用有损编码；该字段取值为1，表明对应轨道采用无损编码。
Bitrate：码率信息，指示对应轨道的码率。
Framerate：帧率信息，指示对应轨道的帧率。
codec_type：编码类型，指示对应轨道的编码类型。
可选的，本申请可以在上述已有的可替换组选择信息数据结构中增加了推荐视窗对应的点云分块所对应的可替换组数量、可替换组的标识、从可替换组中选择的组件轨道的数量、点云分块对应的组件轨道的标识信息、点云分块对应的质量等级等。其具体数据结构如下：
Figure BDA0003225620020000251
其中，num_alternative_groups：点云分块所对应的可替换组数量。
alternate_group_id：指示每个可替换组的标识符。
num_selections：指示从可替换组中选择的组件轨道的数量。
track_id：指示点云分块对应的组件轨道的标识信息。
AlternativeInfoStruct：指示点云分块对应的质量等级。
可选的，上述推荐视窗对应的点云分块的可替换组选择信息的数据结构可以添加在推荐视窗的元数据样本中。
S504、文件封装设备向文件解封装设备发送第一指示信息，该第一指示信息用于指示推荐视窗的元数据，推荐视窗的元数据包括推荐视窗对应的沉浸式媒体的特征信息。
S505、文件解封装设备响应于第一指示信息，确定是否请求推荐视窗的元数据。
具体的，文件封装设备根据上述S501至S503的方法，将推荐视窗对应的沉浸式媒体的特征信息添加在推荐视窗的元数据中，生成推荐视窗的元数据轨道。接着，向文件封装设备发送第一指示信息，该第一指示信息可以为DASH信令，用于指示推荐视窗的元数据，例如第一指示信息包括推荐视窗的元数据轨道的轨道标识。文件解封装设备接收到该第一指示信息后，根据当前的应用场景，确定是否请求推荐视窗的元数据。
本申请实施例的媒体文件封装与解封装方法，文件封装设备通过获取沉浸式媒体的内容，并根据沉浸式媒体的内容，确定沉浸式媒体的推荐视窗；确定推荐视窗对应的沉浸式媒体的特征信息；将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，生成沉浸式媒体的媒体文件；向文件解封装设备发送第一指示信息，第一指示信息用于指示推荐视窗的元数据，推荐视窗的元数据包括推荐视窗对应的沉浸式媒体的特征信息。即本申请通过将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，这样文件解封装设备获取到推荐视窗的元数据后，可以根据推荐视窗对应的沉浸式媒体的特征信息，请求推荐视窗对应的沉浸式媒体的媒体文件进行消费，而无需申请沉浸式媒体的整个媒体文件进行消费，进而节省宽带和解码资源，提高解码效率。
图6为本申请实施例提供的一种媒体文件封装与解封装方法的交互流程图，如图6所示，该方法包括如下步骤：
S601、文件封装设备获取沉浸式媒体的内容，并根据沉浸式媒体的内容，确定沉浸式媒体的推荐视窗。
S602、文件封装设备确定推荐视窗对应的沉浸式媒体的特征信息。
S603、文件封装设备将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，生成沉浸式媒体的媒体文件。
S604、文件封装设备向文件解封装设备发送第一指示信息，该第一指示信息用于指示推荐视窗的元数据，推荐视窗的元数据包括推荐视窗对应的沉浸式媒体的特征信息。
上述S601至S604的步骤与上述S501至S504的步骤相同，参照上述S501至S504的描述，在此不再赘述。
S605、文件解封装设备响应于第一指示信息，向文件封装设备发送第一请求信息，第一请求信息用于请求推荐视窗的元数据。
具体的，文件解封装设备接收到第一指示信息后，根据当前的应用场景，确定是否请求推荐视窗的元数据，例如若文件解封装设备判断当前网络较差或设备故障或不按照推荐视窗进行消费，此时，则确定不请求推荐视窗的元数据。若文件解封装设备判断当前网络较好或按照推荐视窗进行消费，则确定请求推荐视窗的元数据。
S606、文件封装设备根据第一请求信息，将推荐视窗的元数据轨道发送给文件解封装设备。
S607、文件解封装设备对推荐视窗的元数据轨道进行解封装后再解码，得到推荐视窗的元数据。
具体是，文件解封装设备对推荐视窗的元数据轨道进行解封装，得到推荐视窗的元数据的码流，接着，对推荐视窗的元数据的码流进行解码，得到推荐视窗的元数据。
S608、文件解封装设备根据推荐视窗的元数据中推荐视窗对应的的沉浸式媒体的特征信息，向文件封装设备发送第二请求信息。
其中，第二请求信息用于请求推荐视窗对应的沉浸式媒体的媒体文件。
在一些实施例中，若沉浸式媒体为多视角视频媒体，且沉浸式媒体的视频轨道按照视点或视点组进行划分，推荐视窗与推荐视窗对应的多视角视频媒体的视角信息关联，即推荐视窗的元数据中包括推荐视窗对应的多视角视频媒体的视角信息，则上述S608包括S608-A：
S608-A、文件解封装设备根据推荐视窗对应的多视角视频媒体的视角信息，向文件封装设备发送第二请求信息，该第二请求信息包括推荐视窗对应的多视角视频媒体的视角信息。
例如，视角信息为视点信息时，则第二请求信息中包括视点的标识信息，这样文件封装设备可以根据视点的标识信息，将该视点对应的媒体文件发送给文件解封装设备。若视角信息为视点组信息时，则第二请求信息中包括视点组的标识信息，这样文件封装设备可以根据视点组的标识信息，将该视点组对应的媒体文件发送给文件解封装设备。若视角信息为相机信息时，则第二请求信息中包括相机的标识信息，这样文件封装设备可以根据相机的标识信息，将该相机对应的媒体文件发送给文件解封装设备。
在一些实施例中，若沉浸式媒体为点云媒体，且点云媒体按照点云分块进行封装，以及点云媒体的各点云分块具有不同的质量等级，推荐视窗与推荐视窗对应的点云分块的可替换组选择信息关联，即推荐视窗的元数据中包括推荐视窗对应的点云分块的可替换组选择信息，则上述S608包括S608-B：
S608-B、文件解封装设备根据推荐视窗对应的点云分块的可替换组选择信息，向文件封装设备发送第二请求信息，第二请求信息包括点云分块的可替换组选择信息。
由上述实施例可知，点云分块的可替换组选择信息包括点云分块对应的组件轨道的标识信息和点云分块对应的质量等级中的至少一个。
在一种示例中，若点云分块的可替换组选择信息包括点云分块对应的组件轨道的标识信息，则对应的第二请求信息包括点云分块对应的组件轨道的标识信息，这样文件封装设备可以根据组件轨道的标识信息，将该组件轨道发送给文件解封装设备。
在一种示例中，若点云分块的可替换组选择信息包括点云分块对应的质量等级，则对应的第二请求信息包括点云分块对应的质量等级，这样文件封装设备可以根据质量等级，将该质量等级对应的组件轨道发送给文件解封装设备。
S609、文件封装设备根据第二请求信息，将推荐视窗对应的沉浸式媒体的媒体文件发送给文件解封装设备。
在一些实施例中，若第二请求信息包括推荐视窗对应的多视角视频媒体的视角信息，则上述S609包括S609-A：
S609-A、将视角信息对应的媒体文件发送给文件解封装设备。
例如，视角信息为视点信息，第二请求信息中包括视点的标识信息时，这样文件封装设备可以根据视点的标识信息，将该视点对应的媒体文件发送给文件解封装设备。若视角信息为视点组信息，第二请求信息中包括视点组的标识信息，则文件封装设备可以根据视点组的标识信息，将该视点组对应的媒体文件发送给文件解封装设备。若视角信息为相机信息，第二请求信息中包括相机的标识信息，则文件封装设备可以根据相机的标识信息，将该相机对应的媒体文件发送给文件解封装设备。
在一些实施例中，若第二请求信息包括点云分块的可替换组选择信息，则上述S609包括：
S609-B、若点云分块的可替换组选择信息包括点云分块对应的组件轨道的标识信息，则将点云分块对应的组件轨道发送给文件解封装设备；或者，若点云分块的可替换组选择信息包括点云分块对应的质量等级，则将质量等级对应的组件轨道发送给文件解封装设备。
在一种示例中，若第二请求信息包括点云分块对应的组件轨道的标识信息，则文件封装设备可以根据组件轨道的标识信息，将该组件轨道发送给文件解封装设备。
在一种示例中，若第二请求信息包括点云分块对应的质量等级，则文件封装设备可以根据质量等级，将该质量等级对应的组件轨道发送给文件解封装设备。
S610、文件解封装设备对推荐视窗对应的沉浸式媒体的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
具体的，文件解封装设备根据上述步骤获得推荐视窗对应的沉浸式媒体的媒体文件后，对推荐视窗对应的媒体文件进行解封装，得到推荐视窗对应的沉浸式媒体的码流，再对推荐视窗对应的沉浸式媒体的码流进行解码，得到推荐视窗对应的沉浸式媒体的内容。其中解封装和解码的具体方式可以参照已有技术，在此不再赘述。
进一步的，下面通过具体的示例对本申请实施例提供的媒体文件封装方式进行说明。
示例1，若沉浸式媒体为多视角视频，封装过程具体包括如下步骤：
步骤11、文件封装设备根据多视角视频的内容，确定多视角视频的推荐视窗；
步骤12、若多视角视频的图集信息轨道按照视点组进行划分，则文件封装设备将多视角视频的推荐视窗与相应的视点组信息进行关联，生成媒体文件F1。
步骤13、文件封装设备生成推荐视窗元数据轨道，其中推荐视窗元数据包括推荐视窗对应的视点组信息；
步骤14、文件封装设备向文件解封装设备发送第一指示信息，该第一指示信息可以为DASH信令，该第一指示信息用于指示推荐视窗的元数据；
步骤15、文件解封装设备根据第一指示信息，向文件封装设备发送第一请求信息，该第一请求信息用于请求推荐视窗的元数据；
步骤16、文件封装设备将推荐视窗的元数据轨道发送给文件解封装设备；
步骤17、文件解封装设备对推荐视窗的元数据轨道进行解码，得到推荐视窗的元数据中包括的推荐视窗对应的视点组信息；
步骤18、文件解封装设备根据自身的网络条件和解码能力，结合推荐视窗对应的视点组信息，请求推荐视窗对应的媒体资源并消费。
例如，假设客户端根据推荐视窗viewport1进行呈现，而viewport1关联的视点组为view_group1，这样文件解封装设备向文件封装设备发送第二请求信息，该第二请求信息包括view_group1的标识信息。文件封装设备通过view_group1找到对应的图集轨道为tile0对应的图集轨道，则将tile0对应的图集轨道发送给文件解封装设备，文件解封装设备直接解码图集轨道tile0关联的组件轨道进行消费。
由上述可知，本申请实施例通过将推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息进行关联，使得文件解封装设备直接请求相应的媒体资源，节省带宽和解码资源。
示例2，若沉浸式媒体为点云媒体，封装过程具体包括如下步骤：
步骤21、文件封装设备根据点云媒体的内容，确定点云媒体的推荐视窗；
步骤22、若点云媒体的压缩方式为VPCC，且该点云媒体按照点云分块(tile)进行组织，以及点云分块具备不同的质量等级，则将推荐视窗与相应的点云分块的可替换组选择信息进行关联，生成媒体文件F2。
其中，点云分块的可替换组选择信息包括点云分块对应的组件轨道的标识信息和点云分块对应的质量等级中的至少一个。
步骤23、文件封装设备生成推荐视窗元数据轨道，其中推荐视窗元数据包括推荐视窗对应的点云分块的可替换组选择信息；
步骤24、文件封装设备向文件解封装设备发送第一指示信息，该第一指示信息可以为DASH信令，该第一指示信息用于指示推荐视窗的元数据；
步骤25、文件解封装设备根据第一指示信息，向文件封装设备发送第一请求信息，该第一请求信息用于请求推荐视窗的元数据；
步骤26、文件封装设备将推荐视窗的元数据轨道发送给文件解封装设备；
步骤27、文件解封装设备对推荐视窗的元数据轨道进行解码，得到推荐视窗的元数据中包括的推荐视窗对应的点云分块的可替换组选择信息；
步骤28、文件解封装设备根据自身的网络条件和解码能力，结合推荐视窗对应的点云分块的可替换组选择信息，请求推荐视窗对应的媒体资源并消费。
例如，假设客户端根据推荐视窗viewport1进行呈现，而viewport1关联的点云分块的可替换组选择信息，这样文件解封装设备向文件封装设备发送第二请求信息，该第二请求信息包括点云分块的可替换组选择信息(AlternativesSelectInfoStruct)。文件封装设备通过AlternativesSelectInfoStruct中的alternate_group_id可以找到备选的所有可替换组，再根据AlternativeInfoStruct或track_id从每个可替换组中选择对应的组件轨道，并将选出的组件轨道发送给文件解封装设备，以使文件解封装设备进行解码消费。
例如图7所示，tile0对应的3个可替换组，每个替换组中包括两个组件轨道，例如，组件轨道1和组件轨道1’组成一个替换组，可选的，组件轨道1为Occ.Track，组件轨道1’为Occ.Track’，组件轨道2和组件轨道2’组成一个替换组，可选的组件轨道2为Geo.Track，组件轨道2’为Geo.Track’，组件轨道3和组件轨道3’组成一个替换组，可选的组件轨道3为Att.Track，组件轨道3’为Att.Track’。同理，tile1对应的3个可替换组，每个替换组中包括两个组件轨道，例如，组件轨道11和组件轨道11’组成一个替换组，可选的，组件轨道11为Occ.Track，组件轨道11’为Occ.Track’，组件轨道12和组件轨道12’组成一个替换组，可选的组件轨道12为Geo.Track，组件轨道12’为Geo.Track’，组件轨道13和组件轨道13’组成一个替换组，可选的组件轨道13为Att.Track，组件轨道13’为Att.Track’。其中一个替换组中各轨道的质量等级不同。
若推荐视窗对应点云块0和点云块1，其中点云块0对应tile0，点云块1对应tile1，且一个点云块0对应的质量等级为0，点云块1对应的质量等级为1，这样，文件解封装设备在第二请求信息中携带质量等级0和质量等级1。文件分装设备根据质量等级0和质量等级1，查询到tile0和tile1，并将tile0对应的3个可替换组的组件轨道，以及tile1对应的3个可替换组的组件轨道发送给文件解封装设备。文件解封装设备根据推荐视窗的位置信息，可能从tile0对应的3个可替换组中选出质量较好的组件轨道，例如Occ.Track、Geo.Track和Att.Track进行解码，但从tile1对应的3个可替换组中选出质量较差的组件轨道，例如Occ.Track’、Geo.Track’和Att.Track’进行解码。
由上述可知，本申请实施例通过将推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息进行关联，使得文件解封装设备直接请求相应的媒体资源，节省带宽和解码资源。
在一些实施例中，若推荐视窗与推荐视窗对应的多视角视频媒体的视角信息关联，则文件封装设备还在推荐视窗的元数据中添加第一标志，该第一标志用于指示推荐视窗与推荐视窗对应的多视角视频媒体的视角信息关联。
此时，上述文件解封装设备根据推荐视窗对应的多视角视频媒体的视角信息，向文件封装设备发送第二请求信息之前还包括：确定推荐视窗的元数据中是否包括第一标志；
对应的，上述S608-A包括：文件解封装设备在确定推荐视窗的元数据中包括第一标志时，根据推荐视窗对应的多视角视频媒体的视角信息，向文件封装设备发送第二请求信息。
即本实施例，若确定推荐视窗的元数据中包括第一标志，说明推荐视窗的元数据中包括推荐视窗对应的多视角视频媒体的视角信息，进而获得推荐视窗对应的多视角视频媒体的视角信息，然后执行S608-A。若确定推荐视窗的元数据中不包括第一标志，则说明推荐视窗的元数据中不包括推荐视窗对应的多视角视频媒体的视角信息，则不执行S608-A，进而避免不必要的数据处理，进而节约解码资源。
在一些实施例中，若推荐视窗与推荐视窗对应的点云分块的可替换组选择信息关联，则文件封装设备还在推荐视窗的元数据中添加第二标志，该第二标志用于指示推荐视窗与推荐视窗对应的点云分块的可替换组选择信息关联。
此时，上述文件解封装设备根据推荐视窗对应的点云分块的可替换组选择信息，向文件封装设备发送第二请求信息之前还包括：确定推荐视窗的元数据中是否包括第二标志，该第二标志用于指示推荐视窗与推荐视窗对应的点云分块的可替换组选择信息关联。
对应的，上述S608-B包括：文件解封装设备在确定推荐视窗的元数据中包括第二标志时，根据推荐视窗对应的点云分块的可替换组选择信息，向文件封装设备发送第二请求信息。
即本实施例，若确定推荐视窗的元数据中包括第二标志，说明推荐视窗的元数据中包括推荐视窗对应的点云分块的可替换组选择信息，进而获得推荐视窗对应的点云分块的可替换组选择信息，然后执行S608-B。若确定推荐视窗的元数据中不包括第二标志，则说明推荐视窗的元数据中不包括推荐视窗对应的点云分块的可替换组选择信息，则不执行S608-A，进而节约解码资源。
在一种可能的实现方式中，在推荐视窗的元数据中添加第一标志或第二标志时，推荐视窗的元数据样本格式如下所示：
Figure BDA0003225620020000331
Figure BDA0003225620020000341
如果视窗信息元数据轨道存在，则相机外参信息ExtCameraInfoStruct()应当出现于样本入口中或者样本中。以下情况不得出现：dynamic_ext_camera_flag取值为0且所有样本中的camera_extrinsic_flag[i]取值均为0。
num_viewports：指示样本中指示的视窗数目。
viewport_id[i]：指示对应视窗的标识符。
viewport_cancel_flag[i]：取值为1表示视窗标识符取值为viewport_id[i]的视窗被取消了。
camera_intrinsic_flag[i]：取值为1表示当前样本中第i个视窗存在相机内参。如果dynamic_int_camera_flag取值为0，则该字段必须取值为0。同时，当camera_extrinsic_flag[i]取值为0时，该字段必须取值为0。
camera_extrinsic_flag[i]：取值为1表示当前样本中的第i个视窗存在相机外参。如果dynamic_ext_camera_flag取值为0，则该字段必须取值为0。
view_id_flag[i]：取值为1表示当前样本中的第i个视窗关联了相应的视角信息，例如推荐视窗与推荐视窗对应的多视角视频媒体的视角信息关联。
alter_info_flag[i]：取值为1表示当前样本中的第i个视窗关联了相应的可替换组选择信息，例如推荐视窗与推荐视窗对应的点云分块的可替换组选择信息关联。
本实施例中，上述第i个视窗可以是推荐视窗。
图8为本申请实施例提供的一种媒体文件封装与解封装方法的交互流程图，如图8所示，该方法包括如下步骤：
S701、文件封装设备获取沉浸式媒体的内容，并根据沉浸式媒体的内容，确定沉浸式媒体的推荐视窗。
S702、文件封装设备确定推荐视窗对应的沉浸式媒体的特征信息。
S703、文件封装设备将推荐视窗与推荐视窗对应的沉浸式媒体的特征信息进行关联，生成沉浸式媒体的媒体文件。
S704、文件封装设备向文件解封装设备发送第一指示信息，该第一指示信息用于指示推荐视窗的元数据，推荐视窗的元数据包括推荐视窗对应的沉浸式媒体的特征信息。
上述S701至S704的步骤与上述S501至S504的步骤相同，参照上述S501至S504的描述，在此不再赘述。
S705、文件解封装设备响应于第一指示信息，向文件封装设备发送第一请求信息，第一请求信息用于请求推荐视窗的元数据。
S706、文件封装设备根据第一请求信息，将推荐视窗的元数据轨道发送给文件解封装设备。
S707、文件解封装设备对推荐视窗的元数据轨道进行解封装后再解码，得到推荐视窗的元数据。
上述S705至S707的步骤与上述S605至S607的步骤相同，参照上述S605至S607的描述，在此不再赘述。
S708、文件解封装设备向文件封装设备发送第三请求信息。
其中，第三请求信息用于请求整个沉浸式媒体的媒体文件。
S709、文件封装设备根据第三请求信息，将沉浸式媒体的媒体文件发送给文件解封装设备。
本实施例中，文件解封装设备请求整个沉浸式媒体的媒体文件，再根据实际需要对部分媒体文件解码。
S710、文件解封装设备根据推荐视窗对应的的沉浸式媒体的特征信息，对推荐视窗对应的沉浸式媒体的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
在一些实施例中，若沉浸式媒体为多视角视频媒体，且沉浸式媒体的视频轨道按照视点或视点组进行划分，推荐视窗与推荐视窗对应的多视角视频媒体的视角信息关联，即推荐视窗的元数据中包括推荐视窗对应的多视角视频媒体的视角信息，则上述S710包括S710-A1和S710-A2：
S710-A1、文件解封装设备根据推荐视窗对应的多视角视频媒体的视角信息，在接收到的沉浸式媒体的媒体文件中查询视角信息对应的媒体文件；
S710-A2、文件解封装设备对查询到的视角信息对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
例如，视角信息为视点信息时，文件解封装设备从接收到的沉浸式媒体的媒体文件中查询该视点信息对应的媒体文件，并对该视点信息对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
例如，视角信息为视点组信息时，文件解封装设备从接收到的沉浸式媒体的媒体文件中查询该视点组信息对应的媒体文件，并对该视点组信息对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
例如，视角信息为相机信息时，文件解封装设备从接收到的沉浸式媒体的媒体文件中查询该相机信息对应的媒体文件，并对该相机信息对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
在一些实施例中，在上述S710-A1之前，即根据推荐视窗对应的多视角视频媒体的视角信息，在接收到的沉浸式媒体的媒体文件中查询视角信息对应的媒体文件之前，本实施例的方法还包括：确定推荐视窗的元数据中是否包括第一标志，该第一标志用于指示推荐视窗与推荐视窗对应的多视角视频媒体的视角信息关联。
在确定推荐视窗的元数据中包括第一标志时，执行上述S710-A1，即根据推荐视窗对应的多视角视频媒体的视角信息，在接收到的沉浸式媒体的媒体文件中查询视角信息对应的媒体文件。
即本实施例，若确定推荐视窗的元数据中包括第一标志，说明推荐视窗的元数据中包括推荐视窗对应的多视角视频媒体的视角信息，进而获得推荐视窗对应的多视角视频媒体的视角信息，然后执行S710-A1。若确定推荐视窗的元数据中不包括第一标志，则说明推荐视窗的元数据中不包括推荐视窗对应的多视角视频媒体的视角信息，则不执行S710-A1，进而避免不必要的数据处理，进而节约解码资源。
在一些实施例中，若沉浸式媒体为点云媒体，且点云媒体按照点云分块进行封装，以及点云媒体的各点云分块具有不同的质量等级，推荐视窗与推荐视窗对应的点云分块的可替换组选择信息关联，即推荐视窗的元数据中包括推荐视窗对应的点云分块的可替换组选择信息，则上述S710包括S710-B1和S710-B1：
S710-B1、文件解封装设备根据推荐视窗对应的点云分块的可替换组选择信息，在接收到的沉浸式媒体的媒体文件中查询可替换组选择信息对应的媒体文件。
S710-B2、文件解封装设备对查询到的可替换组选择信息对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
由上述实施例可知，点云分块的可替换组选择信息包括点云分块对应的组件轨道的标识信息和点云分块对应的质量等级中的至少一个。
在一种示例中，若点云分块的可替换组选择信息包括点云分块对应的组件轨道的标识信息，则文件解封装设备从接收到的沉浸式媒体的媒体文件中查询该组件轨道对应的媒体文件，并对该组件轨道对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
在一种示例中，若点云分块的可替换组选择信息包括点云分块对应的质量等级，则文件解封装设备从接收到的沉浸式媒体的媒体文件中查询该质量等级对应的媒体文件，并对该质量等级对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
在一些实施例中，根据推荐视窗对应的点云分块的可替换组选择信息，在接收到的沉浸式媒体的媒体文件中查询可替换组选择信息对应的媒体文件之前，方法还包括：确定推荐视窗的元数据中是否包括第二标志，该第二标志用于指示推荐视窗与推荐视窗对应的点云分块的可替换组选择信息关联。
在确定推荐视窗的元数据中包括第二标志时，执行上述S710-B1，即根据推荐视窗对应的点云分块的可替换组选择信息，在接收到的沉浸式媒体的媒体文件中查询可替换组选择信息对应的媒体文件。
即本实施例，若确定推荐视窗的元数据中包括第二标志，说明推荐视窗的元数据中包括推荐视窗对应的点云分块的可替换组选择信息，进而获得推荐视窗对应的点云分块的可替换组选择信息，然后执行S710-B1。若确定推荐视窗的元数据中不包括第二标志，则说明推荐视窗的元数据中不包括推荐视窗对应的点云分块的可替换组选择信息，则不执行S710-B1，进而节约解码资源。
进一步的，下面通过具体的示例对本申请实施例提供的媒体文件封装方式进行说明。
示例1，若沉浸式媒体为多视角视频，封装过程具体包括如下步骤：
步骤31、文件封装设备根据多视角视频的内容，确定多视角视频的推荐视窗；
步骤32、若多视角视频的图集信息轨道按照视点组进行划分，则文件封装设备将多视角视频的推荐视窗与相应的视点组信息进行关联，生成媒体文件F1。
步骤33、文件封装设备生成推荐视窗元数据轨道，其中推荐视窗元数据包括推荐视窗对应的视点组信息；
步骤34、文件封装设备向文件解封装设备发送第一指示信息，该第一指示信息可以为DASH信令，该第一指示信息用于指示推荐视窗的元数据；
步骤35、文件解封装设备根据第一指示信息，向文件封装设备发送第一请求信息，该第一请求信息用于请求推荐视窗的元数据；
步骤36、文件封装设备将推荐视窗的元数据轨道发送给文件解封装设备；
步骤37、文件解封装设备对推荐视窗的元数据轨道进行解码，得到推荐视窗的元数据中包括的推荐视窗对应的视点组信息；
步骤38、文件解封装设备根据自身的网络条件和解码能力，结合推荐视窗对应的视点组信息，解码推荐视窗对应的媒体资源并消费。
例如，假设推荐视窗为viewport1，而viewport1关联的视点组为view_group1，文件解封装设备在所请求的整个沉浸式媒体的媒体文件中查找view_group1对应的图集轨道为tile0，并直接解码图集轨道tile0关联的组件轨道进行消费。
由上述可知，本申请实施例通过将推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息进行关联，使得文件解封装设备直接解码相应的媒体资源进行消费，节省带宽和解码资源。
示例2，若沉浸式媒体为点云媒体，封装过程具体包括如下步骤：
步骤41、文件封装设备根据点云媒体的内容，确定点云媒体的推荐视窗；
步骤42、若点云媒体的压缩方式为VPCC，且该点云媒体按照点云分块(tile)进行组织，以及点云分块具备不同的质量等级，则将推荐视窗与相应的点云分块的可替换组选择信息进行关联，生成媒体文件F2。
其中，点云分块的可替换组选择信息包括点云分块对应的组件轨道的标识信息和点云分块对应的质量等级中的至少一个。
步骤43、文件封装设备生成推荐视窗元数据轨道，其中推荐视窗元数据包括推荐视窗对应的点云分块的可替换组选择信息；
步骤44、文件封装设备向文件解封装设备发送第一指示信息，该第一指示信息可以为DASH信令，该第一指示信息用于指示推荐视窗的元数据；
步骤45、文件解封装设备根据第一指示信息，向文件封装设备发送第一请求信息，该第一请求信息用于请求推荐视窗的元数据；
步骤46、文件封装设备将推荐视窗的元数据轨道发送给文件解封装设备；
步骤47、文件解封装设备对推荐视窗的元数据轨道进行解码，得到推荐视窗的元数据中包括的推荐视窗对应的点云分块的可替换组选择信息；
步骤48、文件解封装设备根据自身的网络条件和解码能力，结合推荐视窗对应的点云分块的可替换组选择信息，解码推荐视窗对应的媒体资源并消费。
例如，推荐视窗为viewport1，而viewport1关联点云分块的可替换组选择信息(AlternativesSelectInfoStruct)，这样文件解封装设备在所请求的整个沉浸式媒体的媒体文件中通过AlternativesSelectInfoStruct中的alternate_group_id找到备选的所有可替换组，再根据AlternativeInfoStruct或track_id从每个可替换组中选择对应的组件轨道进行解码消费。
例如图7所示，若推荐视窗对应点云块0和点云块1，其中点云块0对应tile0，点云块1对应tile1，且一个点云块0对应的质量等级为0，点云块1对应的质量等级为1，这样，文件解封装设备根据推荐视窗的位置信息，可能从tile0对应的3个可替换组中选出质量较好的组件轨道，例如Occ.Track、Geo.Track和Att.Track进行解码，但从tile1对应的3个可替换组中选出质量较差的组件轨道，例如Occ.Track’、Geo.Track’和Att.Track’进行解码。
由上述可知，本申请实施例通过将推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息进行关联，使得文件解封装设备直接解码相应的媒体资源进行消费，节省带宽和解码资源。
应理解，图5至图8仅为本申请的示例，不应理解为对本申请的限制。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。
上文结合图5和图8，详细描述了本申请的方法实施例，下文结合图9至图11，详细描述本申请的装置实施例。
图9为本申请一实施例提供的媒体文件封装装置的结构示意图，该装置10应用于文件封装设备，该装置10包括：
获取单元11，用于获取沉浸式媒体的内容，并根据所述沉浸式媒体的内容，确定所述沉浸式媒体的推荐视窗；
处理单元12，用于确定所述推荐视窗对应的沉浸式媒体的特征信息；
封装单元13，用于将所述推荐视窗与所述推荐视窗对应的沉浸式媒体的特征信息进行关联，生成所述沉浸式媒体的媒体文件；
收发单元14，用于向文件解封装设备发送第一指示信息，所述第一指示信息用于指示所述推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息。
在一些实施例中，所述沉浸式媒体包括多视角视频媒体和点云媒体中的至少一个。
在一些实施例中，收发单元14，还用于接收所述文件解封装设备发送的第一请求信息，所述第一请求信息用于请求所述推荐视窗的元数据；接收所述文件解封装设备发送的第二请求信息，所述第二请求信息用于请求所述推荐视窗对应的沉浸式媒体的媒体文件；根据所述第二请求信息，将所述推荐视窗对应的沉浸式媒体的媒体文件发送给所述文件解封装设备。
在一些实施例中，收发单元21，用于接收所述文件解封装设备发送的第一请求信息，所述第一请求信息用于请求所述推荐视窗的元数据；根据所述第一请求信息，将所述推荐视窗的元数据轨道发送给所述文件解封装设备；接收所述文件解封装设备发送的第三请求信息，所述第三请求信息用于请求所述沉浸式媒体的媒体文件；根据所述第三请求信息，将所述沉浸式媒体的媒体文件发送给所述文件解封装设备。
在一些实施例中，若所述沉浸式媒体为多视角视频媒体，且所述沉浸式媒体的视频轨道按照视点或视点组进行划分，则处理单元12，具体用于将所述推荐视窗对应的多视角视频媒体的视角信息，确定为所述推荐视窗对应的沉浸式媒体的特征信息；
上述封装单元13，具体用于将所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息进行关联。
在一些实施例中，所述推荐视窗对应的多视角视频媒体的视角信息包括：所述推荐视窗对应的多视角视频媒体的视点组信息、视点信息和相机信息中的至少一个。
在一些实施例中，若所述推荐视窗对应的多视角视频媒体的视角信息为视点组信息，则所述视点组信息包括：所述推荐视窗关联的视点组的数量、所述推荐视窗关联的视点组的标识。
在一些实施例中，若所述推荐视窗对应的多视角视频媒体的视角信息为视点信息，则所述视点信息包括：所述推荐视窗关联的视点的数量、所述推荐视窗关联的视点的标识。
在一些实施例中，若所述推荐视窗对应的多视角视频媒体的视角信息为相机信息，则所述相机信息包括：所述推荐视窗关联的相机的数量、所述推荐视窗关联的相机的标识。
在一些实施例中，上述收发单元14，用于若所述第二请求信息包括所述推荐视窗对应的多视角视频媒体的视角信息，则将所述视角信息对应的媒体文件发送给所述文件解封装设备。
在一些实施例中，若所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联，则封装单元13，还用于在所述推荐视窗的元数据中添加第一标志，所述第一标志用于指示所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联。
在一些实施例中，若所述沉浸式媒体为点云媒体，且所述点云媒体按照点云分块进行封装，以及所述点云媒体的各点云分块具有不同的质量等级，则处理单元12，具体用于将所述推荐视窗对应的点云分块的可替换组选择信息，确定为所述推荐视窗对应的沉浸式媒体的特征信息，所述点云分块的可替换组选择信息包括所述点云分块对应的组件轨道的标识信息和所述点云分块对应的质量等级中的至少一个；
封装单元13，具体用于将所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息进行关联。
在一些实施例中，所述推荐视窗对应的点云分块的可替换组选择信息还包括：所述点云分块所对应的可替换组数量、可替换组的标识、从可替换组中选择的组件轨道的数量中的至少一个。
在一些实施例中，若所述第二请求信息包括所述点云分块的可替换组选择信息，上述收发单元14，具体用于若所述点云分块的可替换组选择信息包括所述点云分块对应的组件轨道的标识信息，则将所述点云分块对应的组件轨道发送给所述文件解封装设备；或者，
若所述点云分块的可替换组选择信息包括所述点云分块对应的质量等级，则将所述质量等级对应的组件轨道发送给所述文件解封装设备。
在一些实施例中，若所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联，上述封装单元13，具体用于在所述推荐视窗的元数据中添加第二标志，所述第二标志用于指示所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图9所示的装置10可以执行文件封装设备对应的方法实施例，并且装置10中的各个模块的前述和其它操作和/或功能分别为了实现文件封装设备对应的方法实施例，为了简洁，在此不再赘述。
图10为本申请一实施例提供的媒体文件解封装装置的结构示意图，该装置20应用于文件解封装设备，该装置20包括：
收发单元21，用于接收文件封装设备发送的第一指示信息，所述第一指示信息用于指示推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息，所述推荐视窗是根据所述沉浸式媒体的内容确定的；
处理单元22，用于响应于所述第一指示信息，确定是否请求所述推荐视窗的元数据。
在一些实施例中，所述沉浸式媒体包括多视角视频媒体和点云媒体中的至少一个。
在一些实施例中，收发单元21，用于若确定请求所述推荐视窗的元数据，则向所述文件封装设备发送第一请求信息，所述第一请求信息用于请求所述推荐视窗的元数据；接收所述文件封装设备发送的所述推荐视窗的元数据轨道，并对所述推荐视窗的元数据轨道进行解封装后再解码，得到所述推荐视窗的元数据；根据所述推荐视窗的元数据中所述推荐视窗对应的的沉浸式媒体的特征信息，向所述文件封装设备发送第二请求信息，所述第二请求信息用于请求所述推荐视窗对应的沉浸式媒体的媒体文件；接收所述文件封装设备发送的所述推荐视窗对应的沉浸式媒体的媒体文件，并对所述推荐视窗对应的沉浸式媒体的媒体文件进行解封装后再解码，得到所述推荐视窗对应的沉浸式媒体的内容。
在一些实施例中，若所述沉浸式媒体为多视角视频媒体，且所述沉浸式媒体的视频轨道按照视点或视点组进行划分，所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联，则收发单元21，还用于根据所述推荐视窗对应的多视角视频媒体的视角信息，向所述文件封装设备发送第二请求信息，所述第二请求信息包括所述推荐视窗对应的多视角视频媒体的视角信息。
在一些实施例中，处理单元22，还用于确定所述推荐视窗的元数据中是否包括第一标志，所述第一标志用于指示所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联；
收发单元21，用于在处理单元22确定所述推荐视窗的元数据中包括第一标志时，根据所述推荐视窗对应的多视角视频媒体的视角信息，向所述文件封装设备发送第二请求信息。
在一些实施例中，若所述沉浸式媒体为点云媒体，且所述点云媒体按照点云分块进行封装，以及所述点云媒体的各点云分块具有不同的质量等级，所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联，所述点云分块的可替换组选择信息包括所述点云分块对应的组件轨道的标识信息和所述点云分块对应的质量等级中的至少一个，则收发单元21，具体用于根据所述推荐视窗对应的点云分块的可替换组选择信息，向所述文件封装设备发送第二请求信息，所述第二请求信息包括所述点云分块的可替换组选择信息。
在一些实施例中，处理单元22，还用于还用于确定所述推荐视窗的元数据中是否包括第二标志，所述第二标志用于指示所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联；
收发单元21，具体用于在处理单元22确定所述推荐视窗的元数据中包括第二标志时，根据所述推荐视窗对应的点云分块的可替换组选择信息，向所述文件封装设备发送第二请求信息。
在一些实施例中，若确定请求所述推荐视窗的元数据，则收发单元21，用于向所述文件封装设备发送第一请求信息，所述第一请求信息用于请求所述推荐视窗的元数据；接收所述文件封装设备发送的所述推荐视窗的元数据轨道，并对所述推荐视窗的元数据轨道进行解封装后再解码，得到所述推荐视窗的元数据；向所述文件封装设备发送第三请求信息，所述第三请求信息用于请求所述沉浸式媒体的媒体文件；接收所述文件封装设备发送的所述沉浸式媒体的媒体文件；
处理单元22，还用于根据所述推荐视窗对应的的沉浸式媒体的特征信息，对所述推荐视窗对应的沉浸式媒体的媒体文件进行解封装后再解码，得到所述推荐视窗对应的沉浸式媒体的内容。
在一些实施例中，若所述沉浸式媒体为多视角视频媒体，且所述沉浸式媒体的视频轨道按照视点或视点组进行划分，所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联，则收发单元21，用于根据所述推荐视窗对应的多视角视频媒体的视角信息，在接收到的所述沉浸式媒体的媒体文件中查询所述视角信息对应的媒体文件；处理单元22，具体用于对查询到的所述视角信息对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
在一些实施例中，处理单元22，还用于确定所述推荐视窗的元数据中是否包括第一标志，所述第一标志用于指示所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联；在确定所述推荐视窗的元数据中包括第一标志时，根据所述推荐视窗对应的多视角视频媒体的视角信息，在接收到的所述沉浸式媒体的媒体文件中查询所述视角信息对应的媒体文件。
在一些实施例中，若所述沉浸式媒体为点云媒体，且所述点云媒体按照点云分块进行封装，以及所述点云媒体的各点云分块具有不同的质量等级，所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联，所述点云分块的可替换组选择信息包括所述点云分块对应的组件轨道的标识信息和所述点云分块对应的质量等级中的至少一个，则处理单元22，用于根据所述推荐视窗对应的点云分块的可替换组选择信息，在接收到的所述沉浸式媒体的媒体文件中查询所述可替换组选择信息对应的媒体文件；对查询到的所述可替换组选择信息对应的媒体文件进行解封装后再解码，得到所述推荐视窗对应的沉浸式媒体的内容。
在一些实施例中，所述处理单元22，用于确定所述推荐视窗的元数据中是否包括第二标志，所述第二标志用于指示所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联；在确定所述推荐视窗的元数据中包括第二标志时，根据所述推荐视窗对应的点云分块的可替换组选择信息，在接收到的所述沉浸式媒体的媒体文件中查询所述可替换组选择信息对应的媒体文件。
在一些实施例中，所述推荐视窗对应的多视角视频媒体的视角信息包括：所述推荐视窗对应的多视角视频媒体的视点组信息、视点信息和相机信息中的至少一个。
在一些实施例中，若所述推荐视窗对应的多视角视频媒体的视角信息为视点组信息，则所述视点组信息包括：所述推荐视窗关联的视点组的数量、所述推荐视窗关联的视点组的标识。
在一些实施例中，若所述推荐视窗对应的多视角视频媒体的视角信息为视点信息，则所述视点信息包括：所述推荐视窗关联的视点的数量、所述推荐视窗关联的视点的标识。
在一些实施例中，若所述推荐视窗对应的多视角视频媒体的视角信息为相机信息，则所述相机信息包括：所述推荐视窗关联的相机的数量、所述推荐视窗关联的相机的标识。
在一些实施例中，所述推荐视窗对应的点云分块的可替换组选择信息还包括：所述点云分块所对应的可替换组数量、可替换组的标识、从可替换组中选择的组件轨道的数量中的至少一个。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图10所示的装置20可以执行服务器对应的方法实施例，并且装置20中的各个模块的前述和其它操作和/或功能分别为了实现文件解封装设备对应的方法实施例，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图11是本申请实施例提供的计算设备的示意性框图，该计算设备可以为上述的文件封装设备、或文件解封装设备，或者该计算设备具有文件封装设备和文件解封装设备的功能。
如图11所示，该计算设备40可包括：
存储器41和存储器42，该存储器41用于存储计算机程序，并将该程序代码传输给该存储器42。换言之，该存储器42可以从存储器41中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该存储器42可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中，该存储器42可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器41包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器41中，并由该存储器42执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该视频制作设备中的执行过程。
如图11所示，该计算设备40还可包括：
收发器40，该收发器43可连接至该存储器42或存储器41。
其中，存储器42可以控制该收发器43与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器43可以包括发射机和接收机。收发器43还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该视频制作设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (38)

1.一种媒体文件封装方法，其特征在于，应用于文件封装设备，所述方法包括：
获取沉浸式媒体的内容，并根据所述沉浸式媒体的内容，确定所述沉浸式媒体的推荐视窗；
确定所述推荐视窗对应的沉浸式媒体的特征信息；
将所述推荐视窗与所述推荐视窗对应的沉浸式媒体的特征信息进行关联，生成所述沉浸式媒体的媒体文件；
向文件解封装设备发送第一指示信息，所述第一指示信息用于指示所述推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息。
2.根据权利要求1所述的方法，其特征在于，所述沉浸式媒体包括多视角视频媒体和点云媒体中的至少一个。
3.根据权利要求2所述的方法，其特征在于，若所述沉浸式媒体为多视角视频媒体，且所述沉浸式媒体的视频轨道按照视点或视点组进行划分，则所述确定所述推荐视窗对应的沉浸式媒体的特征信息，包括：
将所述推荐视窗对应的多视角视频媒体的视角信息，确定为所述推荐视窗对应的沉浸式媒体的特征信息；
所述将所述推荐视窗与所述推荐视窗对应的沉浸式媒体的特征信息进行关联，包括：
将所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息进行关联。
4.根据权利要求3所述的方法，其特征在于，若所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联，则所述方法还包括：
在所述推荐视窗的元数据中添加第一标志，所述第一标志用于指示所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联。
5.根据权利要求3所述的方法，其特征在于，所述推荐视窗对应的多视角视频媒体的视角信息包括：所述推荐视窗对应的多视角视频媒体的视点组信息、视点信息和相机信息中的至少一个。
6.根据权利要求5所述的方法，其特征在于，若所述推荐视窗对应的多视角视频媒体的视角信息为视点组信息，则所述视点组信息包括：所述推荐视窗关联的视点组的数量、所述推荐视窗关联的视点组的标识。
7.根据权利要求5所述的方法，其特征在于，若所述推荐视窗对应的多视角视频媒体的视角信息为视点信息，则所述视点信息包括：所述推荐视窗关联的视点的数量、所述推荐视窗关联的视点的标识。
8.根据权利要求5所述的方法，其特征在于，若所述推荐视窗对应的多视角视频媒体的视角信息为相机信息，则所述相机信息包括：所述推荐视窗关联的相机的数量、所述推荐视窗关联的相机的标识。
9.根据权利要求2所述的方法，其特征在于，若所述沉浸式媒体为点云媒体，且所述点云媒体按照点云分块进行封装，以及所述点云媒体的各点云分块具有不同的质量等级，则所述确定所述推荐视窗对应的沉浸式媒体的特征信息，包括：
将所述推荐视窗对应的点云分块的可替换组选择信息，确定为所述推荐视窗对应的沉浸式媒体的特征信息，所述点云分块的可替换组选择信息包括所述点云分块对应的组件轨道的标识信息和所述点云分块对应的质量等级中的至少一个；
所述将所述推荐视窗与所述推荐视窗对应的沉浸式媒体的特征信息进行关联，包括：
将所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息进行关联。
10.根据权利要求9所述的方法，其特征在于，若所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联，则所述方法还包括：
在所述推荐视窗的元数据中添加第二标志，所述第二标志用于指示所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联。
11.根据权利要求9所述的方法，其特征在于，所述推荐视窗对应的点云分块的可替换组选择信息还包括：所述点云分块所对应的可替换组数量、可替换组的标识、从可替换组中选择的组件轨道的数量中的至少一个。
12.根据权利要求2-11任一项所述的方法，其特征在于，所述方法还包括：
接收所述文件解封装设备发送的第一请求信息，所述第一请求信息用于请求所述推荐视窗的元数据；
根据所述第一请求信息，将所述推荐视窗的元数据轨道发送给所述文件解封装设备；
接收所述文件解封装设备发送的第二请求信息，所述第二请求信息用于请求所述推荐视窗对应的沉浸式媒体的媒体文件；
根据所述第二请求信息，将所述推荐视窗对应的沉浸式媒体的媒体文件发送给所述文件解封装设备。
13.根据权利要求12所述的方法，其特征在于，若所述第二请求信息包括所述推荐视窗对应的多视角视频媒体的视角信息，则所述根据所述第二请求信息，将所述推荐视窗对应的沉浸式媒体的媒体文件发送给所述文件解封装设备，包括：
将所述视角信息对应的媒体文件发送给所述文件解封装设备。
14.根据权利要求12所述的方法，其特征在于，若所述第二请求信息包括所述点云分块的可替换组选择信息，则所述根据所述第二请求信息，将所述推荐视窗对应的沉浸式媒体的媒体文件发送给所述文件解封装设备，包括：
若所述点云分块的可替换组选择信息包括所述点云分块对应的组件轨道的标识信息，则将所述点云分块对应的组件轨道发送给所述文件解封装设备；或者，
若所述点云分块的可替换组选择信息包括所述点云分块对应的质量等级，则将所述质量等级对应的组件轨道发送给所述文件解封装设备。
15.根据权利要求2-11任一项所述的方法，其特征在于，所述方法还包括：
接收所述文件解封装设备发送的第一请求信息，所述第一请求信息用于请求所述推荐视窗的元数据；
根据所述第一请求信息，将所述推荐视窗的元数据轨道发送给所述文件解封装设备；
接收所述文件解封装设备发送的第三请求信息，所述第三请求信息用于请求所述沉浸式媒体的媒体文件；
根据所述第三请求信息，将所述沉浸式媒体的媒体文件发送给所述文件解封装设备。
16.一种媒体文件解封装方法，其特征在于，应用于文件解封装设备，所述方法包括：
接收文件封装设备发送的第一指示信息，所述第一指示信息用于指示推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息，所述推荐视窗是根据所述沉浸式媒体的内容确定的；
响应于所述第一指示信息，确定是否请求所述推荐视窗的元数据。
17.根据权利要求16所述的方法，其特征在于，所述沉浸式媒体包括多视角视频媒体和点云媒体中的至少一个。
18.根据权利要求17所述的方法，其特征在于，所述方法还包括：
若确定请求所述推荐视窗的元数据，则向所述文件封装设备发送第一请求信息，所述第一请求信息用于请求所述推荐视窗的元数据；
接收所述文件封装设备发送的所述推荐视窗的元数据轨道，并对所述推荐视窗的元数据轨道进行解封装后再解码，得到所述推荐视窗的元数据；
根据所述推荐视窗的元数据中所述推荐视窗对应的的沉浸式媒体的特征信息，向所述文件封装设备发送第二请求信息，所述第二请求信息用于请求所述推荐视窗对应的沉浸式媒体的媒体文件；
接收所述文件封装设备发送的所述推荐视窗对应的沉浸式媒体的媒体文件，并对所述推荐视窗对应的沉浸式媒体的媒体文件进行解封装后再解码，得到所述推荐视窗对应的沉浸式媒体的内容。
19.根据权利要求18所述的方法，其特征在于，若所述沉浸式媒体为多视角视频媒体，且所述沉浸式媒体的视频轨道按照视点或视点组进行划分，所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联，则所述根据所述推荐视窗的元数据中所述推荐视窗对应的的沉浸式媒体的特征信息，向所述文件封装设备发送第二请求信息，包括：
根据所述推荐视窗对应的多视角视频媒体的视角信息，向所述文件封装设备发送第二请求信息，所述第二请求信息包括所述推荐视窗对应的多视角视频媒体的视角信息。
20.根据权利要求19所述的方法，其特征在于，所述根据所述推荐视窗对应的多视角视频媒体的视角信息，向所述文件封装设备发送第二请求信息之前，所述方法还包括：
确定所述推荐视窗的元数据中是否包括第一标志，所述第一标志用于指示所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联；
所述根据所述推荐视窗对应的多视角视频媒体的视角信息，向所述文件封装设备发送第二请求信息，包括：
在确定所述推荐视窗的元数据中包括第一标志时，根据所述推荐视窗对应的多视角视频媒体的视角信息，向所述文件封装设备发送第二请求信息。
21.根据权利要求18所述的方法，其特征在于，若所述沉浸式媒体为点云媒体，且所述点云媒体按照点云分块进行封装，以及所述点云媒体的各点云分块具有不同的质量等级，所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联，所述点云分块的可替换组选择信息包括所述点云分块对应的组件轨道的标识信息和所述点云分块对应的质量等级中的至少一个，则所述根据所述推荐视窗的元数据中所述推荐视窗对应的的沉浸式媒体的特征信息，向所述文件封装设备发送第二请求信息，包括：
根据所述推荐视窗对应的点云分块的可替换组选择信息，向所述文件封装设备发送第二请求信息，所述第二请求信息包括所述点云分块的可替换组选择信息。
22.根据权利要求21所述的方法，其特征在于，所述根据所述推荐视窗对应的点云分块的可替换组选择信息，向所述文件封装设备发送第二请求信息之前，所述方法还包括：
确定所述推荐视窗的元数据中是否包括第二标志，所述第二标志用于指示所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联；
所述根据所述推荐视窗对应的点云分块的可替换组选择信息，向所述文件封装设备发送第二请求信息，包括：
在确定所述推荐视窗的元数据中包括第二标志时，根据所述推荐视窗对应的点云分块的可替换组选择信息，向所述文件封装设备发送第二请求信息。
23.根据权利要求17所述的方法，其特征在于，所述方法还包括：
若确定请求所述推荐视窗的元数据，则向所述文件封装设备发送第一请求信息，所述第一请求信息用于请求所述推荐视窗的元数据；
接收所述文件封装设备发送的所述推荐视窗的元数据轨道，并对所述推荐视窗的元数据轨道进行解封装后再解码，得到所述推荐视窗的元数据；
向所述文件封装设备发送第三请求信息，所述第三请求信息用于请求所述沉浸式媒体的媒体文件；
接收所述文件封装设备发送的所述沉浸式媒体的媒体文件；
根据所述推荐视窗对应的的沉浸式媒体的特征信息，对所述推荐视窗对应的沉浸式媒体的媒体文件进行解封装后再解码，得到所述推荐视窗对应的沉浸式媒体的内容。
24.根据权利要求23所述的方法，其特征在于，若所述沉浸式媒体为多视角视频媒体，且所述沉浸式媒体的视频轨道按照视点或视点组进行划分，所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联，则所述根据所述推荐视窗对应的的沉浸式媒体的特征信息，对所述推荐视窗对应的沉浸式媒体的媒体文件进行解封装后再解码，得到所述推荐视窗对应的沉浸式媒体的内容，包括：
根据所述推荐视窗对应的多视角视频媒体的视角信息，在接收到的所述沉浸式媒体的媒体文件中查询所述视角信息对应的媒体文件；
对查询到的所述视角信息对应的媒体文件进行解封装后再解码，得到推荐视窗对应的沉浸式媒体的内容。
25.根据权利要求24所述的方法，其特征在于，所述根据所述推荐视窗对应的多视角视频媒体的视角信息，在接收到的所述沉浸式媒体的媒体文件中查询所述视角信息对应的媒体文件之前，所述方法还包括：
确定所述推荐视窗的元数据中是否包括第一标志，所述第一标志用于指示所述推荐视窗与所述推荐视窗对应的多视角视频媒体的视角信息关联；
所述根据所述推荐视窗对应的多视角视频媒体的视角信息，在接收到的所述沉浸式媒体的媒体文件中查询所述视角信息对应的媒体文件，包括：
在确定所述推荐视窗的元数据中包括第一标志时，根据所述推荐视窗对应的多视角视频媒体的视角信息，在接收到的所述沉浸式媒体的媒体文件中查询所述视角信息对应的媒体文件。
26.根据权利要求23所述的方法，其特征在于，若所述沉浸式媒体为点云媒体，且所述点云媒体按照点云分块进行封装，以及所述点云媒体的各点云分块具有不同的质量等级，所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联，所述点云分块的可替换组选择信息包括所述点云分块对应的组件轨道的标识信息和所述点云分块对应的质量等级中的至少一个，则所述根据所述推荐视窗对应的的沉浸式媒体的特征信息，对所述推荐视窗对应的沉浸式媒体的媒体文件进行解封装后再解码，得到所述推荐视窗对应的沉浸式媒体的内容，包括：
根据所述推荐视窗对应的点云分块的可替换组选择信息，在接收到的所述沉浸式媒体的媒体文件中查询所述可替换组选择信息对应的媒体文件；
对查询到的所述可替换组选择信息对应的媒体文件进行解封装后再解码，得到所述推荐视窗对应的沉浸式媒体的内容。
27.根据权利要求26所述的方法，其特征在于，所述根据所述推荐视窗对应的点云分块的可替换组选择信息，在接收到的所述沉浸式媒体的媒体文件中查询所述可替换组选择信息对应的媒体文件之前，所述方法还包括：
确定所述推荐视窗的元数据中是否包括第二标志，所述第二标志用于指示所述推荐视窗与所述推荐视窗对应的点云分块的可替换组选择信息关联；
所述根据所述推荐视窗对应的点云分块的可替换组选择信息，在接收到的所述沉浸式媒体的媒体文件中查询所述可替换组选择信息对应的媒体文件，包括：
在确定所述推荐视窗的元数据中包括第二标志时，根据所述推荐视窗对应的点云分块的可替换组选择信息，在接收到的所述沉浸式媒体的媒体文件中查询所述可替换组选择信息对应的媒体文件。
28.根据权利要求19或24所述的方法，其特征在于，所述推荐视窗对应的多视角视频媒体的视角信息包括：所述推荐视窗对应的多视角视频媒体的视点组信息、视点信息和相机信息中的至少一个。
29.根据权利要求28所述的方法，其特征在于，若所述推荐视窗对应的多视角视频媒体的视角信息为视点组信息，则所述视点组信息包括：所述推荐视窗关联的视点组的数量、所述推荐视窗关联的视点组的标识。
30.根据权利要求28所述的方法，其特征在于，若所述推荐视窗对应的多视角视频媒体的视角信息为视点信息，则所述视点信息包括：所述推荐视窗关联的视点的数量、所述推荐视窗关联的视点的标识。
31.根据权利要求28所述的方法，其特征在于，若所述推荐视窗对应的多视角视频媒体的视角信息为相机信息，则所述相机信息包括：所述推荐视窗关联的相机的数量、所述推荐视窗关联的相机的标识。
32.根据权利要求21或26所述的方法，其特征在于，所述推荐视窗对应的点云分块的可替换组选择信息还包括：所述点云分块所对应的可替换组数量、可替换组的标识、从可替换组中选择的组件轨道的数量中的至少一个。
33.一种媒体文件封装装置，其特征在于，应用于文件封装设备，所述装置包括：
获取单元，用于获取沉浸式媒体的内容，并根据所述沉浸式媒体的内容，确定所述沉浸式媒体的推荐视窗；
处理单元，用于确定所述推荐视窗对应的沉浸式媒体的特征信息；
封装单元，用于将所述推荐视窗与所述推荐视窗对应的沉浸式媒体的特征信息进行关联，生成所述沉浸式媒体的媒体文件；
收发单元，用于向文件解封装设备发送第一指示信息，所述第一指示信息用于指示所述推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息。
34.一种媒体文件解封装装置，其特征在于，应用于文件解封装设备，所述装置包括：
收发单元，用于接收文件封装设备发送的第一指示信息，所述第一指示信息用于指示推荐视窗的元数据，所述推荐视窗的元数据包括所述推荐视窗对应的沉浸式媒体的特征信息，所述推荐视窗是根据所述沉浸式媒体的内容确定的；
处理单元，用于响应于所述第一指示信息，确定是否请求所述推荐视窗的元数据。
35.一种文件封装设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至17中任一项所述的方法。
36.一种文件解封装设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求18至32中任一项所述的方法。
37.一种计算设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至17或18至32中任一项所述的方法。
38.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至17或18至32中任一项所述的方法。
CN202110970077.1A 2021-08-23 2021-08-23 媒体文件封装与解封装方法、装置、设备及存储介质 Pending CN115941995A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110970077.1A CN115941995A (zh) 2021-08-23 2021-08-23 媒体文件封装与解封装方法、装置、设备及存储介质
EP22860189.4A EP4394718A1 (en) 2021-08-23 2022-08-01 Media file encapsulation method and device, media file decapsulation method and device, and storage medium
PCT/CN2022/109524 WO2023024843A1 (zh) 2021-08-23 2022-08-01 媒体文件封装与解封装方法、设备及存储介质
US18/464,760 US20230421819A1 (en) 2021-08-23 2023-09-11 Media file unpacking method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110970077.1A CN115941995A (zh) 2021-08-23 2021-08-23 媒体文件封装与解封装方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115941995A true CN115941995A (zh) 2023-04-07

Family

ID=85322457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110970077.1A Pending CN115941995A (zh) 2021-08-23 2021-08-23 媒体文件封装与解封装方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US20230421819A1 (zh)
EP (1) EP4394718A1 (zh)
CN (1) CN115941995A (zh)
WO (1) WO2023024843A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632674B (zh) * 2017-03-23 2021-09-21 华为技术有限公司 一种全景视频的播放方法和客户端
CN108111899B (zh) * 2017-12-29 2021-05-11 中兴通讯股份有限公司 视频传输方法与装置、客户端、服务器及存储介质
US11831861B2 (en) * 2019-08-12 2023-11-28 Intel Corporation Methods for viewport-dependent adaptive streaming of point cloud content
CN114581631A (zh) * 2020-12-02 2022-06-03 腾讯科技（深圳）有限公司 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN113852829A (zh) * 2021-09-01 2021-12-28 腾讯科技（深圳）有限公司 点云媒体文件的封装与解封装方法、装置及存储介质

Also Published As

Publication number Publication date
EP4394718A1 (en) 2024-07-03
US20230421819A1 (en) 2023-12-28
WO2023024843A1 (zh) 2023-03-02

Similar Documents

Publication Publication Date Title
CN109691094B (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
JP6984841B2 (ja) イメージ処理方法、端末およびサーバ
KR102157656B1 (ko) 360도 비디오를 송수신하는 방법 및 그 장치
US20230421810A1 (en) Encapsulation and decapsulation methods and apparatuses for point cloud media file, and storage medium
CN114095737B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
WO2023061131A1 (zh) 媒体文件封装方法、装置、设备及存储介质
US20230169719A1 (en) Method and Apparatus for Processing Immersive Media Data, Storage Medium and Electronic Apparatus
CN115086635B (zh) 多视角视频的处理方法、装置、设备及存储介质
JP7471731B2 (ja) メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器
KR102647019B1 (ko) 멀티뷰 비디오 프로세싱 방법 및 장치
EP4394718A1 (en) Media file encapsulation method and device, media file decapsulation method and device, and storage medium
CN115733576B (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
WO2023016293A1 (zh) 自由视角视频的文件封装方法、装置、设备及存储介质
CN116137664A (zh) 点云媒体文件封装方法、装置、设备及存储介质
CN117082262A (zh) 点云文件封装与解封装方法、装置、设备及存储介质
US20230360678A1 (en) Data processing method and storage medium
CN116643644A (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40084291

Country of ref document: HK