CN113949829A - 媒体文件封装方法、装置、设备及存储介质 - Google Patents

媒体文件封装方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113949829A
CN113949829A CN202111205444.5A CN202111205444A CN113949829A CN 113949829 A CN113949829 A CN 113949829A CN 202111205444 A CN202111205444 A CN 202111205444A CN 113949829 A CN113949829 A CN 113949829A
Authority
CN
China
Prior art keywords
switching
viewpoint
information
panoramic picture
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111205444.5A
Other languages
English (en)
Other versions
CN113949829B (zh
Inventor
胡颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111205444.5A priority Critical patent/CN113949829B/zh
Publication of CN113949829A publication Critical patent/CN113949829A/zh
Priority to PCT/CN2022/118324 priority patent/WO2023061131A1/zh
Application granted granted Critical
Publication of CN113949829B publication Critical patent/CN113949829B/zh
Priority to US18/472,464 priority patent/US20240015197A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种媒体文件封装方法、装置、设备及存储介质，该方法包括：文件封装设备获取N个视点的全景图片编码后的码流，N为大于1的正整数；将上述码流封装在实体组中，并为N个视点中至少一个视点的全景图片分别添加第一信息，得到N个视点的全景图片的媒体文件，第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。这样使得文件解封装设备可以根据第一信息所指示的切换信息，来实现不同视点的全景图片的切换和呈现，进而提高了多视点全景图片的切换效果。

Description

媒体文件封装方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种媒体文件封装方法、装置、设备及存储介质。
背景技术
沉浸式媒体指能为消费者带来沉浸式体验的媒体内容，沉浸式媒体按照用户在消费媒体内容时的自由度，可以分为3自由度(Degree of Freedom，简称DoF)媒体、3DoF+媒体以及6DoF媒体。
但是目前的视频码流的封装方式，对于包括多个视点的全景图片项目的媒体文件，文件解封装设备在多个视点的全景图片项目之间切换时，切换效果差。
发明内容
本申请提供一种媒体文件封装方法、装置、设备及存储介质，以提高多视点全景图片之间的切换效率。
第一方面，本申请提供一种媒体文件封装方法，应用于文件封装设备，文件封装设备可以理解为视频封装设备或编码设备，该方法包括：
获取N个视点的全景图片编码后的码流，所述N为大于1的正整数；
将所述码流封装在实体组中，并为所述N个视点中至少一个视点的全景图片分别添加第一信息，得到所述N个视点的全景图片的媒体文件，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。
第二方面，本申请提供一种媒体文件解封装方法，应用于文件解封装设备，文件解封装设备可以理解为视频解封装设备或解码设备，该方法包括：
获取N个视点的全景图片的媒体文件，所述媒体文件包括所述N个视点中至少一个视点的全景图片的第一信息，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息；
根据所述至少一个视点对应的第一信息，进行不同视点的全景图片之间的切换。
第三方面，本申请提供一种媒体文件封装装置，应用于文件封装设备，该装置包括：
获取单元，用于获取N个视点的全景图片编码后的码流，所述N为大于1的正整数；
封装单元，用于将所述码流封装在实体组中，并为所述N个视点中至少一个视点的全景图片分别添加第一信息，得到所述N个视点的全景图片的媒体文件，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。
第四方面，本申请提供一种媒体文件解封装装置，应用于文件解封装设备，该装置包括：
获取单元，用于获取N个视点的全景图片的媒体文件，所述媒体文件包括所述N个视点中至少一个视点的全景图片的第一信息，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息；
解封装单元，用于根据所述至少一个视点对应的第一信息，进行不同视点的全景图片之间的切换。
第五方面，本申请提供一种文件封装设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。
第六方面，本申请提供一种文件解封装设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第二方面的方法。
第七方面，提供了一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面和/或第二方面的方法。
第八方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面和/或第二方面的方法。
综上，在本申请中，文件封装设备获取N个视点的全景图片编码后的码流，N为大于1的正整数；将上述码流封装在实体组中，并为N个视点中至少一个视点的全景图片分别添加第一信息，得到N个视点的全景图片的媒体文件，第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。这样使得文件解封装设备可以根据第一信息所指示的切换信息，来实现不同视点的全景图片的切换和呈现，进而提高了多视点全景图片的切换效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了三自由度的示意图；
图2示意性示出了三自由度+的示意图；
图3示意性示出了六自由度的示意图；
图4为本申请一实施例提供的一种沉浸媒体系统的架构图；
图5为本申请一实施例提供的媒体文件封装方法的流程图；
图6为本申请一实施例提供的媒体文件的解封装方法流程图；
图7为本申请一实施例提供的媒体文件封装与解封装交互流程示意图；
图8为本申请一实施例提供的媒体文件封装装置的结构示意图；
图9为本申请一实施例提供的媒体文件解封装装置的结构示意图；
图10是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例涉及沉浸媒体的数据处理技术。
在介绍本申请技术方案之前，下面先对本申请相关知识进行介绍：
全景视频/图像：指采用多相机采集、拼接以及映射后，可根据用户的观看朝向或视窗提供部分媒体画面，最多提供360度画面的视频或图像。是一种提供三自由度体验的沉浸式媒体。
多视角/多视点视频：指采用多组摄像机阵列，从多个角度拍摄的带有深度信息的视频。多视角/多视点视频也叫自由视角/自由视点视频，是一种提供六自由度体验的沉浸式媒体。
点云：点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
V3C容积媒体：visual volumetric video-based coding media，指捕获自三维空间视觉内容并提供3DoF+、6DoF观看体验的，以传统视频编码的，在文件封装中包含容积视频类型轨道的沉浸式媒体，包括多视角视频、视频编码点云等。
PCC：Point Cloud Compression，点云压缩。
G-PCC：Geometry-based Point Cloud Compression，基于几何模型的点云压缩。
V-PCC：Video-based Point Cloud Compression，基于传统视频编码的点云压缩。
图集：指示2D平面帧上的区域信息，3D呈现空间的区域信息，以及二者之间的映射关系和映射所需的必要参数信息。
Track：轨道，媒体文件封装过程中的媒体数据集合，一个媒体文件可由多个轨道组成，比如一个媒体文件可以包含一个视频轨道，一个音频轨道以及一个字幕轨道。
Sample：样本，媒体文件封装过程中的封装单位，一个媒体轨道由很多个样本组成。比如视频轨道的一个样本通常为一个视频帧。
DoF：Degree of Freedom，自由度。力学系统中是指独立坐标的个数，除了平移的自由度外，还有转动及振动自由度。本申请实施例中指用户在观看沉浸式媒体时，支持的运动并产生内容交互的自由度。
3DoF：即三自由度，指用户头部围绕XYZ轴旋转的三种自由度。图1示意性示出了三自由度的示意图。如图1所示，就是在某个地方、某一个点在三个轴上都可以旋转，可以转头，也可以上下低头，也可以摆头。通过三自由度的体验，用户能够360度地沉浸在一个现场中。如果是静态的，可以理解为是全景的图片。如果全景的图片是动态，就是全景视频，也就是VR视频。但是VR视频是有一定局限性的，用户是不能够移动的，不能选择任意的一个地方去看。
3DoF+：即在三自由度的基础上，用户还拥有沿XYZ轴做有限运动的自由度，也可以将其称之为受限六自由度，对应的媒体码流可以称之为受限六自由度媒体码流。图2示意性示出了三自由度+的示意图。
6DoF：即在三自由度的基础上，用户还拥有沿XYZ轴自由运动的自由度，对应的媒体码流可以称之为六自由度媒体码流。图3示意性示出了六自由度的示意图。其中，6DoF媒体是指的6自由度视频，是指视频可以提供用户在三维空间的XYZ轴方向自由移动视点，以及围绕XYX轴自由旋转视点的高自由度观看体验。6DoF媒体是以摄像机阵列采集得到的空间不同视角的视频组合。为了便于6DoF媒体的表达、存储、压缩和处理，将6DoF媒体数据表达为以下信息的组合：多摄像机采集的纹理图，多摄像机纹理图所对应的深度图，以及相应的6DoF媒体内容描述元数据，元数据中包含了多摄像机的参数，以及6DoF媒体的拼接布局和边缘保护等描述信息。在编码端，把多摄像机的纹理图信息和对应的深度图信息进行拼接处理，并且把拼接方式的描述数据根据所定义的语法和语义写入元数据。拼接后的多摄像机深度图和纹理图信息通过平面视频压缩方式进行编码，并且传输到终端解码后，进行用户所请求的6DoF虚拟视点的合成，从而提供用户6DoF媒体的观看体验。
AVS：Audio Video Coding Standard，音视频编码标准。
ISOBMFF：ISO Based Media File Format，基于ISO(International StandardOrganization，国际标准化组织)标准的媒体文件格式。ISOBMFF是媒体文件的封装标准，最典型的ISOBMFF文件即MP4(Moving Picture Experts Group4，动态图像专家组4)文件。
DASH：dynamic adaptive streaming over HTTP，基于HTTP的动态自适应流是一种自适应比特率流技术，使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。
MPD：media presentation description，DASH中的媒体演示描述信令，用于描述媒体片段信息。
HEVC：High Efficiency Video Coding，国际视频编码标准HEVC/H.265。
VVC：versatile video coding，国际视频编码标准VVC/H.266。
Intra(picture)Prediction：帧内预测。
Inter(picture)Prediction：帧间预测。
SCC：screen content coding，屏幕内容编码。
全景视频或图像通常由多个摄像机对场景进行拍摄、拼接以及映射，继而得到360度图像范围的球面视频或图像。全景视频或图像为典型的3DoF媒体。
多视角视频通常由摄像机阵列从多个角度对场景进行拍摄，形成场景的纹理信息(色彩信息等)和深度信息(空间距离信息等)，再加上2D平面帧到3D呈现空间的映射信息，即构成了可在用户侧进行消费的6DoF媒体。
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，包括虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design,CAD)、地理信息系统(Geography Information System，GIS)、自动导航系统(AutonomousNavigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等。
点云的获取主要有以下途径：计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI、CT、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
在对点云媒体进行编码后，需要对编码后的数据流进行封装并传输给用户。相对应地，在点云媒体播放器端，需要先对点云文件进行解封装，然后再进行解码，最后将解码后的数据流呈现。因此，在解封装环节，获取到特定的信息之后，能够在一定程度上提升解码环节的效率，从而为点云媒体的呈现带来更好的体验。
图4为本申请一实施例提供的一种沉浸媒体系统的架构图。如图4所示，沉浸媒体系统包括编码设备和解码设备，编码设备可以是指沉浸媒体的提供者所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)等)或服务器。解码设备可以是指沉浸媒体的使用者所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等))。沉浸媒体的数据处理过程包括在编码设备侧的数据处理过程及在解码设备侧的数据处理过程。
在编码设备端的数据处理过程主要包括：
(1)沉浸媒体的媒体内容的获取与制作过程；
(2)沉浸媒体的编码及文件封装的过程。在解码设备端的数据处理过程主要包括：
(3)沉浸媒体的文件解封装及解码的过程；
(4)沉浸媒体的渲染过程。
另外，编码设备与解码设备之间涉及沉浸媒体的传输过程，该传输过程可以基于各种传输协议来进行，此处的传输协议可包括但不限于：DASH(Dynamic AdaptiveStreaming over HTTP，动态自适应流媒体传输)协议、HLS(HTTP Live Streaming，动态码率自适应传输)协议、SMTP(Smart Media Transport Protocaol，智能媒体传输协议)、TCP(Transmission Control Protocol，传输控制协议)等。
下面将结合图4，分别对沉浸媒体的数据处理过程中涉及的各个过程进行详细介绍。
一、在编码设备端的数据处理过程：
(1)沉浸媒体的媒体内容的获取与制作过程。
1)沉浸媒体的媒体内容的获取过程。
真实世界的视听场景(A)由音频传感器以及一组相机或具有多个镜头和传感器的相机设备捕获。采集产生一组数字图像/视频(Bi)和音频(Ba)信号。摄像机/镜头通常覆盖摄像机组或摄像机设备中心点周围的所有方向，因此称为360度视频。
在一种实现中，捕获设备可以是指设于编码设备中的硬件组件，例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中，该捕获设备也可以是与编码设备相连接的硬件装置，例如与服务器相连接摄像头。
该捕获设备可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。
捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容，捕获的音频内容和视频内容在时间和空间上均保持同步。通过捕获设备采集到的媒体内容称作沉浸媒体的原始数据。
2)沉浸媒体的媒体内容的制作过程。
捕获到的音频内容本身就是适合被执行沉浸媒体的音频编码的内容。捕获到的视频内容进行一系列制作流程后才可成为适合被执行沉浸媒体的视频编码的内容，该制作流程包括：
①拼接。由于捕获到的视频内容是捕获设备在不同角度下拍摄得到的，拼接就是指对这些各个角度拍摄的视频内容拼接成一个完整的、能够反映现实空间360度视觉全景的视频，即拼接后的视频是一个在三维空间表示的全景视频(或球面视频)。
②投影。投影就是指将拼接形成的一个三维视频映射到一个二维(3-Dimension，2D)图像上的过程，投影形成的2D图像称为投影图像；投影的方式可包括但不限于：经纬图投影、正六面体投影。
③区域封装。投影图像可以被直接进行编码，也可以对投影图像进行区域封装之后再进行编码。实践中发现，在沉浸媒体的数据处理过程中，对于二维投影图像进行区域封装之后再进行编码能够大幅提升沉浸媒体的视频编码效率，因此区域封装技术被广泛应用到沉浸媒体的视频处理过程中。所谓区域封装是指将投影图像按区域执行转换处理的过程，区域封装过程使投影图像被转换为封装图像。区域封装的过程具体包括：将投影图像划分为多个映射区域，然后再对多个映射区域分别进行转换处理得到多个封装区域，将多个封装区域映射到一个2D图像中得到封装图像。其中，映射区域是指执行区域封装前在投影图像中经划分得到的区域；封装区域是指执行区域封装后位于封装图像中的区域。
转换处理可以包括但不限于：镜像、旋转、重新排列、上采样、下采样、改变区域的分辨率及移动等处理。
需要说明的是，由于采用捕获设备只能捕获到全景视频，这样的视频经编码设备处理并传输至解码设备进行相应的数据处理后，解码设备侧的用户只能通过执行一些特定动作(如头部旋转)来观看360度的视频信息，而执行非特定动作(如移动头部)并不能获得相应的视频变化，VR体验不佳，因此需要额外提供与全景视频相匹配的深度信息，来使用户获得更优的沉浸度和更佳的VR体验，这就涉及6DoF(Six Degrees of Freedom，六自由度)制作技术。当用户可以在模拟的场景中较自由的移动时，称为6DoF。采用6DoF制作技术进行沉浸媒体的视频内容的制作时，捕获设备一般会选用光场摄像头、激光设备、雷达设备等，捕获空间中的点云数据或光场数据，并且在执行上述制作流程①-③的过程中还需要进行一些特定处理，例如对点云数据的切割、映射等过程，深度信息的计算过程等。
同一时间，实例的图像(Bi)经过拼接、旋转、投影和区域打包成图片(D)。
(2)沉浸媒体的编码及文件封装的过程。
捕获到的音频内容可直接进行音频编码形成沉浸媒体的音频码流。经过上述制作流程①-②或①-③之后，对投影图像或封装图像进行视频编码，得到沉浸媒体的视频码流，例如，将打包图片(D)被编码为编码图像(Ei)或编码视频比特流(Ev)。捕获的音频(Ba)被编码为音频比特流(Ea)。然后，根据特定的媒体容器文件格式，将编码的图像、视频和/或音频组合成用于文件回放的媒体文件(F)或用于流式传输的初始化段和媒体段的序列(Fs)。编码设备端还将元数据，例如投影和区域信息，包括到文件或片段中，有助于呈现解码的打包图片。
此处需要说明的是，如果采用6DoF制作技术，在视频编码过程中需要采用特定的编码方式(如点云编码)进行编码。将音频码流和视频码流按照沉浸媒体的文件格式(如ISOBMFF(ISO Base Media File Format，ISO基媒体文件格式))封装在文件容器中形成沉浸媒体的媒体文件资源，该媒体文件资源可以是媒体文件或媒体片段形成沉浸媒体的媒体文件；并按照沉浸媒体的文件格式要求采用媒体呈现描述信息(Media presentationdescription，MPD)记录该沉浸媒体的媒体文件资源的元数据，此处的元数据是对与沉浸媒体的呈现有关的信息的总称，该元数据可包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。如图4所示，编码设备会存储经过数据处理过程之后形成的媒体呈现描述信息和媒体文件资源。
沉浸媒体系统支持数据盒(Box)，数据盒是指包括元数据的数据块或对象，即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒，例如包括球面区域缩放数据盒(Sphere Region Zooming Box)，其包含用于描述球面区域缩放信息的元数据；2D区域缩放数据盒(2DRegionZoomingBox)，其包含用于描述2D区域缩放信息的元数据；区域封装数据盒(Region Wise PackingBox)，其包含用于描述区域封装过程中的相应信息的元数据，等等。
使用递送机制将片段Fs递送给玩家。
二、在解码设备端的数据处理过程：
(3)沉浸媒体的文件解封装及解码的过程；
解码设备可以通过编码设备的推荐或按照解码设备端的用户需求自适应动态从编码设备获得沉浸媒体的媒体文件资源和相应的媒体呈现描述信息，例如解码设备可根据用户的头部/眼睛/身体的跟踪信息确定用户的朝向和位置，再基于确定的朝向和位置动态向编码设备请求获得相应的媒体文件资源。媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由编码设备传输给解码设备。解码设备端的文件解封装的过程与编码设备端的文件封装过程是相逆的，解码设备按照沉浸媒体的文件格式要求对媒体文件资源进行解封装，得到音频码流和视频码流。解码设备端的解码过程与编码设备端的编码过程是相逆的，解码设备对音频码流进行音频解码，还原出音频内容。
另外，解码设备对视频码流的解码过程包括如下：
①对视频码流进行解码，得到平面图像；根据媒体呈现描述信息提供的元数据，如果该元数据指示沉浸媒体执行过区域封装过程，该平面图像是指封装图像；如果该元数据指示沉浸媒体未执行过区域封装过程，则该平面图像是指投影图像；
②如果元数据指示沉浸媒体执行过区域封装过程，解码设备就将封装图像进行区域解封装得到投影图像。此处区域解封装与区域封装是相逆的，区域解封装是指将封装图像按照区域执行逆转换处理的过程，区域解封装使封装图像被转换为投影图像。区域解封装的过程具体包括：按照元数据的指示对封装图像中的多个封装区域分别进行逆转换处理得到多个映射区域，将该多个映射区域映射至一个2D图像从而得到投影图像。逆转换处理是指与转换处理相逆的处理，例如：转换处理是指逆时针旋转90度，那么逆转换处理是指顺时针旋转90度。
③根据媒体呈现描述信息将投影图像进行重建处理以转换为3D图像，此处的重建处理是指将二维的投影图像重新投影至3D空间中的处理。
(4)沉浸媒体的渲染过程。
解码设备根据媒体呈现描述信息中与渲染、视窗相关的元数据对音频解码得到的音频内容及视频解码得到的3D图像进行渲染，渲染完成即实现了对该3D图像的播放输出。特别地，如果采用3DoF和3DoF+的制作技术，解码设备主要基于当前视点、视差、深度信息等对3D图像进行渲染，如果采用6DoF的制作技术，解码设备主要基于当前视点对视窗内的3D图像进行渲染。其中，视点指用户的观看位置点，视差是指用户的双目产生的视线差或由于运动产生的视线差，视窗是指观看区域。
沉浸媒体系统支持数据盒(Box)，数据盒是指包括元数据的数据块或对象，即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒，例如包括球面区域缩放数据盒(Sphere Region Zooming Box)，其包含用于描述球面区域缩放信息的元数据；2D区域缩放数据盒(2DRegionZoomingBox)，其包含用于描述2D区域缩放信息的元数据；区域封装数据盒(Region Wise PackingBox)，其包含用于描述区域封装过程中的相应信息的元数据等。
例如图4所示，编码设备端输出的文件(F)与解码设备端输入的文件(F')相同。解码设备端处理文件(F')或接收到的片段(F's)以提取编码比特流(E'a、E'v和/或E'i)，并解析元数据。视口相关视频数据可以在多个轨道中承载，在解码之前，这些轨道可以在位流中重写，并合并成单个视频位流E'v。然后将音频、视频和/或图像解码为解码信号(B'a为音频信号，D'为图像/视频信号)。基于当前的观看方向或视口，以及元数据中的投影、球形覆盖、旋转和区域等信息，将解码的图像/视频(D')显示在头戴式显示器或任何其他显示设备的屏幕上。其中当前观看方向由头部跟踪信息和/或眼部跟踪信息确定。同时，解码后的音频信号(B'a)被渲染，例如通过耳机被用户接听。除了视频信号和音频信号被渲染之外，当前观看方向也可以被用于优化解码。在视口的相关交付中，当前观看方向也会传递给策略模块，该模块根据观看方向确定要接收的视频轨道。
下面对本申请实施例涉及的相关数据盒进行介绍：
数据盒类型：‘vpia’
包含于：GroupsListBox
是否强制：否
数量：0个或多个
当EntityToGroupBox的组类型为‘vpia’时，表明该实体组内的项目为不同视点的全景图片。
语法
Figure BDA0003306696680000121
语义
group_id：为非负整数，用于标识特定的实体组。该字段的取值不能与其他任何实体组的group_id相同；也不能与其他任何包含GroupsListBox的item_ID或track_ID相同。
num_entities_in_group：指示映射到此实体组的entity_id的数目。
initial_viewpoint_ID：指示初始视点的entity_id：
entity_id：为某个项目的item_ID的取值或某个轨道的track_ID的取值。
initial_viewpoint_flag：指示该项目是否为初始视点。
viewpoint_label：指示对应视点的描述性标签，为以空字符结尾的字符串。
由上述可知，目前虽然对全景图片的不同视点进行了关联，也指示了初始视点的信息，但并未给出视点的初始视窗信息，也没有定义不同视点之间的切换策略和效果，进而导致视点的切换效果差。
为了解决上述技术问题，本申请的文件封装设备为N个视点中至少一个视点的全景图片项目添加第一信息，得到N个视点的全景图片的媒体文件，该第一信息用于指示当前视点切换至下一个视点时的切换信息。这样，文件解封装设备可以根据第一信息所指示的切换信息，来实现不同视点的全景图片的切换和呈现，进而提高了多视点全景图片的切换效果。
下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图5为本申请一实施例提供的媒体文件封装方法的流程图，如图5所示，该方法包括如下步骤：
S501、文件封装设备获取N个视点的全景图片编码后的码流。
其中，N为大于1的正整数，也就是说，本申请实施例的研究的全景图片为至少2个不同视点的全景图片，例如，3个不同视点采集的全景图片或6个不同视点采集的全景图片。
在一些实施例中，上述N个视点的全景图片在内容上不相关。
在一些实施例中，上述N个视点的全景图片中部分视点的全景图片在内容上相关。
在一些实施例中，上述N个视点的全景图片在内容上相关。
一种示例中，内容上存在关联关系可以是全景图片的内容部分或全部相同，例如N个视点的全景图片为在不同视点对同一静态场景采集的全景图片。
在另一种示例中，内容上存在关联关系还可以是全景图片对应的对象之间存在关联关系，例如，对象1为电脑、对象2为桌子，电脑放置在该桌子上，这样可以称为对象1与对象2具有关联关系。本申请实施例对全景图片之间存在的具体关联关系的类型不做限制。
在一些实施例中，文件封装设备也称为视频封装设备，或者视频编码设备等。
本申请实施例中，文件封装设备获取N个视点的全景图片编码后的码流的方式包括但不限于如下几种：
方式一，文件封装设备从其他设备处获取N个视点的全景图片编码后的码流。
例如，文件封装设备从存储设备处获取N个视点的全景图片编码后的码流，或者从其他编码设备处获取N个视点的全景图片编码后的码流。
方式二，文件封装设备对N个视点的全景图片进行编码，得到N个视点的全景图片编码后的码流。例如，文件封装设备为编码设备，文件封装设备从采集设备(例如相机)处获取N个视点的全景图片后，对N个视点的全景图片进行编码，得到N个视点的全景图片的码流。
S502、文件封装设备将码流封装在实体组中，并为N个视点中至少一个视点的全景图片项目添加第一信息，得到N个视点的全景图片的媒体文件。
其中，第一信息用于指示当前视点切换至下一个视点时的切换信息。
文件封装设备将N个视点的全景图片的码流封装在一个或多个实体组中，一个实体组中包括至少一个视点的全景图片的码流。
举例说明，假设N＝100，每10个项目划分在一个实体组中，进而得到10个实体组，每个实体组中包括10个视点的全景图片的码流。
本申请为便于文件解封装设备对媒体文件进行处理，为N个视点中至少一个视点的全景图片添加第一信息，该第一信息用于指示从该第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。例如，N为6，对于6个视点中视点1、视点2和视点3对应的全景图片分别添加第一信息，其中视点1对应的第一信息用于指示从视点1的全景图片切换至下一个视点的全景图片时的切换信息，视点2对应的第一信息用于指示从该视点2的全景图片切换至下一个视点的全景图片时的切换信息，视点3对应的第一信息用于指示从该视点3的全景图片切换至下一个视点的全景图片时的切换信息。
基于此，文件解封装设备获得N个视点的全景图片媒体文件后，可以根据媒体文件中的第一信息，首先不同视点的全景图片的切换，进而提高了多视点全景图片的切换效果。
为了便于描述，本申请实施例是以至少一个视点中的当前视点为例进行说明，其他视点参照即可。
本申请实施例对第一信息在媒体文件中的具体添加位置不做限制。
在一种可能的实现方式中，第一信息可以添加在实体组内。
在一种可能的实现方式中，实体组包括N个视点的全景图片的码流，可以将每个视点的全景图片的码流称为一个项目(或实体)，这样实体组包括N个项目(或实体)，不同视点对应的第一信息可以添加在不同视点对应的项目(或实体)中，例如添加在项目(或实体)的头部或尾部。
在一种可能的实现方式中，上述第一信息可以添加在添加在媒体文件中该实体组外，例如作为一个单独的数据盒进行指示。
在一些实施例中，上述第一信息指示的从当前视点的全景图片切换至下一个视点的全景图片时的切换信息包括切换效果信息、切换视点信息、切换视窗信息中的至少一个。
在一些实施例中，上述切换效果信息包括切换效果标志，切换效果标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否存在切换效果。
可选的，可以使用字段transition_type_flag表示切换效果标志。
例如，若切换效果标志transition_type_flag的取值为第一数值(例如1)时，表示从当前视点的全景图片切换至下一个视点的全景图片时存在切换效果。
再例如，若切换效果标志transition_type_flag的取值为第十一数值(例如0)时，表示从当前视点的全景图片切换至下一个视点的全景图片时无规定的切换效果。
本申请对上述第一数值和第十一数值的具体取值不做限制，例如第一数值为1，第十一数值为0。
在一些实施例中，若上述切换效果标志transition_type_flag的取值为第一数值时，则上述切换效果信息还可以包括切换效果时长信息。
在一些实施例中，上述切换效果时长信息可以包括切换效果时长标志transition_period_flag，该切换效果时长标志transition_period_flag用于指示从当前视点的全景图片切换至下一个视点的全景图片时是否规定了切换效果的持续时间。
可选的，可以使用字段transition_period_flag表示切换效果时长标志。
例如，若切换效果时长标志transition_period_flag的取值为第二数值时，则表示从当前视点的全景图片切换至下一个视点的全景图片时规定了切换效果的持续时间。
再例如，若切换效果时长标志transition_period_flag的取值为第十二数值时，则表示从当前视点的全景图片切换至下一个视点的全景图片时没有规定切换效果的持续时间。
本申请对上述第二数值和第十二数值的具体取值不做限制，例如第二数值为1，第十二数值为0。
在一些实施例中，若切换效果时长标志transition_period_flag的取值为第二数值时，则切换效果时长信息还可以包括切换效果的持续时间viewpoint_transition_period。
可选的，viewpoint_transition_period字段以2-4秒为单位。
基于上述切换效果的持续时间，文件解封装设备在将当前视点的全景图片切换至下一个视点的全景图片的切换过程中，以第一信息指示的切换效果的持续时间进行切换。例如，第一信息指示的切换效果的持续时间为2秒，则文件解封装设备将当前视点的全景图片切换至下一个视点的全景图片时，切换效果的持续时间为2秒，进而提高了多视点全景图片的切换效果，提升用户体验。
在一些实施例中，若上述切换效果标志的取值为第二数值(例如1)时，则切换效果信息还可以包括切换效果的类型。可选的，该第二数值与上述第一数值相同。
在一些实施例中，上述第二数值与上述第一数值相同，例如均为1，即若上述切换效果标志的取值时，则切换效果信息可以包括上述切换效果时长和切换效果类型。
可选的，可以使用字段transition_type_flag表示切换效果标志。
可选的，切换效果的类型包括步进式、缩放式、淡出淡入式、飞入式中的至少一个。
例如，若切换效果的类型transition_orientation_type字段的取值为第一预设值，则表示切换效果的类型为步进式。
例如，若切换效果的类型transition_orientation_type字段的取值为第二预设值，则表示切换效果的类型为缩放式。
例如，若切换效果的类型transition_orientation_type字段的取值为第三预设值，则表示切换效果的类型为淡出淡入式。
例如，若切换效果的类型transition_orientation_type字段的取值为第四预设值，则表示切换效果的类型为飞入式。
本申请实施例对上述第一预设值、第二预设值、第三预设值和第四预设值的具体取值不做限制。
可选的，第一预设值为0。
可选的，第二预设值为1。
可选的，第二预设值为2。
可选的，第三预设值为3。
示例性的，切换效果的类型transition_orientation_type字段的取值与切换效果的类型的对应关系如表1所示：
表1
取值 描述
0 步进式
1 缩放式
2 淡出淡入式
3 飞入式
其他 保留
需要说明的是，本申请涉及的切换效果的类型包括但不限于上述表1所示的类型。
基于上述切换效果的类型，文件解封装设备在将当前视点的全景图片切换至下一个视点的全景图片的切换过程中，以第一信息指示的切换效果的类型进行切换。例如，第一信息指示的切换效果的类型为步进式，则文件解封装设备以步进式的切换效果，将当前视点的全景图片切换至下一个视点的全景图片，进而提高了多视点全景图片的切换效果，提升用户体验。
上文对切换信息包括的切换效果信息进行介绍。
在一些实施例中，切换信息可以包括切换视点信息，该切换视点信息可以理解为当前视点可切换的下一个视点的选择信息。
在一些实施例中，切换视点信息包括相邻视点标志，该相邻视点标志用于指示当前视点可切换的下一个视点是否为当前视点的相邻视点。
可选的，可以使用字段neighbor_viewpoint_flag表示相邻视点标志。
例如，若相邻视点标志neighbor_viewpoint_flag的取值为第三数值，则表示当前视点可切换的下一个视点为当前视点的相邻视点。
再例如，若相邻视点标志neighbor_viewpoint_flag的取值为第四数值，则表示当前视点可切换的下一个视点为N个视点中的任意一个视点。
本申请对上述第三数值和第四数值的具体取值不做限制，例如第三数值为1，第四数值为0。
可选的，相邻视点标志neighbor_viewpoint_flag字段的默认取值为0。
在一些实施例中，若相邻视点标志neighbor_viewpoint_flag的取值为第三数值，则上述切换视点信息还可以包括当前视点可切换的目标相邻视点的数目num_neighbor_vp，以及目标相邻视点的视点标识符neighbor_vp_id中的至少一个。
可选的，上述使用目标相邻视点的项目标识符neighbor_entity_id来唯一标识目标相邻视点的视点。
基于上述相邻视点标志，文件解封装设备在将当前视点的全景图片切换至下一个视点的全景图片的切换过程中，根据第一信息指示的相邻视点标志，确定出当前视点可以切换的下一个视点，并对该下一个视点的媒体文件进行解封装后解码，得到该下一个视点的全景图片，进而将当前视点的全景图片切换至下一个视点的全景图片，实现多视点全景图片的切换的准确性，进而提高了多视点全景图片的切换效果。
上文对切换信息包括的切换视点信息进行介绍。
在一些实施例中，切换信息可以包括切换视窗类型，该切换视窗类型可以理解为当前视点切换至下一个视点时，下一个视点的初始视窗的选择策略。
在一些实施例中，切换视窗信息包括切换视窗类型，该切换视窗类型用于从所述当前视点的全景图片切换至下一个视点的全景图片时，下一个视点的初始视窗的类型。可选的，切换视窗类型可以用字段transition_orientation_type表示。
例如，若切换视窗类型transition_orientation_type的取值为第五数值，则表示下一个视点的初始视窗与当前视点的用户观看视窗相同。
再例如，若切换视窗类型transition_orientation_type的取值为第六数值，则表示下一视点的初始视窗由下一视点的推荐视窗属性信息决定。
本申请对上述第五数值和第六数值的具体取值不做限制，例如第五数值为0，第六数值为1。
可选的，切换视窗类型transition_orientation_type字段的默认取值为0。
基于上述切换视窗类型，文件解封装设备在将当前视点的全景图片切换至下一个视点的全景图片时，可以根据上述切换视窗类型，确定出下一个视点的全景图片的初始视窗，并向用户显示该初始视窗。
上述以至少一个视点中的当前视点为例，对当前视点的全景图片对应的第一信息进行了介绍。
在一些实施例中，上述至少一个视点对应的第一信息可以包括在上述实体组中。
在一些实施例中，上述至少一个视点对应的第一信息可以包括在第一数据盒中，即上述至少一个视点中每个视点的第一信息通过第一数据盒进行关联。这样，文件解封装设备通过解码该第一数据盒可以得到至少一个视点对应的第一信息，进而根据至少一个视点对应的第一信息，实现多视点全景图片之间的切换，以提高多视点全景图片的切换效果。
在一些实施例中，为了进一步提高多视点全景图片的切换效果，文件封装设备还为N个视点中至少一个视点添加标识符，这样文件解封装设备可以通过该视点添加标识符，快速确定出切换的视点，进一步提升多视点全景图片的切换效果。
可选的，可以使用字段viewpoint_id来表示视点添加标识符。
在一些实施例中，上述视点添加标识符可以位于实体组中。
在一些实施例中，上述至少一个视点的标识符位于第一数据盒中。
本申请实施例对上述第一数据盒的具体类型不做限制，例如，上述第一数据盒可以为全新的数据盒，即新增的数据盒。可选的，上述第一数据盒可以对媒体文件中已有的数据盒，对该已有数据盒进行了扩展。
在一些实施例中，上述第一数据盒可以为全景视点项目关联数据盒(ViewpointItemAssociationBox，简称vpia)。
在一些实施例中，若上述媒体文件的封装标准为ISOBMFF，则本申请实施例的第一数据盒包括如下内容：
数据盒类型：‘vpia’
包含于：GroupsListBox
是否强制：否
数量：0个或多个
当EntityToGroupBox的组类型为‘vpia’时，表明该实体组内的项目为不同视点的全景图片。
语法
Figure BDA0003306696680000201
Figure BDA0003306696680000211
语义
group_id：为非负整数，用于标识特定的实体组。该字段的取值不能与其他任何实体组的group_id相同；也不能与其他任何包含GroupsListBox的item_ID或track_ID相同。
num_entities_in_group：指示映射到此实体组的entity_id的数目。
entity_id：为某个项目的item_ID的取值。
viewpoint_id：指示每个视点的标识符：
initial_viewpoint_flag：指示该项目是否为初始视点。
transition_type_flag：取值为1表明当前视点切换至下一视点时，存在切换效果。取值为0表明当前视点切换至下一视点时，无规定的切换效果。
transition_period_flag：取值为1表明当前视点切换至下一视点时，指定了切换效果的持续时间。取值为0表明当前视点切换至下一视点时，无规定的切换效果持续时间。
transition_orientation_type：取值为0表明当前视点切换至下一视点时，下一视点的初始视窗与当前视点的用户观看视窗相同；取值为1表明该当前视点切换至下一视点时，下一视点的初始视窗由下一视点的推荐视窗属性决定。该字段默认取值为0。
neighbor_viewpoint_flag：取值为1表明当前视点仅能切换至相邻的视点；取值为0表明当前视点可以切换至当前实体组中的任一视点。该字段默认取值为0。
viewpoint_transition_type：指示视点切换时的切换效果类型，取值含义如下表所示。
其中，视点切换类型如表2所示：
取值 描述
0 步进式
1 缩放式
2 淡出淡入式
3 飞入式
其他 保留
viewpoint_transition_period：指示视点切换效果的持续时间，该字段以2-4秒为单位。
num_neighbor_vp：指示当前视点可切换的目标相邻视点的数目。
neighbor_vp_id指示目标相邻视点的视点标识符。
可选地，也可用目前相邻视点的项目标识符neighbor_entity_id来唯一标识目标相邻视点。
viewpoint_label：指示对应视点的描述性标签，为以空字符结尾的字符串。
在实现方式中，以第一字段作为第一指示信息，通过对第一字段取不同的值，来指示该实体组内存在关联关系的项目类型。这样，文件解封装设备接收到媒体文件后，根据该第一数据盒中第一字段的取值，可以确定出该实体组内存在关联关系的项目的类型，进而再根据实际需要选择性解码该实体组内的部分或全部项目进行展示。
需要说明的是，上述实施例对第一信息进行举例说明，但是本申请实施例的第一信息包括但不限于如上实施例所示，本申请实施例对此不做限制。
本申请提供的媒体文件封装方法，文件封装设备获取N个视点的全景图片编码后的码流，N为大于1的正整数；将上述码流封装在实体组中，并为N个视点中至少一个视点的全景图片分别添加第一信息，得到N个视点的全景图片的媒体文件，第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。这样使得文件解封装设备可以根据第一信息所指示的切换信息，来实现不同视点的全景图片的切换和呈现，进而提高了多视点全景图片的切换效果。
在一些实施例中，文件封装设备除了在媒体文件中为N个视点中至少一个视点的全景图片添加第一信息外，还为至少一个视点的全景图片添加第二信息。该第二信息用于指示当前视点的全景图片的推荐视窗属性信息。
在一些实施例中，当前视点的全景图片的推荐视窗属性信息包括：推荐的球面区域的数目，以及推荐的球面区域的信息中的至少一个。
本申请的推荐的球面区域可以为一个或多个。
可选的，推荐的球面区域中的第一个球面区域为当前视点的初始视窗。
可选的，推荐的球面区域的信息包括如下至少一个：球面区域的方位角和俯仰角、球面区域的倾斜角角度、球面区域中方位角和俯仰角范围、球面区域中心的范围等。
在一些实施例中，上述第二信息包括在实体组中。
在一些实施例中，上述第二信息包括在第二数据盒中。
本申请实施例对上述第二数据盒的类型不做限制，例如，上述第二数据盒可以为全新的数据盒，即新增的数据盒。可选的，上述第二数据盒可以对媒体文件中已有的数据盒，对该已有数据盒进行了扩展。
在一些实施例中，若上述媒体文件的封装标准为ISOBMFF，则本申请实施例的第二数据盒包括如下内容：
数据盒类型：'rcsp'
属性类型：描述性属性
包含于：ItemPropertyContainerBox
Mandatory(per item)：否
Quantity(per item)：0个或1个
全景图片推荐视窗属性用于描述全景图片的推荐球面区域。
Figure BDA0003306696680000231
num_sphere_regions：指示推荐的球面区域的数目。其中第一个推荐视窗为该视点的初始视窗。
SphereRegionStruct：指示推荐的球面区域的信息，代码如下：
aligned(8)SphereRegionStruct(range_included_flag){
signed int(32)centre_azimuth；
signed int(32)centre_elevation；
singed int(32)centre_tilt；
if(range_included_flag){
unsigned int(32)azimuth_range；
unsigned int(32)elevation_range；
}
unsigned int(1)interpolate；
bit(7)reserved＝0；
}
语义
centre_azimuth和centre_elevation，分别指定以2-16为精度的球面区域中的方位角和俯仰角的值。centre_azimuth的范围是[-π*216,π*216-1]。entre_elevation的范围是[-π/2*216,π/2*216]
centre_tilt，指定以2-16为精度的球面区域的倾斜角角度，范围是[-180°*216,180°*216-1]。
azimuth_range和elevation_range，如果存在，分别指定以2-16为精度的球面区域中方位角和俯仰角范围。azimuth_range和elevation_range指定球面区域中心的范围。当azimuth_range和elevation_range不存在于SphereRegionStruct的实例中，则在包含SphereRegionStruct实例的结构语义中指定。azimuth_range的范围是[0,2π*216]，elevation_range的范围是[0,π*216]。
可选的，Interpolate在包含SphereRegionStruct实例的结构语义中指定。
本申请实施例的文件封装方法，文件封装设备通过至少一个视点的全景图片添加推荐视窗属性信息，进而使得文件解封装设备根据该推荐视窗属性信息来确定视点切换后的初始视窗，例如，若上述切换视窗类型的取值为第六数值，则文件解封装设备根据下一个视点的全景图片的推荐视窗属性信息，确定下一个视点的全景图片的初始视窗，进而从当前视点切换至下一个视点时，向用户显示该下一个视点的全景图片的初始视窗，进而提高了多视点全景图片的切换和显示效果。
上文对本申请实施例涉及的媒体文件的封装方法进行介绍，下面结合具体实施例，对本申请实施例涉及的媒体文件的解封装方法进行介绍。
图6为本申请一实施例提供的媒体文件的解封装方法流程图，如图6所示，本申请实施例的方法包括：
S601、文件解封装设备获取N个视点的全景图片的媒体文件。
其中，媒体文件包括N个视点中至少一个视点的全景图片项目的第一信息，该第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。
其中，媒体文件还包括实体组，该实体组用于封装N个视点的全景图片的码流。
本申请中文件解封装设备获取N个视点的全景图片的媒体文件的方式包括但不限于如下几种：
方式一，文件解封装设备接收文件封装设备发送的媒体文件。例如，文件封装设备根据上述实施例的文件封装方法，封装得到该媒体文件后，将该媒体文件发送给文件解封装设备。
方式二，文件解封装设备从其他存储设备(例如云端服务器)处，获得该媒体文件。例如，文件封装设备根据上述实施例的文件封装方法，封装得到该媒体文件后，将该媒体文件发送给存储设备，例如发送给云端服务器。文件解封装设备在需要消费该媒体文件时，例如接收到用户的消费请求时，从存储设备中读取该媒体文件供用户消费。
S602、文件解封装设备根据至少一个视点对应的第一信息，进行不同视点的全景图片之间的切换。
由上述可知，本申请实施例的N个视点的全景图片的媒体文件中包括N个视点中至少一个视点的全景图片的第一信息，该至少一个视点中每个视点对应的第一信息用于指示从该当前视点的全景图片切换至下一个视点的全景图片时的切换信息。这样，文件解封装设备获取该媒体文件后，可以根据该该第一信息所指示切换信息，进行不同视点的全景图片之间的切换，进而提高了多视点全景图片的切换效果。例如，视点1可以切换至视点2，这样在将视点1切换至视点2时，根据视点1对应的第一信息所指示的切换信息，进行两个视点之间的全景图片切换，不仅提高两个视点全景图片之间切换的准确性，且提升切换效果，增强用户的消费体验。
为了便于描述，本申请实施例以上述至少一个视点中的当前视点为例进行说明，其他视点参照即可。该当前视点可以理解为上述至少一个视点中的任意一个视点。
上述至少一个视点可以为N个视点中的全部视点，也可以是N个视点中的部分视点。
在一些实施例中，上述S602包括如下步骤S602-A至S602-C：
S602-A、文件解封装设备在用户消费当前视点的全景图片时，接收用户输入的视点切换操作。
该视点切换操作用于指示从当前视点切换至下一个视点。
可选的，上述切换操作为用户通过手势方式输入的。
可选的，上述切换操作为用于通过语音方式输入的。
可选的，上述切换操作为用户通过物理按键输入的。
可选的，上述切换操作可以是文件解封装设备捕捉到的用户的观看角度，例如用户头部的偏移位置。
本申请实施例对用户输入切换操作的方式不做限制。
S602-B、文件解封装设备响应于视点切换操作，对当前视点的下一个视点对应的全景图片项目进行解封装后解码，得到当前视点的下一个视点对应的全景图片。
具体是，确定出当前视点可切换的下一个视点，从媒体文件中获取该下一个视点对应的全景图片项目，该全景图片项目可以理解为封装该下一个视点对应的全景图片的码流的容器。对该下一个视点对应的全景图片项目进行解封装，得到该下一个视点对应的全景图片的码流，再对下一个视点对应的全景图片的码流进行解码，得到该下一个视点对应的全景图片。
S602-C、文件解封装设备根据当前视点的第一信息，将当前视点的全景图片切换至下一个视点的全景图片。
具体是根据当前视点的第一信息指示的切换信息，将当前视点的全景图片切换至下一个视点的全景图片。
在一些实施例中，切换信息包括切换效果信息、切换视点信息、切换视窗信息中的至少一个。
在一些实施例中，切换效果信息包括切换效果标志，切换效果标志用于指示从当前视点的全景图片切换至下一个视点的全景图片时是否存在切换效果。
在一些实施例中，若切换效果标志的取值为第二数值(例如1)时，该第二数值用于指示从当前视点的全景图片切换至下一个视点的全景图片时存在切换效果，则切换效果信息还包括切换效果的类型。
可选的，切换效果的类型包括步进式、缩放式、淡出淡入式、飞入式中的至少一个。
在一些实施例中，若当前视点的第一信息包括切换效果的类型，则上述S602-C包括：
S602-C1、文件解封装设备根据切换效果的类型，将当前视点的全景图片切换至下一个视点的全景图片。
例如，当前视点的第一信息所包括的切换效果的类型为飞入式，则文件解封装设备以飞入式的切换效果，将当前视点的全景图片切换至下一个视点的全景图片。
在一些实施例中，若切换效果标志的取值为第一数值(例如1)时，则切换效果信息还包括切换效果时长信息。可选的，该第一数值与上述第二数值相同。
在一些实施例中，切换效果时长信息包括切换效果时长标志，该切换效果时长标志用于指示从当前视点的全景图片切换至下一个视点的全景图片时是否规定了切换效果的持续时间。
在一些实施例中，若切换效果时长标志的取值为第一数值(例如1)时，该第一数值用于指示从当前视点的全景图片切换至下一个视点的全景图片时规定了切换效果的持续时间，则切换效果时长信息还包括切换效果的持续时间。
在一些实施例中，若当前视点的第一信息包括切换效果的持续时间，则上述S602-C1包括：
S602-C11、文件解封装设备根据切换效果的类型和持续时间，将当前视点的全景图片切换至下一个视点的全景图片。
例如，当前视点的第一信息所包括的切换效果的类型为飞入式，切换效果的持续时间为2秒，则文件解封装设备以切换效果为飞入式，将当前视点的全景图片切换至下一个视点的全景图片，且该飞入式的切换效果的持续时间为2秒。
在一些实施例中，上述切换视点信息包括相邻视点标志，该相邻视点标志用于指示当前视点可切换的下一个视点是否为当前视点的相邻视点。
在一些实施例中，若相邻视点标志的取值为第三数值，则表示当前视点可切换的下一个视点为当前视点的相邻视点；若相邻视点标志的取值为第四数值，则表示当前视点可切换的下一个视点为N个视点中的任意一个视点。
基于此，若第一信息包括切换视点信息，则上述S602-B中对下一个视点对应的全景图片项目进行解封装后解码，得到下一个视点对应的全景图片，包括S602-B1和S602-B2的步骤：
S602-B1、文件解封装设备根据当前视点对应的相邻视点标志的取值，确定当前视点可切换的下一个视点；
S602-B2、文件解封装设备对下一个视点的全景图片项目进行解封装后解码，得到下一个视点的全景图片。
例如，若当前视点对应的切换视点信息包括的相邻视点标志的取值为第三数值时，则确定当前视点可切换的下一个视点为当前视点的相邻视点，进而对当前视点的相邻视点的全景图片项目进行解封装后解码，得到当前视点的相邻视点的全景图片，将当前视点的相邻视点的全景图片作为当前视点的下一个视点的全景图片。
再例如，若当前视点对应的切换视点信息包括的相邻视点标志的取值为第四数值时，则确定当前视点可切换的下一个视点为当前实体组中任意一个视点。这样，文件解封装设备可以根据需要对实体组内的任意一个视点对应的全景图片项目进行解封装后解码，得到当前视点的下一个视点的全景图片。
在一些实施例中，若上述相邻视点标志的取值为第三数值，则切换视点信息还可以包括当前视点可切换的目标相邻视点的数目，以及目标相邻视点的视点标识符中的至少一个。
在一些实施例中，切换视窗信息包括切换视窗类型，该切换视窗类型用于从当前视点的全景图片切换至下一个视点的全景图片时，下一个视点的初始视窗的类型。
在一些实施例中，若切换视窗类型的取值为第五数值，则表示下一个视点的初始视窗与当前视点的用户观看视窗相同；若切换视窗类型的取值为第六数值，则表示下一视点的初始视窗由下一视点的推荐视窗属性信息决定。
基于此，若当前视点对应的第一信息包括切换视窗类型，则上述S602-C包括：
S602-C21、文件解封装设备根据切换视窗类型，确定下一个视点的全景图片的初始视窗；
S602-C22、文件解封装设备将当前视点的全景图片切换至下一个视点的全景图片后，向用户显示下一个视点的全景图片的初始视窗。
在一些实施例中，媒体文件还包括N个视点中至少一个视点的全景图片的第二信息，该第二信息用于指示当前视点的全景图片的推荐视窗属性信息。
基于此，若切换视窗类型的取值为第六数值，则上述S602-C21包括S602-C211和S602-C212的步骤：
S602-C211、文件解封装设备获取当前视点的下一个视点对应的第二信息；
S602-C212、文件解封装设备根据第二信息所指示的下一个视点的全景图片的推荐视窗属性信息，确定下一个视点的全景图片的初始视窗。
在一些实施例中，当前视点的全景图片的推荐视窗属性信息包括：推荐的球面区域的数目，以及推荐的球面区域的信息中的至少一个。
可选的，推荐的球面区域的信息包括如下至少一个：球面区域的方位角和俯仰角、球面区域的倾斜角角度、球面区域中方位角和俯仰角范围、球面区域中心的范围等。
在一些实施例中，推荐的球面区域中的第一个球面区域为当前视点的初始视窗。
在一些实施例中，上述至少一个视点中每个视点对应的第一信息通过第一数据盒进行关联，这样文件解封装设备通过解析该第一数据盒，可以得到各视点对应的第一信息。
在一些实施例中，媒体文件中还包括N个视点中至少一个视点的标识符。
在一些实施例中，上述至少一个视点的标识符可以位于第一数据盒中。
本申请实施例提供的文件解封装方法，文件解封装设备通过媒体文件中包括的第一信息所指示的切换信息，来实现不同视点的全景图片之间的切换，进而提高了多视点全景图片之间切换的可靠性和切换效果，提升用户体验。
图7为本申请一实施例提供的媒体文件封装与解封装交互流程示意图，如图7所示，包括：
S701、文件封装设备获取N个视点的全景图片编码后的码流。
S702、文件封装设备将码流封装在实体组中，并为N个视点中至少一个视点的全景图片项目添加第一信息，得到N个视点的全景图片的媒体文件。
上述S701和S702的实现过程与上述S501和S502的实现过程一致，参照上述S501和S502的描述，在此不再赘述。
S703、文件封装设备将N个视点的全景图片的媒体文件发送给文件解封装设备。
S704、文件解封装设备根据至少一个视点对应的第一信息，进行不同视点的全景图片之间的切换。
例如，文件解封装设备在用户消费当前视点的全景图片时，接收用户输入的视点切换操作，该视点切换操作用于指示从当前视点切换至下一个视点。文件解封装设备响应于视点切换操作，对当前视点可切换的下一个视点对应的全景图片项目进行解封装后解码，得到当前视点的下一个视点对应的全景图片，并根据当前视点的第一信息，将当前视点的全景图片切换至下一个视点的全景图片。
上述S704的实现过程与上述S602的实现过程一致，参照上述S602的描述，在此不再赘述。
为了进一步说明本申请实施例的技术方案，下面进行举例说明。
举例说明，文件封装设备根据全景图片项目之间的关联关系，将内容上存在关联关系的多个全景图片使用ViewpointItemAssociationBox数据盒(该数据盒可以理解为上述第一数据盒)进行关联，并指示每个视点对应的全景图片的viewpoint ID。
在该示例中，以上述至少一个视点为N个视点为例，即文件封装设备为N个视点中每个视点对应的全景图片均添加第一信息。
文件封装设备封装媒体文件的过程包括如下步骤：
步骤1，文件封装设备对每个视点对应的全景图片项目，根据其推荐视窗的情况，为该项目添加对应的推荐视窗属性信息。
步骤2，文件封装设备对每个视点对应的全景图片项目，定义其切换至下一个视点时的切换效果以及是否使用下一个视点的推荐视窗。
步骤3，文件封装设备对每个视点对应的全景图片项目，指示其可切换的邻近视点的信息。
步骤4，文件封装设备传输媒体文件。
其中，第一数据盒ViewpointItemAssociationBox包括3个全景图片项目，分别为entity_id＝1、entity_id＝2和entity_id＝3，分别为这3个全景图片项目添加第一信息，如下内容：
{entity_id＝1；viewpoint_id＝1；initial_viewpoint_flag＝1；transition_type_flag＝1；transition_period_flag＝1；transition_orientation_type＝0；neighbor_viewpoint_flag＝1；viewpoint_transition_type＝0；viewpoint_transition_period＝32；num_neighbor_vp＝1；neighbor_vp_id＝2}；
{entity_id＝2；viewpoint_id＝2；initial_viewpoint_flag＝0；transition_type_flag＝1；transition_period_flag＝1；transition_orientation_type＝0；neighbor_viewpoint_flag＝1；viewpoint_transition_type＝0；viewpoint_transition_period＝32；num_neighbor_vp＝1；neighbor_vp_id＝3}；
{entity_id＝3；viewpoint_id＝3；initial_viewpoint_flag＝0；transition_type_flag＝1；transition_period_flag＝1；transition_orientation_type＝1；neighbor_viewpoint_flag＝0；viewpoint_transition_type＝0；viewpoint_transition_period＝32}。
步骤5，文件解封装设备接收媒体文件，并根据第一数据盒ViewpointItemAssociationBox中的信息，进行不同视点对应的全景图片之间的切换，具体包括如下步骤：
a)，初始视点为viewpoint1，因此文件解封装设备先呈现viewpoint1；
b)，用户在消费视点1的全景图片的过程中，可以通过交互操作(该交互操作可以了为上述的切换操作)切换至视点2(由第一数据盒中视点1对应的第一信息可知，视点1只能切换至视点2)，切换效果为步进式切换，效果持续时间为2秒。切换至视点2后，为用户呈现在观看视点1时的相同球面区域。
c)，用户在消费视点2的过程中，可以切换至视点3(由第一数据盒中视点2对应的第一信息可知，视点2只能切换至视点3)，切换效果为步进式切换，效果持续时间为2秒。切换至视点3后，为用户呈现在观看视点2时的相同球面区域。
d)，用户在消费视点3的过程中，可以切换至视点1或者视点2，切换效果为步进式切换，效果持续时间为2秒。切换至视点1或者视点2后，根据视点1或者视点2的推荐视窗属性信息RcSphereRegionProperty{centre_azimuth＝0；centre_elevation＝0；centre_tilt＝0；azimuth_range＝60；elevation_range＝60}为用户呈现视点1或者视点2相应的推荐球面区域。
本申请实施例提供的媒体文件解封装方法，通过为N个视点中至少一个视点分别添加第一信息，该第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息，进而使得文件解封装设备根据该第一信息，实现不同视点的全景图片之间的切换，可以更好地解决多视点全景图片的切换和呈现问题，提升切换效果和用户体验。
应理解，图5至图7仅为本申请的示例，不应理解为对本申请的限制。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。
上文结合图5至图7，详细描述了本申请的方法实施例，下文详细描述本申请的装置实施例。
图8为本申请一实施例提供的媒体文件封装装置的结构示意图，该装置10应用于文件封装设备，该装置10包括：
获取单元11，用于获取N个视点的全景图片编码后的码流，所述N为大于1的正整数；
封装单元12，用于将所述码流封装在实体组中，并为所述N个视点中至少一个视点的全景图片分别添加第一信息，得到所述N个视点的全景图片的媒体文件，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。
在一些实施例中，所述切换信息包括切换效果信息、切换视点信息、切换视窗信息中的至少一个。
在一些实施例中，所述切换效果信息包括切换效果标志，所述切换效果标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否存在切换效果。
在一些实施例中，若所述切换效果标志的取值为第一数值(例如1)时，则所述切换效果信息还包括切换效果时长信息，所述第一数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时存在切换效果。
在一些实施例中，所述切换效果时长信息包括切换效果时长标志，所述切换效果时长标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否规定了切换效果的持续时间。
在一些实施例中，若所述切换效果时长标志的取值为第一数值时，则所述切换效果时长信息还包括所述切换效果的持续时间，所述第一数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时规定了切换效果的持续时间。
在一些实施例中，若所述切换效果标志的取值为第二数值(例如1)时，则所述切换效果信息还包括所述切换效果的类型，所述第二数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时存在切换效果。
可选的，所述切换效果的类型包括步进式、缩放式、淡出淡入式、飞入式中的至少一个。
在一些实施例中，所述切换视点信息包括相邻视点标志，所述相邻视点标志用于指示所述当前视点可切换的下一个视点是否为所述当前视点的相邻视点。
在一些实施例中，若所述相邻视点标志的取值为第三数值，则表示所述当前视点可切换的下一个视点为所述当前视点的相邻视点；
若所述相邻视点标志的取值为第四数值，则表示所述当前视点可切换的下一个视点为所述N个视点中的任意一个视点。
在一些实施例中，若所述相邻视点标志的取值为第三数值，则所述切换视点信息还包括所述当前视点可切换的目标相邻视点的数目，以及所述目标相邻视点的视点标识符中的至少一个。
在一些实施例中，所述切换视窗信息包括切换视窗类型，所述切换视窗类型用于从所述当前视点的全景图片切换至下一个视点的全景图片时，所述下一个视点的初始视窗的类型。
在一些实施例中，若所述切换视窗类型的取值为第五数值，则表示所述下一个视点的初始视窗与所述当前视点的用户观看视窗相同；
若所述切换视窗类型的取值为第六数值，则表示所述下一视点的初始视窗由所述下一视点的推荐视窗属性信息决定。
在一些实施例中，所述至少一个视点中每个视点对应的第一信息通过第一数据盒进行关联。
在一些实施例中，封装单元12，还用于为所述N个视点中至少一个视点添加标识符。
可选的，所述至少一个视点的标识符位于所述第一数据盒中。
在一些实施例中，封装单元12，还用于为所述N个视点中至少一个视点的全景图片添加第二信息，所述第二信息用于指示所述当前视点的全景图片的推荐视窗属性信息。
在一些实施例中，所述当前视点的全景图片的推荐视窗属性信息包括：推荐的球面区域的数目，以及推荐的球面区域的信息中的至少一个。
在一些实施例中，所述推荐的球面区域中的第一个球面区域为所述当前视点的初始视窗。
可选的，所述第二信息包括于第二数据盒中。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图8所示的装置10可以执行文件封装设备对应的方法实施例，并且装置8中的各个模块的前述和其它操作和/或功能分别为了实现文件封装设备对应的方法实施例，为了简洁，在此不再赘述。
图9为本申请一实施例提供的媒体文件解封装装置的结构示意图，该装置20应用于文件解封装设备，该装置20包括：
获取单元21，用于获取N个视点的全景图片的媒体文件，所述媒体文件包括所述N个视点中至少一个视点的全景图片的第一信息，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息；
解封装单元22，用于根据所述至少一个视点对应的第一信息，进行不同视点的全景图片之间的切换。
在一些实施例中，解封装单元22，具体用于在用户消费当前视点的全景图片时，接收所述用户输入的视点切换操作，所述视点切换操作用于指示从所述当前视点切换至下一个视点；响应于所述视点切换操作，对所述下一个视点对应的全景图片项目进行解封装后解码，得到所述下一个视点对应的全景图片；根据所述当前视点的第一信息，将所述当前视点的全景图片切换至下一个视点的全景图片。
在一些实施例中，所述切换信息包括切换效果信息、切换视点信息、切换视窗信息中的至少一个。
在一些实施例中，所述切换效果信息包括切换效果标志，所述切换效果标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否存在切换效果。
在一些实施例中，若所述切换效果标志的取值为第二数值(例如1)时，则所述切换效果信息还包括所述切换效果的类型，所述第二数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时存在切换效果。
可选的，所述切换效果的类型包括步进式、缩放式、淡出淡入式、飞入式中的至少一个。
在一些实施例中，若所述当前视点的第一信息包括所述切换效果的类型，则解封装单元22，具体用于根据所述切换效果的类型，将所述当前视点的全景图片切换至下一个视点的全景图片。
在一些实施例中，若所述切换效果标志的取值为第一数值(例如1)时，则所述切换效果信息还包括切换效果时长信息，所述第一数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时存在切换效果。
在一些实施例中，所述切换效果时长信息包括切换效果时长标志，所述切换效果时长标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否规定了切换效果的持续时间。
在一些实施例中，若所述切换效果时长标志的取值为第一数值时，则所述切换效果时长信息还包括所述切换效果的持续时间，所述第一数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时规定了切换效果的持续时间。
在一些实施例中，若所述当前视点的第一信息包括所述切换效果的持续时间，则解封装单元22，具体用于根据所述切换效果的类型和持续时间，将所述当前视点的全景图片切换至下一个视点的全景图片。
在一些实施例中，所述切换视点信息包括相邻视点标志，所述相邻视点标志用于指示所述当前视点可切换的下一个视点是否为所述当前视点的相邻视点。
在一些实施例中，若所述相邻视点标志的取值为第三数值，则表示所述当前视点可切换的下一个视点为所述当前视点的相邻视点；若所述相邻视点标志的取值为第四数值，则表示所述当前视点可切换的下一个视点为所述N个视点中的任意一个视点。
在一些实施例中，若所述第一信息包括切换视点信息，则所述解封装单元22，具体用于根据所述相邻视点标志的取值，确定所述当前视点可切换的下一个视点；对所述下一个视点的全景图片项目进行解封装后解码，得到所述下一个视点的全景图片。
在一些实施例中，若所述相邻视点标志的取值为第三数值，则所述切换视点信息还包括所述当前视点可切换的目标相邻视点的数目，以及所述目标相邻视点的视点标识符中的至少一个。
在一些实施例中，所述切换视窗信息包括切换视窗类型，所述切换视窗类型用于从所述当前视点的全景图片切换至下一个视点的全景图片时，所述下一个视点的初始视窗的类型。
在一些实施例中，若所述第一信息包括所述切换视窗类型，则解封装单元22，具体用于根据所述切换视窗类型，确定所述下一个视点的全景图片的初始视窗；将所述当前视点的全景图片切换至下一个视点的全景图片后，向所述用户显示所述下一个视点的全景图片的初始视窗。
在一些实施例中，若所述切换视窗类型的取值为第五数值，则表示所述下一个视点的初始视窗与所述当前视点的用户观看视窗相同；
若所述切换视窗类型的取值为第六数值，则表示所述下一视点的初始视窗由所述下一视点的推荐视窗属性信息决定。
在一些实施例中，所述媒体文件还包括所述N个视点中至少一个视点的全景图片的第二信息，所述第二信息用于指示所述当前视点的全景图片的推荐视窗属性信息。
在一些实施例中，若所述切换视窗类型的取值为第六数值，则解封装单元22，具体用于获取所述下一个视点对应的第二信息；根据所述第二信息所指示的所述下一个视点的全景图片的推荐视窗属性信息，确定所述下一个视点的全景图片的初始视窗。
在一些实施例中，所述当前视点的全景图片的推荐视窗属性信息包括：推荐的球面区域的数目，以及推荐的球面区域的信息中的至少一个。
在一些实施例中，所述推荐的球面区域中的第一个球面区域为所述当前视点的初始视窗。
可选的，所述至少一个视点中每个视点对应的第一信息通过第一数据盒进行关联。
可选的，所述媒体文件中还包括所述N个视点中至少一个视点的标识符。
可选的，所述至少一个视点的标识符位于所述第一数据盒中。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图9所示的装置20可以执行服务器对应的方法实施例，并且装置20中的各个模块的前述和其它操作和/或功能分别为了实现文件解封装设备对应的方法实施例，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图10是本申请实施例提供的电子设备的示意性框图，该电子设备可以为上述的文件封装设备、或文件解封装设备，或者该电子设备具有文件封装设备和文件解封装设备的功能。
如图10所示，该电子设备40可包括：
存储器41和存储器42，该存储器41用于存储计算机程序，并将该程序代码传输给该存储器42。换言之，该存储器42可以从存储器41中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该存储器42可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中，该存储器42可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器41包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器41中，并由该存储器42执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该视频制作设备中的执行过程。
如图10所示，该电子设备40还可包括：
收发器40，该收发器43可连接至该存储器42或存储器41。
其中，存储器42可以控制该收发器43与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器43可以包括发射机和接收机。收发器43还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该视频制作设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (30)

1.一种媒体文件封装方法，其特征在于，应用于文件封装设备，包括：
获取N个视点的全景图片编码后的码流，所述N为大于1的正整数；
将所述码流封装在实体组中，并为所述N个视点中至少一个视点的全景图片分别添加第一信息，得到所述N个视点的全景图片的媒体文件，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。
2.根据权利要求1所述的方法，其特征在于，所述切换信息包括切换效果信息、切换视点信息、切换视窗信息中的至少一个；
所述切换效果信息包括切换效果标志，所述切换效果标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否存在切换效果；
所述切换视点信息包括相邻视点标志，所述相邻视点标志用于指示所述当前视点可切换的下一个视点是否为所述当前视点的相邻视点；
所述切换视窗信息包括切换视窗类型，所述切换视窗类型用于从所述当前视点的全景图片切换至下一个视点的全景图片时，所述下一个视点的初始视窗的类型。
3.根据权利要求2所述的方法，其特征在于，若所述切换效果标志的取值为第一数值时，则所述切换效果信息还包括切换效果时长信息，所述第一数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时存在切换效果，所述切换效果时长信息包括切换效果时长标志，所述切换效果时长标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否规定了切换效果的持续时间。
4.根据权利要求3所述的方法，其特征在于，若所述切换效果时长标志的取值为第一数值时，则所述切换效果时长信息还包括所述切换效果的持续时间，所述第一数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时规定了切换效果的持续时间。
5.根据权利要求2所述的方法，其特征在于，若所述切换效果标志的取值为第二数值时，则所述切换效果信息还包括所述切换效果的类型，所述第二数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时存在切换效果。
6.根据权利要求5所述的方法，其特征在于，所述切换效果的类型包括步进式、缩放式、淡出淡入式、飞入式中的至少一个。
7.根据权利要求2所述的方法，其特征在于，
若所述相邻视点标志的取值为第三数值，则表示所述当前视点可切换的下一个视点为所述当前视点的相邻视点；
若所述相邻视点标志的取值为第四数值，则表示所述当前视点可切换的下一个视点为所述N个视点中的任意一个视点。
8.根据权利要求7所述的方法，其特征在于，若所述相邻视点标志的取值为第三数值，则所述切换视点信息还包括所述当前视点可切换的目标相邻视点的数目，以及所述目标相邻视点的视点标识符中的至少一个。
9.根据权利要求2所述的方法，其特征在于，
若所述切换视窗类型的取值为第五数值，则表示所述下一个视点的初始视窗与所述当前视点的用户观看视窗相同；
若所述切换视窗类型的取值为第六数值，则表示所述下一视点的初始视窗由所述下一视点的推荐视窗属性信息决定。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述至少一个视点中每个视点对应的第一信息通过第一数据盒进行关联。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
为所述N个视点中至少一个视点添加标识符，所述至少一个视点的标识符位于所述第一数据盒中。
12.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
为所述N个视点中至少一个视点的全景图片添加第二信息，所述第二信息用于指示所述当前视点的全景图片的推荐视窗属性信息。
13.根据权利要求12所述的方法，其特征在于，所述当前视点的全景图片的推荐视窗属性信息包括：推荐的球面区域的数目，以及推荐的球面区域的信息中的至少一个。
14.一种媒体文件解封装方法，其特征在于，应用于文件解封装设备，包括：
获取N个视点的全景图片的媒体文件，所述媒体文件包括所述N个视点中至少一个视点的全景图片的第一信息，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息；
根据所述至少一个视点对应的第一信息，进行不同视点的全景图片之间的切换。
15.根据权利要求14所述的方法，其特征在于，所述根据所述至少一个视点对应的第一信息，进行不同视点的全景图片之间的切换，包括：
在用户消费当前视点的全景图片时，接收所述用户输入的视点切换操作，所述视点切换操作用于指示从所述当前视点切换至下一个视点；
响应于所述视点切换操作，对所述下一个视点对应的全景图片项目进行解封装后解码，得到所述下一个视点对应的全景图片；
根据所述当前视点的第一信息，将所述当前视点的全景图片切换至下一个视点的全景图片。
16.根据权利要求15所述的方法，其特征在于，所述切换信息包括切换效果信息、切换视点信息、切换视窗信息中的至少一个；
所述切换效果信息包括切换效果标志，所述切换效果标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否存在切换效果；
所述切换视点信息包括相邻视点标志，所述相邻视点标志用于指示所述当前视点可切换的下一个视点是否为所述当前视点的相邻视点；
所述切换视窗信息包括切换视窗类型，所述切换视窗类型用于从所述当前视点的全景图片切换至下一个视点的全景图片时，所述下一个视点的初始视窗的类型。
17.根据权利要求16所述的方法，其特征在于，若所述切换效果标志的取值为第二数值时，则所述切换效果信息还包括所述切换效果的类型，所述第二数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时存在切换效果；
所述根据所述当前视点的第一信息，将所述当前视点的全景图片切换至下一个视点的全景图片，包括：
根据所述切换效果的类型，将所述当前视点的全景图片切换至下一个视点的全景图片。
18.根据权利要求17所述的方法，其特征在于，所述切换效果的类型包括步进式、缩放式、淡出淡入式、飞入式中的至少一个。
19.根据权利要求18所述的方法，其特征在于，若所述切换效果标志的取值为第一数值时，则所述切换效果信息还包括切换效果时长信息，所述第一数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时存在切换效果，所述切换效果时长信息包括切换效果时长标志，所述切换效果时长标志用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时是否规定了切换效果的持续时间。
20.根据权利要求19所述的方法，其特征在于，若所述切换效果时长标志的取值为第一数值时，则所述切换效果时长信息还包括所述切换效果的持续时间，所述第一数值用于指示从所述当前视点的全景图片切换至下一个视点的全景图片时规定了切换效果的持续时间；
所述根据所述切换效果的类型，将所述当前视点的全景图片切换至下一个视点的全景图片，包括：
根据所述切换效果的类型和持续时间，将所述当前视点的全景图片切换至下一个视点的全景图片。
21.根据权利要求16所述的方法，其特征在于，若所述第一信息包括所述相邻视点标志，则所述对所述下一个视点对应的全景图片项目进行解封装后解码，得到所述下一个视点对应的全景图片，包括：
根据所述相邻视点标志的取值，确定所述当前视点可切换的下一个视点；
对所述下一个视点的全景图片项目进行解封装后解码，得到所述下一个视点的全景图片。
22.根据权利要求16所述的方法，其特征在于，若所述第一信息包括所述切换视窗类型，则所述根据所述当前视点的第一信息，将所述当前视点的全景图片切换至下一个视点的全景图片，包括：
根据所述切换视窗类型，确定所述下一个视点的全景图片的初始视窗；
将所述当前视点的全景图片切换至下一个视点的全景图片后，向所述用户显示所述下一个视点的全景图片的初始视窗。
23.根据权利要求22所述的方法，其特征在于，
若所述切换视窗类型的取值为第五数值，则表示所述下一个视点的初始视窗与所述当前视点的用户观看视窗相同；
若所述切换视窗类型的取值为第六数值，则表示所述下一视点的初始视窗由所述下一视点的推荐视窗属性信息决定。
24.根据权利要求23所述的方法，其特征在于，所述媒体文件还包括所述N个视点中至少一个视点的全景图片的第二信息，所述第二信息用于指示所述当前视点的全景图片的推荐视窗属性信息；
若所述切换视窗类型的取值为第六数值，则所述根据所述切换视窗类型，确定所述下一个视点的全景图片的初始视窗，包括：
获取所述下一个视点对应的第二信息；
根据所述第二信息所指示的所述下一个视点的全景图片的推荐视窗属性信息，确定所述下一个视点的全景图片的初始视窗。
25.一种媒体文件封装装置，其特征在于，应用于文件封装设备，所述装置包括：
获取单元，用于获取N个视点的全景图片编码后的码流，所述N为大于1的正整数；
封装单元，用于将所述码流封装在实体组中，并为所述N个视点中至少一个视点的全景图片分别添加第一信息，得到所述N个视点的全景图片的媒体文件，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息。
26.一种媒体文件解封装装置，其特征在于，应用于文件解封装设备，所述装置包括：
获取单元，用于获取N个视点的全景图片的媒体文件，所述媒体文件包括所述N个视点中至少一个视点的全景图片的第一信息，所述第一信息用于指示从当前视点的全景图片切换至下一个视点的全景图片时的切换信息；
解封装单元，用于根据所述至少一个视点对应的第一信息，进行不同视点的全景图片之间的切换。
27.一种文件封装设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至13中任一项所述的方法。
28.一种文件解封装设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求14至24中任一项所述的方法。
29.一种电子设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至13或14至24中任一项所述的方法。
30.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至13或14至24中任一项所述的方法。
CN202111205444.5A 2021-10-15 2021-10-15 媒体文件封装及解封装方法、装置、设备及存储介质 Active CN113949829B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111205444.5A CN113949829B (zh) 2021-10-15 2021-10-15 媒体文件封装及解封装方法、装置、设备及存储介质
PCT/CN2022/118324 WO2023061131A1 (zh) 2021-10-15 2022-09-13 媒体文件封装方法、装置、设备及存储介质
US18/472,464 US20240015197A1 (en) 2021-10-15 2023-09-22 Method, apparatus and device for encapsulating media file, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205444.5A CN113949829B (zh) 2021-10-15 2021-10-15 媒体文件封装及解封装方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113949829A true CN113949829A (zh) 2022-01-18
CN113949829B CN113949829B (zh) 2022-09-20

Family

ID=79330881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205444.5A Active CN113949829B (zh) 2021-10-15 2021-10-15 媒体文件封装及解封装方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20240015197A1 (zh)
CN (1) CN113949829B (zh)
WO (1) WO2023061131A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023061131A1 (zh) * 2021-10-15 2023-04-20 腾讯科技（深圳）有限公司 媒体文件封装方法、装置、设备及存储介质
WO2023174059A1 (zh) * 2022-03-14 2023-09-21 中兴通讯股份有限公司 数据处理方法、装置、设备、存储介质及程序产品

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076255A (zh) * 2016-04-26 2018-12-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备
CN110036641A (zh) * 2016-12-19 2019-07-19 高通股份有限公司 虚拟现实视频中的用信号表示的感兴趣区域或视点的优选呈现
US20190266293A1 (en) * 2016-11-17 2019-08-29 Lifull Co., Ltd. Information processing apparatus, information processing method, and program
WO2019187430A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、方法、及びプログラム
US20190306530A1 (en) * 2018-04-03 2019-10-03 Huawei Technologies Co.,Ltd. Media data processing method and apparatus
CN110313175A (zh) * 2019-03-20 2019-10-08 北京小米移动软件有限公司 在vr360应用中传输视点切换能力的方法和装置
WO2019194529A1 (ko) * 2018-04-05 2019-10-10 삼성전자 주식회사 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
US20190320156A1 (en) * 2018-04-15 2019-10-17 Lg Electronics Inc. Multiple-viewpoints related metadata transmission and reception method and apparatus
CN110876051A (zh) * 2018-08-29 2020-03-10 中兴通讯股份有限公司 视频数据的处理，传输方法及装置，视频数据的处理系统
WO2020068284A1 (en) * 2018-09-26 2020-04-02 Futurewei Technologies, Inc. Virtual reality (vr) viewpoint grouping
EP3646593A1 (en) * 2017-06-26 2020-05-06 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US20200221063A1 (en) * 2019-01-08 2020-07-09 Nokia Technologies Oy Method, an apparatus and a computer program product for virtual reality
US20200226792A1 (en) * 2019-01-10 2020-07-16 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data
CN111727605A (zh) * 2018-06-01 2020-09-29 Lg电子株式会社 用于发送和接收关于多个视点的元数据的方法及设备
WO2021002338A1 (ja) * 2019-07-03 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US20210152808A1 (en) * 2018-04-05 2021-05-20 Vid Scale, Inc. Viewpoint metadata for omnidirectional video
US20210314626A1 (en) * 2020-04-07 2021-10-07 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2021198553A1 (en) * 2020-04-02 2021-10-07 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632674B (zh) * 2017-03-23 2021-09-21 华为技术有限公司 一种全景视频的播放方法和客户端
GB2574445A (en) * 2018-06-06 2019-12-11 Canon Kk Method, device, and computer program for transmitting media content
CN113949829B (zh) * 2021-10-15 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装及解封装方法、装置、设备及存储介质

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076255A (zh) * 2016-04-26 2018-12-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备
US20190266293A1 (en) * 2016-11-17 2019-08-29 Lifull Co., Ltd. Information processing apparatus, information processing method, and program
CN110036641A (zh) * 2016-12-19 2019-07-19 高通股份有限公司 虚拟现实视频中的用信号表示的感兴趣区域或视点的优选呈现
EP3646593A1 (en) * 2017-06-26 2020-05-06 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
WO2019187430A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、方法、及びプログラム
US20190306530A1 (en) * 2018-04-03 2019-10-03 Huawei Technologies Co.,Ltd. Media data processing method and apparatus
EP3758370A1 (en) * 2018-04-05 2020-12-30 Samsung Electronics Co., Ltd. Method and device for transmitting information on three-dimensional content including multiple view points
WO2019194529A1 (ko) * 2018-04-05 2019-10-10 삼성전자 주식회사 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
US20210152808A1 (en) * 2018-04-05 2021-05-20 Vid Scale, Inc. Viewpoint metadata for omnidirectional video
US20190320156A1 (en) * 2018-04-15 2019-10-17 Lg Electronics Inc. Multiple-viewpoints related metadata transmission and reception method and apparatus
CN111727605A (zh) * 2018-06-01 2020-09-29 Lg电子株式会社 用于发送和接收关于多个视点的元数据的方法及设备
CN110876051A (zh) * 2018-08-29 2020-03-10 中兴通讯股份有限公司 视频数据的处理，传输方法及装置，视频数据的处理系统
EP3846466A1 (en) * 2018-08-29 2021-07-07 ZTE Corporation Video data processing and transmission methods and apparatus, and video data processing system
WO2020068284A1 (en) * 2018-09-26 2020-04-02 Futurewei Technologies, Inc. Virtual reality (vr) viewpoint grouping
US20200221063A1 (en) * 2019-01-08 2020-07-09 Nokia Technologies Oy Method, an apparatus and a computer program product for virtual reality
US20200226792A1 (en) * 2019-01-10 2020-07-16 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data
EP3753257A1 (en) * 2019-03-20 2020-12-23 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for transmitting viewpoint switching capabilities in a vr360 application
CN110313175A (zh) * 2019-03-20 2019-10-08 北京小米移动软件有限公司 在vr360应用中传输视点切换能力的方法和装置
WO2021002338A1 (ja) * 2019-07-03 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2021198553A1 (en) * 2020-04-02 2021-10-07 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US20210314626A1 (en) * 2020-04-07 2021-10-07 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BYEONGDOO CHOI: "technologies under considerations for omnidirectional media application format", 《ISO/IEC JTC1/SC29/WG11 N15946》, 3 March 2016 (2016-03-03) *
ISO/IEC: ""The head mounted display application for Free-viewpoint video service"", 《ISO/IEC JTC1/SC29/WG11 MPEG2015/M36488》, 18 June 2015 (2015-06-18) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023061131A1 (zh) * 2021-10-15 2023-04-20 腾讯科技（深圳）有限公司 媒体文件封装方法、装置、设备及存储介质
WO2023174059A1 (zh) * 2022-03-14 2023-09-21 中兴通讯股份有限公司 数据处理方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
WO2023061131A1 (zh) 2023-04-20
US20240015197A1 (en) 2024-01-11
CN113949829B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
JP6984841B2 (ja) イメージ処理方法、端末およびサーバ
CN114095737B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
KR102157656B1 (ko) 360도 비디오를 송수신하는 방법 및 그 장치
US20230421810A1 (en) Encapsulation and decapsulation methods and apparatuses for point cloud media file, and storage medium
US20240015197A1 (en) Method, apparatus and device for encapsulating media file, and storage medium
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
KR20200088485A (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
JP2019514313A (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
KR102214079B1 (ko) 360도 비디오를 송수신하는 방법 및 그 장치
CN113766271B (zh) 一种沉浸媒体的数据处理方法、装置及设备
CN110999312B (zh) 发送360度视频的方法、接收360度视频的方法、发送360度视频的装置和接收360度视频的装置
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
WO2023024843A1 (zh) 媒体文件封装与解封装方法、设备及存储介质
WO2023024841A1 (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
CN115086635B (zh) 多视角视频的处理方法、装置、设备及存储介质
WO2023016293A1 (zh) 自由视角视频的文件封装方法、装置、设备及存储介质
CN113497928B (zh) 一种沉浸媒体的数据处理方法及相关设备
US20230360678A1 (en) Data processing method and storage medium
CN116137664A (zh) 点云媒体文件封装方法、装置、设备及存储介质
CN117082262A (zh) 点云文件封装与解封装方法、装置、设备及存储介质
CN116643644A (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
JP2023520736A (ja) メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器
CN115426502A (zh) 点云媒体的数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065639

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant