CN114095737A - 点云媒体文件封装方法、装置、设备及存储介质 - Google Patents

点云媒体文件封装方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114095737A
CN114095737A CN202111436717.7A CN202111436717A CN114095737A CN 114095737 A CN114095737 A CN 114095737A CN 202111436717 A CN202111436717 A CN 202111436717A CN 114095737 A CN114095737 A CN 114095737A
Authority
CN
China
Prior art keywords
information
point cloud
motion
time
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111436717.7A
Other languages
English (en)
Other versions
CN114095737B (zh
Inventor
胡颖
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111436717.7A priority Critical patent/CN114095737B/zh
Publication of CN114095737A publication Critical patent/CN114095737A/zh
Application granted granted Critical
Publication of CN114095737B publication Critical patent/CN114095737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种点云媒体文件封装方法、装置、设备及存储介质，该方法包括：获取点云编码后的码流，该码流中包括点云的时间指示信息；对点云的码流进行封装，得到点云的媒体文件；其中，媒体文件至少包括时间元数据，该时间元数据根据码流中的时间指示信息填充媒体文件中的时间结构信息得到。也就是说，在文件封装时，可以使用码流中的时间指示信息来填充该时间结构信息，进而实现时间元数据的快速确定，提高点云的封装效率。

Description

点云媒体文件封装方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种点云媒体文件封装方法、装置、设备及存储介质。
背景技术
沉浸式媒体指能为消费者带来沉浸式体验的媒体内容，沉浸式媒体按照用户在消费媒体内容时的自由度，可以分为3自由度(Degree of Freedom，简称DoF)媒体、3DoF+媒体以及6DoF媒体。
沉浸式媒体包括点云媒体，点云数据可以与其他领域结合使用，例如点云数据可以与智能驾驶、路径轨迹、定位等领域相结合，为了提高点云的应用场景，在点云文件封装时，可以添加点云的时间元数据。
发明内容
本申请提供一种点云媒体文件封装方法、装置、设备及存储介质，提出一种点云的时间元数据确定方案，且该本申请可以快速确定出时间元数据，进而可以提高点云的封装效率。
第一方面，本申请提供一种点云媒体文件封装方法，应用于文件封装设备，该方法包括：
获取点云编码后的码流，所述码流包括所述点云的时间指示信息；
对所述点云的码流进行封装，得到所述点云的媒体文件；
其中，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充所述媒体文件中的时间结构信息得到。
第二方面，本申请提供一种点云媒体文件解封装方法，应用于文件解封装设备，该方法包括：
获取点云的媒体文件，所述媒体文件根据所述点云的码流进行封装得到的，所述码流中包括所述点云的时间指示信息，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充所述媒体文件中的时间结构信息得到；
对所述媒体文件进行解码，得到所述点云的时间元数据。
第三方面，本申请提供一种点云媒体文件封装装置，应用于文件封装设备，该装置包括：
获取单元，用于获取点云编码后的码流，所述码流包括所述点云的时间指示信息；
封装单元，用于对所述点云的码流进行封装，得到所述点云的媒体文件；
其中，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充所述媒体文件中的时间结构信息得到。
第四方面，本申请提供一种点云媒体文件解封装装置，应用于文件解封装设备，该装置包括：
获取单元，用于获取点云的媒体文件，所述媒体文件根据所述点云的码流进行封装得到的，所述码流中包括所述点云的时间指示信息，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充媒体文件中的时间结构信息得到；
解码单元，用于对所述媒体文件进行解码，得到所述点云的时间元数据。
第五方面，本申请提供一种文件封装设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。
第六方面，本申请提供一种文件解封装设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第二方面的方法。
第七方面，提供了一种计算设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面和/或第二方面的方法。
第八方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面和/或第二方面的方法。
第九方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令使得计算机执行上述第一方面和/或第二方面中任一方面或其各实现方式中的方法。
第十方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面和/或第二方面中任一方面或其各实现方式中的方法。
综上，在本申请中，文件封装设备通过获取点云编码后的码流，该码流中包括点云的时间指示信息；对点云的码流进行封装，得到点云的媒体文件；其中，媒体文件至少包括时间元数据，该时间元数据根据码流中的时间指示信息填充媒体文件中的时间结构信息得到。也就是说，在文件封装时，可以使用码流中的时间指示信息来填充该时间结构信息，进而实现时间元数据的快速确定，提高点云的封装效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了三自由度的示意图；
图2示意性示出了三自由度+的示意图；
图3示意性示出了六自由度的示意图；
图4A为本申请一实施例提供的一种沉浸媒体系统的架构图；
图4B为本申请一实施例提供的GPCC媒体的内容流程示意图；
图5为本申请一实施例提供的点云媒体文件封装方法的流程图；
图6A为本申请一实施例提供的点云媒体文件解封装方法的流程图；
图6B为本申请一实施例提供的点云媒体文件解封装方法的流程图；
图7为本申请一实施例提供的点云媒体文件封装与解封装方法的交互示意图；
图8为本申请一实施例提供的点云媒体文件封装装置的结构示意图；
图9为本申请一实施例提供的点云媒体文件解封装装置的结构示意图；
图10是本申请实施例提供的计算设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例涉及沉浸媒体的数据处理技术。
在介绍本申请技术方案之前，下面先对本申请相关知识进行介绍：
多视角/多视点视频：指采用多组摄像机阵列，从多个角度拍摄的带有深度信息的视频。多视角/多视点视频也叫自由视角/自由视点视频，是一种提供六自由度体验的沉浸式媒体。
点云：点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
V3C容积媒体：visual volumetric video-based coding media，指捕获自三维空间视觉内容并提供3DoF+、6DoF观看体验的，以传统视频编码的，在文件封装中包含容积视频类型轨道的沉浸式媒体，包括多视角视频、视频编码点云等。
PCC：Point Cloud Compression，点云压缩。
G-PCC：Geometry-based Point Cloud Compression，基于几何模型的点云压缩。
V-PCC：Video-based Point Cloud Compression，基于传统视频编码的点云压缩。
图集：指示2D平面帧上的区域信息，3D呈现空间的区域信息，以及二者之间的映射关系和映射所需的必要参数信息。
Track：轨道，媒体文件封装过程中的媒体数据集合，一个媒体文件可由多个轨道组成，比如一个媒体文件可以包含一个视频轨道，一个音频轨道以及一个字幕轨道。
组件轨道(component track)，指点云几何数据轨道或者点云属性数据轨道。
Sample：样本，媒体文件封装过程中的封装单位，一个媒体轨道由很多个样本组成。比如视频轨道的一个样本通常为一个视频帧。
DoF：Degree of Freedom，自由度。力学系统中是指独立坐标的个数，除了平移的自由度外，还有转动及振动自由度。本申请实施例中指用户在观看沉浸式媒体时，支持的运动并产生内容交互的自由度。
3DoF：即三自由度，指用户头部围绕XYZ轴旋转的三种自由度。图1示意性示出了三自由度的示意图。如图1所示，就是在某个地方、某一个点在三个轴上都可以旋转，可以转头，也可以上下低头，也可以摆头。通过三自由度的体验，用户能够360度地沉浸在一个现场中。如果是静态的，可以理解为是全景的图片。如果全景的图片是动态，就是全景视频，也就是VR视频。但是VR视频是有一定局限性的，用户是不能够移动的，不能选择任意的一个地方去看。
3DoF+：即在三自由度的基础上，用户还拥有沿XYZ轴做有限运动的自由度，也可以将其称之为受限六自由度，对应的媒体码流可以称之为受限六自由度媒体码流。图2示意性示出了三自由度+的示意图。
6DoF：即在三自由度的基础上，用户还拥有沿XYZ轴自由运动的自由度，对应的媒体码流可以称之为六自由度媒体码流。图3示意性示出了六自由度的示意图。其中，6DoF媒体是指的6自由度视频，是指视频可以提供用户在三维空间的XYZ轴方向自由移动视点，以及围绕XYX轴自由旋转视点的高自由度观看体验。6DoF媒体是以摄像机阵列采集得到的空间不同视角的视频组合。为了便于6DoF媒体的表达、存储、压缩和处理，将6DoF媒体数据表达为以下信息的组合：多摄像机采集的纹理图，多摄像机纹理图所对应的深度图，以及相应的6DoF媒体内容描述元数据，元数据中包含了多摄像机的参数，以及6DoF媒体的拼接布局和边缘保护等描述信息。在编码端，把多摄像机的纹理图信息和对应的深度图信息进行拼接处理，并且把拼接方式的描述数据根据所定义的语法和语义写入元数据。拼接后的多摄像机深度图和纹理图信息通过平面视频压缩方式进行编码，并且传输到终端解码后，进行用户所请求的6DoF虚拟视点的合成，从而提供用户6DoF媒体的观看体验。
AVS：Audio Video Coding Standard，音视频编码标准。
ISOBMFF：ISO Based Media File Format，基于ISO(International StandardOrganization，国际标准化组织)标准的媒体文件格式。ISOBMFF是媒体文件的封装标准，最典型的ISOBMFF文件即MP4(Moving Picture Experts Group 4，动态图像专家组4)文件。
DASH：dynamic adaptive streaming over HTTP，基于HTTP的动态自适应流是一种自适应比特率流技术，使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。
MPD：media presentation description，DASH中的媒体演示描述信令，用于描述媒体片段信息。
HEVC：High Efficiency Video Coding，国际视频编码标准HEVC/H.265。
VVC：versatile video coding，国际视频编码标准VVC/H.266。
Intra(picture)Prediction：帧内预测。
Inter(picture)Prediction：帧间预测。
SCC：screen content coding，屏幕内容编码。
沉浸式媒体指能为消费者带来沉浸式体验的媒体内容，沉浸式媒体按照用户在消费媒体内容时的自由度，可以分为3DoF媒体、3DoF+媒体以及6DoF媒体。其中常见的6DoF媒体包括多视角视频以及点云媒体。
多视角视频通常由摄像机阵列从多个角度对场景进行拍摄，形成场景的纹理信息(色彩信息等)和深度信息(空间距离信息等)，再加上2D平面帧到3D呈现空间的映射信息，即构成了可在用户侧进行消费的6DoF媒体。
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，包括虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design,CAD)、地理信息系统(Geography Information System，GIS)、自动导航系统(AutonomousNavigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等。
点云的获取主要有以下途径：计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI、CT、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
在对点云内容进行编码后，需要对编码后的数据流进行封装并传输给用户。相对应地，在点云媒体播放器端，需要先对点云文件进行解封装，然后再进行解码，最后将解码后的数据流呈现。因此，在解封装环节，获取到特定的信息之后，能够在一定程度上提升解码环节的效率，从而为点云媒体的呈现带来更好的体验。
图4A为本申请一实施例提供的一种沉浸媒体系统的架构图。如图4A所示，沉浸媒体系统包括编码设备和解码设备，编码设备可以是指沉浸媒体的提供者所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)等)或服务器。解码设备可以是指沉浸媒体的使用者所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等))。沉浸媒体的数据处理过程包括在编码设备侧的数据处理过程及在解码设备侧的数据处理过程。
在编码设备端的数据处理过程主要包括：
(1)沉浸媒体的媒体内容的获取与制作过程；
(2)沉浸媒体的编码及文件封装的过程。在解码设备端的数据处理过程主要包括：
(3)沉浸媒体的文件解封装及解码的过程；
(4)沉浸媒体的渲染过程。
另外，编码设备与解码设备之间涉及沉浸媒体的传输过程，该传输过程可以基于各种传输协议来进行，此处的传输协议可包括但不限于：DASH(Dynamic AdaptiveStreaming over HTTP，动态自适应流媒体传输)协议、HLS(HTTP Live Streaming，动态码率自适应传输)协议、SMTP(Smart Media Transport Protocaol，智能媒体传输协议)、TCP(Transmission Control Protocol，传输控制协议)等。
下面将结合图4A，分别对沉浸媒体的数据处理过程中涉及的各个过程进行详细介绍。
一、在编码设备端的数据处理过程：
(1)沉浸媒体的媒体内容的获取与制作过程。
1)沉浸媒体的媒体内容的获取过程。
在一种实现中，捕获设备可以是指设于编码设备中的硬件组件，例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中，该捕获设备也可以是与编码设备相连接的硬件装置，例如与服务器相连接摄像头。
该捕获设备可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。
捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容，捕获的音频内容和视频内容在时间和空间上均保持同步。通过捕获设备采集到的媒体内容称作沉浸媒体的原始数据。
2)沉浸媒体的媒体内容的制作过程。
捕获到的音频内容本身就是适合被执行沉浸媒体的音频编码的内容。捕获到的视频内容进行一系列制作流程后才可成为适合被执行沉浸媒体的视频编码的内容，该制作流程包括：
①拼接。由于捕获到的视频内容是捕获设备在不同角度下拍摄得到的，拼接就是指对这些各个角度拍摄的视频内容拼接成一个完整的、能够反映现实空间360度视觉全景的视频，即拼接后的视频是一个在三维空间表示的全景视频(或球面视频)。
②投影。投影就是指将拼接形成的一个三维视频映射到一个二维(3-Dimension，2D)图像上的过程，投影形成的2D图像称为投影图像；投影的方式可包括但不限于：经纬图投影、正六面体投影。
③区域封装。投影图像可以被直接进行编码，也可以对投影图像进行区域封装之后再进行编码。实践中发现，在沉浸媒体的数据处理过程中，对于二维投影图像进行区域封装之后再进行编码能够大幅提升沉浸媒体的视频编码效率，因此区域封装技术被广泛应用到沉浸媒体的视频处理过程中。所谓区域封装是指将投影图像按区域执行转换处理的过程，区域封装过程使投影图像被转换为封装图像。区域封装的过程具体包括：将投影图像划分为多个映射区域，然后再对多个映射区域分别进行转换处理得到多个封装区域，将多个封装区域映射到一个2D图像中得到封装图像。其中，映射区域是指执行区域封装前在投影图像中经划分得到的区域；封装区域是指执行区域封装后位于封装图像中的区域。
转换处理可以包括但不限于：镜像、旋转、重新排列、上采样、下采样、改变区域的分辨率及移动等处理。
需要说明的是，由于采用捕获设备只能捕获到全景视频，这样的视频经编码设备处理并传输至解码设备进行相应的数据处理后，解码设备侧的用户只能通过执行一些特定动作(如头部旋转)来观看360度的视频信息，而执行非特定动作(如移动头部)并不能获得相应的视频变化，VR体验不佳，因此需要额外提供与全景视频相匹配的深度信息，来使用户获得更优的沉浸度和更佳的VR体验，这就涉及6DoF(Six Degrees of Freedom，六自由度)制作技术。当用户可以在模拟的场景中较自由的移动时，称为6DoF。采用6DoF制作技术进行沉浸媒体的视频内容的制作时，捕获设备一般会选用光场摄像头、激光设备、雷达设备等，捕获空间中的点云数据或光场数据，并且在执行上述制作流程①-③的过程中还需要进行一些特定处理，例如对点云数据的切割、映射等过程，深度信息的计算过程等。
(2)沉浸媒体的编码及文件封装的过程。
捕获到的音频内容可直接进行音频编码形成沉浸媒体的音频码流。经过上述制作流程①-②或①-③之后，对投影图像或封装图像进行视频编码，得到沉浸媒体的视频码流，例如，将打包图片(D)被编码为编码图像(Ei)或编码视频比特流(Ev)。捕获的音频(Ba)被编码为音频比特流(Ea)。然后，根据特定的媒体容器文件格式，将编码的图像、视频和/或音频组合成用于文件回放的媒体文件(F)或用于流式传输的初始化段和媒体段的序列(Fs)。编码设备端还将元数据，例如投影和区域信息，包括到文件或片段中，有助于呈现解码的打包图片。
此处需要说明的是，如果采用6DoF制作技术，在视频编码过程中需要采用特定的编码方式(如点云编码)进行编码。将音频码流和视频码流按照沉浸媒体的文件格式(如ISOBMFF(ISO Base Media File Format，ISO基媒体文件格式))封装在文件容器中形成沉浸媒体的媒体文件资源，该媒体文件资源可以是媒体文件或媒体片段形成沉浸媒体的媒体文件；并按照沉浸媒体的文件格式要求采用媒体呈现描述信息(Media presentationdescription，MPD)记录该沉浸媒体的媒体文件资源的元数据，此处的元数据是对与沉浸媒体的呈现有关的信息的总称，该元数据可包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。如图4A所示，编码设备会存储经过数据处理过程之后形成的媒体呈现描述信息和媒体文件资源。
沉浸媒体系统支持数据盒(Box)，数据盒是指包括元数据的数据块或对象，即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒，例如包括球面区域缩放数据盒(Sphere Region Zooming Box)，其包含用于描述球面区域缩放信息的元数据；2D区域缩放数据盒(2DRegionZoomingBox)，其包含用于描述2D区域缩放信息的元数据；区域封装数据盒(Region Wise PackingBox)，其包含用于描述区域封装过程中的相应信息的元数据，等等。
二、在解码设备端的数据处理过程：
(3)沉浸媒体的文件解封装及解码的过程；
解码设备可以通过编码设备的推荐或按照解码设备端的用户需求自适应动态从编码设备获得沉浸媒体的媒体文件资源和相应的媒体呈现描述信息，例如解码设备可根据用户的头部/眼睛/身体的跟踪信息确定用户的朝向和位置，再基于确定的朝向和位置动态向编码设备请求获得相应的媒体文件资源。媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由编码设备传输给解码设备。解码设备端的文件解封装的过程与编码设备端的文件封装过程是相逆的，解码设备按照沉浸媒体的文件格式要求对媒体文件资源进行解封装，得到音频码流和视频码流。解码设备端的解码过程与编码设备端的编码过程是相逆的，解码设备对音频码流进行音频解码，还原出音频内容。
另外，解码设备对视频码流的解码过程包括如下：
①对视频码流进行解码，得到平面图像；根据媒体呈现描述信息提供的元数据，如果该元数据指示沉浸媒体执行过区域封装过程，该平面图像是指封装图像；如果该元数据指示沉浸媒体未执行过区域封装过程，则该平面图像是指投影图像；
②如果元数据指示沉浸媒体执行过区域封装过程，解码设备就将封装图像进行区域解封装得到投影图像。此处区域解封装与区域封装是相逆的，区域解封装是指将封装图像按照区域执行逆转换处理的过程，区域解封装使封装图像被转换为投影图像。区域解封装的过程具体包括：按照元数据的指示对封装图像中的多个封装区域分别进行逆转换处理得到多个映射区域，将该多个映射区域映射至一个2D图像从而得到投影图像。逆转换处理是指与转换处理相逆的处理，例如：转换处理是指逆时针旋转90度，那么逆转换处理是指顺时针旋转90度。
③根据媒体呈现描述信息将投影图像进行重建处理以转换为3D图像，此处的重建处理是指将二维的投影图像重新投影至3D空间中的处理。
(4)沉浸媒体的渲染过程。
解码设备根据媒体呈现描述信息中与渲染、视窗相关的元数据对音频解码得到的音频内容及视频解码得到的3D图像进行渲染，渲染完成即实现了对该3D图像的播放输出。特别地，如果采用3DoF和3DoF+的制作技术，解码设备主要基于当前视点、视差、深度信息等对3D图像进行渲染，如果采用6DoF的制作技术，解码设备主要基于当前视点对视窗内的3D图像进行渲染。其中，视点指用户的观看位置点，视差是指用户的双目产生的视线差或由于运动产生的视线差，视窗是指观看区域。
沉浸媒体系统支持数据盒(Box)，数据盒是指包括元数据的数据块或对象，即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒，例如包括球面区域缩放数据盒(Sphere Region Zooming Box)，其包含用于描述球面区域缩放信息的元数据；2D区域缩放数据盒(2DRegionZoomingBox)，其包含用于描述2D区域缩放信息的元数据；区域封装数据盒(Region Wise PackingBox)，其包含用于描述区域封装过程中的相应信息的元数据等。
图4B为本申请一实施例提供的GPCC媒体的内容流程示意图，如图4B所示，沉浸媒体系统包括文件封装设备和文件解封装设备。在一些实施例中，文件封装设备器可以理解为上述编码设备，文件解封装设备可以理解为上述解码设备。
真实世界的视觉场景(A)由一组相机或具有多个镜头和传感器的相机设备捕获。源点云数据(B)中的采集结果。一个或多个点云帧被编码为编码的G-PCC位流，包括编码的几何位流和属性位流(E)。然后，根据特定的媒体容器文件格式，一个或多个编码的比特流被组合成用于文件回放的媒体文件(F)或用于流式传输(Fs)的初始化段和媒体段的序列。在本申请中，媒体容器文件格式是ISO/IEC 14496-12中规定的ISO基本媒体文件格式。文件封装设备还可以将元数据包含到文件或段中。使用递送机制将片段Fs递送给玩家。
文件封装设备输出的文件(F)与文件解封装设备输入的文件(F')相同。文件解封装设备处理文件(F')或接收到的段(F's)并提取编码比特流(E')并解析元数据。然后将G-PCC比特流解码为解码信号(D')，并从解码信号(D')生成点云数据。在适用的情况下，根据当前的观看位置、观看方向或由各种类型的传感器(例如头部)确定的视口，将点云数据渲染并显示在头戴式显示器或任何其他显示设备的屏幕上跟踪，可能还有位置或眼动跟踪传感器。除了被玩家用来访问解码点云数据的适当部分之外，当前观看位置或观看方向也可以用于解码优化。在视口相关的传递中，当前的观看位置和观看方向也被传递到策略模块，它决定了要接收的轨道。
上述过程适用于实时和按需用例。
图4B中的各参数定义如下：
E/E'：为编码的G-PCC比特流；
F/F'：为包括轨道格式规范的媒体文件，其中可能包含对轨道样本中包含的基本流的约束。
视点信息结构
视点信息结构(ViewpointInfoStruct)指出了全景视频轨道的视点信息。该结构通过三个子结构描述具体的视点信息，包括：
视点位置结构(ViewpointPosStruct)指示视点的3D空间位置和视点的GPS位置；
视点全局坐标系旋转结构(ViewpointGlobalCoordinateSysRotationStruct)指示视点的全局坐标系相对于公共参考坐标系的旋转方向；
视点群组结构(ViewpointGroupStruct)指示视点所属的视点群组。
需要注意的是，上述子结构可在其他数据结构中独立使用。
视点信息结构的语法如下：
Figure BDA0003381991620000131
Figure BDA0003381991620000141
语义
pos_x，pos_y和pos_z指示在以(0,0,0)为中心的公共参考坐标系中视点的3D空间位置的笛卡尔坐标值。对于动态视点，则指定动态视点的初始视点位置；
gpspos_present_flag指示是否存在视点GPS位置的标志位。等于1表示存在视点GPS位置，等于0表示不存在视点GPS位置；
gpspos_longitude，gpspos_latitude和gpspos_altitude分别指示视点GPS位置的经度坐标，纬度坐标和高度坐标；
gcs_rotation_flag等于1，指示存在视点的全局坐标系的X，Y和Z坐标轴相对于公共参考坐标系的旋转角度，即存在gcs_yaw，gcs_pitch和gcs_roll；等于0，指示不存在gcs_yaw，gcs_pitch和gcs_roll。
3D_rotation_type指示旋转信息的表示类型。该字段取值为0表示旋转信息以欧拉角的形式给出；该字段取值为1表示旋转信息以四元数的形式给出。其余取值保留。
gcs_yaw，gcs_pitch和gcs_roll分别指示视点的全局坐标系的X，Y，Z轴相对于公共参考坐标系坐标轴的旋转方向的偏转角，俯仰角和翻滚角，以欧拉角的形式给出。gcs_x，gcs_y，gcs_z和gcs_w分别指示视点的全局坐标系相对于公共参考坐标系的旋转角度分量，以四元数的形式给出。
注：视点切换时，视点的全局坐标系旋转方向用于确定该视点的全局坐标系中播放全景视频轨道时用户的观看方向。
group_alignment_flag等于1，指示存在ViewpointGroupStruct()，并且视点属于独立的坐标系(及坐标原点)；等于0，指示视点属于公共参考坐标系。
注：当两个视点具有不同的group_id，它们的位置坐标不可对比，因为它们属于不同的坐标系。group_id指示视点群组的标识符，该视点群组中的所有视点共用一个公共参考坐标系；
group_description提供视点群组的文本描述，以空值结尾的UTF-8字符串。
视点GPS位置结构的语法如下所示：
Figure BDA0003381991620000151
viewpoint_gpspos_longitude，以2-23度为单位，指示视点的地理位置的经度，viewpoint_gpspos_longitude应在-180*223到180*223-1的范围内，包括端点。正值代表东经，负值代表西经。
viewpoint_gpspos_latitude，以2-23度为单位指示视点的地理位置的纬度。view_gpspos_latitude应在-90*223到90*223-1的范围内，包括端点。正值代表北纬，负值代表南纬。
viewpoint_gpspos_altitude，表示视点的地理定位高度，单位为毫米，高于WGS84参考椭球，如http://www.epsg.org/上的EPSG:4326数据库中所指定。
viewpoint_geomagnetic_yaw,viewpoint_geomagnetic_pitch,和viewpoint_geomagnetic_roll，分别指定公共参考坐标系的X、Y、Z轴相对地磁北方向的旋转角度的yaw、pitch和roll角，单位为2-16度。viewpoint_geomagnetic_yaw应在-180*216到180*216-1的范围内，包括端点。viewpoint_geomagnetic_pitch应在-90*216到90*216的范围内，包括端点。viewpoint_geomagnetic_roll范围为-180*216到180*216-1，包括端点。
由上述可知，目前点云媒体指示点云数据的信息较少，例如指示了采集设备采集点云时的经纬度和海拔信息，为了提高点云的应用场景，则在媒体文件封装时增加点云的时间元数据。
本申请提出了一种新的确定点云的时间元数据方法，例如通过在码流中添加点云的时间指示信息，进而在文件封装时，根据码流中的时间指示信息对媒体文件中的时间结构信息进行填充，生成点云的时间元数据，实现时间元数据的快速确定，提高点云的文件封装效率。
下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图5为本申请一实施例提供的点云媒体文件封装方法的流程图，如图5所示，该方法包括如下步骤：
S501、文件封装设备获取点云编码后的码流，该码流中包括点云的时间指示信息。
在一些实施例中，文件封装设备也称为点云封装设备，或者点云编码设备。
在一些实施例中，文件封装设备可以是终端设备，例如用户终端。
在一些实施例中，文件封装设备可以是服务器。
在一些实施例中，点云也称为点云内容或点云数据。
本申请实施例中，文件封装设备获取点云编码后的码流的方式包括但不限于如下几种：
方式一，文件封装设备从采集设备处获取点云，例如，文件封装设备从点云采集设备处获取点云，对该点云进行编码，得到点云的码流。
方式二，文件封装设备从存储设备处获取点云编码后的码流，例如，编码设备对点云进行编码后，存储在存储设备中，文件封装设备从存储设备处读取点云码流后的码流。
上述码流中包括点云的时间指示信息，该时间指示信息用于指示该点云的时间信息，例如指示点云的采集时间、显示时间等其他时间信息。
S502、文件封装设备对点云的码流进行封装，得到点云的媒体文件。
其中，媒体文件至少包括时间元数据，该时间元数据是根据码流中的时间指示信息填充媒体文件中的时间结构信息得到。也就是说，在文件封装时，添加时间结构信息，例如时间数据结构，由于本申请的码流中包括点云的时间指示信息，因此，在文件封装时，可以使用码流中的时间指示信息来填充该时间结构信息，进而实现时间元数据的快速确定。
在一些实施例中，码流中的时间指示信息可以是在对点云数据进行编码时添加的。这样在文件封装时，文件封装设备可以直接从码流中得到点云的时间信息，而无需从原始点云中解析点云的时间信息，进而提高了获得点云的时间信息的速度，尤其对于编码与封装不是同一设备的场景，本申请实施例的方法可以更加方便文件封装设备直接从码流中得到点云的时间指示信息，进而基于码流中的时间指示信息直接对媒体文件中的时间结构信息进行填充，快速得到点云的时间元数据，提高点云的封装效率。
在一些实施例中，上述时间指示信息还包括时间信息标志，该时间信息标志用于指示码流中是否包括点云的时间信息。
示例性的，用字段time_info_flag表示时间信息标志。
例如，若time_info_flag的取值为第一数值时，则表示码流中包括点云的时间信息。
再例如，若time_info_flag的取值为第二数值时，则表示码流中不包括点云的时间信息。
本申请对第一数值和第二数值的具体取值不做限制。
可选的，第一数值为1。
可选的，第二数值为0。
本申请实施例中，当上述time_info_flag的取值为第一数值时，则文件封装设备从码流中得到点云的时间信息，将点云的时间信息填充至时间结构信息中，得到点云的时间元数据。
在一些实施例中，点云的时间信息包括时间信息的类型、时长和点云的帧率中的至少一个。
可选的，时间信息的类型包括采集时间和显示时间中的任意一个。
示例性的，用字段TimeInfoType表示时间信息的类型。
例如，若TimeInfoType的取值为第三数值时，则表示时间信息的类型为采集时间。
再例如，若TimeInfoType的取值为第四数值时，则表示时间信息的类型为显示时间。
本申请对第三数值和第四数值的取值不做限制。
可选的，第三数值为1。
可选的，第四数值为0。
可选的，时长包括小时、分、秒等。
本申请对点云的时间信息在媒体文件中的具体位置不做限制。例如，点云的时间信息包含于点云的码流中。
在一些实施例中，点云的时间指示信息包含于点云的码流单元头中。
在一些实施例中，点云的时间指示信息包含于点云的几何数据单元头中。
在一种示例中，若点云的时间指示信息包含于点云的几何数据单元头中时，点云码流时间戳的语法如表1所示：
表1
Figure BDA0003381991620000181
Figure BDA0003381991620000191
其中，time_info_flag为时间信息标志，该字段取值为‘1’表示几何数据单元头中包含对应点云帧的时间信息；值为‘0’表示几何数据单元头中不包含对应点云帧的时间信息。
time_info为时间信息，可选的，为24位位串，包括以下无符号整形字段：TimeInfoHours、TimeInfoMinutes、TimeInfoSeconds和TimeInfoFrames。time_info描述当前点云帧的采集时间或显示时间。
可选的，时间信息(time_info)如表2所示：
表2
Figure BDA0003381991620000201
本申请通过在码流中携带点云的时间指示信息，文件解封装在文件封装时，使用码流中的时间指示信息填充媒体文件中的时间结构信息，得到点云的时间元数据，进而提高了元数据的确定速度和准确性。
在一些实施例中，媒体文件进一步包括位置指示信息，该位置指示信息用于指示点云的位置信息。
本申请的点云的位置信息可以理解为采集设备采集该点云时所处的位置信息。
在一种实施例中，本申请的点云的时间信息可以理解为采集设备采集该点云时的时间信息。
在一些实施例中，本申请的点云的时间信息可以理解为点云的显示时间。
文件封装设备获取采集设备采集该点云时所处的位置信息，和/或点云的时间信息，生成位置指示信息和/或时间指示信息，其中位置指示信息用于指示点云的位置信息，时间指示信息用于指示点云的时间信息。
本申请实施例对点云的位置信息在媒体文件中的具体存放位置不做限制。
在一种示例中，点云的位置信息可以添加在媒体文件中的数据盒中。
在一种示例中，点云的位置信息可以添加在媒体文件中的元数据轨道中。
文件解封装设备获取点云的媒体文件后，对媒体文件进行解封装并解码，得到媒体文件中的时间元数据和位置指示信息，根据该时间元数据可以得到点云的时间信息，根据位置指示信息得到点云的位置信息。
进一步的，在后续的预设任务处理时，文件解封装设备可以根据得到的点云的位置信息和/或时间信息，进行预设任务的处理，例如，根据点云的位置信息和/或时间信息，进行精准定位，定位精度可以达到厘米级别。或者，根据点云的位置信息，进行自动驾驶相关的计算，例如根据邻近车辆发送的点云媒体文件，得到邻近车辆所采集的点云的位置信息，再根据邻近车辆所采集的点云的位置信息，确定当前时刻邻近车辆的位置信息，进而实现避让等操作。
在一些实施例中，点云的位置信息包括采集设备采集点云时的定位信息、地磁信息、运动信息和地址信息中的至少一个。
可选的，定位信息包括GPS(Global Positioning System，全球定位系统)定位信息、北斗定位信息等卫星定位信息。
可选的，定位信息包括基站定位信息。
可选的，定位信息包括基站和卫星进行混合定位时的定位信息。
可选的，定位信息还包括其他方式得到的定位信息，本申请实施例对此不作限制。
本申请的运动信息可以理解为采集设备采集该点云时的运动信息。
在一些实施例中，运动信息包括采集设备采集该点云时的运动速度。
示例性的，可以用字段speed表示采集设备采集该点云时的运动速度。
可选的，运动速度以2-16米/秒为单位。
在一些实施例中，运动信息还包括运动方向标志。其中，运动方向标志用于指示运动信息中是否包括采集设备采集点云时的运动方向信息。
例如，若运动方向标志的取值为第一数值时，则指示运动信息中包括采集设备采集点云时的运动方向信息。
再例如，若运动方向标志的取值为第二数值时，则指示运动信息中不包括采集设备采集点云时的运动方向信息。
示例性的，可以用字段orientation_present_flag表示运动方向标志。
本申请对上述第一数值和第二数值的具体取值不做限制。
可选的，上述第一数值为1。
可选的，上述第二数值为0。
在一些实施例中，运动方向信息可以包括运动方向的表达类型和该表达类型下的运动方向。
示例性的，可以用字段orientation_type表示运动方向的表达类型。
本申请对运动方向的具体表达类型不做限制。
在一种示例中，运动方向的表达类型包括欧拉角和四元数中的任意一种。
例如，若运动方向的表达类型的取值为第三数值时，指示运动方向以欧拉角的形式给出。
再例如，若运动方向的表达类型的取值为第四数值时，指示运动方向以四元数的形式给出。
本申请对第三数值和第四数值的具体取值不做限制。
可选的，第三数值为0。
可选的，第四数值为1。
示例性的，欧拉角的形式包括：orientation_yaw，orientation_pitch，orientation_roll。
其中，orientation_yaw表示采集设备采集点云时的运动方向相对于地平面的偏航角，orientation_pitch表示采集设备采集点云时的运动方向相对于地平面的俯仰角，orientation_roll表示采集设备采集点云时的运动方向相对于地平面的翻滚角。
示例性的，四元数的形式包括：
qX＝orientation_x÷230,
qY＝orientation_y÷230,
qZ＝orientation_z÷230
qW＝Sqrt(1–(qX2+qY2+qZ2))。
其中，orientation_x，orientation_y，orientation_z分别指示采集设备采集点云时的运动方向相对于地平面的旋转角分量。
可选的，四元数的形式的运动方向的取值范围为[–230,230]。需要说明的是，该运动方向的取值范围只是一种示例，本申请包括但不限于此。
有上述可知，本申请实施例的点云媒体文件所包括的位置指示信息包括但不限于如下几个示例：
示例1，位置指示信息{定位信息、地磁信息、(运动速度，运动方向标志＝0)}。
示例2，位置指示信息{定位信息、地磁信息、(运动速度，运动方向标志＝1，运动方向的表达类型＝1，orientation_yaw，orientation_pitch，orientation_roll)}。
示例3，位置指示信息{定位信息、地磁信息、(运动速度，运动方向标志＝1，运动方向的表达类型＝0，orientation_x，orientation_y，orientation_z)}。
在一些实施例中，上述地址信息可以理解为采集设备采集该点云时，所处的位置对应的地址信息。
在一些实施例中，上述地址信息包括采集设备采集点云时的位置对应的国家、省、城市、地区、街道、街道号码信息中的至少一个。
可选的，用字段country表示国家。
可选的，用字段province表示省。
可选的，用字段city表示城市。
可选的，用字段district表示地区。
可选的，用字段street表示街道。
可选的，用字段street_num表示街道号信息。
示例性的，字段country，province，city，district，street，street_num为以空字符结尾的字符串。
在一些实施例中，位置指示信息还包括定位信息标志、地磁信息标志、运动信息标志和地址信息标志中的至少一个，
其中，定位信息标志用于指示点云的位置信息中是否包括定位信息，地磁信息标志用于指示点云的位置信息中是否包括地磁信息，运动信息标志用于指示点云的位置信息中是否包括运动信息，地址信息标志用于指示点云的位置信息中是否包括地址信息。
示例性的，用字段gps_info_flag表示定位信息标志。
例如，gps_info_flag为第一数值时，表示点云的位置信息中包括定位信息。
再例如，gps_info_flag为第二数值时，表示点云的位置信息中不包括定位信息。
也就是说，当gps_info_flag为第一数值时，在点云的位置信息中添加点云的定位信息。
本申请对第一数值和第二数值的具体取值不做限制。
可选的，第一数值为1。
可选的，第二数值为0。
示例性的，用字段geomagnetic_info_flag表示地磁信息标志。
例如，geomagnetic_info_flag为第三数值时，表示点云的位置信息中包括地磁信息。
再例如，geomagnetic_info_flag为第四数值时，表示点云的位置信息中不包括地磁信息。
也就是说，geomagnetic_info_flag为第三数值时，在点云的位置信息中添加点云的地磁信息。
本申请对第三数值和第四数值的具体取值不做限制。
可选的，第三数值为1。
可选的，第四数值为0。
示例性的，用字段motion_info_flag表示运动信息标志。
例如，motion_info_flag为第五数值时，表示点云的位置信息中包括运动信息。
再例如，motion_info_flag为第六数值时，表示点云的位置信息中不包括运动信息。
也就是说，当motion_info_flag为第五数值时，在点云的位置信息中添加点云的运动信息。
本申请对第五数值和第六数值的具体取值不做限制。
可选的，第五数值为1。
可选的，第六数值为0。
示例性的，用字段address_info_flag表示地址信息标志。
例如，address_info_flag为第七数值时，表示点云的位置信息中包括地址信息。
再例如，address_info_flag为第八数值时，表示点云的位置信息中不包括地址信息。
也就是说，当address_info_flag为第七数值时，在点云的位置信息中添加点云的地址信息。
本申请对第七数值和第八数值的具体取值不做限制。
可选的，第七数值为1。
可选的，第八数值为0。
在一些实施例中，上述运动信息和/或地址信息以数据结构的形式给出。
例如，运动信息的数据结构的语法如下所示：
Figure BDA0003381991620000251
其中，MotionInfoStruct：指示点云帧采集时，采集设备的运动信息。
speed指示点云帧采集设备的运动速度。可选的，该字段取值以2-16米/秒为单位。
orientation_present_flag指示运动信息结构中是否携带方向信息。该字段取值为1表明运动信息结构中携带方向信息。该字段取值为0表明运动信息结构中未携带方向信息。
orientation_type指示运动方向信息的表示方式。该字段取值为0表明运动方向信息以欧拉角的形式给出；该字段取值为1表示运动方向信息以四元数的形式给出。
orientation_yaw，orientation_pitch，orientation_roll分别指示运动方向相对于地平面的偏航角、俯仰角和翻滚角，以欧拉角的形式给出。orientation_x，orientation_y，orientation_z分别指示运动方向相对于地平面的旋转角分量，以四元数的形式给出，取值范围为[–230,230]。
qX＝orientation_x÷230,qY＝orientation_y÷230,qZ＝orientation_z÷230
qW＝Sqrt(1–(qX2+qY2+qZ2))
在一些实施例中，地址信息数据结构的语法如下所示：
Figure BDA0003381991620000261
其中，AddressInfoStruct：指示点云帧采集时，采集设备位置对应的地址信息。
country，province，city，district，street，street_num为以空字符结尾的字符串，分别指示点云帧采集时刻的国家、省、城市、地区、街道、街道号码信息。
在一些实施例中，上述点云的位置信息可以包括于点云位置信息数据盒中。
在一种示例中，上述点云位置信息数据盒的语法如下所示：
Figure BDA0003381991620000262
Figure BDA0003381991620000271
语义
gps_info_flag,指示点云位置信息数据盒中是否包含定位信息。
geomagnetic_info_flag,指示点云位置信息数据盒中是否包含地磁信息。
motion_info_flag,指示点云位置信息数据盒中是否包含运动信息。
address_info_flag，指示点云位置信息数据盒中是否包含地址信息。
可选的，当上述字段取值为1时，说明数据盒中包含定位信息、地磁信息、运动信息和地址信息。
可选的，上述信息由相应的数据结构给出。
在一种情况下，本申请中采集设备采集点云时的位置信息可以是静止不动的，例如，采集设备安装在固定位置处，在该固定位置处采集点云，因此，采集的点云的位置信息不随时间变化。在该情况下，上述点云位置信息数据盒可以位于点云数据轨道中，例如点云位置信息数据盒可以位于点云数据轨道中的样本入口处。
可选的，上述点云数据轨道为点云轨道、点云几何轨道、点云分片基础轨道中的任意一个。此时该数据盒描述点云内容的位置信息。
在另一种情况下，本申请中采集设备采集点云时的位置信息可以是动态变化的，例如，采集设备是运动的，比如采集设备安装在行驶的车辆上，此时，采集的点云位置信息也是随时间变化的。在该情况下，媒体文件还包括动态点云位置信息元数据轨道，上述点云位置信息数据盒可以包含于动态点云位置信息元数据轨道中的元数据样本中，动态点云位置信息元数据轨道用于指示点云随时间变化的位置信息。
在该情况的一种示例中，动态点云位置信息元数据轨道还包括定位信息更新标志、地磁信息更新标志、运动信息更新标志和地址信息更新标志中的至少一个，
其中，定位信息更新标志用于指示是否更新定位信息，地磁信息更新标志用于指示是否更新地磁信息，运动信息更新标志用于指示是否更新运动信息，地址信息更新标志用于指示是否更新地址信息。
示例性的，用字段gps_info_update_flag定位信息更新标志。
例如，gps_info_update_flag的取值为第一数值时，则指示更新定位信息。
再例如，gps_info_update_flag的取值为第二数值时，则指示不更新定位信息。
在一些实施例中，若gps_info_update_flag的取值为第一数值，即若定位信息更新标志指示对定位信息进行更新时，则使用当前时刻点云的定位信息更新元数据样本中上一时刻的定位信息。
本申请对第一数值和第二数值的具体取值不做限制。
可选的，第一数值为1。
可选的，第二数值为0。
示例性的，用字段geomagnetic_info_update_flag定位信息更新标志。
例如，geomagnetic_info_update_flag的取值为第三数值时，则指示更新地磁信息。
再例如，若geomagnetic_info_update_flag的取值为第四数值，即指示不更新地磁信息。
在一些实施例中，若geomagnetic_info_update_flag的取值为第三数值，即若地磁信息更新标志指示对地磁信息进行更新时，则使用当前时刻所述点云的地磁信息更新元数据样本中上一时刻的地磁信息。
本申请对第三数值和第四数值的具体取值不做限制。
可选的，第三数值为1。
可选的，第四数值为0。
示例性的，用字段motion_info_update_flag运动信息更新标志。
例如，motion_info_update_flag的取值为第五数值时，则指示更新运动信息。
再例如，motion_info_update_flag的取值为第六数值时，则指示不更新运动信息。
在一些实施例中，若motion_info_update_flag的取值为第五数值，即若运动信息更新标志指示对运动信息进行更新时，则使用当前时刻点云的运动信息更新元数据样本中上一时刻的运动信息。
本申请对第五数值和第六数值的具体取值不做限制。
可选的，第五数值为1。
可选的，第六数值为0。
示例性的，用字段address_info_update_flag地址信息更新标志。
例如，address_info_update_flag的取值为第七数值时，则指示更新地址信息。
再例如，address_info_update_flag的取值为第八数值时，则指示不更新地址信息。
在一些实施例中，若address_info_update_flag的取值为第七数值，即若地址信息更新标志指示对地址信息进行更新时，则使用当前时刻点云的地址信息更新元数据样本中上一时刻的所述地址信息。
本申请对第七数值和第八数值的具体取值不做限制。
可选的，第七数值为1。
可选的，第八数值为0。
在该情况的一种示例中，上述动态点云位置信息元数据轨道的语法如下所示：
Figure BDA0003381991620000291
Figure BDA0003381991620000301
其中，gps_info_update_flag,geomagnetic_info_update_flag,motion_info_update_flag,address_info_update_flag分别指示动态点云信息元数据样本中相应的定位信息、地磁信息、运动信息和地址信息是否需要更新。
可选的，当这些字段取值为1时，说明相应信息需要更新，更新后的信息由相应的数据结构给出，且该数据结构中的信息将一直生效直到下一个样本中再次更新该数据结构。
上述动态点云位置信息元数据轨道指示点云内容随时间变化的位置信息，该元数据轨道通过'cdsc'类型的轨道索引来索引至相应的点云数据轨道。该元数据轨道描述其索引的点云内容
本申请通过在点云的媒体文件中携带点云的位置信息，该位置信息包括采集设备采集点云时的运动信息和/或地址信息，这样文件解封装设备可以根据媒体文件中的运动信息和/或地址信息，精确确定出采集设备采集点云时的位置信息，进而实现精准定位等。
本申请实施例提供的点云媒体文件封装方法，通过获取点云编码后的码流，该码流中包括点云的时间指示信息；对点云的码流进行封装，得到点云的媒体文件；其中，媒体文件至少包括时间元数据，该时间元数据根据码流中的时间指示信息填充媒体文件中的时间结构信息得到。也就是说，在文件封装时，可以使用码流中的时间指示信息来填充该时间结构信息，进而实现时间元数据的快速确定，提高点云的封装效率。另外，本申请的媒体文件中还包括位置指示信息，该位置指示信息用于指示点云的位置信息，这样文件解封装设备得到媒体文件后，解码可以得到点云的时间信息和位置信息，进而根据点云的位置信息和/或时间信息，进行预设任务的处理，例如根据点云的位置信息和/或时间信息进行精准定位、路径规划等，进而丰富了点云在相关领域的应用。
图6A为本申请一实施例提供的点云媒体文件解封装方法的流程图，如图6A所示，该方法包括如下步骤：
S601、文件解封装设备获取点云的媒体文件，该媒体文件根据点云的码流进行封装得到的，码流中包括点云的时间指示信息，媒体文件至少包括时间元数据，时间元数据根据码流中的时间指示信息填充媒体文件中的时间结构信息得到。
其中，时间指示信息用于指示点云的时间信息。
S602、文件解封装设备对媒体文件进行解码，得到点云的时间元数据。
在一些实施例中，上述点云的时间元数据中包括点云的时间信息，进而根据点云的时间信息进行预设任务的处理，例如进行精准定位等，本申请对此不做限制。
在一些实施例中，点云的时间信息包括时间信息的类型、时长和点云的帧率中的至少一个。
可选的，时间信息的类型包括采集时间和显示时间中的任意一个。
示例性的，用字段TimeInfoType表示时间信息的类型。
例如，若TimeInfoType的取值为第三数值时，则表示时间信息的类型为采集时间。
再例如，若TimeInfoType的取值为第四数值时，则表示时间信息的类型为显示时间。
本申请对第三数值和第四数值的取值不做限制。
可选的，第三数值为1。
可选的，第四数值为0。
可选的，时长包括小时、分、秒等。
本申请对点云的时间信息在媒体文件中的具体位置不做限制。
在一些实施例中，点云的时间指示信息包含于点云的码流单元头中。
在一些实施例中，点云的时间指示信息包含于点云的几何数据单元头中。
在一些实施例中，时间指示信息还包括时间信息标志，该时间信息标志用于指示码流中是否包括点云的时间信息。示例性的，用字段time_info_flag表示时间信息标志。
例如，若time_info_flag的取值为第一数值时，则表示媒体文件中包括点云的时间信息。
再例如，若time_info_flag的取值为第二数值时，则表示媒体文件中不包括点云的时间信息。
本申请对第一数值和第二数值的具体取值不做限制。
可选的，第一数值为1。
可选的，第二数值为0。
在此基础上，本申请实施例的方法还包括：若时间信息标志指示码流中包括点云的时间信息时，则解析码流，得到点云的时间信息。
具体是，文件解封装设备对媒体文件进行解码，得到码流，对码流进行解码得到时间信息标志。若时间信息标志(time_info_flag)的取值为第一数值时，则文件解封装继续解析码流，得到点云的时间信息。
在一些实施例中，媒体文件进一步包括位置指示信息，该位置指示信息用于指示点云的位置信息，此时，如图6B所示，本申请实施例的方法除了包括上述S601和S602的步骤外，还包括如下S603至S605的步骤：
S603、文件解封装设备对媒体文件进行解码，得到位置指示信息。
需要说明的是，上述S603与上述S602在执行时没有先后顺序之分，例如，上述S603可以在上述S602之前执行，或者在S602之后执行，或者与S602同步执行，本申请对此不做限制。
S604、文件解封装设备根据位置指示信息，确定点云的位置信息。
具体是，对位置指示信息进行解析，根据位置指示信息的指示，从媒体文件中得到点云的位置信息。
在一些实施例中，若位置指示信息包括在媒体文件中的数据盒中时，则文件解封装设备获得媒体文件后，对媒体文件进行解封装，得到媒体文件装中的位置指示信息。
在一些实施例中，点云的位置信息包括采集设备采集点云时的定位信息、地磁信息、运动信息和地址信息中的至少一个。
可选的，定位信息包括GPS(Global Positioning System，全球定位系统)定位信息、北斗定位信息等卫星定位信息。
可选的，定位信息包括基站定位信息。
可选的，定位信息包括基站和卫星进行混合定位时的定位信息。
可选的，定位信息还包括其他方式得到的定位信息，本申请实施例对此不作限制。
在一些实施例中，运动信息可以理解为采集设备采集点云时的运动信息。
可选的，运动信息包括运动速度和运动方向标志中的至少一个。其中，运动方向标志用于指示运动信息中是否包括采集设备采集点云时的运动方向信息。
用于指示运动信息中是否包括采集设备采集点云时的运动方向信息。
例如，若运动方向标志的取值为第一数值时，则指示运动信息中包括采集设备采集点云时的运动方向信息。
再例如，若运动方向标志的取值为第二数值时，则指示运动信息中不包括采集设备采集点云时的运动方向信息。
示例性的，可以用字段orientation_present_flag表示运动方向标志。
本申请对上述第一数值和第二数值的具体取值不做限制。
可选的，上述第一数值为1。
可选的，上述第二数值为0。
在一些实施例中，上述S604中根据位置指示信息，确定点云的位置信息包括：
S604-A1、若运动方向标志的取值为第一数值时，进一步解析运动信息，得到运动信息中设备采集点云时的运动方向信息。
在一些实施例中，运动方向信息可以包括运动方向的表达类型和该表达类型下的运动方向。
示例性的，可以用字段orientation_type表示运动方向的表达类型。
本申请对运动方向的具体表达类型不做限制。
在一种示例中，运动方向的表达类型包括欧拉角和四元数中的任意一种。
例如，若运动方向的表达类型的取值为第三数值时，指示运动方向以欧拉角的形式给出。
再例如，若运动方向的表达类型的取值为第四数值时，指示运动方向以四元数的形式给出。
本申请对第三数值和第四数值的具体取值不做限制。
可选的，第三数值为0。
可选的，第四数值为1。
示例性的，欧拉角的形式包括：orientation_yaw，orientation_pitch，orientation_roll。
其中，orientation_yaw表示采集设备采集点云时的运动方向相对于地平面的偏航角，orientation_pitch表示采集设备采集点云时的运动方向相对于地平面的俯仰角，orientation_roll表示采集设备采集点云时的运动方向相对于地平面的翻滚角。
示例性的，四元数的形式包括：
qX＝orientation_x÷230,
qY＝orientation_y÷230,
qZ＝orientation_z÷230
qW＝Sqrt(1–(qX2+qY2+qZ2))。
其中，orientation_x，orientation_y，orientation_z分别指示采集设备采集点云时的运动方向相对于地平面的旋转角分量。
在一些实施例中，上述地址信息可以理解为采集设备采集该点云时，所处的位置对应的地址信息。
在一些实施例中，上述地址信息包括点采集设备采集点云时的位置对应的国家、省、城市、地区、街道、街道号码信息中的至少一个。
在一些实施例中，位置指示信息还包括定位信息标志、地磁信息标志、运动信息标志和地址信息标志中的至少一个。
其中，定位信息标志用于指示点云的位置信息中是否包括定位信息，地磁信息标志用于指示点云的位置信息中是否包括地磁信息，运动信息标志用于指示点云的位置信息中是否包括运动信息，地址信息标志用于指示点云的位置信息中是否包括地址信息。
在此基础上，上述S604包括但不限于如下几种示例：
示例1，若定位信息标志指示点云的位置信息中包括定位信息，则解析点云的位置信息，得到点云的定位信息。
可选的，用字段gps_info_flag表示定位信息标志。
例如，gps_info_flag为第一数值时，表示点云的位置信息中包括定位信息。
再例如，gps_info_flag为第二数值时，表示点云的位置信息中不包括定位信息。
即上述S604中，文件解封装设备对媒体文件进行解码，得到gps_info_flag，当gps_info_flag为第一数值时，文件解封装设备继续解码点云的位置信息，得到点云的定位信息。
示例2，若地磁信息标志指示点云的位置信息中包括地磁信息，则解析点云的位置信息，得到点云的地磁信息。
可选的，用字段geomagnetic_info_flag表示地磁信息标志。
例如，geomagnetic_info_flag为第三数值时，表示点云的位置信息中包括地磁信息。
再例如，geomagnetic_info_flag为第四数值时，表示点云的位置信息中不包括地磁信息。
即上述S604中，文件解封装设备对媒体文件进行解码，得到geomagnetic_info_flag，当geomagnetic_info_flag为第三数值时，文件解封装设备继续解码点云的位置信息，得到点云的地磁信息。
示例3，若运动信息标志指示点云的位置信息中包括运动信息，则解析点云的位置信息，得到点云的运动信息。
可选的，用字段motion_info_flag表示运动信息标志。
例如，motion_info_flag为第五数值时，表示点云的位置信息中包括运动信息。
再例如，motion_info_flag为第六数值时，表示点云的位置信息中不包括运动信息。
即上述S604中，文件解封装设备对媒体文件进行解码，得到motion_info_flag，当motion_info_flag为第五数值时，文件解封装设备继续解码点云的位置信息，得到点云的运动信息。
示例4，若地址信息标志指示点云的位置信息中包括地址信息，则解析点云的位置信息，得到点云的地址信息。
可选的，用字段address_info_flag表示地址信息标志。
例如，address_info_flag为第七数值时，表示点云的位置信息中包括地址信息。
再例如，address_info_flag为第八数值时，表示点云的位置信息中不包括地址信息。
即上述S604中，文件解封装设备对媒体文件进行解码，得到address_info_flag，当address_info_flag为第七数值时，文件解封装设备继续解码点云的位置信息，得到点云的地址信息。
在一些实施例中，上述点云的位置信息包括于点云位置信息数据盒中。
在一种情况下，若点云的位置信息不随时间变化时，则点云位置信息数据盒包含于点云数据轨道中，例如点云位置信息数据盒包含于点云数据轨道的样本入口处。
可选的，上述点云数据轨道包括点云轨道、点云几何轨道、点云分片基础轨道中的任意一个。
在另一种情况下，若点云的位置信息动态变化时，则媒体文件还包括动态点云位置信息元数据轨道，该点云位置信息数据盒包含于动态点云位置信息元数据轨道中的元数据样本中，动态点云位置信息元数据轨道用于指示点云随时间变化的位置信息。
在一些实施例中，动态点云位置信息元数据轨道还包括定位信息更新标志、地磁信息更新标志、运动信息更新标志和地址信息更新标志中的至少一个，
其中，定位信息更新标志用于指示是否更新定位信息，地磁信息更新标志用于指示是否更新地磁信息，运动信息更新标志用于指示是否更新运动信息，地址信息更新标志用于指示是否更新地址信息。
在一些实施例中，若定位信息更新标志指示对定位信息进行更新时，则元数据样本中的定位信息为使用当前时刻点云的定位信息更新后的定位信息；
若地磁信息更新标志指示对地磁信息进行更新时，则元数据样本中的地磁信息为使用当前时刻点云的地磁信息更新后的地磁信息；
若运动信息更新标志指示对运动信息进行更新时，则元数据样本中的运动信息为使用当前时刻点云的运动信息更新后的运动信息；
若地址信息更新标志指示对地址信息进行更新时，则元数据样本中的地址信息为使用当前时刻点云的地址信息更新后的地址信息。
在一些实施例中，运动信息包含于运动信息结构中，点云位置信息数据盒中的运动信息引用运动信息结构中的运动信息，具体参照上述实施例的描述，在此不再赘述。
在一些实施例中，地址信息包括于地址信息结构中，点云位置信息数据盒中的地址信息引用地址信息结构中的地址信息，具体参照上述实施例的描述，在此不再赘述。
S605，文件解封装设备根据点云的位置信息和/或时间元数据，进行预设任务处理。
例如，文件解封装设备根据点云的位置信息中的定位信息、速度信息，以及点云的时间信息，可精确确定出当前时刻采集设备的位置信息，实现精准定位。
再例如，若上述媒体文件为相邻车辆发送给的，则通过解码得到相邻车辆采集点云时的位置信息s1、时间信息t1和速度信息speed。根据相邻车辆采集点云的时间信息t1和当前时刻的时间信息t2，确定时间差t2-t1。再根据时间差t2-t1和相邻车辆的速度信息speed，确定出车辆在该时间差内的运行距离s2。最后，结合相邻车辆在采集点云时的位置信息s1和在当前时间差内的运行距离s2，确定出当前时间相邻车辆的位置信息(例如为s1+s2)，进而实现避让等操作。
再例如，若点云的位置信息包括地址信息时，则文件解封装设备可以根据点云的地址信息，对不同的点云进行分类，例如将同一个地址信息的点云划分为同一类。这样可以根据同一个地址区域内的点云进行相应的操作，例如，根据同一个地址区域内的点云进行路径规划等。
需要说明的是，本申请实施例对预设任务的具体内容不做限制，也就是说，本申请实施例对文件解封装设备根据点云的位置信息和/或时间信息进行的具体操作不做限制，具体根据实际需要确定。
本申请实施例提供的点云媒体文件解封装方法，通过获取点云的媒体文件，该媒体文件根据点云的码流进行封装得到的，码流中包括点云的时间指示信息，媒体文件至少包括时间元数据，时间元数据根据码流中的时间指示信息填充媒体文件中的时间结构信息得到；对媒体文件进行解码，得到点云的时间元数据。由于上述时间元数据是通过码流中的时间指示信息填充媒体文件中的时间结构信息得到，进而实现了时间元数据的快速确定。另外，本申请的媒体文件还包括点云的时间信息，这样文件解封装设备可以根据点云的时间信息和/或位置信息进行，进行预设任务的处理，例如根据点云的位置信息和/或时间信息进行精准定位、路径规划等，进而丰富了点云在相关领域的应用。
图7为本申请一实施例提供的点云媒体文件封装与解封装方法的交互示意图，如图7所示，包括：
S701、文件封装设备获取点云编码后的码流。
上述S701具体实现过程参照上述S501的描述，在此不再赘述。
S702、文件封装设备对点云的码流进行封装，得到点云的媒体文件。
其中，媒体文件至少包括时间元数据，时间元数据根据码流中的时间指示信息填充媒体文件中的时间结构信息得到。
上述S702具体实现过程参照上述S502的描述，在此不再赘述。
S703、文件封装设备将媒体文件发送给文件解封装设备。
S704、文件解封装设备对媒体文件进行解码，得到点云的时间元数据。
上述S705具体实现过程参照上述S602的描述，在此不再赘述。
S705、文件解封装设备对媒体文件进行解码，得到位置指示信息，并根据位置指示信息，得到点云的位置信息。
例如，若媒体文件包括位置指示信息时，则文件解封装设备对媒体文件进行解码，得到位置指示信息，进而根据位置指示信息，得到点云的位置信息。
再例如，若媒体文件中包括时间指示信息时，则文件解封装设备对媒体文件进行解码，得到时间指示信息，进而根据时间指示信息，得到点云的时间信息。
上述S705具体实现过程参照上述S603和S604的描述，在此不再赘述。
S706、文件解封装设备根据点云的位置信息和时间元数据中的至少一个，进行预设任务处理。
上述S706具体实现过程参照上述S605的描述，在此不再赘述。
本申请实施例针对点云媒体，提出了一种对点云位置和时间信息的指示方法。通过本申请提出的方法，可以更精确地指示点云帧对应的地理位置信息和/或时间信息，从而丰富点云数据在相关应用(如自动驾驶)当中的使用场景。
应理解，图4至图7仅为本申请的示例，不应理解为对本申请的限制。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。
上文结合图5和图7，详细描述了本申请的方法实施例，下文结合图8至图10，详细描述本申请的装置实施例。
图8为本申请一实施例提供的点云媒体文件封装装置的结构示意图，该装置10应用于文件封装设备，该装置10包括：
获取单元11，用于获取点云编码后的码流，所述码流包括所述点云的时间指示信息；
封装单元12，用于对所述点云的码流进行封装，得到所述点云的媒体文件；
其中，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充所述媒体文件中的时间结构信息得到。
在一些实施例中，所述媒体文件进一步包括位置指示信息，用于指示所述点云的位置信息，点云的位置信息包括采集设备采集所述点云时的定位信息、地磁信息、运动信息和地址信息中的至少一个。
在一些实施例中，所述运动信息包括所述采集设备采集所述点云时的运动速度和运动方向标志中的至少一个，所述运动方向标志用于指示所述运动信息中是否包括所述采集设备采集所述点云时的运动方向信息。
在一些实施例中，所述运动方向信息包括所述运动方向的表达类型和所述表达类型下的运动方向。
可选的，所述运动方向的表达类型包括欧拉角和四元数中的任意一种。
在一些实施例中，所述地址信息包括所述采集设备采集点云时的位置对应的国家、省、城市、地区、街道、街道号码信息中的至少一个。
在一些实施例中，所述位置指示信息还包括定位信息标志、地磁信息标志、运动信息标志和地址信息标志中的至少一个，
其中，所述定位信息标志用于指示所述点云的位置信息中是否包括定位信息，所述地磁信息标志用于指示所述点云的位置信息中是否包括地磁信息，所述运动信息标志用于指示所述点云的位置信息中是否包括运动信息，所述地址信息标志用于指示所述点云的位置信息中是否包括地址信息。
在一些实施例中，所述点云的位置信息包括于点云位置信息数据盒中。
在一些实施例中，
若所述点云的位置信息不随时间变化时，则所述点云位置信息数据盒包含于点云数据轨道的样本入口处；
若所述点云的位置信息动态变化时，则所述媒体文件还包括动态点云位置信息元数据轨道，所述点云位置信息数据盒包含于所述动态点云位置信息元数据轨道中的元数据样本中，所述动态点云位置信息元数据轨道用于指示所述点云随时间变化的位置信息。
在一些实施例中，所述点云数据轨道为点云轨道、点云几何轨道、点云分片基础轨道中的任意一个。
在一些实施例中，所述动态点云位置信息元数据轨道还包括定位信息更新标志、地磁信息更新标志、运动信息更新标志和地址信息更新标志中的至少一个，
其中，所述定位信息更新标志用于指示是否更新所述定位信息，所述地磁信息更新标志用于指示是否更新所述地磁信息，所述运动信息更新标志用于指示是否更新所述运动信息，所述地址信息更新标志用于指示是否更新所述地址信息。
在一些实施例中，封装单元12，用于若所述定位信息更新标志指示对所述定位信息进行更新时，则使用当前时刻所述点云的定位信息更新所述元数据样本中上一时刻的定位信息；
若所述地磁信息更新标志指示对所述地磁信息进行更新时，则使用当前时刻所述点云的地磁信息更新所述元数据样本中上一时刻的地磁信息；
若所述运动信息更新标志指示对所述运动信息进行更新时，则使用当前时刻所述点云的运动信息更新所述元数据样本中上一时刻的运动信息；
若所述地址信息更新标志指示对所述地址信息进行更新时，则使用当前时刻所述点云的地址信息更新所述元数据样本中上一时刻的所述地址信息。
在一些实施例中，所述运动信息包含于运动信息数据结构中，所述点云位置信息数据盒中的运动信息引用所述运动信息数据结构中的运动信息；或者，
所述地址信息包括于地址信息数据结构中，所述点云位置信息数据盒中的地址信息引用所述地址信息数据结构中的地址信息。
在一些实施例中，所述时间指示信息包括时间信息标志，所述时间信息标志用于指示所述码流中是否包括所述点云的时间信息。
在一些实施例中，所述点云的时间信息包括所述时间信息的类型、时长和所述点云的帧率中的至少一个。
在一些实施例中，所述时间信息的类型包括采集时间和显示时间中的任意一个。
在一些实施例中，所述点云的时间指示信息包含于所述点云的码流单元头中；或者，
所述点云的时间指示信息包含于所述点云的几何数据单元头中。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图8所示的装置10可以执行文件封装设备对应的方法实施例，并且装置10中的各个模块的前述和其它操作和/或功能分别为了实现文件封装设备对应的方法实施例，为了简洁，在此不再赘述。
图9为本申请一实施例提供的点云媒体文件解封装装置的结构示意图，该装置20应用于文件解封装设备，该装置20包括：
获取单元21，用于获取点云的媒体文件，所述媒体文件根据所述点云的码流进行封装得到的，所述码流中包括所述点云的时间指示信息，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充媒体文件中的时间结构信息得到；
解码单元22，用于对所述媒体文件进行解码，得到所述点云的点云的时间元数据。
在一些实施例中，媒体文件进一步包括位置指示信息，用于指示所述点云的位置信息，所述点云的位置信息包括采集设备采集所述点云时的定位信息、地磁信息、运动信息和地址信息中的至少一个；
上述装置还包括确定单元23和处理单元24：
解码单元22，还用于对所述媒体文件进行解码，得到所述位置指示信息；
确定单元23，用于根据所述位置指示信息，确定所述点云的位置信息；
处理单元24，用于根据所述点云的位置信息和/或时间元数据，进行预设任务处理。
在一些实施例中，所述运动信息包括所述采集设备采集所述点云时的运动速度和运动方向标志中的至少一个，所述运动方向标志用于指示所述运动信息中是否包括所述采集设备采集所述点云时的运动方向信息；
确定单元23，具体用于若所述运动方向标志指示所述运动信息中包括所述运动方向信息时，则解码所述运动信息，得到所述运动方向信息。
在一些实施例中，所述运动方向信息包括所述运动方向的表达类型和所述表达类型下的运动方向。
可选的，所述运动方向的表达类型包括欧拉角和四元数中的任意一种。
在一些实施例中，所述地址信息包括所述采集设备采集点云时的位置对应的国家、省、城市、地区、街道、街道号码信息中的至少一个。
在一些实施例中，所述位置指示信息还包括定位信息标志、地磁信息标志、运动信息标志和地址信息标志中的至少一个，其中，所述定位信息标志用于指示所述点云的位置信息中是否包括定位信息，所述地磁信息标志用于指示所述点云的位置信息中是否包括地磁信息，所述运动信息标志用于指示所述点云的位置信息中是否包括运动信息，所述地址信息标志用于指示所述点云的位置信息中是否包括地址信息；
此时，确定单元23，具体用于若所述定位信息标志指示所述点云的位置信息中包括定位信息，则解析所述点云的位置信息，得到所述点云的定位信息；
若所述地磁信息标志指示所述点云的位置信息中包括地磁信息，则解析所述点云的位置信息，得到所述点云的地磁信息；
若所述运动信息标志指示所述点云的位置信息中包括运动信息，则解析所述点云的位置信息，得到所述点云的运动信息；
若所述地址信息标志指示所述点云的位置信息中包括地址信息，则解析所述点云的位置信息，得到所述点云的地址信息。
在一些实施例中，所述点云的位置信息包括于点云位置信息数据盒中。
在一些实施例中，若所述点云的位置信息不随时间变化时，则所述点云位置信息数据盒包含于点云数据轨道的样本入口处；
若所述点云的位置信息动态变化时，则所述媒体文件还包括动态点云位置信息元数据轨道，所述点云位置信息数据盒包含于所述动态点云位置信息元数据轨道中的元数据样本中，所述动态点云位置信息元数据轨道用于指示所述点云随时间变化的位置信息。
在一些实施例中，所述点云数据轨道包括点云轨道、点云几何轨道、点云分片基础轨道中的任意一个。
在一些实施例中，所述动态点云位置信息元数据轨道还包括定位信息更新标志、地磁信息更新标志、运动信息更新标志和地址信息更新标志中的至少一个，其中，所述定位信息更新标志用于指示是否更新所述定位信息，所述地磁信息更新标志用于指示是否更新所述地磁信息，所述运动信息更新标志用于指示是否更新所述运动信息，所述地址信息更新标志用于指示是否更新所述地址信息。
在一些实施例中，若所述定位信息更新标志指示对所述定位信息进行更新时，则所述元数据样本中的定位信息为使用当前时刻所述点云的定位信息更新后的定位信息；
若所述地磁信息更新标志指示对所述地磁信息进行更新时，则所述元数据样本中的地磁信息为使用当前时刻所述点云的地磁信息更新后的地磁信息；
若所述运动信息更新标志指示对所述运动信息进行更新时，则所述元数据样本中的运动信息为使用当前时刻所述点云的运动信息更新后的运动信息；
若所述地址信息更新标志指示对所述地址信息进行更新时，则所述元数据样本中的地址信息为使用当前时刻所述点云的地址信息更新后的地址信息。
在一些实施例中，所述运动信息包含于运动信息结构中，所述点云位置信息数据盒中的运动信息引用所述运动信息结构中的运动信息；或者，
所述地址信息包括于地址信息结构中，所述点云位置信息数据盒中的地址信息引用所述地址信息结构中的地址信息。
在一些实施例中，所述时间指示信息用于指示所述点云的时间信息，所述点云的时间信息包括所述时间信息的类型、时长和所述点云的帧率中的至少一个。
在一些实施例中，所述时间信息的类型包括采集时间和显示时间中的任意一个。
在一些实施例中，所述点云的时间指示信息包含于所述点云的码流单元头中；或者，
所述点云的时间指示信息包含于所述点云的几何数据单元头中。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图9所示的装置20可以执行服务器对应的方法实施例，并且装置20中的各个模块的前述和其它操作和/或功能分别为了实现文件解封装设备对应的方法实施例，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图10是本申请实施例提供的计算设备的示意性框图，该计算设备可以为上述的文件封装设备、或文件解封装设备，或者该计算设备具有文件封装设备和文件解封装设备的功能。
如图10所示，该计算设备40可包括：
存储器41和存储器42，该存储器41用于存储计算机程序，并将该程序代码传输给该存储器42。换言之，该存储器42可以从存储器41中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该存储器42可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中，该存储器42可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器41包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器41中，并由该存储器42执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该视频制作设备中的执行过程。
如图10所示，该计算设备40还可包括：
收发器40，该收发器43可连接至该存储器42或存储器41。
其中，存储器42可以控制该收发器43与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器43可以包括发射机和接收机。收发器43还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该视频制作设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (30)

1.一种点云媒体文件封装方法，其特征在于，应用于文件封装设备，所述方法包括：
获取点云编码后的码流，所述码流包括所述点云的时间指示信息；
对所述点云的码流进行封装，得到所述点云的媒体文件；其中，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充所述媒体文件中的时间结构信息得到。
2.根据权利要求1所述的方法，其特征在于，所述媒体文件进一步包括位置指示信息，用于指示所述点云的位置信息，所述点云的位置信息包括采集设备采集所述点云时的定位信息、地磁信息、运动信息和地址信息中的至少一个。
3.根据权利要求2所述的方法，其特征在于，所述运动信息包括所述采集设备采集所述点云时的运动速度和运动方向标志中的至少一个，所述运动方向标志用于指示所述运动信息中是否包括所述采集设备采集所述点云时的运动方向信息。
4.根据权利要求3所述的方法，其特征在于，所述运动方向信息包括所述运动方向的表达类型和所述表达类型下的运动方向。
5.根据权利要求2所述的方法，其特征在于，所述地址信息包括所述采集设备采集点云时的位置对应的国家、省、城市、地区、街道、街道号码信息中的至少一个。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述位置指示信息还包括定位信息标志、地磁信息标志、运动信息标志和地址信息标志中的至少一个，
其中，所述定位信息标志用于指示所述点云的位置信息中是否包括定位信息，所述地磁信息标志用于指示所述点云的位置信息中是否包括地磁信息，所述运动信息标志用于指示所述点云的位置信息中是否包括运动信息，所述地址信息标志用于指示所述点云的位置信息中是否包括地址信息。
7.根据权利要求6所述的方法，其特征在于，所述点云的位置信息包括于点云位置信息数据盒中。
8.根据权利要求7所述的方法，其特征在于，
若所述点云的位置信息不随时间变化时，则所述点云位置信息数据盒包含于点云数据轨道的样本入口处，所述点云数据轨道为点云轨道、点云几何轨道、点云分片基础轨道中的任意一个；
若所述点云的位置信息动态变化时，则所述媒体文件还包括动态点云位置信息元数据轨道，所述点云位置信息数据盒包含于所述动态点云位置信息元数据轨道中的元数据样本中，所述动态点云位置信息元数据轨道用于指示所述点云随时间变化的位置信息。
9.根据权利要求8所述的方法，其特征在于，所述动态点云位置信息元数据轨道还包括定位信息更新标志、地磁信息更新标志、运动信息更新标志和地址信息更新标志中的至少一个，
其中，所述定位信息更新标志用于指示是否更新所述定位信息，所述地磁信息更新标志用于指示是否更新所述地磁信息，所述运动信息更新标志用于指示是否更新所述运动信息，所述地址信息更新标志用于指示是否更新所述地址信息；
所述方法还包括：
若所述定位信息更新标志指示对所述定位信息进行更新时，则使用当前时刻所述点云的定位信息更新所述元数据样本中上一时刻的定位信息；
若所述地磁信息更新标志指示对所述地磁信息进行更新时，则使用当前时刻所述点云的地磁信息更新所述元数据样本中上一时刻的地磁信息；
若所述运动信息更新标志指示对所述运动信息进行更新时，则使用当前时刻所述点云的运动信息更新所述元数据样本中上一时刻的运动信息；
若所述地址信息更新标志指示对所述地址信息进行更新时，则使用当前时刻所述点云的地址信息更新所述元数据样本中上一时刻的所述地址信息。
10.根据权利要求7-9任一项所述的方法，其特征在于，所述运动信息包含于运动信息数据结构中，所述点云位置信息数据盒中的运动信息引用所述运动信息数据结构中的运动信息；或者，
所述地址信息包括于地址信息数据结构中，所述点云位置信息数据盒中的地址信息引用所述地址信息数据结构中的地址信息。
11.根据权利要求1-5任一项所述的方法，其特征在于，所述时间指示信息用于指示所述点云的时间信息，所述点云的时间信息包括所述时间信息的类型、时长和所述点云的帧率中的至少一个。
12.根据权利要求11所述的方法，其特征在于，所述时间信息的类型包括采集时间和显示时间中的任意一个。
13.根据权利要求1-5任一项所述的方法，其特征在于，所述点云的时间指示信息包含于所述点云的码流单元头中；或者，
所述点云的时间指示信息包含于所述点云的几何数据单元头中。
14.一种点云媒体文件解封装方法，其特征在于，应用于文件解封装设备，所述方法包括：
获取点云的媒体文件，所述媒体文件根据所述点云的码流进行封装得到的，所述码流中包括所述点云的时间指示信息，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充所述媒体文件中的时间结构信息得到；
对所述媒体文件进行解码，得到所述点云的时间元数据。
15.根据权利要求14所述的方法，其特征在于，所述媒体文件进一步包括位置指示信息，用于指示所述点云的位置信息，所述点云的位置信息包括采集设备采集所述点云时的定位信息、地磁信息、运动信息和地址信息中的至少一个；
所述方法还包括：
对所述媒体文件进行解码，得到所述位置指示信息；
根据所述位置指示信息，确定所述点云的位置信息；
根据所述点云的位置信息和/或时间元数据，进行预设任务处理。
16.根据权利要求15所述的方法，其特征在于，所述运动信息包括所述采集设备采集所述点云时的运动速度和运动方向标志中的至少一个，所述运动方向标志用于指示所述运动信息中是否包括所述采集设备采集所述点云时的运动方向信息；
所述根据所述位置指示信息，确定所述点云的位置信息，包括：
若所述运动方向标志指示所述运动信息中包括所述运动方向信息时，则解码所述运动信息，得到所述运动方向信息。
17.根据权利要求16所述的方法，其特征在于，所述运动方向信息包括所述运动方向的表达类型和所述表达类型下的运动方向。
18.根据权利要求15所述的方法，其特征在于，所述地址信息包括所述采集设备采集点云时的位置对应的国家、省、城市、地区、街道、街道号码信息中的至少一个。
19.根据权利要求15-18任一项所述的方法，其特征在于，所述位置指示信息还包括定位信息标志、地磁信息标志、运动信息标志和地址信息标志中的至少一个，
其中，所述定位信息标志用于指示所述点云的位置信息中是否包括定位信息，所述地磁信息标志用于指示所述点云的位置信息中是否包括地磁信息，所述运动信息标志用于指示所述点云的位置信息中是否包括运动信息，所述地址信息标志用于指示所述点云的位置信息中是否包括地址信息；
所述根据所述位置指示信息，确定所述点云的位置信息，包括：
若所述定位信息标志指示所述点云的位置信息中包括定位信息，则解析所述点云的位置信息，得到所述点云的定位信息；
若所述地磁信息标志指示所述点云的位置信息中包括地磁信息，则解析所述点云的位置信息，得到所述点云的地磁信息；
若所述运动信息标志指示所述点云的位置信息中包括运动信息，则解析所述点云的位置信息，得到所述点云的运动信息；
若所述地址信息标志指示所述点云的位置信息中包括地址信息，则解析所述点云的位置信息，得到所述点云的地址信息。
20.根据权利要求19所述的方法，其特征在于，所述点云的位置信息包括于点云位置信息数据盒中。
21.根据权利要求20所述的方法，其特征在于，
若所述点云的位置信息不随时间变化时，则所述点云位置信息数据盒包含于点云数据轨道的样本入口处，所述点云数据轨道包括点云轨道、点云几何轨道、点云分片基础轨道中的任意一个；
若所述点云的位置信息动态变化时，则所述媒体文件还包括动态点云位置信息元数据轨道，所述点云位置信息数据盒包含于所述动态点云位置信息元数据轨道中的元数据样本中，所述动态点云位置信息元数据轨道用于指示所述点云随时间变化的位置信息。
22.根据权利要求21所述的方法，其特征在于，所述动态点云位置信息元数据轨道还包括定位信息更新标志、地磁信息更新标志、运动信息更新标志和地址信息更新标志中的至少一个，
其中，所述定位信息更新标志用于指示是否更新所述定位信息，所述地磁信息更新标志用于指示是否更新所述地磁信息，所述运动信息更新标志用于指示是否更新所述运动信息，所述地址信息更新标志用于指示是否更新所述地址信息；
若所述定位信息更新标志指示对所述定位信息进行更新时，则所述元数据样本中的定位信息为使用当前时刻所述点云的定位信息更新后的定位信息；
若所述地磁信息更新标志指示对所述地磁信息进行更新时，则所述元数据样本中的地磁信息为使用当前时刻所述点云的地磁信息更新后的地磁信息；
若所述运动信息更新标志指示对所述运动信息进行更新时，则所述元数据样本中的运动信息为使用当前时刻所述点云的运动信息更新后的运动信息；
若所述地址信息更新标志指示对所述地址信息进行更新时，则所述元数据样本中的地址信息为使用当前时刻所述点云的地址信息更新后的地址信息。
23.根据权利要求20-22任一项所述的方法，其特征在于，所述运动信息包含于运动信息结构中，所述点云位置信息数据盒中的运动信息引用所述运动信息结构中的运动信息；或者，
所述地址信息包括于地址信息结构中，所述点云位置信息数据盒中的地址信息引用所述地址信息结构中的地址信息。
24.根据权利要求14-18任一项所述的方法，其特征在于，所述时间指示信息用于指示所述点云的时间信息，所述点云的时间信息包括所述时间信息的类型、时长和所述点云的帧率中的至少一个。
25.根据权利要求24所述的方法，其特征在于，所述时间信息的类型包括采集时间和显示时间中的任意一个。
26.根据权利要求14-18任一项所述的方法，其特征在于，所述点云的时间指示信息包含于所述点云的码流单元头中；或者，
所述点云的时间指示信息包含于所述点云的几何数据单元头中。
27.一种点云媒体文件封装装置，其特征在于，应用于文件封装设备，所述装置包括：
获取单元，用于获取点云编码后的码流，所述码流包括所述点云的时间指示信息；
封装单元，用于对所述点云的码流进行封装，得到所述点云的媒体文件；
其中，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充所述媒体文件中的时间结构信息得到。
28.一种点云媒体文件解封装装置，其特征在于，应用于文件解封装设备，所述装置包括：
获取单元，用于获取点云的媒体文件，所述媒体文件根据所述点云的码流进行封装得到的，所述码流中包括所述点云的时间指示信息，所述媒体文件至少包括时间元数据，所述时间元数据根据所述码流中的时间指示信息填充媒体文件中的时间结构信息得到；
解码单元，用于对所述媒体文件进行解码，得到所述点云的时间元数据。
29.一种计算设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至13或14至26中任一项所述的方法。
30.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至13或14至26中任一项所述的方法。
CN202111436717.7A 2021-11-29 2021-11-29 媒体文件封装及解封装方法、装置、设备及存储介质 Active CN114095737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111436717.7A CN114095737B (zh) 2021-11-29 2021-11-29 媒体文件封装及解封装方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111436717.7A CN114095737B (zh) 2021-11-29 2021-11-29 媒体文件封装及解封装方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114095737A true CN114095737A (zh) 2022-02-25
CN114095737B CN114095737B (zh) 2023-03-31

Family

ID=80305489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111436717.7A Active CN114095737B (zh) 2021-11-29 2021-11-29 媒体文件封装及解封装方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114095737B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102932A (zh) * 2022-06-09 2022-09-23 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品
WO2023169001A1 (zh) * 2022-03-08 2023-09-14 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法、装置、设备及存储介质
WO2023174059A1 (zh) * 2022-03-14 2023-09-21 中兴通讯股份有限公司 数据处理方法、装置、设备、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200447A (zh) * 2018-01-15 2018-06-22 北京金山云网络技术有限公司 直播数据传输方法、装置、电子设备、服务器及存储介质
CN108833937A (zh) * 2018-05-30 2018-11-16 华为技术有限公司 视频处理方法和装置
CN111787420A (zh) * 2020-07-23 2020-10-16 北京数码视讯技术有限公司 一种数据处理方法及装置、电子设备、可读存储介质
CN111954016A (zh) * 2020-08-14 2020-11-17 杭州视洞科技有限公司 一种直播视频流高效精准录制方案

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200447A (zh) * 2018-01-15 2018-06-22 北京金山云网络技术有限公司 直播数据传输方法、装置、电子设备、服务器及存储介质
CN108833937A (zh) * 2018-05-30 2018-11-16 华为技术有限公司 视频处理方法和装置
CN111787420A (zh) * 2020-07-23 2020-10-16 北京数码视讯技术有限公司 一种数据处理方法及装置、电子设备、可读存储介质
CN111954016A (zh) * 2020-08-14 2020-11-17 杭州视洞科技有限公司 一种直播视频流高效精准录制方案

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169001A1 (zh) * 2022-03-08 2023-09-14 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法、装置、设备及存储介质
WO2023174059A1 (zh) * 2022-03-14 2023-09-21 中兴通讯股份有限公司 数据处理方法、装置、设备、存储介质及程序产品
CN115102932A (zh) * 2022-06-09 2022-09-23 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品
CN115102932B (zh) * 2022-06-09 2024-01-12 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品

Also Published As

Publication number Publication date
CN114095737B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN111837383B (zh) 发送和接收关于动态视点的坐标系的元数据的方法和装置
US11178383B2 (en) Method, apparatus and stream for volumetric video format
CN114095737A (zh) 点云媒体文件封装方法、装置、设备及存储介质
US20230421810A1 (en) Encapsulation and decapsulation methods and apparatuses for point cloud media file, and storage medium
WO2019209838A1 (en) Method, apparatus and stream for volumetric video format
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN110876051A (zh) 视频数据的处理，传输方法及装置，视频数据的处理系统
WO2023061131A1 (zh) 媒体文件封装方法、装置、设备及存储介质
US20230169719A1 (en) Method and Apparatus for Processing Immersive Media Data, Storage Medium and Electronic Apparatus
KR20200020913A (ko) 미디어 정보를 처리하는 방법 및 장치
CN114189697A (zh) 一种视频数据处理方法、装置以及可读存储介质
EP3741110A1 (en) A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
CN115086635B (zh) 多视角视频的处理方法、装置、设备及存储介质
WO2023024843A1 (zh) 媒体文件封装与解封装方法、设备及存储介质
WO2023016293A1 (zh) 自由视角视频的文件封装方法、装置、设备及存储介质
WO2023024841A1 (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
CN113497928B (zh) 一种沉浸媒体的数据处理方法及相关设备
CN117082262A (zh) 点云文件封装与解封装方法、装置、设备及存储介质
CN114374675B (zh) 媒体文件的封装方法、媒体文件的解封装方法及相关设备
CN116137664A (zh) 点云媒体文件封装方法、装置、设备及存储介质
CN115426502A (zh) 点云媒体的数据处理方法、装置、设备及存储介质
CN115481280A (zh) 容积视频的数据处理方法、装置、设备及可读存储介质
CN116643644A (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN116939290A (zh) 媒体数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065640

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant