CN115102932A - 点云媒体的数据处理方法、装置、设备、存储介质及产品 - Google Patents

Abstract

本申请实施例公开了一种点云媒体的数据处理方法、装置、设备、存储介质及产品。其中方法包括：一方面获取点云媒体，以及点云媒体的采集时间；基于点云媒体的采集时间生成点云媒体的采集时间指示信息，将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。另一方面获取点云媒体，以及点云媒体的采集时间；基于点云媒体的采集时间生成点云媒体的采集时间指示信息，将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。可见，通过将采集时间指示信息封装在点云媒体的媒体文件中，来指示点云媒体的采集时间。

Description

点云媒体的数据处理方法、装置、设备、存储介质及产品

技术领域

本申请涉及计算机技术领域，具体涉及一种点云(Point Cloud)媒体的数据处理方法、一种点云媒体的数据处理装置、一种计算机设备、一种存储介质及一种点云媒体的数据处理产品。

背景技术

随着科技研究的进步，点云媒体除了被应用在人眼视觉方向外，还被应用在机器人视觉方向。点云媒体应用在机器人视觉方向的目的是提取点云媒体中的关键信息；例如，在搜救、巡检、质量检测等场景中，在预设时段内检测目标对象。在机器人视觉方向下，相较于点云媒体的呈现时间来说，点云媒体的采集时间变得更加重要，如何指示点云媒体的采集时间成为目前研究的热门问题。

发明内容

本发明实施例提供了一种点云媒体的数据处理方法、装置、设备及计算机可读存储介质，能够指示点云媒体的采集时间。

一方面，本申请实施例提供了一种点云媒体的数据处理方法，包括：

获取点云媒体的媒体文件，媒体文件包含点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间；

对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间。

本申请实施例中，获取点云媒体的媒体文件，媒体文件包含点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间。可见，通过将点云媒体的采集时间指示信息封装在点云媒体中，使得内容消费设备在对点云媒体进行解码呈现的过程中，基于采集时间指示信息得到并输出点云媒体的采集时间。

一方面，本申请实施例提供了一种点云媒体的数据处理方法，包括：

获取点云媒体，以及点云媒体的采集时间；

基于点云媒体的采集时间生成点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间；

将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。

本申请实施例中，获取点云媒体，以及点云媒体的采集时间；基于点云媒体的采集时间生成点云媒体的采集时间指示信息，将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。可见，通过将采集时间指示信息封装在点云媒体的媒体文件中，来向内容消费设备指示点云媒体的采集时间。

一方面，本申请实施例提供了一种点云媒体的数据处理装置，该点云媒体的数据处理装置包括：

获取单元，用于获取点云媒体的媒体文件，媒体文件包含点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间；

处理单元，用于对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间。

一方面，本申请实施例提供了一种点云媒体的数据处理装置，该点云媒体的数据处理装置包括：

获取单元，用于获取点云媒体，以及点云媒体的采集时间；

处理单元，用于基于点云媒体的采集时间生成点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间；

以及用于将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。

相应地，本申请提供了一种计算机设备，该计算机设备包括：

处理器，用于加载并执行计算机程序；

存储器，该存储器中存储有计算机程序，该计算机程序被处理器执行时，实现上述点云媒体的数据处理方法。

相应地，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行上述点云媒体的数据处理方法。

相应地，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述点云媒体的数据处理方法。

本申请实施例中，内容制作设备获取点云媒体，以及点云媒体的采集时间；基于点云媒体的采集时间生成点云媒体的采集时间指示信息，将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。内容消费设备获取点云媒体，以及点云媒体的采集时间；基于点云媒体的采集时间生成点云媒体的采集时间指示信息，将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。可见，内容制作设备通过将采集时间指示信息封装在点云媒体的媒体文件中，来向内容消费设备指示点云媒体的采集时间，使得内容消费设备在对点云媒体进行解码呈现的过程中，基于采集时间指示信息得到并输出点云媒体的采集时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本申请实施例提供的一种6DoF的示意图；

图1b为本申请实施例提供的一种3DoF的示意图；

图1c为本申请实施例提供的一种3DoF+的示意图；

图1d为本申请实施例提供的一种点云媒体的数据处理架构图；

图2为本申请实施例提供的一种点云媒体的数据处理方法的流程图；

图3为本申请实施例提供的另一种点云媒体的数据处理方法的流程图；

图4为本申请实施例提供的一种点云媒体的数据处理装置的结构示意图；

图5为本申请实施例提供的另一种点云媒体的数据处理装置的结构示意图；

图6为本申请实施例提供的一种内容消费设备的结构示意图；

图7为本申请实施例提供的一种内容制作设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

一、沉浸媒体：

沉浸媒体是指能够提供沉浸式的媒体内容，使沉浸于该媒体内容中的观看者能够获得现实世界中视觉、听觉等感官体验的媒体文件。沉浸式媒体按照观看者在消费媒体内容时的自由度，可以分为：6DoF(Degree of Freedom)沉浸媒体，3DoF沉浸媒体，3DoF+沉浸媒体。

二、点云：

所谓点云是指空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。

三、点云媒体：

点云媒体一种典型的6DoF沉浸媒体。点云媒体可以灵活方便地表达三维物体或场景的空间结构及表面属性，因此被广泛应用在虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design,CAD)、地理信息系统(Geography InformationSystem，GIS)、自动导航系统(Autonomous Navigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等项目中。

四、轨道(Track)：

轨道是媒体文件封装过程中的媒体数据集合，一个媒体文件可由一个或多个轨道组成，例如常见的：一个媒体文件可以包含一个视频轨道、一个音频轨道及一个字幕轨道。

五、样本(Sample)：

样本是媒体文件封装过程中的封装单位，一个轨道由很多个样本组成，例如：一个视频轨道可以由很多个样本组成，一个样本通常为一个视频帧。

六、解码时间戳(Decoding timestamp，DTS)：

解码时间戳是媒体时间线中用于样本解码时间排序的时间戳。

七、组合时间戳(Composition timestamp，CTS)：

组合时间戳是媒体时间线中用于样本呈现时间排序的时间戳，并且建立样本的相对呈现时间。

八、采集时间戳(Acquisition timestamp，ATS)：

采集时间戳是用于指示点云媒体中点云帧的采集时间的时间戳。

九、点云片/点云条(Slice)：

点云片/点云条是指部分或全部编码后点云媒体中点云帧的一系列语法元素(比如几何slice、属性slice)集合。

十、点云空间分块(Tile)：

点云空间分块又称为点云帧边界空间区域内的六面体空间分块区域，一个点云空间分块由一个或多个点云片组成，点云空间分块之间不存在编解码依赖关系。

十一、ISOBMFF(ISO Based Media File Format，基于ISO标准的媒体文件格式)：

ISOBMFF是媒体文件的封装标准，较为典型的ISOBMFF文件即为MP4文件。

十二、DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)：

DASH是一种自适应比特率技术，使高质量流媒体可以通过传统的HTTP网络服务器在互联网传递。

十三、MPD(Media Presentation Description，DASH中的媒体演示描述信令):

MPD用于描述媒体文件中的媒体片段信息。

十四、表示(Representation)：

Representation是指DASH中一个或多个媒体成分的组合，比如某种分辨率的视频文件可以看做一个Representation；在本申请中，某种时域层级的视频文件可以看做一个Representation。

十五、自适应集(Adaptation Sets)：

Adaptation Sets是指DASH中一个或多个视频流的集合，一个Adaptation Sets中可以包含多个Representation。

本申请实施例涉及点云媒体的数据处理技术，下面将对点云媒体的数据处理过程中的一些概念进行介绍，特别说明的是，本申请后续实施例中均以沉浸媒体为点云媒体为例进行说明。

图1a为本申请实施例提供的一种6DoF的示意图；6DoF分为窗口6DoF、全方向6DoF和6DoF，其中，窗口6DoF是指沉浸媒体的观看者在X轴、Y轴的旋转移动受限，以及在Z轴的平移受限；例如，沉浸媒体的观看者不能够看到窗户框架外的景象，以及沉浸媒体的观看者无法穿过窗户。全方向6DoF是指沉浸媒体的观看者在X轴、Y轴和Z轴的旋转移动受限，例如，沉浸媒体的观看者在受限的移动区域中不能自由的穿过三维的360度VR内容。6DoF是指沉浸媒体的观看者可以沿着X轴、Y轴、Z轴自由平移，例如，沉浸媒体的观看者可以在三维的360度VR内容中自由的走动。与6DoF相类似的，还有3DoF和3DoF+制作技术。图1b为本申请实施例提供的一种3DoF的示意图；如图1b所示，3DoF是指沉浸媒体的观看者在一个三维空间的中心点固定，沉浸媒体的观看者头部沿着X轴、Y轴和Z轴旋转来观看媒体内容提供的画面。图1c为本申请实施例提供的一种3DoF+的示意图，如图1c所示，3DoF+是指当沉浸媒体提供的虚拟场景具有一定的深度信息，沉浸媒体的观看者头部可以基于3DoF在一个有限的空间内移动来观看媒体内容提供的画面。

随着科技技术的不断发展，目前已经能够以较低的成本在较短的时间周期内获得大量精确度较高的点云数据。点云数据的获取途径包括：计算机生成、三维(3-Dimension，3D)激光扫描、3D摄影测量等。具体来说，点云数据可以是通过采集设备(一组摄像机或具有多个镜头和传感器的摄像机设备)对现实世界的视觉场景进行采集得到的，通过3D激光扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云数据；通过3D摄影可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云数据；此外，在医学领域，可以通过磁共振成像(Magnetic Resonance Imaging，MRI)、电子计算机断层扫描(Computed Tomography，CT)、电磁定位信息获得生物组织器官的点云数据。又如，点云数据还可以由计算机根据虚拟三维物体及场景直接生成，如计算机可以生成虚拟三维物体及场景的点云数据。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。

图1d为本申请实施例提供的一种点云媒体的数据处理架构图。如图1d所示，在内容制作设备端的数据处理过程主要包括：(1)点云数据的媒体内容的获取过程；(2)点云数据的编码及文件封装的过程。在内容消费设备端的数据处理过程主要包括：(3)点云数据的文件解封装及解码的过程；(4)点云数据的渲染过程。另外，内容制作设备与内容消费设备之间涉及点云媒体的传输过程，该传输过程可以基于各种传输协议来进行，此处的传输协议可包括但不限于：DASH(Dynamic Adaptive Streaming over HTTP，动态自适应流媒体传输)协议、HLS(HTTP Live Streaming，动态码率自适应传输)协议、SMTP(Smart MediaTransportProtocol，智能媒体传输协议)、TCP(Transmission Control Protocol，传输控制协议)等。

下面对点云媒体的数据处理过程进行详细描述：

(1)获取点云媒体的媒体内容。

从点云媒体的媒体内容的获取方式看，可以分为通过捕获设备采集现实世界的声音-视觉场景获得的以及通过计算机生成的两种方式。在一种实现中，捕获设备可以是指设于内容制作设备中的硬件组件，例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中，该捕获设备也可以是与内容制作设备相连接的硬件装置，例如与服务器相连接摄像头；用于为内容制作设备提供点云数据的媒体内容的获取服务。该捕获设备可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容，捕获的音频内容和视频内容在时间和空间上均保持同步。由于获取的方式不同，不同点云数据的媒体内容对应的压缩编码方式也可能有所区别。

(2)点云媒体的媒体内容的编码及文件封装的过程。

目前，通常采用基于几何的点云压缩(Geometry-based point cloudcompression，GPCC)编码方式对获取的点云数据进行编码处理，得到基于几何的点云压缩比特流(包括编码的几何比特流和属性比特流)。基于几何的点云压缩比特流的封装模式包括单轨道封装模式和多轨道封装模式。

单轨道封装模式是指以单一轨道的形式对点云码流进行封装，在单轨道封装模式下，一个样本中会包含一个或多个编码内容单元(比如一个几何编码内容单元和多个属性编码内容单元)，单轨道封装模式的好处在于：在点云码流的基础上，无需过多的处理即可得到一个单轨道封装的点云文件。

多轨道封装模式是指以多个轨道的形式对点云码流进行封装，在多轨道封装模式下，每个轨道包含点云码流中的一个组件，即一个几何组件轨道和一个或多个属性组件轨道，多轨道封装的好处在于：将不同的组件分别封装，有利于客户端根据自身需求选择所需要的组件进行传输和解码消费。

(3)点云媒体的文件解封装及解码的过程；

内容消费设备可以通过内容制作设备获得点云数据的媒体文件资源和相应的媒体呈现描述信息。点云数据的媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由内容制作设备传输给内容消费设备。内容消费设备端的文件解封装的过程与内容制作设备端的文件封装过程是相逆的，内容消费设备按照点云媒体的文件格式要求对媒体文件资源进行解封装，得到编码比特流(GPCC比特流或VPCC比特流)。内容消费设备端的解码过程与内容制作设备端的编码过程是相逆的，内容消费设备对编码比特流进行解码，还原出点云数据。

(4)点云媒体的渲染过程。

内容消费设备根据媒体呈现描述信息中与渲染、视窗相关的元数据对GPCC比特流解码得到的点云数据进行渲染，得到点云媒体的点云帧，并根据点云帧的呈现时间呈现点云媒体。

在一个实施例中，内容制作设备端：首先通过采集设备对真实世界的视觉场景进行采样，得到与真实世界的视觉场景对应的点云数据；然后通过基于几何的点云压缩(Geometry-based point cloud compression，GPCC)对获取的点云数据进行编码处理，得到GPCC比特流(包括编码的几何比特流和属性比特流)；接着对GPCC比特流进行封装得到点云数据对应的媒体文件(即点云媒体)，具体地，内容制作设备根据特定媒体容器文件格式，将一个或多个编码比特流合成为用于文件回放的媒体文件，或用于流式传输的初始化片段和媒体片段的序列；其中，媒体容器文件格式是指在国际标准化组织(InternationalOrganization for Standardization，ISO)/国际电工委员会(InternationalElectrotechnical Commission，IEC)14496-12中规定的ISO基本媒体文件格式。在一种实施方式中，内容制作设备还将元数据封装到媒体文件或初始化/媒体片段的序列中，并通过传输机制(如动态自适应流媒体传输接口)将初始化/媒体片段的序列传送给内容消费设备。

在内容消费设备端：首先接收内容制作设备发送的点云媒体文件，包括：用于文件回放的媒体文件，或用于流式传输的初始化片段和媒体片段的序列；然后对点云媒体文件进行解封装处理，得到编码的GPCC比特流；接着解析编码的GPCC比特流(即对编码的GPCC比特流进行解码处理，得到点云数据)；在具体实现中，内容消费设备基于当前对象的观看位置/观看方向确定呈现点云媒体所需的媒体文件，或者媒体片段序列；并对呈现点云媒体所需的媒体文件，或者媒体片段序列进行解码处理，得到呈现所需的点云数据。最后基于当前对象的观看(视窗)方向，对解码后的点云数据进行渲染，得到点云媒体的点云帧，并按照点云帧的呈现时间在内容消费设备携带的头戴式显示器或任何其他显示设备的屏幕上呈现点云媒体。需要说明的是，当前对象的观看位置/观看方向由头部追踪以及可能还有视觉追踪功能确定。除了通过渲染器用来渲染当前对象的观看位置/观看方向的点云数据外，还可以通过音频解码器来对当前对象的观看(视窗)方向的音频进行解码优化。

其中，内容制作设备和内容消费设备可以共同组成点云媒体系统。内容制作设备可以是指点云媒体的提供者(例如点云媒体的内容制作者)所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)等)或服务器；其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。内容消费设备可以是指点云媒体的使用者(例如点云媒体的观看者)所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等)、智能家电、车载终端、飞行器等)。

可以理解的是，本申请涉及点云媒体的数据处理技术可以依托于云技术进行实现；例如，将云服务器作为内容制作设备。云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

目前，点云媒体的时间指示信息被封装在媒体头数据盒(Media header box)中，媒体头数据盒用于声明点云媒体整体信息，这些信息与轨道中点云媒体的特征相关。媒体头数据盒(Media header box)的语法可参见下述表1：

表1

上述表1中的语法的语义如下：

版本字段(version)用于指示媒体头数据盒的版本，该字段的数据类型为整数类型，该字段的取值为0或1。

创建时间字段(creation_time)用于指示轨道中点云媒体的创建时间(以协调世界时间(Universal Time Coordinated，UTC)1904年1月1日午夜开始的秒数)，该字段的数据类型为整数类型。

修改时间字段(modify_time)用于指示轨道中点云媒体最近一次被修改的时间(以UTC为基准)，该字段的数据类型为整数类型。

时间尺度字段(timescale)用于指定点云媒体在一秒内经过的时间单位数；例如，以六十分之一秒为单位测量时间的时间坐标系的时间尺度为60。该字段的数据类型为整数类型。

持续时间字段(duration)用于指示点云媒体的持续时间(在时间尺度的范围内)，持续时间字段的取值为最大的组合时间戳加上该样本的持续时间。如果无法确定持续时间，则将持续时间设置为全1。该字段的数据类型为整数类型。

需要说明的是，音频轨道的持续时间可能小于解码器输出的音频样本的持续时间。这取决于解码过程。轨道的最后一个ISOBMFF样本的解码可能会产生无需渲染的额外音频样本。

语言字段(language)用于指示点云媒体的语言代码，作为ISO 639-2中定义的压缩三字符代码。每个字符都被打包为它的ASCII值和0x60之间的差异。由于代码仅限于三个小写字母，因此这些值是均为正数。

由上述表1可知，媒体头数据盒(Media header box)中只存在对点云媒体中点云帧的呈现时间的指示信息，缺乏对点云媒体中点云帧的采集时间的指示信息。

基于此，本申请提出一种点云媒体的数据处理方法，通过云媒体的采集时间指示信息，来对点云媒体中点云帧的采集时间进行指示。该方法可以为特定的点云媒体应用(如面向机器视觉的点云媒体应用)提供必要的时间信息(如点云媒体中点云帧的采集时间)，以满足这些点云媒体应用的需求。其中，点云媒体的采集时间指示信息为元数据信息。

在一种实施方式中，元数据信息包含时间戳信息数据盒(TimestampInfoBox)，时间戳信息数据盒(TimestampInfoBox)用于指示点云媒体的采集时间的指示方式。时间戳信息数据盒(TimestampInfoBox)可以包含于媒体头数据盒(Media header box)中，时间戳信息数据盒(TimestampInfoBox)的数据盒类型为：'tmsi'；强制类型为：否；数量为0或1。时间戳信息数据盒(TimestampInfoBox)的语法可参见下述表2：

表2

上述表2中的语法的语义如下：

采集时间戳标志字段(acquisition_timestamp_flag)：当该字段取值为第一设定值(如0)时，表示当前媒体文件中不包含与采集时间相关的时间戳信息；当该字段取值为第二设定值(如1)时，表示当前媒体文件中包含采集时间相关的时间戳信息。

参考解码时间戳字段(refer_DTS)：当该字段取值为第一设定值(如0)时，表示当前媒体文件中的采集时间信息不以DTS为基准进行指示；当该字段取值为第二设定值(如1)时，表示当前媒体文件中的采集时间信息以DTS为基准进行指示。

参考组合时间戳字段(refer_CTS)：当该字段取值为第一设定值(如0)时，表示当前媒体文件中的采集时间信息不以CTS为基准进行指示；当该字段取值为第二设定值(如1)时，表示当前媒体文件中的采集时间信息以CTS为基准进行指示。需要说明的是，refer_DTS和refer_CTS不能同时取值为1。

同等解码时间戳字段(equal_DTS)：当该字段取值为第一设定值(如0)时，表示当前媒体文件中各轨道包含的样本的采集时间不等于相应轨道包含的样本的解码时间；当该字段取值为第二设定值(如1)时，表示当前媒体文件中各轨道包含的样本的采集时间等于相应轨道包含的样本的解码时间。

同等组合时间戳字段(equal_CTS)：当该字段取值为第一设定值(如0)时，表示当前媒体文件中各轨道包含的样本的采集时间不等于相应轨道包含的样本的组合时间；当该字段取值为第二设定值(如1)时，表示当前媒体文件中各轨道包含的样本的采集时间等于相应轨道包含的样本的组合时间。需要说明的是，equal_DTS和equal_CTS不能同时取值为1。

初始时间戳标志字段(initial_timestamp_flag)：当该字段取值为第一设定值(如0)时，表示初始采集时间等同于媒体文件的创建时间；当该字段取值为第二设定值(如1)时，表示初始采集时间由起始采集时间字段(initial_acquisition_time)指示。

起始采集时间字段(initial_acquisition_time)：该字段用于指示初始采集时刻的UTC时间。

在另一种实施方式中，媒体文件包含M个样本，M为正整数；元数据信息包含采集时间数据盒(SampleTableBox)；采集时间数据盒(SampleTableBox)用于指示各个样本与采集时间的对应关系。当采集时间数据盒(SampleTableBox)的时间指示以DTS或者CTS为基准时，采集时间数据盒(SampleTableBox)中指示的偏移量为当前样本采集时间相对于DTS或者CTS的偏移值sample_offset，具体可以表示为：

AT[n]＝DT[n]/CT[n]+sample_offset[n]

其中，AT[n]表示第n个样本的采集时间，DT[n]表示第n个样本的解码时间，CT[n]表示第n个样本的组合时间，sample_offset[n]表示第n个样本的偏移值。

当采集时间数据盒(SampleTableBox)的时间指示不以DTS或者CTS为基准时，采集时间数据盒中指示的偏移量(sample_offset)为当前样本的采集时间相对于上一个样本采集时间的偏移量，具体可以表示为：

AT[n+1]＝AT[n]+sample_offset[n+1]

其中，AT[n+1]表示第n+1个样本的采集时间，sample_offset[n+1]表示第n+1个样本的偏移值。

采集时间数据盒(SampleTableBox)可以包含于媒体头数据盒(Media headerbox)中，采集时间数据盒(SampleTableBox)的数据盒类型为：'atts'；强制类型为：否；数量为0或1。时间戳信息数据盒(TimestampInfoBox)和采集时间数据盒(SampleTableBox)可以同时包含于媒体头数据盒(Media header box)中。采集时间数据盒(SampleTableBox)的语法可参见下述表3：

表3

上述表3中的语法的语义如下：

条目数字段(entry_count)：该字段用于指示点云媒体文件(如采集时间表)中包含的偏移指示信息的条目数量。

样本计数字段(sample_count)：该字段用于指示具备相应样本偏移量字段(sample_offset)的连续样本数量，即样本偏移量字段的取值相同的连续样本的数量。

样本偏移量字段(sample_offset)：该字段用于指示当前样本采集时间相对于DTS或者CTS或者上一样本ATS的偏移量。具体来说，第i个样本的样本偏移量字段用于指示第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数。该字段的单位以媒体文件中的时间刻度为单位，即根据媒体文件中包含的时间刻度指示信息确定。

在再一种实施方式中，媒体文件包含M个样本，M个样本被封装在至少一个媒体轨道中，M为正整数；元数据信息包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。每个元数据轨道包含采集时间戳样本条目指示信息(AcquisitionTimestampSampleEntry)，采集时间戳样本条目指示信息用于指示点云媒体的初始采集时间。采集时间戳样本条目指示信息的语法可以参见下述表4：

表4

上述表4中的语法的语义如下：

起始采集时间字段(initial_acquisition_time)：该字段用于指示初始采集时刻的UTC时间。

时间刻度指示字段(default_timescale)：当该字段取值为第一设定值(如0)时，表示采集时间戳的时间刻度由采集时间刻度字段(acquisition_timescale)指示；当该字段取值为第二设定值(如1)时，表示采集时间戳的时间刻度与媒体文件中已包含的时间刻度相同。

采集时间刻度字段(acquisition_timescale)：该字段用于指示采集时间戳的时间刻度；该字段的取值为正整数，表示一秒对应的时间刻度的个数；例如，若采集时间刻度字段取值为30，表示单个样本的持续时间为1/30秒。

每个元数据轨道还包含M个采集时间戳样本指示信息(AcquisitionTimestampSample)，采集时间戳样本指示信息的语法可以参见下述表5：

表5

上述表5中的语法的语义如下：

采集时间偏移字段(acquisition_time_offset)：该字段用于指示相应样本采集时间戳相对于上一样本的偏移量。具体来说，第i个采集时间戳样本指示信息中的采集时间偏移字段用于指示第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移量，i为大于1，且小于等于M的整数。该字段的单位以媒体文件中的时间刻度为单位。

本申请实施例中，内容制作设备获取点云媒体，以及点云媒体的采集时间；基于点云媒体的采集时间生成点云媒体的采集时间指示信息，将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。内容消费设备获取点云媒体，以及点云媒体的采集时间；基于点云媒体的采集时间生成点云媒体的采集时间指示信息，将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。可见，内容制作设备通过将采集时间指示信息封装在点云媒体的媒体文件中，来向内容消费设备指示点云媒体的采集时间，使得内容消费设备在对点云媒体进行解码呈现的过程中，基于采集时间指示信息得到并输出点云媒体的采集时间。

图2为本申请实施例提供的一种点云媒体的数据处理方法的流程图；该方法可由点云媒体系统中的内容消费设备来执行，该方法包括以下步骤S201和步骤S202：

S201、获取点云媒体的媒体文件。

媒体文件包含点云媒体的采集时间指示信息，点云媒体的采集时间指示信息用于指示点云媒体的采集时间。点云媒体的采集时间指示信息为元数据信息。

在一种实施方式中，元数据信息包含时间戳信息数据盒(TimestampInfoBox)，时间戳信息数据盒用于指示点云媒体的采集时间的指示方式。

在另一种实施方式中，媒体文件包含M个样本，M为正整数；元数据信息包含采集时间数据盒(AcquisitionTimestampBox)；采集时间数据盒用于指示各个样本与采集时间的对应关系。

在再一种实施方式中，媒体文件包含M个样本，这M个样本被封装在至少一个媒体轨道中，M为正整数；元数据信息包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

S202、对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间。

内容消费设备端的解码过程与内容制作设备端的编码过程是相逆的，内容消费设备对编码比特流进行解码，还原出点云数据。并根据媒体呈现描述信息中与渲染、视窗相关的元数据对得到的点云数据进行渲染，得到点云媒体的点云帧，并根据点云帧的呈现时间呈现点云媒体。内容消费设备对媒体文件进行解码以呈现点云媒体的完整实施方式可参见图1d中点云媒体的解码和呈现的实施方式，在此不再赘述。下面对元数据信息包含时间戳信息数据盒(TimestampInfoBox)，或者包含采集时间数据盒(AcquisitionTimestampBox)，或者包含至少一个元数据轨道时，内容消费设备对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施方式进行详细说明：

在一种实施方式中，元数据信息包含时间戳信息数据盒(TimestampInfoBox)，时间戳信息数据盒(TimestampInfoBox)包含以下至少一个字段：

(1)时间戳信息数据盒包含采集时间戳标志字段(acquisition_timestamp_flag)；若采集时间戳标志字段取值为第一设定值(如0)，则内容消费设备确定媒体文件中不包含与采集时间相关的时间戳信息；相应地，若采集时间戳标志字段取值为第二设定值(如1)，则内容消费设备确定媒体文件中包含与采集时间相关的时间戳信息。

(2)时间戳信息数据盒包含参考解码时间戳字段(refer_DTS)；若参考解码时间戳字段取值为第一设定值(如0)，则内容消费设备确定媒体文件中的采集时间不以解码时间戳为基准进行指示；相应地，若参考解码时间戳字段取值为第二设定值(如1)，则内容消费设备确定媒体文件中的采集时间以解码时间戳为基准进行指示。

(3)时间戳信息数据盒包含参考组合时间戳字段(refer_CTS)；若参考组合时间戳字段取值为第一设定值(如0)，则内容消费设备确定媒体文件中的采集时间不以组合时间戳为基准进行指示；相应地，若参考组合时间戳字段取值为第二设定值(如1)，则内容消费设备确定媒体文件中的采集时间以组合时间戳为基准进行指示。

需要说明的是，当时间戳信息数据盒同时包含参考解码时间戳字段(refer_DTS)和参考组合时间戳字段(refer_CTS)时，这两个字段的值不能同时为第二设定值；即当参考解码时间戳字段取值为第二设定值时，参考组合时间戳字段取值不为第二设定值；当参考组合时间戳字段取值为第二设定值时，参考解码时间戳字段取值不为第二设定值。

(4)在一个实施例中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等解码时间戳字段(equal_DTS)；若同等解码时间戳字段取值为第一设定值(如0)，则内容消费设备确定各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的解码时间；若同等解码时间戳字段取值为第二设定值(如1)，则内容消费设备确定各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的解码时间。

(5)在另一个实施例中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等组合时间戳字段(equal_CTS)；若同等组合时间戳字段取值为第一设定值(如0)，则内容消费设备确定各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的组合时间；若同等组合时间戳字段取值为第二设定值(如1)，则内容消费设备确定各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的组合时间。

需要说明的是，当时间戳信息数据盒同时包含同等解码时间戳字段(equal_DTS)和同等组合时间戳字段(equal_CTS)时，这两个字段的值不能同时为第二设定值；即当同等解码时间戳字段取值为第二设定值时，同等组合时间戳字段取值不为第二设定值；当同等组合时间戳字段取值为第二设定值时，同等解码时间戳字段取值不为第二设定值。

(6)时间戳信息数据盒包含初始时间戳标志字段(initial_timestamp_flag)；若初始时间戳标志字段取值为第一设定值(如0)，则内容消费设备确定点云媒体的初始采集时间等同于媒体文件的创建时间；若初始时间戳标志字段取值为第二设定值(如1)，则内容消费设备根据起始采集时间字段(initial_acquisition_time)确定点云媒体的初始采集时间；其中，起始采集时间字段用于指示点云媒体在开始采集时的时间信息，时间信息包含点云媒体在初始采集时刻的UTC时间。可以理解的是，此时起始采集时间字段(initial_acquisition_time)也包含于时间戳信息数据盒中。

在另一种实施方式中，媒体文件包含M个样本，M为正整数；元数据信息包含采集时间数据盒(AcquisitionTimestampBox)，采集时间数据盒(AcquisitionTimestampBox)包含条目数字段(entry_count)；内容消费设备可以根据条目数字段(entry_count)确定媒体文件(如采集时间表)中包含的偏移指示信息的条目数量。其中，偏移指示信息包含样本计数字段(sample_count)和样本偏移量字段(sample_offset)，样本计数字段用于指示样本偏移量字段的取值相同的连续样本的数量，第i个样本的样本偏移量字段用于指示第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数；样本偏移量字段的单位根据媒体文件中包含的时间刻度指示信息确定。可以理解的是，此时样本计数字段(sample_count)和样本偏移量字段(sample_offset)也包含于采集时间数据盒中。

需要说明的是，时间戳信息数据盒(TimestampInfoBox)和采集时间数据盒(AcquisitionTimestampBox)可以同时包含于点云媒体的采集时间指示信息(如元数据信息)中；也就是说，内容消费设备可以基于时间戳信息数据盒(TimestampInfoBox)和采集时间数据盒(AcquisitionTimestampBox)的共同指示，来确定点云媒体的采集时间。

在再一种实施方式中，媒体文件包含M个样本，M个样本被封装在至少一个媒体轨道中，M为正整数；元数据信息包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

在一个实施例中，每个元数据轨道包含采集时间戳样本条目指示信息(AcquisitionTimestampSampleEntry)，采集时间戳样本条目指示信息用于确定点云媒体的初始采集时间。采集时间戳样本条目指示信息包含以下至少一个字段：

(1)采集时间戳样本条目指示信息包含起始采集时间字段(initial_acquisition_time)；内容消费设备可以根据起始采集时间字段确定点云媒体在开始采集时的时间信息，时间信息包含点云媒体在初始采集时刻的UTC时间。

(2)采集时间戳样本条目指示信息包含时间刻度指示字段(default_timescale)；若时间刻度指示字段取值为第一设定值(如0)，则内容消费设备确定各个样本的采集时间戳的时间刻度由采集时间刻度字段(acquisition_timescale)指示；若时间刻度指示字段取值为第二设定值(如1)，则内容消费设备确定各个样本的采集时间戳的时间刻度与媒体文件中包含的时间刻度指示信息指示的时间刻度相同。其中，采集时间刻度字段用于指示各个样本的采集时间戳的时间刻度，采集时间刻度字段的取值为正整数。可以理解的是，当各个样本的采集时间戳的时间刻度由采集时间刻度字段(acquisition_timescale)指示时，采集时间刻度字段(acquisition_timescale)也包含于采集时间戳样本条目指示信息中。

在另一个实施例中，每个元数据轨道包含M个采集时间戳样本指示信息(AcquisitionTimestampSample)，每个采集时间戳样本指示信息包含采集时间偏移字段(acquisition_time_offset)；内容消费设备可以根据第i个采集时间戳样本指示信息中的采集时间偏移字段，确定第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移量，i为大于1，且小于等于M的整数。

需要说明的是，采集时间戳样本条目指示信息(AcquisitionTimestampSampleEntry)和采集时间戳样本指示信息(AcquisitionTimestampSample)可以同时包含于点云媒体的采集时间指示信息(如元数据轨道)中；也就是说，内容消费可以基于采集时间戳样本条目指示信息(AcquisitionTimestampSampleEntry)和采集时间戳样本指示信息(AcquisitionTimestampSample)的共同指示，来确定点云媒体的采集时间。

进一步地，内容消费设备除了可以输出点云媒体的采集时间，还可以基于点云媒体的采集时间进行应用优化处理。其中，应用优化处理包括对采集时间属于预设时间段的点云媒体进行对象检测；例如，假设点云媒体是采集场景A得到的，内容消费设备可以基于采集时间检测在目标时段内场景A中是否出现过对象B。应用优化处理还包括对采集时间属于预设时间段的点云媒体进行缩放处理；例如，内容消费设备可以基于采集时间对目标时段内的点云媒体进行放大处理；类似地，应用优化处理还包括对采集时间属于预设时间段的点云媒体进行旋转、或者位移处理。应用优化处理包括还包括对采集时间属于预设时间段的点云媒体进行视角切换处理；例如，内容消费设备可以基于采集时间对不属于目标时段内的点云媒体采用视角A进行呈现，对属于目标时段内的点云媒体采用视角B进行呈现。

本申请实施例中，获取点云媒体的媒体文件，媒体文件包含点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间。可见，通过将点云媒体的采集时间指示信息封装在点云媒体中，使得内容消费设备在对点云媒体进行解码呈现的过程中，基于采集时间指示信息得到并输出点云媒体的采集时间。

图3为本申请实施例提供的另一种点云媒体的数据处理方法的流程图；该方法可由点云媒体系统中的内容制作设备来执行，该方法包括以下步骤S301-步骤S303：

S301、获取点云媒体，以及点云媒体的采集时间。

点云媒体的具体获取方式可参考图1d中(1)的实施方式，在此不再赘述。可以理解的是，点云媒体的采集时间可以是在获取点云媒体的过程中同步获取的；例如，在采集用于生成点云媒体的视频时，获取该视频的采集时间作为点云媒体的采集时间。

S302、基于点云媒体的采集时间生成点云媒体的采集时间指示信息。

点云媒体的采集时间指示信息用于指示点云媒体的采集时间，点云媒体的采集时间指示信息为元数据信息。

在一种实施方式中，元数据信息包含时间戳信息数据盒(TimestampInfoBox)，时间戳信息数据盒用于指示点云媒体的采集时间的指示方式。时间戳信息数据盒(TimestampInfoBox)包含以下至少一个字段：

(1)时间戳信息数据盒包含采集时间戳标志字段(acquisition_timestamp_flag)；当媒体文件中不包含与采集时间相关的时间戳信息时，内容制作设备将采集时间戳标志字段的值设为第一设定值(如0)；当媒体文件中包含与采集时间相关的时间戳信息时，内容制作设备将采集时间戳标志字段的值设为第二设定值(如1)。

(2)时间戳信息数据盒包含参考解码时间戳字段(refer_DTS)；当媒体文件中的采集时间不以解码时间戳为基准进行指示时，内容制作设备将参考解码时间戳字段的值设为第一设定值(如0)；当媒体文件中的采集时间以解码时间戳为基准进行指示时，内容制作设备将参考解码时间戳字段的值设为第二设定值(如1)。

(3)时间戳信息数据盒包含参考组合时间戳字段(refer_CTS)；当媒体文件中的采集时间不以组合时间戳为基准进行指示时，内容制作设备将参考组合时间戳字段的值设为第一设定值(如0)；当媒体文件中的采集时间以组合时间戳为基准进行指示时，内容制作设备将参考组合时间戳字段的值设为第二设定值(如1)。

需要说明的是，由于媒体文件中的采集时间不能同时以解码时间戳和组合时间戳为基准进行指示，因此当时间戳信息数据盒同时包含参考解码时间戳字段(refer_DTS)和参考组合时间戳字段(refer_CTS)时，这两个字段的值不能同时为第二设定值；即当参考解码时间戳字段的值被设为第二设定值时，参考组合时间戳字段的值不能被设为第二设定值；当参考组合时间戳字段的值被设为第二设定值时，参考解码时间戳字段的值不能被设为第二设定值。

(4)在一个实施例中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等解码时间戳字段(equal_DTS)；当各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的解码时间时，内容制作设备将同等解码时间戳字段的值设为第一设定值(如0)；当各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的解码时间时，内容制作设备将同等解码时间戳字段的值设为第二设定值(如1)。

(5)在另一个实施例中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等组合时间戳字段(equal_CTS)；当各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的组合时间时，内容制作设备将同等组合时间戳字段的值设为第一设定值(如0)；当各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的组合时间时，内容制作设备将同等组合时间戳字段的值设为第二设定值(如1)。

需要说明的是，由于各个媒体轨道中包含的样本的采集时间不能同时等于该媒体轨道中包含的样本的解码时间和组合时间，因此当时间戳信息数据盒同时包含同等解码时间戳字段(equal_DTS)和同等组合时间戳字段(equal_CTS)时，这两个字段的值不能同时为第二设定值；即当同等解码时间戳字段的值被设为第二设定值时，同等组合时间戳字段的值不能被设为第二设定值；当同等组合时间戳字段的值被设为第二设定值时，同等解码时间戳字段的值不能被设为第二设定值。

(6)时间戳信息数据盒包含初始时间戳标志字段(initial_timestamp_flag)；当点云媒体的初始采集时间等同于媒体文件的创建时间时，内容制作设备将初始时间戳标志字段的值设为第一设定值(如0)；当点云媒体的初始采集时间由起始采集时间字段(initial_acquisition_time)指示时，内容制作设备将初始时间戳标志字段的值设为第二设定值(如1)，并在起始采集时间字段(initial_acquisition_time)中配置点云媒体在开始采集时的时间信息，时间信息包含点云媒体在初始采集时刻的UTC时间。可以理解的是，此时起始采集时间字段(initial_acquisition_time)也包含于时间戳信息数据盒中。

在另一种实施方式中，媒体文件包含M个样本，M为正整数；元数据信息包含采集时间数据盒(AcquisitionTimestampBox)；采集时间数据盒用于指示各个样本与采集时间的对应关系。

采集时间数据盒包含条目数字段(entry_count)，条目数字段用于指示媒体文件中包含的偏移指示信息的条目数量；内容制作设备根据媒体文件中包含的偏移指示信息的条目数量来配置条目数字段的值。其中，偏移指示信息包含样本计数字段(sample_count)和样本偏移量字段(sample_offset)，样本计数字段用于指示样本偏移量字段的取值相同的连续样本的数量，即样本计数字段的值是内容制作设备根据样本偏移量字段的取值相同的连续样本的数量配置的；第i个样本的样本偏移量字段用于指示第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数，即内容制作设备根据第i个样本的采集时间相对于解码时间戳的偏移量；或者，第i个样本的采集时间相对于组合时间戳的偏移量；或者，第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量来配置第i个样本的样本偏移量字段的值。样本偏移量字段的单位可以通过媒体文件中包含的时间刻度指示信息进行配置。可以理解的是，此时样本计数字段(sample_count)和样本偏移量字段(sample_offset)也包含于采集时间数据盒中。

需要说明的是，内容制作设备可以将时间戳信息数据盒(TimestampInfoBox)和采集时间数据盒(AcquisitionTimestampBox)一同作为点云媒体的采集时间指示信息；也就是说，内容制作设备可以通过配置时间戳信息数据盒(TimestampInfoBox)和采集时间数据盒(AcquisitionTimestampBox)来指示点云媒体的采集时间。

在再一种实施方式中，媒体文件包含M个样本，这M个样本被封装在至少一个媒体轨道中，M为正整数；元数据信息包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

在一个实施例中，每个元数据轨道包含采集时间戳样本条目指示信息(AcquisitionTimestampSampleEntry)，采集时间戳样本条目指示信息用于确定点云媒体的初始采集时间。采集时间戳样本条目指示信息包含以下至少一个字段：

(1)采集时间戳样本条目指示信息包含起始采集时间字段(initial_acquisition_time)；内容制作设备可以在起始采集时间字段(initial_acquisition_time)中配置点云媒体在开始采集时的时间信息，时间信息包含点云媒体在初始采集时刻的UTC时间。

(2)采集时间戳样本条目指示信息包含时间刻度指示字段(default_timescale)；当各个样本的采集时间戳的时间刻度由采集时间刻度字段(acquisition_timescale)指示时，内容制作设备将时间刻度指示字段的值设为第一设定值(如0)；当各个样本的采集时间戳的时间刻度与媒体文件中包含的时间刻度指示信息指示的时间刻度相同时，内容制作设备将时间刻度指示字段的值设为第二设定值(如1)。其中，采集时间刻度字段(default_timescale)用于指示各个样本的采集时间戳的时间刻度，采集时间刻度字段的取值为正整数。可以理解的是，当各个样本的采集时间戳的时间刻度由采集时间刻度字段(acquisition_timescale)指示时，采集时间刻度字段(acquisition_timescale)也包含于采集时间戳样本条目指示信息。

在另一个实施例中，每个元数据轨道包含M个采集时间戳样本指示信息(AcquisitionTimestampSample)，每个采集时间戳样本指示信息包含采集时间偏移字段(acquisition_time_offset)；内容制作设备根据第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移，来配置第i个采集时间戳样本指示信息中的采集时间偏移字段，i为大于1，且小于等于M的整数。

需要说明的是，内容制作设备可以将采集时间戳样本条目指示信息(AcquisitionTimestampSampleEntry)和采集时间戳样本指示信息(AcquisitionTimestampSample)一同作为点云媒体的采集时间指示信息；也就是说，内容制作设备可以通过配置采集时间戳样本条目指示信息(AcquisitionTimestampSampleEntry)和采集时间戳样本指示信息(AcquisitionTimestampSample)来指示点云媒体的采集时间。

S303、将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。

将点云媒体和采集时间指示信息封装为点云媒体的媒体文件的具体实施方式可参考图1d中(2)的实施方式，在此不再赘述。

下面通过两个完整的例子对本申请提供的点云媒体的数据处理方法进行详细说明：

实施例一：以点云媒体为例，内容制作设备根据采集点云媒体的媒体内容时的时间信息，生成与媒体内容的采集时间相关的元数据信息，其中，采集时间在DTS的基础上进行指示。内容制作设备通过配置TimestampInfoBox和AcquisitionTimestampBox来指示点云媒体的采集时间，具体配置信息如下：

TimestampInfoBox(包含于MediaHeaderBox)：

refer_DTS＝1；refer_CTS＝0；equal_DTS＝0；equal_CTS＝0；

initial_timestamp_flag＝1；initial_acquisition_time＝2022/01/01 00:15:10；

AcquisitionTimestampBox：

entry_count＝2；

{sample_count＝50；sample_offset＝0}；

{sample_count＝50；sample_offset＝10}；

其中，“refer_DTS＝1；refer_CTS＝0；”表示点云媒体的采集时间以解码时间戳为基准进行指示(不以组合时间戳为基准进行指示)；“equal_DTS＝0；equal_CTS＝0；”表示各个媒体轨道中包含的样本的采集时间既不等于该媒体轨道中包含的样本的解码时间，也不等于该媒体轨道中包含的样本的组合时间；“initial_timestamp_flag＝1；”表示，点云媒体的初始采集时间由initial_acquisition_time进行指示，initial_acquisition_time中指示的时间为2022/01/01 00:15:10。需要说明的是，在实际应用中“initial_acquisition_time”的值应按照UTC时间格式给出，“initial_acquisition_time＝2022/01/01 00:15:10”仅为可读性表达。“entry_count＝2”表示媒体文件中包含的偏移指示信息的条目数量为2(即{sample_count＝50；sample_offset＝0}和{sample_count＝50；sample_offset＝10})；偏移指示信息1“{sample_count＝50；sample_offset＝0}”表示偏移量字段(sample_offset)取值为0的连续样本的数量为50；类似地，偏移指示信息2“{sample_count＝50；sample_offset＝10}”表示偏移量字段(sample_offset)取值为10的连续样本的数量为50。

内容制作设备将点云媒体的媒体文件传输给内容消费设备。

在一种实现方式中，内容消费设备可以直接下载完整的点云媒体的媒体文件后在本地播放(消费)。在另一种实现方式中，内容消费设备可以与内容制作设备建立流化传输，在接收点云媒体的媒体文件片段的同时进行呈现消费。

内容消费设备在对点云媒体的媒体文件/文件片段进行解封装和解码时，可以结合点云媒体的初始采集时间、解码时间，采集时间相对于解码时间的偏移量，进行相应的应用优化，比如在特定时间段范围内进行目标检测等。

实施例二：以点云媒体为例，内容制作设备根据采集点云媒体的媒体内容时的时间信息，生成与媒体内容的采集时间相关的元数据信息，内容制作设备以元数据轨道的形式，显式指示采集时间。

AcquisitionTimestampSampleEntry:

initial_acquisition_time＝2022/01/01 00:15:10；

default_timescale＝1；

AcquisitionTimestampSample：

AT[n+1]＝AT[n]+acquisition_time_offset[n+1]；

AT[0]＝initial_acquisition_time；

其中，“initial_acquisition_time＝2022/01/01 00:15:10”表示点云媒体的初始采集时间为2022/01/01 00:15:10；需要说明的是，在实际应用中“initial_acquisition_time”的值应按照UTC时间格式给出，initial_acquisition_time＝2022/01/01 00:15:10”仅为可读性表达。“default_timescale＝1”为媒体文件内的时间刻度，表示单个样本的持续时间为1秒，若“default_timescale＝30”，则表示单个样本的持续时间为1/30秒。假设点云媒体包含100个点云帧，则点云媒体的媒体文件的元数据轨道中也存在100个采集时间戳样本指示信息(AcquisitionTimestampSample)，每个采集时间戳样本指示信息对应描述一个点云帧的采集时间。其中，“AT[0]＝initial_acquisition_time”表示第一个点云帧的采集时间为初始采集时间(2022/01/01 00:15:10)“AT[n+1]＝AT[n]+acquisition_time_offset[n+1]”表示第n+2个点云帧的采集时间，由第n+1个点云帧的采集时间和第n+2个点云帧的采集时间相对于第n+1个点云帧的采集时间的偏移量相加得到。

内容制作设备将点云媒体的媒体文件传输给内容消费设备。

在一种实现方式中，内容消费设备可以直接下载完整的点云媒体的媒体文件后在本地播放(消费)。在另一种实现方式中，内容消费设备可以与内容制作设备建立流化传输，在接收点云媒体的媒体文件片段的同时进行呈现消费。

内容消费设备在对点云媒体的媒体文件/文件片段进行解封装和解码时，可以结合点云媒体的初始采集时间、解码时间，采集时间相对于解码时间的偏移量，进行相应的应用优化，比如在特定时间段范围内进行目标检测等。

本申请实施例中，获取点云媒体，以及点云媒体的采集时间；基于点云媒体的采集时间生成点云媒体的采集时间指示信息，将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。可见，通过将采集时间指示信息封装在点云媒体的媒体文件中，来向内容消费设备指示点云媒体的采集时间。

上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。

请参见图4，图4为本申请实施例提供的一种点云媒体的数据处理装置的结构示意图；该点云媒体的数据处理装置可以是运行于内容消费设备中的一个计算机程序(包括程序代码)，例如该点云媒体的数据处理装置可以是内容消费设备中的一个应用软件。由图4所示，该点云媒体的数据处理装置包括获取单元401和处理单元402。

请参见图4，在一个示例性实施例中，各个单元的详细描述如下：

获取单元401，用于获取点云媒体的媒体文件，媒体文件包含点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间；

处理单元402，用于对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间。

在一种实施方式中，点云媒体的采集时间指示信息为元数据信息，元数据信息包含时间戳信息数据盒，时间戳信息数据盒用于指示点云媒体的采集时间的指示方式。

在一种实施方式中，时间戳信息数据盒包含采集时间戳标志字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

若采集时间戳标志字段取值为第一设定值，则确定媒体文件中不包含与采集时间相关的时间戳信息；

若采集时间戳标志字段取值为第二设定值，则确定媒体文件中包含与采集时间相关的时间戳信息。

在一种实施方式中，时间戳信息数据盒包含参考解码时间戳字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

若参考解码时间戳字段取值为第一设定值，则确定媒体文件中的采集时间不以解码时间戳为基准进行指示；

若参考解码时间戳字段取值为第二设定值，则确定媒体文件中的采集时间以解码时间戳为基准进行指示。

在一种实施方式中，时间戳信息数据盒包含参考组合时间戳字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

若参考组合时间戳字段取值为第一设定值，则确定媒体文件中的采集时间不以组合时间戳为基准进行指示；

若参考组合时间戳字段取值为第二设定值，则确定媒体文件中的采集时间以组合时间戳为基准进行指示。

在一种实施方式中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等解码时间戳字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

若同等解码时间戳字段取值为第一设定值，则确定各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的解码时间；

若同等解码时间戳字段取值为第二设定值，则确定各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的解码时间。

在一种实施方式中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等组合时间戳字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

若同等组合时间戳字段取值为第一设定值，则确定各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的组合时间；

若同等组合时间戳字段取值为第二设定值，则确定各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的组合时间。

在一种实施方式中，时间戳信息数据盒包含初始时间戳标志字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

若初始时间戳标志字段取值为第一设定值，则确定点云媒体的初始采集时间等同于媒体文件的创建时间；

若初始时间戳标志字段取值为第二设定值，则根据起始采集时间字段确定点云媒体的初始采集时间，起始采集时间字段用于指示点云媒体在开始采集时的时间信息。

在一种实施方式中，媒体文件包含M个样本，M为正整数；点云媒体的采集时间指示信息为元数据信息，元数据信息包含采集时间数据盒；采集时间数据盒用于指示各个样本与采集时间的对应关系。

在一种实施方式中，采集时间数据盒包含条目数字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

根据条目数字段，确定媒体文件中包含的偏移指示信息的条目数量；

其中，偏移指示信息包含样本计数字段和样本偏移量字段，样本计数字段用于指示样本偏移量字段的取值相同的连续样本的数量，第i个样本的样本偏移量字段用于指示第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数；样本偏移量字段的单位根据媒体文件中包含的时间刻度指示信息确定。

在一种实施方式中，媒体文件包含M个样本，M个样本被封装在至少一个媒体轨道中，M为正整数；点云媒体的采集时间指示信息为元数据信息，元数据信息包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

在一种实施方式中，每个元数据轨道包含采集时间戳样本条目指示信息，采集时间戳样本条目指示信息用于确定点云媒体的初始采集时间。

在一种实施方式中，采集时间戳样本条目指示信息包含起始采集时间字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

根据起始采集时间字段，确定点云媒体在开始采集时的时间信息。

在一种实施方式中，采集时间戳样本条目指示信息包含时间刻度指示字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

若时间刻度指示字段取值为第一设定值，则确定各个样本的采集时间戳的时间刻度由采集时间刻度字段指示；

若时间刻度指示字段取值为第二设定值，则确定各个样本的采集时间戳的时间刻度与媒体文件中包含的时间刻度指示信息指示的时间刻度相同；

其中，采集时间刻度字段用于指示各个样本的采集时间戳的时间刻度，采集时间刻度字段的取值为正整数。

在一种实施方式中，每个元数据轨道包含M个采集时间戳样本指示信息，每个采集时间戳样本指示信息包含采集时间偏移字段；处理单元402用于，对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间，具体用于：

根据第i个采集时间戳样本指示信息中的采集时间偏移字段，确定第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移量，i为大于1，且小于等于M的整数。

在一种实施方式中，处理单元402还用于：

基于点云媒体的采集时间进行应用优化处理；

其中，应用优化处理包括：对采集时间属于预设时间段的点云媒体进行对象检测、对采集时间属于预设时间段的点云媒体进行缩放处理、对采集时间属于预设时间段的点云媒体进行视角切换处理。

根据本申请的一个实施例，图2所示的点云媒体的数据处理方法所涉及的部分步骤可由图4所示的点云媒体的数据处理装置中的各个单元来执行。例如，图2中所示的步骤S201可由图4所示的获取单元401执行，步骤S202可由图4所示的处理单元402执行。图4所示的点云媒体的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，点云媒体的数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算装置上运行能够执行如图2中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图4中所示的点云媒体的数据处理装置，以及来实现本申请实施例的点云媒体的数据处理方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算装置中，并在其中运行。

基于同一发明构思，本申请实施例中提供的点云媒体的数据处理装置解决问题的原理与有益效果与本申请方法实施例中点云媒体的数据处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。

请参见图5，图5为本申请实施例提供的另一种点云媒体的数据处理装置的结构示意图；该点云媒体的数据处理装置可以是运行于内容制作设备中的一个计算机程序(包括程序代码)，例如该点云媒体的数据处理装置可以是内容制作设备中的一个应用软件。由图5所示，该点云媒体的数据处理装置包括获取单元501和处理单元502。请参见图5，各个单元的详细描述如下：

获取单元501，用于获取点云媒体，以及点云媒体的采集时间；

处理单元502，用于基于点云媒体的采集时间生成点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间；

以及用于将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。

在一种实施方式中，点云媒体的采集时间指示信息为元数据信息，元数据信息中包含时间戳信息数据盒，时间戳信息数据盒用于指示点云媒体的采集时间的指示方式。

在一种实施方式中，时间戳信息数据盒包含采集时间戳标志字段；

当采集时间戳标志字段取值为第一设定值时，表示媒体文件中不包含与采集时间相关的时间戳信息；

当采集时间戳标志字段取值为第二设定值时，表示媒体文件中包含与采集时间相关的时间戳信息。

在一种实施方式中，时间戳信息数据盒包含参考解码时间戳字段；

当参考解码时间戳字段取值为第一设定值时，表示媒体文件中的采集时间不以解码时间戳为基准进行指示；

当参考解码时间戳字段取值为第二设定值时，表示媒体文件中的采集时间以解码时间戳为基准进行指示。

在一种实施方式中，时间戳信息数据盒还包含参考组合时间戳字段；

当参考组合时间戳字段取值为第一设定值时，表示媒体文件中的采集时间不以组合时间戳为基准进行指示；

当参考组合时间戳字段取值为第二设定值时，表示媒体文件中的采集时间以组合时间戳为基准进行指示。

在一种实施方式中，当参考解码时间戳字段取值为第二设定值时，参考组合时间戳字段取值不为第二设定值；当参考组合时间戳字段取值为第二设定值时，参考解码时间戳字段取值不为第二设定值。

在一种实施方式中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等解码时间戳字段；

当同等解码时间戳字段取值为第一设定值时，表示各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的解码时间；

当同等解码时间戳字段取值为第二设定值时，表示各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的解码时间。

在一种实施方式中，时间戳信息数据盒还包含同等组合时间戳字段；

当同等组合时间戳字段取值为第一设定值时，表示各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的组合时间；

当同等组合时间戳字段取值为第二设定值时，表示各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的组合时间。

在一种实施方式中，当同等解码时间戳字段取值为第二设定值时，同等组合时间戳字段取值不为第二设定值；当同等组合时间戳字段取值为第二设定值时，同等解码时间戳字段取值不为第二设定值。

在一种实施方式中，时间戳信息数据盒包含初始时间戳标志字段；

当初始时间戳标志字段取值为第一设定值时，表示点云媒体的初始采集时间等同于媒体文件的创建时间；

当初始时间戳标志字段取值为第二设定值时，表示点云媒体的初始采集时间由起始采集时间字段指示，起始采集时间字段用于指示点云媒体在开始采集时的时间信息。

在一种实施方式中，媒体文件包含M个样本，M为正整数；点云媒体的采集时间指示信息为元数据信息，元数据信息中包含采集时间数据盒；采集时间数据盒用于指示各个样本与采集时间的对应关系。

在一种实施方式中，采集时间数据盒包含条目数字段，条目数字段用于指示媒体文件中包含的偏移指示信息的条目数量；

其中，偏移指示信息包含样本计数字段和样本偏移量字段，样本计数字段用于指示样本偏移量字段的取值相同的连续样本的数量，第i个样本的样本偏移量字段用于指示第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数；样本偏移量字段的单位根据媒体文件中包含的时间刻度指示信息确定。

在一种实施方式中，媒体文件包含M个样本，M个样本被封装在至少一个媒体轨道中，M为正整数；点云媒体的采集时间指示信息为元数据信息，元数据信息中包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

在一种实施方式中，每个元数据轨道包含采集时间戳样本条目指示信息；采集时间戳样本条目指示信息用于指示点云媒体的初始采集时间。

在一种实施方式中，采集时间戳样本条目指示信息包含起始采集时间字段，起始采集时间字段用于指示点云媒体在开始采集时的时间信息。

在一种实施方式中，采集时间戳样本条目指示信息包含时间刻度指示字段；

当时间刻度指示字段取值为第一设定值时，表示各个样本的采集时间戳的时间刻度由采集时间刻度字段指示；

当时间刻度指示字段取值为第二设定值时，表示各个样本的采集时间戳的时间刻度与媒体文件中包含的时间刻度指示信息指示的时间刻度相同；

其中，采集时间刻度字段用于指示各个样本的采集时间戳的时间刻度，采集时间刻度字段的取值为正整数。

在一种实施方式中，每个元数据轨道包含M个采集时间戳样本指示信息，每个采集时间戳样本指示信息包含采集时间偏移字段；第i个采集时间戳样本指示信息中的采集时间偏移字段用于指示第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移量，i为大于1，且小于等于M的整数。

根据本申请的一个实施例，图3所示的点云媒体的数据处理方法所涉及的部分步骤可由图5所示的点云媒体的数据处理装置中的各个单元来执行。例如，图3中所示的步骤S301可由图5所示的获取单元501执行，步骤S302和步骤S303可由图5所示的处理单元502执行。图5所示的点云媒体的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，点云媒体的数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算装置上运行能够执行如图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图5中所示的点云媒体的数据处理装置，以及来实现本申请实施例的点云媒体的数据处理方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算装置中，并在其中运行。

基于同一发明构思，本申请实施例中提供的点云媒体的数据处理装置解决问题的原理与有益效果与本申请方法实施例中点云媒体的数据处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。

图6为本申请实施例提供的一种内容消费设备的结构示意图；该内容消费设备可以是指点云媒体的使用者所使用的计算机设备，该计算机设备可以是终端(如PC、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等))。如图6所示，该内容消费设备包括接收器601、处理器602、存储器603、显示/播放装置604。其中：

接收器601用于实现解码与其他设备的传输交互，具体用于实现内容制作设备与内容消费设备之间关于进行点云媒体的传输。即内容消费设备通过接收器601来接收内容制作设备传输点云媒体的相关媒体资源。

处理器602(或称CPU(Central Processing Unit，中央处理器))是内容制作设备的处理核心，该处理器602适于实现一条或多条程序指令，具体适于加载并执行一条或多条程序指令从而实现图2所示的点云媒体的数据处理方法的流程。

存储器603是内容消费设备中的记忆设备，用于存放程序和媒体资源。可以理解的是，此处的存储器603既可以包括内容消费设备中的内置存储介质，当然也可以包括内容消费设备所支持的扩展存储介质。需要说明的是，存储器603可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的存储器。存储器603提供存储空间，该存储空间用于存储内容消费设备的操作系统。并且，在该存储空间中还用于存储计算机程序，该计算机程序包括程序指令，且该程序指令适于被处理器调用并执行，以用来执行点云媒体的数据处理方法的各步骤。另外，存储器603还可用于存储经处理器处理后形成的点云媒体的三维图像、三维图像对应的音频内容及该三维图像和音频内容渲染所需的信息等。

显示/播放装置604用于输出渲染得到的声音和三维图像。

再请参见图6，处理器602可包括解析器621、解码器622、转换器623和渲染器624；其中：

解析器621用于对来自内容制作设备的渲染媒体的封装文件进行文件解封装，具体是按照点云媒体的文件格式要求对媒体文件资源进行解封装，得到音频码流和视频码流；并将该音频码流和视频码流提供给解码器622。

解码器622对音频码流进行音频解码，得到音频内容并提供给渲染器进行音频渲染。另外，解码器622对视频码流进行解码得到2D图像。根据媒体呈现描述信息提供的元数据，如果该元数据指示点云媒体执行过区域封装过程，该2D图像是指封装图像；如果该元数据指示点云媒体未执行过区域封装过程，则该平面图像是指投影图像。

转换器623用于将2D图像转换为3D图像。如果点云媒体执行过区域封装过程，转换器623还会先将封装图像进行区域解封装得到投影图像。再对投影图像进行重建处理得到3D图像。如果渲染媒体未执行过区域封装过程，转换器623会直接将投影图像重建得到3D图像。

渲染器624用于对点云媒体的音频内容和3D图像进行渲染。具体根据媒体呈现描述信息中与渲染、视窗相关的元数据对音频内容及3D图像进行渲染，渲染完成交由显示/播放装置进行输出。

在一个示例性实施例中，处理器602(具体是处理器包含的各器件)通过调用存储器中的一条或多条指令来执行图2所示的点云媒体的数据处理方法的各步骤。具体地，存储器存储有一条或多条第一指令，该一条或多条第一指令适于由处理器602加载并执行如下步骤：

获取点云媒体的媒体文件，媒体文件包含点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间；

对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间。

一种实施方式中，点云媒体的采集时间指示信息为元数据信息，元数据信息包含时间戳信息数据盒，时间戳信息数据盒用于指示点云媒体的采集时间的指示方式。

一种实施方式中，时间戳信息数据盒包含采集时间戳标志字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

若采集时间戳标志字段取值为第一设定值，则确定媒体文件中不包含与采集时间相关的时间戳信息；

若采集时间戳标志字段取值为第二设定值，则确定媒体文件中包含与采集时间相关的时间戳信息。

一种实施方式中，时间戳信息数据盒包含参考解码时间戳字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

若参考解码时间戳字段取值为第一设定值，则确定媒体文件中的采集时间不以解码时间戳为基准进行指示；

若参考解码时间戳字段取值为第二设定值，则确定媒体文件中的采集时间以解码时间戳为基准进行指示。

一种实施方式中，时间戳信息数据盒包含参考组合时间戳字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

若参考组合时间戳字段取值为第一设定值，则确定媒体文件中的采集时间不以组合时间戳为基准进行指示；

若参考组合时间戳字段取值为第二设定值，则确定媒体文件中的采集时间以组合时间戳为基准进行指示。

一种实施方式中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等解码时间戳字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

若同等解码时间戳字段取值为第一设定值，则确定各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的解码时间；

若同等解码时间戳字段取值为第二设定值，则确定各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的解码时间。

一种实施方式中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等组合时间戳字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

若同等组合时间戳字段取值为第一设定值，则确定各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的组合时间；

若同等组合时间戳字段取值为第二设定值，则确定各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的组合时间。

一种实施方式中，时间戳信息数据盒包含初始时间戳标志字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

若初始时间戳标志字段取值为第一设定值，则确定点云媒体的初始采集时间等同于媒体文件的创建时间；

若初始时间戳标志字段取值为第二设定值，则根据起始采集时间字段确定点云媒体的初始采集时间，起始采集时间字段用于指示点云媒体在开始采集时的时间信息。

一种实施方式中，媒体文件包含M个样本，M为正整数；点云媒体的采集时间指示信息为元数据信息，元数据信息包含采集时间数据盒；采集时间数据盒用于指示各个样本与采集时间的对应关系。

一种实施方式中，采集时间数据盒包含条目数字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

根据条目数字段，确定媒体文件中包含的偏移指示信息的条目数量；

其中，偏移指示信息包含样本计数字段和样本偏移量字段，样本计数字段用于指示样本偏移量字段的取值相同的连续样本的数量，第i个样本的样本偏移量字段用于指示第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数；样本偏移量字段的单位根据媒体文件中包含的时间刻度指示信息确定。

一种实施方式中，媒体文件包含M个样本，M个样本被封装在至少一个媒体轨道中，M为正整数；点云媒体的采集时间指示信息为元数据信息，元数据信息包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

一种实施方式中，每个元数据轨道包含采集时间戳样本条目指示信息，采集时间戳样本条目指示信息用于确定点云媒体的初始采集时间。

一种实施方式中，采集时间戳样本条目指示信息包含起始采集时间字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

根据起始采集时间字段，确定点云媒体在开始采集时的时间信息。

一种实施方式中，采集时间戳样本条目指示信息包含时间刻度指示字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

若时间刻度指示字段取值为第一设定值，则确定各个样本的采集时间戳的时间刻度由采集时间刻度字段指示；

若时间刻度指示字段取值为第二设定值，则确定各个样本的采集时间戳的时间刻度与媒体文件中包含的时间刻度指示信息指示的时间刻度相同；

其中，采集时间刻度字段用于指示各个样本的采集时间戳的时间刻度，采集时间刻度字段的取值为正整数。

一种实施方式中，每个元数据轨道包含M个采集时间戳样本指示信息，每个采集时间戳样本指示信息包含采集时间偏移字段；处理器602对媒体文件进行解码以呈现点云媒体，并输出点云媒体的采集时间的具体实施例为：

根据第i个采集时间戳样本指示信息中的采集时间偏移字段，确定第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移量，i为大于1，且小于等于M的整数。

一种实施方式中，存储器603中的计算机程序由处理器602加载并且还执行如下步骤：

基于点云媒体的采集时间进行应用优化处理；

其中，应用优化处理包括：对采集时间属于预设时间段的点云媒体进行对象检测、对采集时间属于预设时间段的点云媒体进行缩放处理、对采集时间属于预设时间段的点云媒体进行视角切换处理。

基于同一发明构思，本申请实施例中提供的内容消费设备解决问题的原理与有益效果与本申请方法实施例中点云媒体的数据处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。

图7为本申请实施例提供的一种内容制作设备的结构示意图；该内容制作设备可以是指点云媒体的提供者所使用的计算机设备，该计算机设备可以是终端(如PC、智能移动设备(如智能手机)等)或服务器。如图7所示，该内容制作设备包括捕获设备701、处理器702、存储器703和发射器704。其中：

捕获设备701用于采集现实世界的声音-视觉场景获得点云媒体的原始数据(包括在时间和空间上保持同步的音频内容和视频内容)。该捕获设备701可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。

处理器702(或称CPU(Central Processing Unit，中央处理器))是内容制作设备的处理核心，该处理器702适于实现一条或多条程序指令，具体适于加载并执行一条或多条程序指令从而实现图3所示的点云媒体的数据处理方法的流程。

存储器703是内容制作设备中的记忆设备，用于存放程序和媒体资源。可以理解的是，此处的存储器703既可以包括内容制作设备中的内置存储介质，当然也可以包括内容制作设备所支持的扩展存储介质。需要说明的是，存储器可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的存储器。存储器提供存储空间，该存储空间用于存储内容制作设备的操作系统。并且，在该存储空间中还用于存储计算机程序，该计算机程序包括程序指令，且该程序指令适于被处理器调用并执行，以用来执行点云媒体的数据处理方法的各步骤。另外，存储器703还可用于存储经处理器处理后形成的点云媒体文件，该点云媒体文件包括媒体文件资源和媒体呈现描述信息。

发射器704用于实现内容制作设备与其他设备的传输交互，具体用于实现内容制作设备与内容播放设备之间关于进行点云媒体的传输。即内容制作设备通过发射器704来向内容播放设备传输点云媒体的相关媒体资源。

再请参见图7，处理器702可包括转换器721、编码器722和封装器723；其中：

转换器721用于对捕获到的视频内容进行一系列转换处理，使视频内容成为适合被执行点云媒体的视频编码的内容。转换处理可包括：拼接和投影，可选地，转换处理还包括区域封装。转换器721可以将捕获到的3D视频内容转换为2D图像，并提供给编码器进行视频编码。

编码器722用于对捕获到的音频内容进行音频编码形成点云媒体的音频码流。还用于对转换器721转换得到的2D图像进行视频编码，得到视频码流。

封装器723用于将音频码流和视频码流按照点云媒体的文件格式(如ISOBMFF)封装在文件容器中形成点云媒体的媒体文件资源，该媒体文件资源可以是媒体文件或媒体片段形成点云媒体的媒体文件；并按照点云媒体的文件格式要求采用媒体呈现描述信息记录该点云媒体的媒体文件资源的元数据。封装器处理得到的点云媒体的封装文件会保存在存储器中，并按需提供给内容播放设备进行点云媒体的呈现。

处理器702(具体是处理器包含的各器件)通过调用存储器中的一条或多条指令来执行图4所示的点云媒体的数据处理方法的各步骤。具体地，存储器703存储有一条或多条第一指令，该一条或多条第一指令适于由处理器702加载并执行如下步骤：

获取点云媒体，以及点云媒体的采集时间；

基于点云媒体的采集时间生成点云媒体的采集时间指示信息，采集时间指示信息用于指示点云媒体的采集时间；

将点云媒体和采集时间指示信息封装为点云媒体的媒体文件。

一种实施方式中，点云媒体的采集时间指示信息为元数据信息，元数据信息中包含时间戳信息数据盒，时间戳信息数据盒用于指示点云媒体的采集时间的指示方式。

一种实施方式中，时间戳信息数据盒包含采集时间戳标志字段；

当采集时间戳标志字段取值为第一设定值时，表示媒体文件中不包含与采集时间相关的时间戳信息；

当采集时间戳标志字段取值为第二设定值时，表示媒体文件中包含与采集时间相关的时间戳信息。

一种实施方式中，时间戳信息数据盒包含参考解码时间戳字段；

当参考解码时间戳字段取值为第一设定值时，表示媒体文件中的采集时间不以解码时间戳为基准进行指示；

当参考解码时间戳字段取值为第二设定值时，表示媒体文件中的采集时间以解码时间戳为基准进行指示。

一种实施方式中，时间戳信息数据盒还包含参考组合时间戳字段；

当参考组合时间戳字段取值为第一设定值时，表示媒体文件中的采集时间不以组合时间戳为基准进行指示；

当参考组合时间戳字段取值为第二设定值时，表示媒体文件中的采集时间以组合时间戳为基准进行指示。

一种实施方式中，当参考解码时间戳字段取值为第二设定值时，参考组合时间戳字段取值不为第二设定值；当参考组合时间戳字段取值为第二设定值时，参考解码时间戳字段取值不为第二设定值。

一种实施方式中，媒体文件包含M个样本，M为正整数；M个样本被封装在至少一个媒体轨道中，时间戳信息数据盒包含同等解码时间戳字段；

当同等解码时间戳字段取值为第一设定值时，表示各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的解码时间；

当同等解码时间戳字段取值为第二设定值时，表示各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的解码时间。

一种实施方式中，时间戳信息数据盒还包含同等组合时间戳字段；

当同等组合时间戳字段取值为第一设定值时，表示各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的组合时间；

当同等组合时间戳字段取值为第二设定值时，表示各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的组合时间。

一种实施方式中，当同等解码时间戳字段取值为第二设定值时，同等组合时间戳字段取值不为第二设定值；当同等组合时间戳字段取值为第二设定值时，同等解码时间戳字段取值不为第二设定值。

一种实施方式中，时间戳信息数据盒包含初始时间戳标志字段；

当初始时间戳标志字段取值为第一设定值时，表示点云媒体的初始采集时间等同于媒体文件的创建时间；

当初始时间戳标志字段取值为第二设定值时，表示点云媒体的初始采集时间由起始采集时间字段指示，起始采集时间字段用于指示点云媒体在开始采集时的时间信息。

一种实施方式中，媒体文件包含M个样本，M为正整数；点云媒体的采集时间指示信息为元数据信息，元数据信息中包含采集时间数据盒；采集时间数据盒用于指示各个样本与采集时间的对应关系。

一种实施方式中，采集时间数据盒包含条目数字段，条目数字段用于指示媒体文件中包含的偏移指示信息的条目数量；

其中，偏移指示信息包含样本计数字段和样本偏移量字段，样本计数字段用于指示样本偏移量字段的取值相同的连续样本的数量，第i个样本的样本偏移量字段用于指示第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数；样本偏移量字段的单位根据媒体文件中包含的时间刻度指示信息确定。

一种实施方式中，媒体文件包含M个样本，M个样本被封装在至少一个媒体轨道中，M为正整数；点云媒体的采集时间指示信息为元数据信息，元数据信息中包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

一种实施方式中，每个元数据轨道包含采集时间戳样本条目指示信息；采集时间戳样本条目指示信息用于指示点云媒体的初始采集时间。

一种实施方式中，采集时间戳样本条目指示信息包含起始采集时间字段，起始采集时间字段用于指示点云媒体在开始采集时的时间信息。

一种实施方式中，采集时间戳样本条目指示信息包含时间刻度指示字段；

当时间刻度指示字段取值为第一设定值时，表示各个样本的采集时间戳的时间刻度由采集时间刻度字段指示；

当时间刻度指示字段取值为第二设定值时，表示各个样本的采集时间戳的时间刻度与媒体文件中包含的时间刻度指示信息指示的时间刻度相同；

其中，采集时间刻度字段用于指示各个样本的采集时间戳的时间刻度，采集时间刻度字段的取值为正整数。

一种实施方式中，每个元数据轨道包含M个采集时间戳样本指示信息，每个采集时间戳样本指示信息包含采集时间偏移字段；第i个采集时间戳样本指示信息中的采集时间偏移字段用于指示第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移量，i为大于1，且小于等于M的整数。

基于同一发明构思，本申请实施例中提供的内容制作设备解决问题的原理与有益效果与本申请方法实施例中点云媒体的数据处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有一条或多条指令，一条或多条指令适于由处理器加载并执行上述方法实施例的点云媒体的数据处理方法。

本申请实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例的点云媒体的数据处理方法。

本申请实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的点云媒体的数据处理方法。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，可读存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于申请所涵盖的范围。

Claims (38)

1.一种点云媒体的数据处理方法，其特征在于，所述方法包括：

获取点云媒体的媒体文件，所述媒体文件包含所述点云媒体的采集时间指示信息，所述采集时间指示信息用于指示所述点云媒体的采集时间；

对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间。

2.如权利要求1所述的方法，其特征在于，所述点云媒体的采集时间指示信息为元数据信息，所述元数据信息包含时间戳信息数据盒，所述时间戳信息数据盒用于指示所述点云媒体的采集时间的指示方式。

3.如权利要求2所述的方法，其特征在于，所述时间戳信息数据盒包含采集时间戳标志字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

若所述采集时间戳标志字段取值为第一设定值，则确定所述媒体文件中不包含与采集时间相关的时间戳信息；

若所述采集时间戳标志字段取值为第二设定值，则确定所述媒体文件中包含与采集时间相关的时间戳信息。

4.如权利要求2所述的方法，其特征在于，所述时间戳信息数据盒包含参考解码时间戳字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

若所述参考解码时间戳字段取值为第一设定值，则确定所述媒体文件中的采集时间不以解码时间戳为基准进行指示；

若所述参考解码时间戳字段取值为第二设定值，则确定所述媒体文件中的采集时间以所述解码时间戳为基准进行指示。

5.如权利要求2所述的方法，其特征在于，所述时间戳信息数据盒包含参考组合时间戳字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

若所述参考组合时间戳字段取值为第一设定值，则确定所述媒体文件中的采集时间不以组合时间戳为基准进行指示；

若所述参考组合时间戳字段取值为第二设定值，则确定所述媒体文件中的采集时间以所述组合时间戳为基准进行指示。

6.如权利要求2所述的方法，其特征在于，所述媒体文件包含M个样本，M为正整数；所述M个样本被封装在至少一个媒体轨道中，所述时间戳信息数据盒包含同等解码时间戳字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

若所述同等解码时间戳字段取值为第一设定值，则确定各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的解码时间；

若所述同等解码时间戳字段取值为第二设定值，则确定各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的解码时间。

7.如权利要求2所述的方法，其特征在于，所述媒体文件包含M个样本，M为正整数；所述M个样本被封装在至少一个媒体轨道中，所述时间戳信息数据盒包含同等组合时间戳字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

若所述同等组合时间戳字段取值为第一设定值，则确定各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的组合时间；

若所述同等组合时间戳字段取值为第二设定值，则确定各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的组合时间。

8.如权利要求2所述的方法，其特征在于，所述时间戳信息数据盒包含初始时间戳标志字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

若所述初始时间戳标志字段取值为第一设定值，则确定所述点云媒体的初始采集时间等同于所述媒体文件的创建时间；

若所述初始时间戳标志字段取值为第二设定值，则根据起始采集时间字段确定所述点云媒体的初始采集时间，所述起始采集时间字段用于指示所述点云媒体在开始采集时的时间信息。

9.如权利要求1或2所述的方法，其特征在于，所述媒体文件包含M个样本，M为正整数；所述点云媒体的采集时间指示信息为元数据信息，所述元数据信息包含采集时间数据盒；所述采集时间数据盒用于指示各个样本与采集时间的对应关系。

10.如权利要求2所述的方法，其特征在于，所述采集时间数据盒包含条目数字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

根据所述条目数字段，确定所述媒体文件中包含的偏移指示信息的条目数量；

其中，所述偏移指示信息包含样本计数字段和样本偏移量字段，所述样本计数字段用于指示所述样本偏移量字段的取值相同的连续样本的数量，第i个样本的样本偏移量字段用于指示所述第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示所述第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示所述第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数；所述样本偏移量字段的单位根据所述媒体文件中包含的时间刻度指示信息确定。

11.如权利要求1所述的方法，其特征在于，所述媒体文件包含M个样本，所述M个样本被封装在至少一个媒体轨道中，M为正整数；所述点云所述点云媒体的采集时间指示信息为元数据信息，所述元数据信息包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

12.如权利要求11所述的方法，其特征在于，每个元数据轨道包含采集时间戳样本条目指示信息，所述采集时间戳样本条目指示信息用于确定所述点云媒体的初始采集时间。

13.如权利要求12所述的方法，其特征在于，所述采集时间戳样本条目指示信息包含起始采集时间字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

根据所述起始采集时间字段，确定所述点云媒体在开始采集时的时间信息。

14.如权利要求12所述的方法，其特征在于，所述采集时间戳样本条目指示信息包含时间刻度指示字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

若所述时间刻度指示字段取值为第一设定值，则确定各个样本的采集时间戳的时间刻度由采集时间刻度字段指示；

若所述时间刻度指示字段取值为第二设定值，则确定各个样本的采集时间戳的时间刻度与所述媒体文件中包含的时间刻度指示信息指示的时间刻度相同；

其中，所述采集时间刻度字段用于指示各个样本的采集时间戳的时间刻度，所述采集时间刻度字段的取值为正整数。

15.如权利要求11所述的方法，其特征在于，每个元数据轨道包含M个采集时间戳样本指示信息，每个采集时间戳样本指示信息包含采集时间偏移字段；所述对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间，包括：

根据第i个采集时间戳样本指示信息中的采集时间偏移字段，确定第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移量，i为大于1，且小于等于M的整数。

16.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述点云媒体的采集时间进行应用优化处理；

其中，所述应用优化处理包括：对采集时间属于预设时间段的点云媒体进行对象检测、对采集时间属于预设时间段的点云媒体进行缩放处理、对采集时间属于预设时间段的点云媒体进行视角切换处理。

17.一种点云媒体的数据处理方法，其特征在于，所述方法包括：

获取点云媒体，以及所述点云媒体的采集时间；

基于所述点云媒体的采集时间生成所述点云媒体的采集时间指示信息，所述采集时间指示信息用于指示所述点云媒体的采集时间；

将所述点云媒体和所述采集时间指示信息封装为所述点云媒体的媒体文件。

18.如权利要求17所述的方法，其特征在于，所述点云媒体的采集时间指示信息为元数据信息，所述元数据信息中包含时间戳信息数据盒，所述时间戳信息数据盒用于指示所述点云媒体的采集时间的指示方式。

19.如权利要求18所述的方法，其特征在于，所述时间戳信息数据盒包含采集时间戳标志字段；

当所述采集时间戳标志字段取值为第一设定值时，表示所述媒体文件中不包含与采集时间相关的时间戳信息；

当所述采集时间戳标志字段取值为第二设定值时，表示所述媒体文件中包含与采集时间相关的时间戳信息。

20.如权利要求18所述的方法，其特征在于，所述时间戳信息数据盒包含参考解码时间戳字段；

当所述参考解码时间戳字段取值为第一设定值时，表示所述媒体文件中的采集时间不以解码时间戳为基准进行指示；

当所述参考解码时间戳字段取值为第二设定值时，表示所述媒体文件中的采集时间以所述解码时间戳为基准进行指示。

21.如权利要求20所述的方法，其特征在于，所述时间戳信息数据盒还包含参考组合时间戳字段；

当所述参考组合时间戳字段取值为所述第一设定值时，表示所述媒体文件中的采集时间不以组合时间戳为基准进行指示；

当所述参考组合时间戳字段取值为所述第二设定值时，表示所述媒体文件中的采集时间以所述组合时间戳为基准进行指示。

22.如权利要求21所述的方法，其特征在于，当所述参考解码时间戳字段取值为所述第二设定值时，所述参考组合时间戳字段取值不为所述第二设定值；当所述参考组合时间戳字段取值为所述第二设定值时，所述参考解码时间戳字段取值不为所述第二设定值。

23.如权利要求18所述的方法，其特征在于，所述媒体文件包含M个样本，M为正整数；所述M个样本被封装在至少一个媒体轨道中，所述时间戳信息数据盒包含同等解码时间戳字段；

当所述同等解码时间戳字段取值为第一设定值时，表示各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的解码时间；

当所述同等解码时间戳字段取值为第二设定值时，表示各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的解码时间。

24.如权利要求23所述的方法，其特征在于，所述时间戳信息数据盒还包含同等组合时间戳字段；

当所述同等组合时间戳字段取值为所述第一设定值时，表示各个媒体轨道中包含的样本的采集时间不等于该媒体轨道中包含的样本的组合时间；

当所述同等组合时间戳字段取值为所述第二设定值时，表示各个媒体轨道中包含的样本的采集时间等于该媒体轨道中包含的样本的组合时间。

25.如权利要求24所述的方法，其特征在于，当所述同等解码时间戳字段取值为所述第二设定值时，所述同等组合时间戳字段取值不为所述第二设定值；当所述同等组合时间戳字段取值为所述第二设定值时，所述同等解码时间戳字段取值不为所述第二设定值。

26.如权利要求18所述的方法，其特征在于，所述时间戳信息数据盒包含初始时间戳标志字段；

当所述初始时间戳标志字段取值为第一设定值时，表示所述点云媒体的初始采集时间等同于所述媒体文件的创建时间；

当所述初始时间戳标志字段取值为第二设定值时，表示所述点云媒体的初始采集时间由起始采集时间字段指示，所述起始采集时间字段用于指示所述点云媒体在开始采集时的时间信息。

27.如权利要求17所述的方法，其特征在于，所述媒体文件包含M个样本，M为正整数；所述点云媒体的采集时间指示信息为元数据信息，所述元数据信息中包含采集时间数据盒；所述采集时间数据盒用于指示各个样本与采集时间的对应关系。

28.如权利要求27所述的方法，其特征在于，所述采集时间数据盒包含条目数字段，所述条目数字段用于指示所述媒体文件中包含的偏移指示信息的条目数量；

其中，所述偏移指示信息包含样本计数字段和样本偏移量字段，所述样本计数字段用于指示所述样本偏移量字段的取值相同的连续样本的数量，第i个样本的样本偏移量字段用于指示所述第i个样本的采集时间相对于解码时间戳的偏移量；或者，用于指示所述第i个样本的采集时间相对于组合时间戳的偏移量；或者，用于指示所述第i个样本的采集时间相对于第i-1个样本采集时间戳的偏移量，i为大于1，且小于等于M的整数；所述样本偏移量字段的单位根据所述媒体文件中包含的时间刻度指示信息确定。

29.如权利要求17所述的方法，其特征在于，所述媒体文件包含M个样本，所述M个样本被封装在至少一个媒体轨道中，M为正整数；所述点云所述点云媒体的采集时间指示信息为元数据信息，所述元数据信息中包含至少一个元数据轨道，每个元数据轨道用于指示该元数据轨道关联的媒体轨道中每个样本的采集时间戳。

30.如权利要求29所述的方法，其特征在于，每个元数据轨道包含采集时间戳样本条目指示信息；所述采集时间戳样本条目指示信息用于指示所述点云媒体的初始采集时间。

31.如权利要求30所述的方法，其特征在于，所述采集时间戳样本条目指示信息包含起始采集时间字段，所述起始采集时间字段用于指示所述点云媒体在开始采集时的时间信息。

32.如权利要求30所述的方法，其特征在于，所述采集时间戳样本条目指示信息包含时间刻度指示字段；

当所述时间刻度指示字段取值为第一设定值时，表示各个样本的采集时间戳的时间刻度由采集时间刻度字段指示；

当所述时间刻度指示字段取值为第二设定值时，表示各个样本的采集时间戳的时间刻度与所述媒体文件中包含的时间刻度指示信息指示的时间刻度相同；

其中，所述采集时间刻度字段用于指示各个样本的采集时间戳的时间刻度，所述采集时间刻度字段的取值为正整数。

33.如权利要求29所述的方法，其特征在于，每个元数据轨道包含M个采集时间戳样本指示信息，每个采集时间戳样本指示信息包含采集时间偏移字段；第i个采集时间戳样本指示信息中的采集时间偏移字段用于指示第i个样本的采集时间戳相对于第i-1个样本的采集时间戳的偏移量，i为大于1，且小于等于M的整数。

34.一种点云媒体的数据处理装置，其特征在于，所述点云媒体的数据处理装置包括：

获取单元，用于获取点云媒体的媒体文件，所述媒体文件包含所述点云媒体的采集时间指示信息，所述采集时间指示信息用于指示所述点云媒体的采集时间；

处理单元，用于对所述媒体文件进行解码以呈现所述点云媒体，并输出所述点云媒体的采集时间。

35.一种点云媒体的数据处理装置，其特征在于，所述点云媒体的数据处理装置包括：

获取单元，用于获取点云媒体，以及所述点云媒体的采集时间；

处理单元，用于基于所述点云媒体的采集时间生成所述点云媒体的采集时间指示信息，所述采集时间指示信息用于指示所述点云媒体的采集时间；

以及用于将所述点云媒体和所述采集时间指示信息封装为所述点云媒体的媒体文件。

36.一种计算机设备，其特征在于，包括：存储装置和处理器；

存储器，所述存储器中存储有计算机程序；

处理器，用于加载所述计算机程序实现如权利要求1-16任一项所述的点云媒体的数据处理方法；或用于加载所述计算机程序实现如权利要求17-33任一项所述的点云媒体的数据处理方法。

37.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于被处理器加载并执行如权利要求1-16任一项所述的点云媒体的数据处理方法；或加载并执行如权利要求17-33任一项所述的点云媒体的数据处理方法。

38.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序适于被处理器加载并执行如权利要求1-16任一项所述的点云媒体的数据处理方法；或加载并执行如权利要求17-33任一项所述的点云媒体的数据处理方法。

Images