CN114554243B - 点云媒体的数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种点云媒体的数据处理方法、装置、设备及存储介质，该方法包括：获取点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；按照该第i个属性成分的指示信息解析该第i个属性成分。该方法涉及点云媒体技术领域，该方法通过对点云媒体的属性成分的必要性或优先级进行指示，能够在一定程度上提升点云媒体的解析处理效率。

Description

点云媒体的数据处理方法、装置、设备及存储介质

技术领域

本申请实施例涉及人工智能的计算机视觉(图像)技术领域，尤其涉及点云媒体技术领域，并且更具体地，涉及点云媒体的数据处理方法、装置、设备及存储介质。

背景技术

随着科学技术的不断发展，目前已经能够以较低的成本、在较短的时间周期内获得大量高精度的点云数据，点云数据往往以点云媒体的形式在内容制作设备与内容消费设备之间进行传输。

点云媒体的传输过程具体如下：内容制作设备对点云媒体进行编码后，对编码后的点云媒体进行封装，得到点云媒体的封装文件，内容制作设备将点云媒体的封装文件传输给内容消费设备；内容消费设备对内容制作设备传输的点云媒体的封装文件进行解封装，然后再进行解码，最后内容消费设备呈现该媒体文件。由于点云媒体中包含的点云数据的数量较大，怎样提升点云媒体的解析处理效率，从而为点云媒体的消费带来较佳体验，是业界一直在持续解决的问题。

发明内容

本申请实施例提供了一种点云媒体的数据处理方法、装置、设备及存储介质，通过对点云媒体的属性成分的必要性或优先级进行指示，能够在一定程度上提升点云媒体的解析处理效率。

一方面，本申请实施例提供一种点云媒体的数据处理方法，该方法包括：

获取点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

按照该第i个属性成分的指示信息解析该第i个属性成分。

另一方面，本申请实施例提供一种点云媒体的数据处理方法，该方法包括：

生成点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

向内容消费设备发送该第i个属性成分的指示信息，以便该内容消费设备按照该第i个属性成分的指示信息解析该第i个属性成分。

另一方面，本申请实施例提供一种点云媒体的数据处理装置，该装置包括：

获取单元，用于获取点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

解析单元，用于按照该第i个属性成分的指示信息解析该第i个属性成分。

另一方面，本申请实施例提供一种点云媒体的数据处理装置，该装置包括：

处理单元，用于生成点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

传输单元，用于向内容消费设备传输该第i个属性成分的指示信息，以便该内容消费设备按照该第i个属性成分的指示信息解析该第i个属性成分。

另一方面，本申请实施例提供一种点云媒体的数据处理设备，该点云媒体的数据处理设备包括：

处理器，适于实现计算机指令；以及，

计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令适于由处理器加载并执行上述的点云媒体的数据处理方法。

另一方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被计算机设备的处理器读取并执行时，使得计算机设备执行上述的点云媒体的数据处理方法。

另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的点云媒体的数据处理方法。

本申请实施例中，点云媒体的各个属性成分的指示信息可用于指导响应的属性成分的解析过程。例如传输或解析过程，相应的，能够提升传输性能或解析性能。例如，在传输环节，可以根据网络状况和各属性成分的必要性以及优先级，策略性地丢弃部分属性成分；再如，在解码环节，可以通过属性成分的必要性校验文件的完整性，对缺失必要属性成分的封装文件直接丢弃，避免浪费解码资源；再如，在解码环节，可以根据属性成分的必要性和优先级决定不同属性成分的解码顺序，使重要信息优先渲染呈现；再如，在解码环节，可以根据设备解码能力和各属性成分的必要性以及优先级，策略性地放弃解码特定属性成分。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的点云媒体的数据处理系统的示意框图。

图2a是本申请实施例提供的点云媒体的数据处理架构的示意图。

图2b和图2c是本申请实施例提供的样本的示意结构图。

图3至图5是本申请实施例提供的点云媒体的数据处理方法的示意性流程图。

图6和图7是本申请实施例提供的点云媒体的数据处理装置的示意框图。

图8是本申请实施例提供的点云媒体的数据处理设备的示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供的方案可涉及人工智能技术。

其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

应理解，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例可涉及人工智能技术中的计算机视觉(Computer Vision,CV)技术，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供一种计算机视觉技术中与点云媒体的数据处理相关的技术领域。

下面对点云相关的概念进行说明。

点云(Point Cloud)是空间中一组无规则分布的、表达三维物体或三维场景的空间结构及表面属性的离散点集。

点云数据(Point Cloud Data)是点云的具体记录形式，点云中每个点的点云数据可以包括几何信息和属性信息，其中，点云中每个点的几何信息是指该点的笛卡尔三维坐标数据，点云中每个点的属性信息可以包括但不限于以下至少一种：色彩信息、材质信息、激光反射强度信息。色彩信息可以是任意一种色彩空间上的信息。例如，色彩信息可以是红绿蓝(Red Green Blue，RGB)信息。再如，色彩信息还可以是亮度色度(YcbCr，YUV)信息。其中，Y表示明亮度(Luma)，Cb(U)表示蓝色色差，Cr(V)表示红色，U和V表示为色度(Chroma)，色度用于描述色差信息。

点云中的每个点都具有相同数量的属性信息。例如，点云中的每个点都具有色彩信息和激光反射强度两种属性信息。再如，点云中的每个点都具有色彩信息、材质信息和激光反射强度信息三种属性信息。在点云媒体的封装过程中，点的几何信息也可称为点云媒体的几何分量或几何成分(Geometry Component)，点的属性信息也可称为点云媒体的属性分量或属性成分(Attribute Component)。点云媒体可包括一个几何成分以及一个或多个属性成分。

基于应用场景可以将点云划分为两大类别，即机器感知点云和人眼感知点云。机器感知点云的应用场景包括但不限于：自主导航系统、实时巡检系统、地理信息系统、视觉分拣机器人、抢险救灾机器人等点云应用场景。人眼感知点云的应用场景包括但不限于：数字文化遗产、自由视点广播、三维沉浸通信、三维沉浸交互等点云应用场景。点云的获取途径包括但不限于：计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。具体而言，可通过光电雷达、激光雷达、激光扫描仪、多视角相机等采集设备，可以采集得到物体表面的点云。根据激光测量原理得到的点云，其可以包括点的三维坐标信息和点的激光反射强度(reflectance)。根据摄影测量原理得到的点云，其可以可包括点的三维坐标信息和点的色彩信息。结合激光测量和摄影测量原理得到点云，其可以可包括点的三维坐标信息、点的激光反射强度(reflectance)和点的色彩信息。相应的，也可基于点云的获取途径将点云划分为三种类型的点云，即第一静态点云、第二类动态点云以及第三类动态获取点云。针对第一静态点云，物体是静止的，且获取点云的设备也是静止的；针对第二类动态点云，物体是运动的，但获取点云的设备是静止的；针对第三类动态获取点云，获取点云的设备是运动的。

例如，在医学领域，由磁共振成像(magnetic resonance imaging，MRI)、计算机断层摄影(computed tomography，CT)、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云的获取成本和时间周期，提高了数据的精度。点云的获取方式的变革，使大量点云的获取成为可能。伴随着大规模的点云不断积累，点云的高效存储、传输、发布、共享和标准化，成为点云应用的关键。

点云数据可用于形成点云媒体，点云媒体可以是一个媒体文件。点云媒体可包括多个媒体帧，点云媒体中的每个媒体帧由点云数据组成。点云媒体可以灵活方便地表达三维物体或三维场景的空间结构及表面属性，因此被广泛应用。对点云媒体进行编码后，再对编码后的码流进行封装可形成封装文件，封装文件可用于传输给用户。相对应的，在点云媒体播放器端，需要先对封装文件进行解封装，然后再进行解码，最后对解码后的数据流进行呈现。封装文件也可称为点云文件。

截止目前，可通过点云编码框架对点云进行编码。

点云编码框架可以是运动图象专家组(Moving Picture Experts Group，MPEG)提供的基于几何的点云压缩(Geometry Point Cloud Compression，G-PCC)编解码框架或基于视频的点云压缩(Video Point Cloud Compression，V-PCC)编解码框架，也可以是音视频编码标准(Audio Video Standard，AVS)提供的AVS-PCC编解码框架。G-PCC编解码框架可用于针对第一静态点云和第三类动态获取点云进行压缩，V-PCC编解码框架可用于针对第二类动态点云进行压缩。G-PCC编解码框架也称为点云编解码器TMC13，V-PCC编解码框架也称为点云编解码器TMC2。

本申请实施例提供的点云媒体的数据处理方案。

图1是本申请实施例提供的点云媒体的数据处理系统100的架构示意图。

如图1所示，该点云媒体的数据处理系统100包括内容消费设备101和内容制作设备102。其中，内容制作设备102是指点云媒体的提供者(例如点云媒体的内容制作者)所使用的计算机设备，该计算机设备可以是终端(例如PC(PersonalComputer，个人计算机)、智能移动设备(例如智能手机)等)、服务器、可移动平台(例如无人机(UnmannedAerialVehicle，UAV)、机器人等)等具备点云媒体编码、封装能力的设备；内容消费设备101是指点云媒体的使用者(例如用户)所使用的计算机设备，该计算机设备可以是终端(例如PC(PersonalComputer，个人计算机)、智能移动设备(例如智能手机)、VR(VirtualReality，虚拟现实)设备(例如VR头盔、VR眼镜)等)等具备点云媒体解封装、解码能力的设备。

内容制作设备102和内容消费设备101可以通过有线通信或者无线通信的方式进行直接或间接地连接，本申请实施例在此不做限制。

图2a是本申请实施例提供的点云媒体的数据处理架构的架构示意图。下面将结合图1所示的点云媒体的数据处理系统以及图2a所示的点云媒体的数据处理架构，对本申请实施例提供的点云媒体的数据处理方案进行介绍。

如图2a所示，点云媒体的数据处理过程包括内容制作设备侧的数据处理过程以及内容消费设备侧的数据处理过程，具体处理过程如下：

一、内容制作设备侧的数据处理过程：

(1)、点云数据的获取过程。

在一种实现方式中，从点云数据的获取方式看，点云数据的获取方式可以分为通过捕获设备采集真实世界的视觉场景以获取以及通过计算机设备生成两种方式。在一种实现方式中，捕获设备可以是设置于内容制作设备中的硬件组件，例如捕获设备是终端的摄像头、传感器等。捕获设备也可以是与内容制作设备相连接的硬件装置，例如与服务器相连接的摄像头等。捕获设备用于为内容制作设备提供点云数据的获取服务，捕获设备可以包括但不限于以下任一种：摄像设备、传感设备、扫描设备；其中，摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等；传感设备可以包括激光设备、雷达设备等；扫描设备可以包括3D激光扫描设备等。捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的点云数据，捕获到的点云数据在时间上和空间上均保持同步。在另一种实现方式中，计算机设备可以根据虚拟三维物体及虚拟三维场景的生成点云数据。由于点云数据的获取方式不同，通过不同方式获取到的点云数据对应的压缩编码方式也可能有所区别。

(2)点云数据的编码及封装过程。

在一种实现方式中，内容制作设备可以采用基于几何的点云压缩(Geometry-BasedPointCloudCompression，GPCC)编码方式或者基于传统视频编码的点云压缩(Video-BasedPointCloudCompression，VPCC)编码方式对获取到的点云数据进行编码处理，得到点云数据的GPCC比特流或者VPCC比特流。以GPCC编码方式为例，内容制作设备采用文件轨道对编码后的点云数据的GPCC比特流进行封装；所谓文件轨道是指编码后的点云数据的GPCC比特流的封装容器；所谓封装容器就是把编码器生成的多媒体内容(视频，音频，字幕，章节信息等)混合封装在一起的标准。封装容器可以使得不同多媒体内容同步播放变得很简单。GPCC比特流可以封装在单个文件轨道中，GPCC比特流也可以封装到多个文件轨道中，以形成封装文件。GPCC比特流封装在单个文件轨道中和GPCC比特流封装在多个文件轨道中的具体情况如下：

①、GPCC比特流封装在单个文件轨道中。

当GPCC比特流在单个文件轨道中传输时，要求GPCC比特流根据单个文件轨道的传输规则进行声明并表示。封装在单个文件轨道中的GPCC比特流无需进行进一步处理，可以通过国际标准化组织基本媒体文件格式(InternationalOrganizationforStandardizationBaseMediaFileFormat，ISOBMFF)进行封装。具体而言，封装在单个文件轨道中的每个样本(Sample)都包含一个或多个GPCC成分，所谓样本是指一个或多个点云的封装结构的集合。例如类型-长度-值字节流格式(Type-Length-ValueByteStreamFormat，TLV)封装结构。样本是点云媒体封装过程中的封装单位；点云媒体包含多个样本，一个样本通常为点云媒体的一个媒体帧，以视频媒体为例，视频媒体的一个样本为一个视频帧。

图2b是本申请实施例提供的一种样本的示意结构图。

如图2b所示，在进行单个文件轨道传输时，该文件轨道中的样本由GPCC参数集TLV、几何比特流TLV和属性比特流TLV组成，该样本被封装到单个文件轨道中。

②、GPCC比特流封装在多个文件轨道中。

当编码的GPCC几何比特流和编码的GPCC属性比特流在不同的文件轨道中进行传输时，文件轨道中的每个样本都包含至少一个TLV封装结构，该TLV封装结构中携带单个GPCC成分的数据，并且TLV封装结构中不同时包含编码的GPCC几何比特流和编码的GPCC属性比特流。

假设存在文件轨道1和文件轨道2，在文件轨道1中传输的样本1可包含编码的GPCC几何比特流，并不包含编码的GPCC属性比特流；在文件轨道2中传输的样本2可包含编码的GPCC属性比特流，并不包含编码的GPCC几何比特流。由于内容消费设备在解码时首先应对编码的GPCC几何比特流进行解码，而编码的GPCC属性比特流的解码取决于解码后的几何信息，因此将不同的GPCC分量比特流封装在单独的文件轨道中，使得内容消费设备可以在编码的GPCC属性比特流之前访问承载编码的GPCC几何比特流的文件轨道。

图2c是本申请实施例提供的另一种样本的示意结构图。

如图2c所示，在进行多个文件轨道传输时，编码的GPCC几何比特流和编码的GPCC属性比特流在不同的文件轨道中进行传输，该文件轨道中的样本由GPCC参数集TLV、几何比特流TLV组成，样本中不包含属性比特流TLV，该样本被封装在多个文件轨道中的任一个文件轨道中。

在一种实现方式中，获取到的点云数据经内容制作设备编码、封装后形成点云媒体的封装文件，该点云媒体的封装文件可以是整个媒体文件，也可以是媒体文件中的媒体片段；并且内容制作设备按照点云媒体的文件格式要求采用媒体呈现描述信息记录该点云媒体的封装文件的元数据，例如，采用媒体演示描述(MediaPresentationDescription，MPD)文件记录该点云媒体的封装文件的元数据。此处的元数据是对与点云媒体的呈现有关的信息的总称，该元数据可以包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。内容制作设备将MPD文件下发至内容消费设备，以使内容消费设备根据该MDP文件中的相关描述信息请求获取点云媒体的封装文件。具体地，点云媒体的封装文件可通过传输机制由内容制作设备下发至内容消费设备。作为示例，传输机制可以是动态自适应流媒体传输(Dynamic Adaptive Streaming over HTTP，DASH)、智能媒体传输(Smart Media Transport，SMT)。

内容制作设备将经过压缩后的点云数据封装成一系列小型的基于超文本传输协议(Hyper Text Transfer Protocol，HTTP)的媒体片段，每个媒体片段包含的时间可以设置，一般包含时间较短，但是每个媒体片段有多种码率的版本，这样可以更精确地实现网络自适应下载。内容消费设备将根据当前网络条件自适应地选择下载和播放当前网络能够承载的最高比特率版本，由此，既可以保证当前媒体的质量，又能避免由于码率过高导致的播放卡顿或重新缓冲事件。基于此，可以实现动态无缝适应实时的网络条件并提供高质量的播放内容，拥有更少的卡顿，极大地提升了用户体验。换言之，码率切换以媒体片段为单位，当网络带宽较好时，内容消费设备可以请求对应时间较高码率的媒体片段；而当带宽变差时，内容消费设备则下载对应码率较低的媒体片段。由于不同质量的媒体片段在时间上都是相互对齐的，因此不同质量的媒体片段之间切换时，画面是自然流畅的。

通过媒体演示描述(media presentation description，MPD)文件可精确描述封装文件，MPD文件可以是一个可扩展标示语言(Extensive Markup Language，XML)文件，并完整描述了封装文件的所有信息，包括各类音视频参数、媒体片段的时长、不同媒体片段的码率、分辨率以及对应的统一资源定位符(Uniform Resource Locator，URL)等等，内容消费设备通过首先下载并解析MPD文件，可获取到与自身性能和带宽最匹配的媒体片段。MPD文件可以包含一个或多个自适应集(AdaptationSets)。例如，一个自适应集包含同一视频内容的多个不同比特率的视频片段，另一个自适应集包含同一音频内容的多个不同比特率的视频片段。一个自适应集可以包含多个表示(Representation)。一个表示可包括一个或多个媒体内容的组合，比如某种分辨率的视频文件可以看做一个表示。

内容消费设备根据MPD文件的URL向服务器发送请求获取MPD文件，内容消费设备首先解析MPD文件，得到封装文件的内容信息，包括视频分辨率、视频内容种类、分段情况、帧率、码率以及各个媒体片段的URL地址等媒体配置信息。内容消费设备通过分析上述封装文件的内容信息，根据当前网络状态以及客户端缓冲区的大小等选择合适的媒体片段。然后通过向内容制作设备发送请求，根据媒体URL下载对应的媒体片段并进行流式传输。内容消费设备收到对应的封装文件之后，进行解封装得到裸码流，最后送入解码器进行解码播放。

二、内容消费设备侧的数据处理过程：

(1)、点云数据的解封装及解码过程。

在一种实现方式中，内容消费设备可以通过内容制作设备下发的MDP文件获取点云媒体的封装文件。内容消费设备端的文件解封装的过程与内容制作设备端的文件封装过程是相逆的，内容消费设备按照点云媒体的文件格式要求对点云媒体的封装文件进行解封装，得到编码比特流，即GPCC比特流或VPCC比特流。内容消费设备端的解码过程与内容制作设备端的编码过程是相逆的，内容消费设备对编码比特流进行解码，还原出点云数据。点云数据的渲染过程。在一种实现方式中，内容消费设备根据MDP文件中与渲染、视窗相关的元数据对GPCC比特流解码得到的点云数据进行渲染，渲染完成即实现了对点云数据对应的视觉场景的呈现。

本申请实施例中，对于内容制作设备端，首先通过采集设备对真实世界的视觉场景进行采样，得到与真实世界的视觉场景对应的点云数据；然后通过GPCC编码方式或VPCC编码方式对获取的点云数据进行编码处理，得到GPCC比特流或VPCC比特流，GPCC比特流或VPCC比特流中均可包括编码后的几何比特流和编码后的属性比特流；接着对GPCC比特流或者VPCC比特流进行封装得到点云媒体的封装文件，即媒体文件或媒体片段。内容制作设备还可以将元数据封装到媒体文件或媒体片段中，并通过传输机制将点云媒体的封装文件下发至内容消费设备，例如通过动态自适应流媒体传输机制将点云媒体的封装文件下发至内容消费设备。

对于内容消费设备端，首先接收内容制作设备发送的点云媒体的封装文件；然后对点云媒体的封装文件进行解封装处理，得到编码的GPCC比特流(或者VPCC比特流)以及元数据；接着解析编码的GPCC比特流或VPCC比特流中的元数据，即对编码的GPCC比特流或VPCC比特流进行解码处理，得到点云数据；最后基于当前用户的观看(视窗)方向，对解码后的点云数据进行渲染，并显示在内容消费设备中。需要说明的是，当前用户的观看(视窗)方向由头部跟踪以及视觉跟踪功能确定。除了通过渲染器用来渲染当前用户的观看(视窗)方向的点云数据外，还可以通过音频解码器来对当前用户的观看(视窗)方向的音频进行解码优化。通过内容制作设备对采集到的点云数据进行编码、封装，实现了点云数据的存储和传输；内容制作设备将封装得到的点云媒体的封装文件下发至内容消费设备，实现了点云数据的发布和共享；内容消费设备对点云媒体的封装文件进行解封装、解码消费，使得真实世界的视觉场景在内容消费设备中得以呈现。

可以理解的是，本申请实施例描述的点云媒体的数据处理系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题或场景，同样适用。

由上述点云媒体的数据处理过程可知，内容制作设备需要对点云媒体进行编码、封装成点云媒体的封装文件后才能下发至内容消费设备，相应地，内容消费设备需要对点云媒体的封装文件进行解封装、解码后才能渲染呈现该点云媒体。本申请实施例提供的点云媒体的数据处理系统支持数据盒(Box)，例如ISOBMFF数据盒，数据盒是指包括元数据的数据块或包括元数据的对象，即数据盒中包含了点云媒体的元数据；点云媒体可以关联多个数据盒。例如，点云媒体包括成分信息数据盒(GPCCComponentInfoBox)，该成分信息数据盒可用于描述点云媒体的成分的信息，该成分信息数据盒可用于对编码的GPCC比特流或VPCC比特流进行解码处理。

本申请实施例提供了一种成分信息数据盒的语法的示例，具体可参见下述表1：

表1

上述表1涉及语法的语义如下：

①、GPCC类型(gpcc_type)字段：

gpcc_type字段指示了GPCC比特流的成分类型。例如，若gpcc_type字段的取值为2，则表示GPCC比特流的成分为几何成分，若gpcc_type字段的取值为4，则表示GPCC比特流的成分为属性成分，gpcc_type字段的其他取值可设置为保留值。由于点云媒体经过封装后可形成封装文件，因此，GPCC比特流的成分类型也可以理解为封装文件的成分类型，即媒体文件或媒体片段的成分类型。

②、属性索引(attr_index)字段：

attr_index字段指示了属性成分在序列参数集(sequence parameter set，SPS)中的位置。SPS包括初始化解码器所需要的信息参数。作为示例，SPS可以包括针对一连续编码视频序列的参数，如SPS标识符、帧数、参考帧数目、解码图像尺寸和帧场编码模式选择标识等。当然，SPS也可以包括其他具体参数，本申请实施例对此不作具体限定。

③、属性名称(attr_name)字段：

attr_name字段指示了用户可直接解读的属性成分的名称。

④、属性类型可用(attr_type_available)字段：

attr_type_available字段指示了是否指示了属性类型，或指示了属性类型字段是否可用。作为示例，若attr_type_available字段的取值为1，则表示额外指示了属性类型，若attr_type_available字段的取值为0，则表示属性类型未指示。

⑤、属性类型(attr_type)字段：

attr_type字段指示了遵循ISO/IEC 23090-9GPCC编码标准的属性类型。

需要说明的是，表1仅为本申请的示例，不应理解为对本申请的限制。例如，在表1中，成分信息数据盒扩展为完整数据盒(FullBox)，即成分信息数据盒中增加了版本(version)字段等信息，但在其他可替代实施例中，还可以采用不扩展的数据盒。此外，表1中的成分信息数据盒为应用于GPCC封装技术的数据盒，但在其他可替代实施例中，本申请的方案也可应用于至VPCC的封装技术。

本申请实施例在表1所示的成分信息数据盒的基础上，增加了用于指示属性成分的必要性或优先级的指示信息。即针对分装层面的字段进行了扩展。扩展后的成分信息数据盒的语法的语义可参见下述表2：

表2

如表2所示，相对表1，本申请实施例扩展了一下两个字段：

⑥、属性必要性(attr_mandatory)字段：

属性必要性字段用于指示属性成分为必要属性成分或非必要属性成分，。作为示例，若属性必要性字段的取值为1，则表示该属性成分为必要成分；若属性必要性字段的取值为0，则表示该属性成分为非必要成分。作为另一示例，若属性必要性字段的取值为0，则表示该属性成分为必要成分；若属性必要性字段的取值为1，则表示该属性成分为非必要成分。

⑦、属性优先级(attr_priority)字段：

属性优先级字段用于指示属性成分的优先级。作为示例，属性优先级字段的取值越小，则属性成分的优先级越高。

应理解，表2中与表1中相同的字段可参见表1的相关描述，为避免重复，此处不再赘述。

按照本申请实施例的上述表2所示的点云媒体的成分信息数据盒。内容制作设备可根据点云媒体的每一个属性成分的必要性，配置点云媒体的成分信息数据盒中的属性必要性字段，根据点云媒体的每一个属性成分的优先级，配置点云媒体的成分信息数据盒中的属性优先级字段；成分信息数据盒中的属性成分的属性必要性字段和属性优先级字段可用于指导传输或解析过程，相应的，能够提升传输性能或解析性能。

例如，在传输环节，可以根据网络状况和各属性成分的必要性以及优先级，策略性地丢弃部分属性成分；再如，在解码环节，可以通过属性成分的必要性校验文件的完整性，对缺失必要属性成分的封装文件直接丢弃，避免浪费解码资源；再如，在解码环节，可以根据属性成分的必要性和优先级决定不同属性成分的解码顺序，使重要信息优先渲染呈现；再如，在解码环节，可以根据设备解码能力和各属性成分的必要性以及优先级，策略性地放弃解码特定属性成分。

图3是本申请实施例提供的点云媒体的数据处理方法300的示意性流程图；该方法300可由点云媒体系统中的内容消费设备来执行。

如图3所示，该方法300可包括：

S310，获取点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

S320，按照该第i个属性成分的指示信息解析该第i个属性成分。

简言之，内容消费设备获取点云媒体的第i个属性成分的指示信息后，按照该第i个属性成分的指示信息解析该第i个属性成分。换言之，内容消费设备可获取点云媒体中各个属性成分的指示信息，然后基于该点云媒体中各个属性成分的指示信息，解析该点云媒体。点云媒体的各个属性成分的指示信息可用于指导响应的属性成分的解析过程。例如传输或解析过程，相应的，能够提升传输性能或解析性能。

在一种实现方式中，内容制作设备可根据点云媒体的应用场景，决定点云文件各个属性成分的指示信息；在封装点云媒体的过程中，可将该指示信息封装或填充在成分信息数据盒内，该点云媒体的封装文件可包括成分信息数据盒。此外，还可将该指示信息使用信令消息发送给内容消费设备，以便内容消费设备可根据该信令消息中的指示信息，请求对应的封装文件，进而通过解封装封装文件，得到成分信息数据盒和待解压缩比特流，然后基于成分信息数据盒解析待编码比特流。在一种实施方式中，点云媒体的成分信息数据盒可以是指国际标准化组织基媒体文件格式(ISO BaseMedia File Format，ISOBMFF)数据盒。内容消费设备在获取点云媒体的成分信息数据盒后，按照成分信息数据盒对点云媒体对应的属性分量进行解析，并在当前视窗显示解析后的属性分量。

在一种实现方式中，该第i个属性成分的指示信息包括属性优先级字段，该属性优先级字段用于指示该第i个属性成分的优先级，该属性优先级字段的取值越小，则该第i个属性成分的优先级越高，该第i个属性成分在传输过程中被丢弃的可能性越小；该S320可包括：

按照该属性优先级字段解析该解析该第i个属性成分。

换言之，该属性优先级字段可用作第i个属性成分的丢弃策略或传输策略，例如，该第i个属性成分的指示信息用于指导传输节点是否可丢弃第i个属性成分或是否需要优先传输第i个属性成分。在传输过程中，传输节点可以根据网络状况和各属性成分的属性优先级字段，策略性地丢弃部分属性，接着重新封装文件后进行传输。

在一种实现方式中，该点云媒体包括多个属性成分，该点云媒体的第j个属性成分是该N个属性成分中除该第i个属性成分之外的任一个，j为正整数且j∈[1，N]；该第i个属性成分的优先级高于该第j个属性成分的优先级；该S320可包括：

优先解析该第i个属性成分，再解析第j个属性成分；或者，解析该第i个属性成分，并放弃解析第j个属性成分。

换言之，该成分信息数据盒包括各个属性成分的属性优先级字段，内容消费设备可基于点云媒体的各个属性成分的优先级，策略性的解析该点云媒体的各个属性成分。具体而言，内容消费设备可基于点云媒体的各个属性成分的优先级，优先解析该点云媒体的优先级较高的属性成分，再解析优先级较低的属性成分。即，点云媒体的各个属性成分的优先级可用于确定属性成分的解码顺序，使得重要的信息可以优先渲染呈现。当然，也可以基于各个属性成分的优先级，在内容消费设备的能力欠缺的情况下，策略性的丢弃优先级较低的属性成分，即可放弃解码优先级较低的属性成分，使得内容消费设备能够正常呈现信息。

在一种实现方式中，该指示信息包括属性必要性字段，该属性必要性字段用于指示该第i个属性成分为必要属性成分或非必要属性成分，若该第i个属性成分为必要属性成分，则在传输过程中不可丢弃该第i个属性成分，若该第i个属性成分为非必要属性成分，则该第i个属性成分在传输过程中可丢弃该第i个属性成分；该S320可包括：

按照该属性必要性字段解析该第i个属性成分。

换言之，该属性必要性字段可用作第i个属性成分的丢弃策略或传输策略，例如，该第i个属性成分的指示信息用于指导传输节点是否可丢弃第i个属性成分或是否需要优先传输第i个属性成分。在传输过程中，传输节点可以根据网络状况和各属性成分的属性必要性字段，策略性地丢弃部分属性，接着重新封装文件后进行传输。

在一种实现方式中，该S320可包括：

若该第i个属性成分为必要属性成分，则优先解析该第i个属性成分，再解析该点云媒体中的非必要属性成分，若该第i个属性成分为非必要属性成分，则优先解析该点云媒体中的必要属性成分，再解析该第i个属性成分；或者，若该第i个属性成分为必要属性成分，则解析该第i个属性成分，若该第i个属性成分为非必要属性成分，则可放弃解析该第i个属性成分。

换言之，该成分信息数据盒包括各个属性成分的属性必要性字段，内容消费设备可基于点云媒体的各个属性成分的必要性，策略性的解析该点云媒体的各个属性成分。具体而言，内容消费设备可基于点云媒体的各个属性成分的必要性，优先解析该点云媒体的必要属性成分，再解析非必要属性成分。即，点云媒体的各个属性成分的必要性可用于确定属性成分的解码顺序，使得重要的信息可以优先渲染呈现。当然，也可以基于各个属性成分的必要性，在内容消费设备的能力欠缺的情况下，策略性的丢弃非必要属性成分，即可放弃解码非必要属性成分，使得内容消费设备能够正常呈现信息。

在一种实现方式中，该S320可包括：

若该第i个属性成分为必要属性成分，校验该点云媒体的完整性；若该点云媒体缺失该第i个属性成分，则丢弃该点云媒体或者继续解析该点云媒体中的剩余的必要属性成分和非必要属性成分。

换言之，该成分信息数据盒包括各个属性成分的属性必要性字段，内容消费设备可基于点云媒体的各个属性成分的必要性，策略性的解析该点云媒体的各个属性成分。具体而言，内容消费设备可基于点云媒体的各个属性成分的必要性，确定是否丢失必要属性成分，在确定丢失有必要属性成分的情况下，可直接放弃对点云媒体的解码，也可以继续解码点云媒体中的剩余必要属性成分和非必要属性成分。

需要说明的是，该属性必要性字段可以用于校验点云的完整性并丢弃不完整的点云媒体，但不应将该属性必要性字段限制为用于判断是否丢弃点云媒体的判断条件。即，当点云媒体内缺失部分必要属性成分时，内容消费设备可以选择丢弃点云媒体，也可以选择继续解码并呈现剩余的必要属性和非必要属性。

在一种实现方式中，该S310可包括：

接收该内容制作设备发送的MPD文件，该MPD文件包括点云媒体的至少一个描述信息，该至少一个描述信息包括用于描述目标封装文件的目标描述信息；若该目标描述信息被选择，则向该内容制作设备发送获取请求，该获取请求中携带该目标描述信息，以使该内容制作设备根据该获取请求返回该目标封装文件，该目标封装文件中包括该点云媒体的成分信息数据盒，该成分信息数据盒包括该指示信息；从该成分信息数据盒中获取该第i个属性成分的指示信息。

简言之，内容消费设备可通过收到的MPD文件，选择目标描述信息，然后基于目标描述信息请求目标封装文件，该目标封装文件中可包括各个属性成分的指示信息，由此，可基于各个属性成分的指示信息，对该目标封装文件进行解析。

在一种实现方式中，该MPD文件还包括该第i个属性成分的指示信息。

换言之，本申请还对MPD文件进行了扩展，以支持DASH传输机制。作为示例，具体可参见下述表3：

表3

/>

如表3所示，在MPD文件扩展了属性必要性子元素和属性优先级子元素，应当理解，属性必要性子元素和属性优先级子元素的含义可分别参考上文成分信息数据和中关于属性必要性字段和属性优先级字段的介绍，为避免重复，此处不再赘述。还应当理解，表3仅为本申请的示例，不应理解为对本申请的限制。例如，在其他可替代实施例中，MPD文件还可以包括针对每一个元素或子元素的用途(use)的说明，该元素或子元素也可以直接理解为MPD文件中的字段或信息。

图4是本申请实施例提供的点云媒体的数据处理方法400的流程示意图，该方法400可以由图1所示实施例中的内容制作设备102执行。

如图4所示，该点云媒体的数据处理方法400包括：

S410，生成点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

S420，向内容消费设备发送该第i个属性成分的指示信息，以便该内容消费设备按照该第i个属性成分的指示信息解析该第i个属性成分。

在一种实现方式中，该S420可包括：

生成媒体演示描述MPD文件，该MPD文件包括云媒体的至少一个描述信息；向该内容消费设备发送该MPD文件；接收该内容消费设备发送的获取请求，该获取请求中携带目标描述信息，该至少一个描述信息包括用于描述目标封装文件的目标描述信息；根据该获取请求向该内容消费设备发送该目标封装文件，该目标封装文件中包括该点云媒体的成分信息数据盒，该成分信息数据盒包括该第i个属性成分的指示信息。

在一种实现方式中，该MPD文件还包括该第i个属性成分的指示信息。

图5是本申请实施例提供的点云媒体的数据处理方法500的流程示意图，该方法500可以由图1所示实施例中的内容制作设备102以及内容消费设备101交互执行。

下面结合图5，针对具体的应用场景，对本申请实施例提供的点云媒体的数据处理方案举例描述。如图5所示，该点云媒体的数据处理方法500可包括以下中的部分或全部内容：

S510，内容制作设备根据应用场景确定点云媒体的各个属性成分的属性优先级字段和属性必要性字段。

假设存在3个点云媒体，即F1、F2以及F3；F1为数字博物馆展品，存在颜色、材料、反射率三个属性分量，由于是面向人眼的场景，在优先级上颜色>材料>反射率；F2为机器人分拣目标，存在颜色、材料、反射率三个属性分量，在优先级上材料>颜色>反射率；F3为无人机搜救目标，存在颜色、材料、反射率三个属性分量，搜救场景需要特别注意反光物体和颜色鲜艳的物体，因此在优先级上反射率＝颜色>材料。

S520，内容制作设备封装点云媒体的各个属性成分的属性优先级字段、属性必要性字段以及点云媒体，以得到封装文件。

内容制作设备根据应用场景，封装文件F1～F3中对应的字段如下所示：

F1：

{attr_mandatory＝1；attr_priority＝0；attr_name＝‘Colour’}；

{attr_mandatory＝0；attr_priority＝1；attr_name＝‘Material ID’}；

{attr_mandatory＝0；attr_priority＝2；attr_name＝‘Reflectance’}。

F2：

{attr_mandatory＝0；attr_priority＝1；attr_name＝‘Colour’}；

{attr_mandatory＝1；attr_priority＝0；attr_name＝‘Material ID’}；

{attr_mandatory＝0；attr_priority＝2；attr_name＝‘Reflectance’}。

F3：

{attr_mandatory＝1；attr_priority＝0；attr_name＝‘Colour’}；

{attr_mandatory＝0；attr_priority＝1；attr_name＝‘Material ID’}；

{attr_mandatory＝1；attr_priority＝0；attr_name＝‘Reflectance’}。

其中，attr_mandatory表示属性必要性字段，attr_priority表示属性优先级字段，attr_name表示属性成分的名称。

S530，内容制作设备向内容消费设备发送MPD文件，该MPD文件包括点云媒体的各个属性成分的优先级子元素和必要性子元素。

针对封装文件F1～F3，内容制作设备向内容消费设备U1发送MPD文件1，MPD文件1用于描述封装文件F1，向内容消费设备U2发送MPD文件2，MPD文件2用于描述封装文件F2，向内容消费设备U3发送MPD文件3，MPD文件3用于描述封装文件F3。

应当理解，该MPD文件中各个子元素(component@attribute_mandatory，component@attribute_priority)的取值与S620中相应的字段的取值保持一致，为避免重复，此处不再赘述。

S540，内容消费设备根据MPD文件向内容制作设备发送请求消息，该请求消息用于请求封装文件。

S550，内容消费设备接收内容制作设备发送的封装文件。

内容消费设备U1基于MPD文件1请求封装文件F1；内容消费设备U2基于MPD文件2请求封装文件F2；内容消费设备U3基于MPD文件3请求封装文件F3。

需要说明的是，封装文件F1～F3可通过传输节点从内容制作设备传输至内容消费设备U1～U3。在传输节点，可根据相应的内容消费设备的网络状况策略性的丢弃部分属性成分。作为示例，假设内容消费设备U1的网络状况良好，传输节点可不丢弃任何属性成分；假设内容消费设备U2和U3的网络状况较差，传输节点可根据F2和F3内各属性成分的优先级，丢弃F2文件的反射率属性成分，传输节点丢弃F3文件的材料属性成分后，再次封装F2和F3文件并传输给相应的内容消费设备。

S560，内容消费设备基于封装文件中的各个属性成分的属性优先级字段和属性必要性字段，策略性解码封装文件。

内容消费设备U1收到封装文件F1文件后，根据三个属性成分的优先级，依次解码颜色、材料、反射率属性成分并渲染呈现。内容消费设备U2收到封装文件F2文件后，由于分拣机器人解码能力受限，内容消费设备U2选择丢弃颜色属性，仅解码材料成分用于机器人分拣任务。内容消费设备U3收到F3文件后，由于网络条件恶劣，在传输过程中颜色属性成分的数据有所缺失，根据MPD文件可知颜色属性成分为必要属性。此时内容消费设备U3可以选择直接丢弃该封装文件F3，重新请求封装文件F3；也可以选择解码剩余的同为必要属性的反射率成分。

图6是本申请实施例提供的点云媒体的数据处理装置600的结构示意图，该点云媒体的数据处理装置600可以用于执行图3所示的点云媒体的数据处理方法中的相应步骤。

如图6所示，该点云媒体的数据处理装置600可包括：

获取单元610，用于获取点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

解析单元620，按照该第i个属性成分的指示信息解析该第i个属性成分。

在一种实现方式中，该第i个属性成分的指示信息包括属性优先级字段，该属性优先级字段用于指示该第i个属性成分的优先级，该属性优先级字段的取值越小，则该第i个属性成分的优先级越高，该第i个属性成分在传输过程中被丢弃的可能性越小；

该解析单元620具体用于：

按照该属性优先级字段解析该第i个属性成分。

在一种实现方式中，该点云媒体包括多个属性成分，该点云媒体的第j个属性成分是该N个属性成分中除该第i个属性成分之外的任一个，j为正整数且j∈[1，N]；该第i个属性成分的优先级高于该第j个属性成分的优先级；

该解析单元620具体用于：

优先解析该第i个属性成分，再解析该第j个属性成分；或者，解析该第i个属性成分，并放弃解析该第j个属性成分。

在一种实现方式中，该第i个属性成分的指示信息包括属性必要性字段，该属性必要性字段用于指示该第i个属性成分为必要属性成分或非必要属性成分，若该第i个属性成分为必要属性成分，则在传输过程中不可丢弃该第i个属性成分，若该第i个属性成分为非必要属性成分，则该第i个属性成分在传输过程中可丢弃该第i个属性成分；

该解析单元620具体用于：

按照该属性必要性字段解析该第i个属性成分。

在一种实现方式中，该解析单元620具体用于：

若该第i个属性成分为必要属性成分，则优先解析该第i个属性成分，再解析该点云媒体中的非必要属性成分，若该第i个属性成分为非必要属性成分，则优先解析该点云媒体中的必要属性成分，再解析该第i个属性成分；或者，若该第i个属性成分为必要属性成分，则解析该第i个属性成分，若该第i个属性成分为非必要属性成分，则可放弃解析该第i个属性成分。

在一种实现方式中，该解析单元620具体用于：

若该第i个属性成分为必要属性成分，校验该点云媒体的完整性；

若该点云媒体缺失该第i个属性成分，则丢弃该点云媒体或者继续解析该点云媒体中的剩余的必要属性成分和非必要属性成分。

在一种实现方式中，该获取单元610具体用于：

接收该内容制作设备发送的媒体演示描述MPD文件，该MPD文件包括点云媒体的至少一个描述信息，该至少一个描述信息包括用于描述目标封装文件的目标描述信息；

若该目标描述信息被选择，则向该内容制作设备发送获取请求，该获取请求中携带该目标描述信息，以使该内容制作设备根据该获取请求返回该目标封装文件，该目标封装文件中包括该点云媒体的成分信息数据盒，该成分信息数据盒包括该第i个属性成分的指示信息；

从该成分信息数据盒中获取该第i个属性成分的指示信息。

在一种实现方式中，该MPD文件还包括该第i个属性成分的指示信息。

图7是本申请实施例提供的点云媒体的数据处理装置700的结构示意图，该点云媒体的数据处理装置700可以用于执行图4所示的点云媒体的数据处理方法中的相应步骤。

如图7所示，该点云媒体的数据处理装置700可包括：

生成单元710，用于生成点云媒体的第i个属性成分的指示信息，该点云媒体包括N个属性成分，该第i个属性成分为该N个属性成分中的任一个，该第i个属性成分的指示信息用于指示该第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

通信单元720，向内容消费设备发送该第i个属性成分的指示信息，以便该内容消费设备按照该第i个属性成分的指示信息解析该第i个属性成分。

在一种实现方式中，该通信单元720具体用于：

生成媒体演示描述MPD文件，该MPD文件包括云媒体的至少一个描述信息；

向该内容消费设备发送该MPD文件；

接收该内容消费设备发送的获取请求，该获取请求中携带目标描述信息，该至少一个描述信息包括用于描述目标封装文件的目标描述信息；

根据该获取请求向该内容消费设备发送该目标封装文件，该目标封装文件中包括该点云媒体的成分信息数据盒，该成分信息数据盒包括该第i个属性成分的指示信息。

在一种实现方式中，该MPD文件还包括该第i个属性成分的指示信息。

应理解，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，点云媒体的数据处理装置600可以对应于执行本申请实施例的方法300或500中的相应主体，并且点云媒体的数据处理装置600中的各个单元分别为了实现方法300或500中的相应流程，类似的，点云媒体的数据处理装置700可以对应于执行本申请实施例的方法400或500中的相应主体，并且点云媒体的数据处理装置700中的各个单元分别为了实现方法400或500中的相应流程，为了简洁，在此不再赘述。

还应当理解，本申请实施例涉及的点云媒体的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，该点云媒体的数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。根据本申请的另一个实施例，可以通过在包括例如中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的通用计算机的通用计算设备上运行能够执行相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造本申请实施例涉及的点云媒体的数据处理装置，以及来实现本申请实施例的点云媒体的数据处理方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于图1所示点云媒体的数据处理系统的内容消费设备101或内容制作设备102中，并在其中运行，来实现本申请实施例的相应方法。

换言之，上文涉及的单元可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过软硬件结合的形式实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件组合执行完成。可选地，软件可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图8是本申请实施例提供的点云媒体的数据处理设备800的示意结构图。

如图8所示，该点云媒体的数据处理设备800至少包括处理器810以及计算机可读存储介质820。其中，处理器810以及计算机可读存储介质820可通过总线或者其它方式连接。计算机可读存储介质820用于存储计算机程序821，计算机程序821包括计算机指令，处理器810用于执行计算机可读存储介质820存储的计算机指令。处理器810是点云媒体的数据处理设备800的计算核心以及控制核心，其适于实现一条或多条计算机指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。

作为示例，处理器810也可称为中央处理器(CentralProcessingUnit，CPU)。处理器810可以包括但不限于：通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

作为示例，计算机可读存储介质820可以是高速RAM存储器，也可以是非不稳定的存储器(Non-VolatileMemory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器810的计算机可读存储介质。具体而言，计算机可读存储介质820包括但不限于：易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在一种实现方式中，该点云媒体的数据处理设备800可以是图1所示的点云媒体的数据处理系统中的内容消费设备101；该计算机可读存储介质820中存储有第一计算机指令；由处理器810加载并执行计算机可读存储介质820中存放的第一计算机指令，以实现图3或图5所示方法实施例中的相应步骤；具体实现中，计算机可读存储介质820中的第一计算机指令由处理器810加载并执行相应步骤，为避免重复，此处不再赘述。

在一种实现方式中，该点云媒体的数据处理设备800可以是图1所示的点云媒体的数据处理系统中的内容制作设备102；该计算机可读存储介质820中存储有第二计算机指令；由处理器810加载并执行计算机可读存储介质820中存放的第二计算机指令，以实现图4或图5所示方法实施例中的相应步骤；具体实现中，计算机可读存储介质820中的第二计算机指令由处理器810加载并执行相应步骤，为避免重复，此处不再赘述。

根据本申请的另一方面，本申请实施例还提供了一种计算机可读存储介质(Memory)，计算机可读存储介质是点云媒体的数据处理设备800中的记忆设备，用于存放程序和数据。例如，计算机可读存储介质820。可以理解的是，此处的计算机可读存储介质820既可以包括点云媒体的数据处理设备800中的内置存储介质，当然也可以包括点云媒体的数据处理设备800所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了点云媒体的数据处理设备800的操作系统。并且，在该存储空间中还存放了适于被处理器810加载并执行的一条或多条的计算机指令，这些计算机指令可以是一个或多个的计算机程序821(包括程序代码)。

根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。例如，计算机程序821。此时，数据处理设备800可以是计算机，处理器810从计算机可读存储介质820读取该计算机指令，处理器810执行该计算机指令，使得该计算机执行上述各种可选方式中提供的点云媒体的数据处理方法。

换言之，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地运行本申请实施例的流程或实现本申请实施例的功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质进行传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元以及流程步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

最后需要说明的是，以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种点云媒体的数据处理方法，其特征在于，包括：

获取点云媒体的第i个属性成分的指示信息，所述点云媒体包括N个属性成分，所述第i个属性成分为所述N个属性成分中的任一个，所述第i个属性成分的指示信息用于指示所述第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

向内容制作设备发送获取请求；所述获取请求用于请求与所述第i个属性成分的指示信息对应的目标封装文件；

接收所述内容制作设备发送的所述目标封装文件；

按照所述第i个属性成分的指示信息解析所述第i个属性成分。

2.根据权利要求1所述的方法，其特征在于，所述第i个属性成分的指示信息包括属性优先级字段，所述属性优先级字段用于指示所述第i个属性成分的优先级，所述属性优先级字段的取值越小，则所述第i个属性成分的优先级越高，所述第i个属性成分在传输过程中被丢弃的可能性越小；

所述按照所述第i个属性成分的指示信息解析所述第i个属性成分，包括：

按照所述属性优先级字段解析所述第i个属性成分。

3.根据权利要求2所述的方法，其特征在于，所述点云媒体包括多个属性成分，所述点云媒体的第j个属性成分是所述N个属性成分中除所述第i个属性成分之外的任一个，j为正整数且j∈[1，N]；所述第i个属性成分的优先级高于所述第j个属性成分的优先级；

所述按照所述属性优先级字段解析所述第i个属性成分，包括：

优先解析所述第i个属性成分，再解析所述第j个属性成分；或者，解析所述第i个属性成分，并放弃解析所述第j个属性成分。

4.根据权利要求1所述的方法，其特征在于，所述第i个属性成分的指示信息包括属性必要性字段，所述属性必要性字段用于指示所述第i个属性成分为必要属性成分或非必要属性成分，若所述第i个属性成分为必要属性成分，则在传输过程中不可丢弃所述第i个属性成分，若所述第i个属性成分为非必要属性成分，则所述第i个属性成分在传输过程中可丢弃所述第i个属性成分；

所述按照所述第i个属性成分的指示信息解析所述第i个属性成分，包括：

按照所述属性必要性字段解析所述第i个属性成分。

5.根据权利要求4所述的方法，其特征在于，所述按照所述属性必要性字段解析所述第i个属性成分，包括：

若所述第i个属性成分为必要属性成分，则优先解析所述第i个属性成分，再解析所述点云媒体中的非必要属性成分，若所述第i个属性成分为非必要属性成分，则优先解析所述点云媒体中的必要属性成分，再解析所述第i个属性成分；或者，若所述第i个属性成分为必要属性成分，则解析所述第i个属性成分，若所述第i个属性成分为非必要属性成分，则可放弃解析所述第i个属性成分。

6.根据其权利要求4所述的方法，其特征在于，所述按照所述属性必要性字段解析所述第i个属性成分，包括：

若所述第i个属性成分为必要属性成分，校验所述点云媒体的完整性；

若所述点云媒体缺失所述第i个属性成分，则丢弃所述点云媒体或者继续解析所述点云媒体中的剩余的必要属性成分和非必要属性成分。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取点云媒体的第i个属性成分的指示信息，包括：

接收内容制作设备发送的媒体演示描述MPD文件，所述MPD文件包括点云媒体的至少一个描述信息，所述至少一个描述信息包括用于描述所述目标封装文件的目标描述信息；所述目标描述信息包括所述第i个属性成分的指示信息；

其中，所述向所述内容制作设备发送获取请求，包括：

若所述目标描述信息被选择，则向所述内容制作设备发送所述获取请求，所述获取请求中携带所述目标描述信息，以使所述内容制作设备根据所述获取请求返回所述目标封装文件，所述目标封装文件中包括所述点云媒体的成分信息数据盒，所述成分信息数据盒包括所述第i个属性成分的指示信息；

其中，所述按照所述第i个属性成分的指示信息解析所述第i个属性成分，包括：

从所述成分信息数据盒中获取所述第i个属性成分的指示信息；

按照所述第i个属性成分的指示信息解析所述第i个属性成分。

8.根据权利要求7所述的方法，其特征在于，若所述目标描述信息中所述第i个属性成分的指示信息被选择，则所述目标描述信息被选择。

9.一种点云媒体的数据处理方法，其特征在于，所述方法包括：

生成点云媒体的第i个属性成分的指示信息，所述点云媒体包括N个属性成分，所述第i个属性成分为所述N个属性成分中的任一个，所述第i个属性成分的指示信息用于指示所述第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

向内容消费设备发送所述第i个属性成分的指示信息；

接收所述内容消费设备发送的获取请求；所述获取请求用于请求与所述第i个属性成分的指示信息对应的目标封装文件；

向所述内容消费设备发送所述目标封装文件，以便所述内容消费设备按照所述第i个属性成分的指示信息解析所述第i个属性成分。

10.根据权利要求9所述的方法，其特征在于，所述向内容消费设备发送所述第i个属性成分的指示信息，包括：

生成媒体演示描述MPD文件，所述MPD文件包括云媒体的至少一个描述信息；所述至少一个描述信息包括用于描述所述目标封装文件的目标描述信息；所述目标描述信息包括所述第i个属性成分的指示信息；

向所述内容消费设备发送所述MPD文件；

其中，所述接收所述内容消费设备发送的获取请求，包括：

接收所述内容消费设备发送的所述获取请求，所述获取请求中携带所述目标描述信息；

其中，所述向所述内容消费设备发送所述目标封装文件，包括：

根据所述获取请求向所述内容消费设备发送所述目标封装文件，所述目标封装文件中包括所述点云媒体的成分信息数据盒，所述成分信息数据盒包括所述第i个属性成分的指示信息。

11.根据权利要求10所述的方法，其特征在于，若所述目标描述信息中所述第i个属性成分的指示信息被选择，则所述目标描述信息被选择。

12.一种点云媒体的数据处理装置，其特征在于，包括：

获取单元，用于：

获取点云媒体的第i个属性成分的指示信息，所述点云媒体包括N个属性成分，所述第i个属性成分为所述N个属性成分中的任一个，所述第i个属性成分的指示信息用于指示所述第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

向内容制作设备发送获取请求；所述获取请求用于请求与所述第i个属性成分的指示信息对应的目标封装文件；

接收所述内容制作设备发送的所述目标封装文件；

解析单元，用于：

按照所述第i个属性成分的指示信息解析所述第i个属性成分。

13.一种点云媒体的数据处理装置，其特征在于，包括：

处理单元，用于生成点云媒体的第i个属性成分的指示信息，所述点云媒体包括N个属性成分，所述第i个属性成分为所述N个属性成分中的任一个，所述第i个属性成分的指示信息用于指示所述第i个属性成分的必要性或优先级，N、i均为正整数且i∈[1，N]；

传输单元，用于：

向内容消费设备传输所述第i个属性成分的指示信息；

接收所述内容消费设备发送的获取请求；所述获取请求用于请求与所述第i个属性成分的指示信息对应的目标封装文件；

向所述内容消费设备发送所述目标封装文件，以便所述内容消费设备按照所述第i个属性成分的指示信息解析所述第i个属性成分。

14.一种点云媒体的数据处理设备，其特征在于，包括：

处理器，适于执行计算机程序；

计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至8中任一项所述的点云媒体的数据处理方法，或实现如权利要求9至11中任一项所述的点云媒体的数据处理方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令，所述计算机指令适于由处理器加载并执行如权利要求1至8任一项所述的点云媒体的数据处理方法或如权利要求9至11中任一项所述的点云媒体的数据处理方法。

Images