CN116939290A - 媒体数据处理方法、装置、设备及存储介质 - Google Patents

媒体数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116939290A
CN116939290A CN202311055036.5A CN202311055036A CN116939290A CN 116939290 A CN116939290 A CN 116939290A CN 202311055036 A CN202311055036 A CN 202311055036A CN 116939290 A CN116939290 A CN 116939290A
Authority
CN
China
Prior art keywords
media
track
indication information
media file
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311055036.5A
Other languages
English (en)
Inventor
胡颖
许晓中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311055036.5A priority Critical patent/CN116939290A/zh
Publication of CN116939290A publication Critical patent/CN116939290A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种媒体数据处理方法、装置、设备及存储介质,应用于云技术、车联网等技术领域,其中,该方法包括:接收对象指示信息;根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段;对待解码的媒体文件片段进行解码处理,得到待解码的媒体文件片段对应的媒体数据。通过本申请能够提高媒体数据的获取效率,降低解码设备的资源开销。

Description

媒体数据处理方法、装置、设备及存储介质
技术领域
本申请涉及云技术、车联网技术等领域,尤其涉及一种媒体数据处理方法、装置、设备及存储介质。
背景技术
随着数字媒体技术和计算机技术的发展,媒体数据(如视频数据、点云数据等)应用于各个领域,如移动通信、网络游戏、网络电视等,给人们的娱乐和生活带来极大便利。在带宽有限的条件下,编码设备需要对获取到的媒体数据进行编码和封装得到关于媒体数据的媒体文件,将关于媒体数据的媒体文件发送给解码端。通常解码设备只需要媒体文件中的部分媒体数据,但是目前,需要对全量的媒体文件进行解码后,才能获取到解码设备所需要的媒体数据,导致媒体数据的获取效率比较低,并造成不必要的资源开销。
发明内容
本申请实施例提供一种媒体数据处理方法、装置、设备及存储介质,能够提高媒体数据的获取效率,降低解码设备的资源开销。
本申请实施例一方面提供一种媒体数据处理方法,包括:
接收对象指示信息;对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及媒体对象在N个媒体帧中的分布特征;N为正整数;
根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段;
对待解码的媒体文件片段进行解码处理,得到待解码的媒体文件片段对应的媒体数据。
本申请实施例一方面提供一种媒体数据处理方法,包括:
获取关于N个媒体帧的封装媒体文件;N为正整数;
若N个媒体帧包括媒体对象,则生成关于N个媒体帧的对象指示信息;对象指示信息用于指示N个媒体帧包括的媒体对象对应的对象属性特征,以及媒体对象在N个媒体帧中的分布特征;
将封装媒体文件和对象指示信息发送至解码设备。
本申请实施例一方面提供一种媒体数据处理装置,包括:
接收模块,用于接收对象指示信息;对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及媒体对象在N个媒体帧中的分布特征;N为正整数;
第一获取模块,用于根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段;
解码模块,用于对待解码的媒体文件片段进行解码处理,得到待解码的媒体文件片段对应的媒体数据。
本申请实施例一方面提供一种媒体数据处理装置,包括:
第二获取模块,用于获取关于N个媒体帧的封装媒体文件;N为正整数;
生成模块,用于若N个媒体帧包括媒体对象,则生成关于N个媒体帧的对象指示信息;对象指示信息用于指示N个媒体帧包括的媒体对象对应的对象属性特征,以及媒体对象在N个媒体帧中的分布特征;
发送模块,用于将封装媒体文件和对象指示信息发送至解码设备。
本申请实施例一方面提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现的方法的步骤。
本申请实施例一方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现的方法的步骤。
本申请实施例一方面提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现的方法的步骤。
本申请中,解码设备可以接收对象指示信息,该所述对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及该媒体对象在N个媒体帧中的分布特征。即该对象指示信息用于反映N个媒体帧中包括哪种类型的媒体对象,以及哪些媒体帧中包括媒体对象,以及媒体帧的哪些位置包括媒体对象等,基于该对象指示信息能够快速地了解解码设备所需要的媒体帧(即媒体数据)。因此,根据对象指示信息,能够快速地可以从N个媒体帧对应的封装媒体文件中,获取到待解码的媒体文件片段,该待解码的媒体文件片段可以是指解码设备所需要的媒体数据对应的媒体文件片段,可以提高需要解码的媒体文件片段的获取效率。进一步地,只需要对待解码的媒体文件片段进行解码处理,便可以得到待解码的媒体文件片段对应的媒体数据(如解码设备所需要的媒体数据),而不需要对全量的媒体文件进行解码处理,可以减少解码数据量,能够提高媒体数据的获取效率,降低解码设备的资源(如计算资源)开销。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种媒体数据处理架构图;
图2是本申请提供的一种媒体数据处理方法的流程示意图;
图3是本申请实施例提供的一种单轨封装的示意图;
图4是本申请实施例提供的一种基于组件的多轨封装的示意图;
图5是本申请实施例提供的一种基于分片的多轨封装的示意图;
图6是本申请实施例提供的一种基于分片的多轨封装的示意图;
图7是本申请实施例提供的一种目标媒体文件的示意图;
图8是本申请实施例提供的一种目标媒体文件的示意图;
图9是本申请实施例提供的一种媒体数据处理方法的流程示意图;
图10是本申请实施例提供的一种媒体数据处理装置的结构示意图;
图11是本申请实施例提供的一种媒体数据处理装置的结构示意图;
图12是本申请实施例提供的一种计算机设备的结构示意图;
图13是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请涉及云技术技领域。其中,本申请涉及云技术技领域中的云计算,云计算(cloud coMPuting)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展。本申请可以通过云计算生成关于媒体帧的对象指示信息。
本申请中的媒体帧可以包括视频数据中的视频帧、点云数据中的点云帧等。其中,在本申请的应用场景为视频数据处理场景时(即本申请中的媒体帧为视频数据中的视频帧时),本申请实施例涉及视频数据的处理技术,针对视频数据的完整处理过程具体可包括:视频采集,视频编码,视频文件封装,视频传输,视频文件解封装,视频解码和最终的视频呈现。在本申请的应用场景为点云数据处理场景时(即本申请中的媒体帧为点云数据中的点云帧时),本申请实施例涉及点云数据的处理技术,针对点云数据的完整处理过程可以包括:点云数据获取,点云数据的编码及文件封装,点云数据的传输,点云数据的文件解封装及解码,点云数据的渲染过程。
其中,本申请中的媒体可以为沉浸式媒体,沉浸式媒体是指能为消费者带来沉浸式体验的媒体内容,沉浸式媒体按照消费者在消费媒体内容时的自由度,可以分为3DoF媒体、3DoF+媒体以及6DoF媒体,点云数据即为一种典型的6DoF媒体。所谓点云数据是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散数据点的集合。点云数据中的每个数据点至少具有几何位置信息(即三维位置信息),根据应用场景的不同,数据点还具有颜色属性、材质或其他属性数据。通常,点云中的每个点都具有相同数量的附加属性。
点云数据可以灵活方便地表达三维物体或场景的空间结构及表面属性,因此被广泛应用在虚拟现实(Virtual Reality,VR)游戏、计算机辅助设计(CoMputer AidedDesign,CAD)、地理信息系统(Geography InforMation SysteM,GIS)、自动导航系统(AutonoMousNavigation SysteM,ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等项目中。
随着科技技术的不断发展,目前已经能够以较低的成本在较短的时间周期内获得大量精确度较高的点云数据。例如,点云数据可以是通过采集设备(一组摄像机或具有多个镜头和传感器的摄像机设备)对现实世界的视觉场景进行采集得到的,通过三维(3-DiMension,3D)扫描可以获得静态现实世界三维物体或场景的点云,每秒可以获取百万级点云;通过3D摄影可以获得动态现实世界三维物体或场景的点云,每秒可以获取千万级点云;此外,在医学领域,可以通过磁共振成像(Magnetic Resonance IMaging,MRI)、电子计算机断层扫描(CoMputed ToMography,CT)、电磁定位信息获得生物组织器官的点云数据。又如,点云数据还可以由计算机根据虚拟三维物体及场景直接生成。伴随着大规模的点云数据不断积累,点云数据的高效存储、传输、发布、共享和标准化,成为点云应用的关键。
图1示出了本申请一个示例性实施例提供的一种媒体数据处理架构图。如图1所示,在编码设备的数据处理过程主要包括:(1)点云数据的获取过程;(2)点云数据的编码及文件封装的过程。在解码设备的数据处理过程主要包括:(3)点云数据的文件解封装及解码的过程;(4)点云数据的渲染过程。另外,编码设备与解码设备之间涉及点云数据的传输过程,该传输过程可以基于各种传输协议来进行,此处的传输协议可包括但不限于:DASH(DynaMic Adaptive StreaMing over HTTP,动态自适应流媒体传输)协议、LS(HTTP LiveStreaMing,动态码率自适应传输)协议、SMTP(SMart Media TransportProtocol,智能媒体传输协议)、TCP(TransMission Control Protocol,传输控制协议)等。
下面对媒体数据处理过程进行详细描述:
(1)获取点云数据。
点云数据的获取方式包括:通过捕获设备采集现实世界的声音-视觉场景获取,以及通过计算机生成。在一种实现中,捕获设备可以是指设于编码设备中的硬件组件,例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中,该捕获设备也可以是与编码设备相连接的硬件装置,例如与服务器相连接摄像头;用于为编码设备提供点云数据的媒体内容的获取服务。该捕获设备可以包括但不限于:音频设备、摄像设备及传感设备。其中,音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。当然,点云的获取还可以包括以下途径:3D激光扫描、3D摄影测量等。其中,计算机可以生成虚拟三维物体及场景的点云,3D扫描可以获得静态现实世界三维物体或场景的点云,每秒可以获取百万级点云,3D摄像可以获得动态现实世界三维物体或场景的点云,每秒可以获取千万级点云。此外,在医学领域,由MRI、CT、电磁定位信息,可以获得生物组织器官的点云,这些技术降低了点云数据获取成本和时间周期,提高了数据的精度,点云数据获取方式的变革,使大量点云数据的获取成为可能。捕获设备的数量可以为多个,这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容,捕获的音频内容和视频内容在时间和空间上均保持同步。由于获取的方式不同,不同点云数据对应的压缩编码方式也可能有所区别。
可理解的是,点云数据包括多个点云样本,一个点云样本也可以称为一个点云帧,一个点云样本可以包括几何数据以及属性数据中的至少一种,属性数据包括颜色属性、反射率等等。几何数据用于反映点云样本在采集对象中的位置信息,颜色属性用于反映采集对象的颜色信息,反射率用于反映采集对象的反射率。
(2)点云数据的编码及文件封装的过程。
点云数据的编码包括几何数据编码和属性数据编码两方面的编码。几何数据编码是对点云数据中点云样本的几何数据进行编码,得到点云样本的几何编码数据。几何数据的编码模式可以包含如下两种模式:(a)基于八叉树的几何编码(Octree):八叉树是一种树形数据结构,在3D空间划分中,对点云包围盒(即包含所有点云的最小立方体)进行均匀划分,每个节点都具有八个子节点。通过对八叉树中各个子节点的占用与否采用“1”和“0”指示,获得占用码信息(occuPancy code),将占用码信息作为点云样本的几何编码数据。(b)基于三角表示的几何编码(TriSouP):将点云(即点云样本)划分为一定大小的块(block),定位点云表面在块的边缘的交点并构建三角形,通过编码交点位置得到点云样本的几何编码数据。属性数据编码是指对点云样本的颜色属性、反射率等进行编码,得到点云样本的属性编码数据。
点云数据的封装过程包括:编码设备将点云样本的编码数据以及点云样本所包含的参数头进行封装,得到点云数据的码流数据,将点云数据的码流数据封装至媒体轨道中。此处的点云样本的编码数据包括点云样本的属性编码数据以及几何编码数据中的至少一种,点云样本所包含的参数头包括几何参数头、属性参数头以及序列参数头中的至少一种。几何参数头包括用于对点云样本的几何编码数据进行解码所需要的参数,属性参数头包含用于对点云样本的属性编码数据进行解码所需要的参数,序列参数头包含用于对点云样本所在序列中的点云样本进行解码所需要的参数(即共享参数)。由于部分点云样本解码所需要的参数相同,因此,点云数据中仅部分点云样本包含参数头。
其中,此处的媒体轨道是对点云数据的码流数据进行封装过程中的媒体数据集合,该媒体轨道可以由多个时序的媒体轨道样本组成,一个媒体轨道样本可以用于封装一个点云帧的码流数据。其中,可以将点云数据的码流数据封装在一个或者多个媒体轨道中,如封装得到的媒体文件可以包含一个视频媒体轨道、一个音频媒体轨道及一个字幕媒体轨道。其中,样本(Sample)是媒体文件封装过程中的封装单位,一个轨道由很多个样本组成,每个样本对应特定的时间戳信息。例如,一个视频媒体轨道可以由很多个样本组成,一个样本通常为一个视频帧,点云媒体轨道中的一个样本可以为一个点云帧,每个样本均有自己的序号(Sample Number),如轨道中的第一个样本的序号为1。每个轨道中均具有样本入口(Sample Entry),样本入口用于指示轨道中所有样本相关的元数据信息,比如在视频轨道的样本入口中,通常会包含解码器初始化相关的元数据信息。
具体的,在媒体数据为静态媒体数据时,可以将静态媒体数据对应的码流数据封装为数据项(Item),数据项是静态媒体文件封装过程中的媒体数据集合,比如一张静态图片被封装为一个item。其中,可以对点云帧进行切片,得到点云片(Slice,又称点云条),点云片/点云条代表部分或全部编码后的点云帧数据的一系列语法元素(比如几何slice、属性slice)集合,一个点云片对应点云帧中一定空间区域内的点。其中,编码设备可以根据特定的媒体容器文件格式(如ISOBMFF)进行封装处理,将一个或多个编码的比特流被组合成用于流化传输的初始化片段和媒体片段(如媒体文件片段)的序列(Fs)或用于文件回放的媒体文件(F)。同时,文件封装还将元数据包含到文件F或媒体片段中Fs,使用传输机制将片段Fs传送给解码设备(如播放器)。
(3)点云数据的文件解封装及解码的过程;
解码设备可以通过编码设备获得点云数据的媒体文件资源(如媒体轨道、媒体数据项)和相应的媒体呈现描述信息。点云数据的媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由编码设备传输给解码设备。解码设备的文件解封装的过程与编码设备的文件封装过程是相逆的,解码设备按照点云媒体的文件格式要求对媒体文件资源进行解封装,得到编码比特流,编码比特率也可称为码流数据,可以是GPCC比特流或VPCC比特流。解码设备的解码过程与编码设备的编码过程是相逆的,解码设备对编码比特流进行解码,还原出点云数据的点云样本。其中,解码设备接收到用于流化传输的初始化片段和媒体片段的序列(Fs)或用于文件回放的媒体文件(F)后,可以对片段序列(Fs)或媒体文件(F)进行解封装,提取点云数据的码流数据,基于对应元数据对点云数据的码流数据进行解码,得到对应的点云数据。
(4)点云数据的渲染过程。
解码设备根据媒体呈现描述信息中与渲染、视窗相关的元数据对GPCC比特流解码得到的点云数据进行渲染,渲染完成即实现了对点云数据对应的视觉场景的呈现。
在一个实施例中,编码设备:首先通过采集设备对真实世界的视觉场景进行采样,得到与真实世界的视觉场景对应的点云数据;然后通过基于几何的点云压缩(GeoMetry-based point cloud coMpression,GPCC)或基于传统视频的点云压缩(VideobasedpointcloudcoMpression,VPCC)编码方式对获取的点云数据进行编码处理,得到GPCC比特流(包括编码的几何比特流和属性比特流)或者VPCC比特流;接着对GPCC比特流或者VPCC比特流进行封装得到点云数据对应的媒体文件(即点云媒体),具体地,编码设备根据特定媒体容器文件格式,将一个或多个编码比特流合成为用于文件回放的媒体文件,或用于流式传输的初始化片段和媒体片段的序列;其中,媒体容器文件格式是指在国际标准化组织(International Organization for Standardization,ISO)/国际电工委员会(International Electrotechnical CoMMission,IEC)14496-12中规定的ISO基本媒体文件格式。在一种实施方式中,编码设备还将元数据封装到媒体文件或初始化/媒体片段的序列中,并通过传输机制(如动态自适应流媒体传输接口)将初始化/媒体片段的序列传送给解码设备。
在解码设备:首先接收编码设备发送的点云媒体文件,包括:用于文件回放的媒体文件,或用于流式传输的初始化片段和媒体片段的序列;然后对点云媒体文件进行解封装处理,得到编码的GPCC比特流或者VPCC比特流以及点云媒体文件呈现相关的元数据;接着解析编码的GPCC比特流(即对编码的GPCC比特流进行解码处理,得到点云数据);最后基于当前用户的观看(视窗)方向,对解码后的点云数据进行渲染,并显示在解码设备携带的头戴式显示器或任何其他显示设备的屏幕上。需要说明的是,当前用户的观看(视窗)方向由头部检测以及可能还有视觉检测功能确定。除了通过渲染器用来渲染当前用户的观看(视窗)方向的点云数据外,还可以通过音频解码器来对当前用户的观看(视窗)方向的音频进行解码优化。可以理解的是,在媒体处理过程中,可以根据当前的观看位置、观看方向或由各种类型的传感器(例如头部、位置或眼动传感器)确定的视窗,将点云数据渲染并显示到头戴式显示器或任何其他显示设备的屏幕上。通过当前观看位置或观看方向来部分访问、解码的点云数据,可用于优化媒体处理过程。在基于视窗的传输过程中,当前的观看位置和观看方向也被传递给策略模块,用于确定要接收的轨道。
进一步地,请参见图2,是本申请实施例提供的一种媒体数据处理方法的流程示意图。如图2所示,该方法可由编码设备来执行,该计算机设备可以是指编码设备,其中,该方法可以包括但不限于如下步骤:
S101,获取关于N个媒体帧的封装媒体文件。
具体的,计算机设备可以获取关于N个媒体帧的封装媒体文件,N为正整数。其中,本申请实施例可以应用于点云数据场景,即该N个媒体帧可以为点云数据中的点云帧,当然也可以应用于其他类型的媒体场景,如视频数据场景,即N个媒体帧可以为视频数据中的视频帧。具体的,计算机设备在获取到N个媒体帧后,可以对N个媒体帧进行编码,得到N个媒体帧的码流数据(如媒体位流)。进一步地,计算机设备可以对N个媒体帧的码流数据进行封装,得到关于N个媒体帧的码流数据的封装媒体文件。
具体的,在对N个媒体帧的码流数据进行封装时,包括但不限于以下三种模式:模式一,单轨封装;模式二,基于组件的多轨封装;模式三:基于分片的多轨封装。
具体的,如图3所示,图3是本申请实施例提供的一种单轨封装的示意图,如图3所示,计算机设备可以将N个媒体帧的码流数据封装在一个媒体轨道中,该媒体轨道包括一个样本入口和一个或者多个样本,该媒体轨道的样本入口用于封装当前媒体轨道中所有样本相关的元数据信息,用于解码设备基于样本入口中的元数据对当前媒体轨道中的样本进行解封装。该媒体轨道中一个样本用于封装一个媒体帧的码流数据,样本可以用于封装媒体帧的参数信息,该参数信息是指在解码对应媒体帧的码流数据时所需要的参数集合,样本可以用于封装媒体帧的几何数据,该几何数据包括对应媒体帧的几何信息(如位置信息),样本可以用于封装媒体帧的属性数据,该属性数据包括对应媒体帧的属性信息(如颜色属性、反射率等)。
具体的,如图4所示,图4是本申请实施例提供的一种基于组件的多轨封装的示意图,如图4所示,计算机设备可以将N个媒体帧的码流数据封装在多个媒体轨道中。具体的,通过几何组件获取到的几何数据可以封装在一个媒体轨道中,如媒体轨道1(几何组件轨道),该媒体轨道1包括一个样本入口和一个或者多个样本,该媒体轨道1的样本入口用于封装当前媒体轨道中所有样本相关的元数据信息,用于解码设备基于样本入口中的元数据对当前媒体轨道中的样本进行解封装。该媒体轨道1中的一个样本用于封装一个媒体帧的参数信息(如几何参数信息)和几何数据。具体的,计算机设备可以将通过属性组件1获取到的属性数据封装在媒体轨道2(即属性组件轨道1)中,同样的,该媒体轨道2包括一个样本入口和一个或者多个样本,该媒体轨道2的样本入口用于封装当前媒体轨道中所有样本相关的元数据信息,该媒体轨道2中的一个样本用于封装一个媒体帧的参数信息(如属性1参数信息)和属性1数据。具体的,计算机设备可以将通过属性组件2获取到的属性数据封装在媒体轨道3(即属性组件轨道2)中,同样的,该媒体轨道3包括一个样本入口和一个或者多个样本,该媒体轨道3的样本入口用于封装当前媒体轨道中所有样本相关的元数据信息,该媒体轨道3中的一个样本用于封装一个媒体帧的参数信息(如属性2参数信息)和属性2数据。同时,媒体轨道1、媒体轨道2以及媒体轨道3之间可以建立关联关系。
具体的,如图5所示,图5是本申请实施例提供的一种基于分片的多轨封装的示意图,如图5所示,计算机设备可以将N个媒体帧的每个媒体帧进行分片,得到多个分片,如将每个媒体帧分为3个分片,即分片1、分片2以及分片3。计算机设备可以基于分片,将N个媒体帧对应的码流数据封装在多个媒体轨道中。具体的,计算机设备可以将媒体帧的分片信息封装在分片基础轨道中,该分片基础轨道也包括一个样本入口和多个样本,同样的,该分片基础轨道的样本入口用于存储该分片基础轨道中的样本的元数据信息,分片基础轨道的一个样本用于存储一个媒体帧的分片信息,即在每个样本中封装对应媒体帧的几何头(如几何数据解码所需的参数集合)和属性头(如属性数据解码所需的参数集合)。
如图5所示,计算机设备可以将几何数据和属性数据封装在一起,将每个媒体帧中的分片1和分片2对应的码流数据封装在一个媒体轨道中,即封装在分片轨道1中,将分片3对应的码流数据封装在另一个媒体轨道中,即封装在分片轨道2中。分片轨道1也包括一个样本入口和多个样本,该样本入口用于封装分片轨道1中的所有样本的元数据信息,分片轨道1中的每个样本用于封装一个媒体帧的的分片1和分片2对应的码流数据。具体的,一个样本可以用于存储一个媒体帧中的分片1的几何片头(即分片的几何参数)、几何码流、属性片段(即分片的属性参数)以及属性码流,以及分片2的几何片头(即分片的几何参数)、几何数据、属性片段(即分片的属性参数)以及属性数据。分片轨道2也包括一个样本入口和多个样本,该样本入口用于封装分片轨道2中的所有样本的元数据信息,分片轨道2中的每个样本用于封装一个媒体帧的的分片3对应的码流数据。具体的,一个样本可以用于存储一个媒体帧中的分片3的几何片头(即分片的几何参数)、几何码流、属性片段(即分片的属性参数)以及属性码流。同时,分片基础轨道、分片轨道1以及分片轨道2之间可以建立关联关系。
具体的,如图6所示,图6是本申请实施例提供的一种基于分片的多轨封装的示意图,如图6所示,相对于图5中的分片封装,图6中的分片封装不同的是将几何数据和属性数据进行分开封装。同样的,计算机设备可以将N个媒体帧的每个媒体帧进行分片,得到多个分片,如将每个媒体帧分为3个分片,即分片1、分片2以及分片3,基于分片,将N个媒体帧对应的码流数据封装在多个媒体轨道中。具体的,计算机设备可以将媒体帧的分片基础信息封装在分片基础轨道中,该分片基础轨道也包括一个样本入口和多个样本,同样的,该分片基础轨道的样本入口用于存储该分片基础轨道中的样本的元数据信息,分片基础轨道的一个样本用于存储一个媒体帧的分片信息,即在每个样本中封装对应媒体帧的几何头(如几何数据解码所需的参数集合)和属性头(如属性数据解码所需的参数集合)。
如图6所示,计算机设备可以将几何数据和属性数据进行分开封装,将每个媒体帧中的分片1和分片2对应的几何数据封装在一个媒体轨道中,即封装在分片轨道1中,将每个媒体帧中的分片1和分片2对应的属性数据封装在一个媒体轨道中,即封装在分片轨道2中,将分片3对应的几何数据封装在另一个媒体轨道中,即封装在分片轨道3中,将分片3对应的属性数据封装在另一个媒体轨道中,即封装在分片轨道4中。具体的,分片轨道1也包括一个样本入口和多个样本,该样本入口用于封装分片轨道1中的所有样本的元数据信息,分片轨道1中的每个样本用于封装一个媒体帧的的分片1和分片2对应的几何数据。具体的,一个样本可以用于存储一个媒体帧中的分片1的几何片头(即分片的几何参数)和几何码流以及分片2的几何片头(即分片的几何参数)和几何码流。同样的,分片轨道2也包括一个样本入口和多个样本,该样本入口用于封装分片轨道2中的所有样本的元数据信息,分片轨道2中的每个样本用于封装一个媒体帧的的分片1和分片2对应的属性数据。具体的,一个样本可以用于存储一个媒体帧中的分片1的属性片头(即分片的属性参数)和属性码流以及分片2的属性片头(即分片的属性参数)和属性码流。
同样的,如图6所示,分片轨道3也包括一个样本入口和多个样本,该样本入口用于封装分片轨道3中的所有样本的元数据信息,分片轨道3中的每个样本用于封装一个媒体帧的的分片3对应的几何数据。具体的,一个样本可以用于存储一个媒体帧中的分片3的几何片头(即分片的几何参数)和几何码流。同样的,分片轨道4也包括一个样本入口和多个样本,该样本入口用于封装分片轨道4中的所有样本的元数据信息,分片轨道4中的每个样本用于封装一个媒体帧的的分片3对应的属性数据。具体的,一个样本可以用于存储一个媒体帧中的分片3的属性片头(即分片的属性参数)和属性码流。同时,分片基础轨道、分片轨道1、分片轨道2、分片轨道3以及分片轨道4之间可以建立关联关系。
S102,若N个媒体帧包括媒体对象,则生成关于N个媒体帧的对象指示信息。
具体的,若N个媒体帧中包括媒体对象,则计算机设备可以生成关于N个媒体帧的对象指示信息,该对象指示信息用于指示N个媒体帧包括的媒体对象对应的对象属性特征,以及媒体对象在N个媒体帧中的分布特征。其中,媒体对象可以是指媒体帧中的物品(如杯子、椅子等)、虚拟道具、虚拟角色、人物、动物等。可以理解的是,通过对象指示信息可以快速确定每个媒体帧中包括的媒体对象,这样,可以实现快速特定媒体帧(如包括特定媒体对象的媒体帧)定位,进而可以快速获取到特定媒体帧对应的媒体数据,可以提高媒体数据的获取效率。其中,N个媒体帧中每个媒体帧包括的媒体对象的对象属性特征和分布特征可以是在N个媒体帧的获取阶段,对N个媒体帧进行对象识别得到的,也可以是指对N个媒体帧对应的码流数据进行算法分析得到的,也可以是由其他方式获取到的,本申请实施例对此不做限制。
可选的,对象指示信息中的对象属性特征可以包括N个媒体帧包括的媒体对象的对象数量、对象标识以及对象描述信息中的一个或者多个。其中,对象标识可以为OID标识(即object identifiers,是由国际电信联盟(ITU)和国际标准化组织(ISO/IEC)标准化的一个标识符机制,用来在全球范围内使用一个明确的永久名称命名任何对象、概念或“事物”),通过OID标识便可以明确确定对应的媒体对象的具体对象信息。其中,对象描述信息可以是指用人眼可读的字符串形式来描述的媒体对象的对象具体信息,如对象结构、对象颜色、对象材质、对象功能等。
可选的,对象指示信息中的分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,即分布特征可以用于指示N个媒体帧中包括的媒体对象所属的目标媒体帧。或者,分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及媒体对象在目标媒体帧中所属的空间区域,即每个媒体帧中的空间区域包括的媒体对象。或者,分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及媒体对象在目标媒体帧中所属的分片。或者,分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及在目标媒体帧中所属的空间区域,以及在目标媒体帧中所属的分片。可以理解的是,分布特征可以用于指示每个媒体帧包括的媒体对象、每个媒体帧内的空间区域包括的媒体对象以及每个媒体帧包括的媒体对象所在的分片等信息中一种或者多种。这样,通过关于N个媒体帧的对象指示信息,可以快速定位到特定媒体帧(如包括特定媒体对象的媒体帧)的媒体数据,也可以快速定位到特定分片(如包括特定媒体对象的点云片或者视频片)的媒体数据,也可以快速定位到特定空间区域(如包括特定媒体对象的空间区域)的媒体数据,提高媒体数据的获取效率。
可选的,对象指示信息还可以用于指示N个媒体帧包括的媒体对象的变化特征。
可选的,在关于N个媒体帧的封装媒体文件包括具有关联媒体对象的多个媒体文件时,对象指示信息还包括对象关系指示信息,该对象关系指示信息用于指示具有关联媒体对象的多个媒体文件之间具有关联关系。具体的,关于N个媒体帧的封装媒体文件包括第一媒体文件和第二媒体文件,该第一媒体文件和第二媒体文件可以为封装媒体文件中的子文件,第一媒体文件和第二媒体文件均可以是指封装媒体文件中的媒体轨道、媒体数据项中的一种或者多种。在第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间存在关联关系时,对象指示信息还可以包括对象关系指示信息,该对象关系指示信息用于指示第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系。具体的,具有关联关系可以是指第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象相同。或者,具有关联关系可以是指第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间存在绑定关系、关联运动、关联显示等关联关系。这样,通过对象关系指示信息,可以快速获取到具有关联关系的媒体数据,提高特定媒体数据的获取效率。
可选的,当N个媒体帧对应的码流数据封装在媒体轨道中时,对象指示信息还可以包括属于每条媒体轨道对象的轨道对象指示信息,该轨道对象指示信息用于指示属于对应媒体轨道的媒体帧中的媒体对象的对象属性特征,即每条媒体轨道包括的媒体对象的对象属性特征。这样,可以快速定位到满足条件的媒体轨道(如包括特定媒体对象的媒体轨道,或者,不包括媒体对象的媒体轨道),提高特定媒体数据的获取效率。
可选的,当N个媒体帧对应的码流数据封装在媒体数据项中时,对象指示信息还可以包括每个媒体数据项对应的数据项对象指示信息,该数据项对象指示信息用于指示媒体数据项对应的媒体帧中的媒体对象的对象属性特征,即每个媒体数据项包括的媒体对象的对象属性特征。这样,可以快速定位到满足条件的媒体数据项(如包括特定媒体对象的媒体数据项,或者,不包括媒体对象的媒体数据项),提高特定媒体数据的获取效率。
S103,将封装媒体文件和对象指示信息发送至解码设备。
具体的,计算机设备可以将封装媒体文件和对象指示信息发送给解码设备,解码设备可以基于对象指示信息,从封装媒体文件中获取到待解码的媒体文件片段,对待解码的媒体文件片段进行解码,得到待解码的媒体文件片段对应的媒体数据。这样,可以基于对象指示信息,快速从封装媒体文件获取到待解码的媒体文件片段,只需要对待解码的媒体文件片段进行解码(即只需要对部分媒体文件进行解码,可以减少解码数据量),可以快速的获取和呈现特定媒体数据,可以提高特定媒体数据的获取效率。
可选的,计算机设备可以直接将封装媒体文件和对象指示信息发送给解码设备。
可选的,计算机设备将封装媒体文件和对象指示信息发送至解码设备的具体方式可以包括:若封装媒体文件包括S个媒体文件片段,则从对象指示信息,提取与S个媒体文件片段分别关联的对象指示信息;S为大于1的整数。将与S个媒体文件片段中的媒体文件片段i关联的对象指示信息,封装至媒体文件片段i中,得到目标媒体文件片段i;S为大于1的整数,i为小于或者等于S的正整数。将与S个媒体文件片段分别关联的对象指示信息,以及S个媒体文件片段分别对应的片段标识,发送至解码设备。若接收到关于目标媒体文件片段i的获取请求,则将目标媒体文件片段i发送给解码设备;获取请求是由解码设备基于与S个媒体文件片段分别关联的对象指示信息以及片段标识生成的。
具体的,在封装媒体文件包括S个媒体文件片段时,对象指示信息可以包括S个媒体文件片段对应的对象指示信息,计算机设备可以从关于N个媒体对象的对象指示信息中,提取出S个媒体文件片段分别关联的对象指示信息。以S个媒体文件片段中的媒体文件片段i为例,i为小于或者等于S的正整数,媒体文件片段i关联的对象指示信息用于指示媒体文件片段i对应的媒体帧中包括的媒体对象的对象属性特征和分布特征。计算机设备可以将媒体文件片段i关联的对象指示信息,封装至媒体文件片段i中,得到目标媒体文件片段i。计算机设备可以将与S个媒体文件片段分别关联的对象指示信息,以及S个媒体文件片段分别对应的片段标识,发送至解码设备。解码设备可以基于与S个媒体文件片段分别关联的对象指示信息,以及S个媒体文件片段分别对应的片段标识,从S个媒体文件片段中请求需要的媒体文件片段。
进一步地,计算机设备可以接收到关于目标媒体文件片段i的获取请求,该获取请求可以是指解码设备基于S个媒体文件片段分别关联的对象指示信息以及片段标识,确定媒体文件片段i为需要的媒体文件片段,则可以基于媒体文件片段i对应的片段标识生成获取请求。计算机设备可以将目标媒体文件片段i发送给解码设备。这样,将对象指示信息发送给解码设备,由解码设备向编码设备请求其需要的媒体文件片段,而不用一次性将封装媒体文件发送给解码设备,可以降低媒体文件传输压力,同时也可以提高媒体文件传输效率。另外,解码设备可以只需要对目标媒体文件片段进行解码,可以减少媒体解码数据量,提高特定媒体数据的获取效率。
其中,计算机设备可以在将与S个媒体文件片段分别关联的对象指示信息,以及S个媒体文件片段分别对应的片段标识发送给解码设备时,可以基于与S个媒体文件片段分别关联的对象指示信息,以及S个媒体文件片段分别对应的片段标识,生成描述性信令文件(DASH),将描述性信令文件发送给解码设备,以实现渐进式传输S个媒体文件片段(即解码设备请求时才传输请求的媒体文件片段)。描述性信令文件包括对象信息描述子,该对象信息描述子用于描述每个Adaptation Set对应的媒体资源(如媒体文件片段)包括的媒体对象的对象属性特征。其中,Adaptation Sets在DASH中可以为一个或多个视频流的集合,一个Adaptation Sets中可以包含多个Representation,该Representation在DASH中可以为一个或多个媒体成分的组合,比如某种分辨率的视频文件可以看做一个Representation。例如,一个Adaptation Set(即适应集合)可以用于指示一个或者多个媒体文件片段。其中,该对象信息描述子是一个SupplementalProperty(补充属性)元素,其@schemeIdUri属性设置为“urn:avs:pccs:2023:obif”。
其中,对象信息描述子包括的元素和属性可以参见表1。
表1
/>
其中,元数据轨道对应的媒体资源,在DASH信令中应以单独的Adaptation Set的形式存在,且该Adaptation Set仅存在一个Representation(即媒体组合)。该Representation应使用@associationId元素(一种关联元素)关联至该元数据轨道描述的媒体轨道对应的一个或多个Representation,且相应的@associationType字段应取值为'obdi'。
可选的,计算机设备将封装媒体文件和对象指示信息发送至解码设备的具体方式可以包括:计算机设备可以将对象指示信息封装至封装媒体文件中,得到目标媒体文件,将目标媒体文件发送给解码设备。这样,解码设备可以基于目标媒体文件中对象指示信息,从目标媒体文件中的封装媒体文件中获取到待解码的媒体文件片段,对待解码的媒体文件片段进行解码,得到待解码的媒体文件片段对应的媒体数据。这样,可以基于对象指示信息,快速从封装媒体文件获取到待解码的媒体文件片段,只需要对待解码的媒体文件片段进行解码(即只需要对部分媒体文件进行解码,可以减少解码数据量),可以快速的获取和呈现特定媒体数据,可以提高特定媒体数据的获取效率。
可选的,N个媒体帧中包括具有媒体对象的K个动态媒体帧,封装媒体文件包括K个动态媒体帧所属的P个媒体轨道,P为正整数,K为小于或者等于N的正整数。可以理解的是,封装媒体文件中包括对K个动态媒体帧对应的码流数据进行封装得到的P个媒体轨道。例如,采用单轨封装模式对K个动态媒体帧对应的码流数据进行封装,可以得到一个媒体轨道;采用基于组件的多轨道封装模式对对K个动态媒体帧对应的码流数据进行封装,可以得到多个媒体轨道。计算机设备将封装媒体文件和对象指示信息发送至解码设备的具体方式可以包括:从对象指示信息中,获取属于媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征;j为小于或者等于P的正整数。将属于媒体轨道j的动态媒体帧中的媒体对象的对象属性特征,封装至与媒体轨道j关联的对象信息数据盒j中。将属于媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征,封装至媒体轨道j对应的元数据轨道中。将P个媒体轨道分别对应的对象信息数据盒和元数据轨道,添加至封装媒体文件中,得到目标媒体文件,将目标媒体文件发送至解码设备。
具体的,计算机设备可以从对象指示信息中,获取属于媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征,该媒体轨道j属于P个媒体轨道中的任意一个媒体轨道。进一步地,计算机设备可以属于媒体轨道j的动态媒体帧中的媒体对象的对象属性特征,作为媒体轨道j对应的轨道对象指示信息,将该媒体轨道j对应的轨道对象指示信息封装至与媒体轨道j关联的对象信息数据盒中。可以理解的是,每个媒体轨道均有关联的对象信息数据盒,该对象信息数据盒用于封装属于对应媒体轨道的媒体帧包括的媒体对象的对象属性特征和分布特征。
其中,对象信息数据盒的数据盒类型可以为“obif(一种数据盒类型)”,该对象信息数据盒可以包含于轨道的样本入口中,该对象信息数据盒的数量可以为0个或者一个。其中,计算机设备可以设置对象信息数据盒的是否强制特性为非强制特性。其中,计算机设备将将该媒体轨道j对应的轨道对象指示信息封装至与媒体轨道j关联的对象信息数据盒中的具体内容可以参见表2。
表2
其中,表2中的num_objects指示当前对象信息数据盒包含的媒体对象条目数量。object_oid_flag取值为0时表示当前对象信息数据盒中关于媒体对象的对象描述信息是以人眼可读的字符串形式指示的,即以人眼可读的字符串形式指示媒体对象的对象描述信息。object_oid_flag取值为1时表示当前对象信息数据盒中关于媒体对象的对象描述信息是以OID的形式指示,即以OID的形式指示媒体对象的对象描述信息。object_info_id指示相应媒体对象条目的标识符(即对象标识),object_oid指示相应媒体对象条目对应的对象描述信息,以OID的形式指示。object_label指示相应媒体对象条目对应的物体描述信息,以人眼可读的字符串形式指示。
可选的,object_label可以采取如下实施方式,object_label字符串由N个不同层级的标签组成,每个层级的标签之间以空格分隔。比如;object_label1:“horse head”object_label2:“horse body”等。
同时,计算机设备可以将属于媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征,封装至媒体轨道j对应的元数据轨道中。可以理解的是,可以将动态媒体帧包括的媒体对象的对象属性特征和分布特征,作为一个媒体类型,以元数据轨道的形式包含于媒体文件中。进一步地,计算机设备可以将P个媒体轨道分别对应的对象信息数据盒和元数据轨道,添加至封装媒体文件中,得到目标媒体文件,将目标媒体文件发送至解码设备。
可选的,媒体轨道j对应的元数据轨道包括属于媒体轨道j的动态媒体帧分别对应的元数据轨道样本,即一个动态媒体帧对应元数据轨道中的一个元数据轨道样本。计算机设备将属于媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征,封装至媒体轨道j对应的元数据轨道中时,可以将每个动态媒体帧包括的媒体对象的对象属性特征和分布特征封装至对应的元数据轨道样本中,当然,也可以将每个动态媒体帧包括的媒体对象的对象属性特征和分布特征,与参考媒体帧包括的媒体对象的对象属性特征和分布特征之间的变化特征,封装至对应的元数据轨道样本中。
可选的,计算机设备将每个动态媒体帧包括的媒体对象的对象属性特征和分布特征封装至对应的元数据轨道样本中的具体方式可以包括:将属于媒体轨道j的动态媒体帧a包括的媒体对象的对象属性特征和分布特征,添加至动态媒体帧a对应的元数据轨道样本;a小于或者等于属于媒体轨道j的动态媒体帧的总数量。
计算机设备可以将属于媒体轨道j的每个动态媒体帧包括的媒体对象的对象属性特征和分布特征,封装在媒体轨道j对应的元数据轨道中的一个元数据轨道样本中。具体的,以属于媒体轨道j的动态媒体帧a为例,a小于或者等于属于媒体轨道j的动态媒体帧的总数量,计算机设备可以将属于媒体轨道j的动态媒体帧a包括的媒体对象的对象属性特征和分布特征,添加至动态媒体帧a对应的元数据轨道样本。此时,计算机设备可以将属于媒体轨道j的动态媒体帧a包括的完整对象指示信息封装在动态媒体帧a对应的元数据轨道样本时,动态媒体帧a对应的元数据轨道样本可以为同步元数据轨道样本,即同步元数据轨道样本用于指示对应动态媒体帧包括的完整对象指示信息。这样,可以通过同步元数据轨道样本,获取到对应动态媒体帧包括的媒体对象的对象属性特征和分布。
具体的,计算机设备将属于媒体轨道j的动态媒体帧a包括的完整对象指示信息封装在动态媒体帧a对应的元数据轨道样本的具体内容(即同步元数据轨道样本)可以参见表3。
表3
其中,表3中的num_object指示当前元数据轨道样本包含的媒体对象条目数量(即媒体对象的对象数量),当该num_object字段取值为0时,表示当前元数据轨道样本中不包含媒体对象条目。ref_object_info_id用于指示对应媒体对象条目的标识符(即媒体对象的对象标识)。object_spatial_info_flag取值为0时,表示不指示媒体对象对应的具体空间区域信息;object_spatial_info_flag取值为1时,表示指示媒体对象对应的具体空间区域信息。object_slice_info_flag取值为0时,表示不指示媒体对象对应的分片信息(如点云片信息);取值为1时,表示指示媒体对象对应的分片信息。3DPoint用于指示对应空间区域的锚点坐标,CuboidRegionStruct用于指示对应空间区域的尺寸信息,SliceMapping用于指示对应分片信息。
可选的,媒体轨道j对应的元数据轨道包括属于媒体轨道j的动态媒体帧分别对应的元数据轨道样本,计算机设备将每个动态媒体帧包括的媒体对象的对象属性特征和分布特征,与参考媒体帧包括的媒体对象的对象属性特征和分布特征之间的变化特征,封装至对应的元数据轨道样本中的具体方式可以包括:获取动态媒体帧a对应的参考媒体帧中的媒体对象的对象属性特征和分布特征;a小于或者等于属于媒体轨道j的动态媒体帧的总数量。确定参考媒体帧中的媒体对象的对象属性特征与动态媒体帧a的对象属性特征之间的对象变化特征。确定参考媒体帧中的媒体对象的分布特征与动态媒体帧a的分布特征之间的分布变化特征,将对象变化特征和分布变化特征,添加至动态媒体帧a对应的元数据轨道样本。这样,只存储变化特征,可以避免重复存储,减少存储数据量,进而可以降低存储压力。
可以理解的是,计算机设备可以将封装顺序位于动态媒体帧a的封装顺序之前,且封装了完整对象指示信息(即对应的元数据轨道样本为同步元数据轨道样本)的动态媒体帧,作为动态媒体帧a的参考媒体帧。计算机设备可以将动态媒体帧a对应的参考媒体帧中的媒体对象的对象属性特征和分布特征,确定参考媒体帧中的媒体对象的对象属性特征与动态媒体帧a的对象属性特征之间的对象变化特征。例如,该对象变化特征可以用于是指参考媒体帧中是否还存在动态媒体帧a包括的媒体对象,或者,对象描述信息是否发生变化(如颜色、结构发生变化等)。同时,计算机设备可以确定参考媒体帧中的媒体对象的分布特征与动态媒体帧a的分布特征之间的分布变化特征,该分布变化特征可以用于是指媒体对象所分布的空间区域或者分片发生的变化信息。例如,分布变化特征可以为媒体对象Y01在动态媒体帧a中的空间区域信息和分片信息,与媒体对象Y01在参考媒体帧中的空间区域信息和分片信息之间的信息。进一步,计算机设备可以将对象变化特征和分布变化特征,添加至动态媒体帧a对应的元数据轨道样本。
具体的,计算机设备将每个动态媒体帧包括的媒体对象的对象属性特征和分布特征,与参考媒体帧包括的媒体对象的对象属性特征和分布特征之间的变化特征,封装至对应的元数据轨道样本中的具体内容(即非同步元数据轨道样本)可以参见表4。
表4
/>
其中,表4中的num_object_update指示当前元数据轨道样本包含的either对象相对于参考媒体帧对应的同步元数据轨道样本变化的条目数量,当该num_object_update字段取值为0时,表示当前元数据轨道样本包含的媒体对象与参考媒体帧对应的同步元数据轨道样本相同。object_canceled_flag取值为1时,表示相应媒体对象不再包含于当前元数据轨道样本中;object_canceled_flag取值为0时,表示相应媒体对象包含于当前元数据轨道样本中,但发生了更新。object_spatial_info_flag取值为0时,表示不指示媒体对象对应的具体空间区域信息;object_spatial_info_flag取值为1时,表示指示媒体对象对应的具体空间区域信息。object_slice_info_flag取值为0时,表示不指示媒体对象对应的分片信息(如点云片信息);取值为1时,表示指示媒体对象对应的分片信息。3DPoint用于指示对应空间区域的锚点坐标,CuboidRegionStruct用于指示对应空间区域的尺寸信息,SliceMapping用于指示对应分片信息。
可选的,计算机设备将P个媒体轨道分别对应的对象信息数据盒和元数据轨道,添加至封装媒体文件中,得到目标媒体文件的具体方式可以包括:将对象信息数据盒j添加至媒体轨道j的轨道样本入口中。将P个媒体轨道分别对应的元数据轨道添加至封装媒体文件中,得到目标媒体文件。
具体的,计算机设备可以将每个对象信息数据盒添加至对应的媒体轨道的轨道样本入口中,具体的,以对象信息数据盒j为例,计算机设备可以将对象信息数据盒j添加至媒体轨道j的轨道样本入口中。这样,通过每个媒体轨道的轨道样本入口中的对象信息数据盒,便可以知晓属于该媒体轨道的媒体帧包括的媒体对象的对象属性特征。例如,通过每个媒体轨道的轨道样本入口中的对象信息数据盒,便可以快速定位到满足条件的媒体轨道,如满足条件的媒体轨道可以是指包括特定媒体对象的媒体轨道,或者,满足条件的媒体轨道可以是指不包括媒体对象的媒体轨道。可见,可以提高媒体数据的获取效率。同时,计算机设备可以将P个媒体轨道分别对应的元数据轨道添加至封装媒体文件中,得到目标媒体文件。由于P个媒体轨道分别对应的元数据轨道,封装有属于每个媒体轨道的媒体帧包括的媒体对象的对象属性特征和分布特征,可以通过元数据轨道,快速定位到满足条件的媒体帧(如包括特定媒体对象,或者,不包括媒体对象等条件的媒体帧),或者,也可以快速定位到满足条件的媒体帧内的空间区域,或者,可以快速定位到满足条件的媒体帧对应的分片。可见,通过元数据轨道可以提高媒体数据的获取效率。
可选的,计算机设备将P个媒体轨道分别对应的对象信息数据盒和元数据轨道,添加至封装媒体文件中,得到目标媒体文件的具体方式可以包括:将对象信息数据盒j添加至媒体轨道j对应的元数据轨道的轨道样本入口中,得到媒体轨道j对应的添加元数据轨道。将P个媒体轨道分别对应的添加元数据轨道,添加至封装媒体文件中,得到目标媒体文件。
具体的,由于每个媒体轨道与其对应的元数据轨道之间具有关联关系,因此计算机设备也可以每个媒体轨道对应的对象信息数据盒,添加至对应的元数据轨道中。具体的,以对象信息数据盒j为例,计算机设备可以将对象信息数据盒j,添加至媒体轨道j对应的元数据轨道的轨道样本入口中,得到媒体轨道j对应的添加元数据轨道。将P个媒体轨道分别对应的添加元数据轨道,添加至封装媒体文件中,得到目标媒体文件。这样,可以通过每个媒体轨道对应的元数据轨道的轨道样本入口中的对象信息数据盒,快速定位到满足条件的元数据轨道(如包括特定媒体对象的元数据轨道),进一步地,可以根据元数据轨道中封装的每个动态媒体帧包括的媒体对象的对象属性特征和分布特征,快速定位到满足条件的媒体帧(如包括特定媒体对象,或者,不包括媒体对象等条件的媒体帧),或者,也可以快速定位到满足条件的媒体帧内的空间区域,或者,可以快速定位到满足条件的媒体帧对应的分片。可见,通过元数据轨道可以提高媒体数据的获取效率。
如图7所示,图7是本申请实施例提供的一种目标媒体文件的示意图,如图7所示,以媒体帧为点云帧为例,计算机设备可以在获取到N个点云帧70a后,可以对N个点云帧70a进行编码,得到关于N个点云帧70a对应的点云码流数据70b。进一步地,计算机设备可以对点云码流数据70b进行封装,得到目标媒体文件70c。如图7所示,目标媒体文件包括点云媒体轨道、对象信息元数据轨道以及关联实体组盒。其中,对象信息元数据轨道应使用'cdsc'类型的轨道参考关联至该对象信息元数据轨道描述的点云媒体轨道。具体的,计算机设备可以将点云码流数据70b封装在点云媒体轨道中,同时,计算机设备可以获取关于N个点云帧的对象指示信息,将关于N个点云帧的对象指示信息封装至点云媒体轨道对应的对象信息元数据轨道中,一个点云帧的对象指示信息封装在对象信息元数据轨道中的一个样本中。同时,对象指示信息还可以包括对象关系指示信息,该对象关系指示信息用于指示具有关联关系的媒体文件,该对象关系指示信息封装在关联实体组中。例如,对点云码流数据70b进行封装得到的封装媒体文件(即点云媒体轨道)包括点云媒体轨道G03和点云媒体轨道G04,点云媒体轨道G03和点云媒体轨道G04分别对应的点云帧中包括相同媒体对象,或者包括关联媒体对象。同时,存在点云媒体轨道G03对应的对象信息元数据轨道Y03,以及存在点云媒体轨道G04对应的对象信息元数据轨道Y04时,则对象关系指示信息包括用于指示点云媒体轨道G03、点云媒体轨道G04、对象信息元数据轨道Y03以及对象信息元数据轨道Y04之间具有关联关系的关联实体组。该关联实体组包括实体组标识,如Z01,以及实体数量(即4个),以及点云媒体轨道G03、点云媒体轨道G04、对象信息元数据轨道Y03以及对象信息元数据轨道Y04分别对应的实体标识(即G03,G04,Y03,Y04)。进一步地,计算机设备可以将N个点云帧对应的目标媒体文件70c发送给解码设备70d。
如图8所示,图8是本申请实施例提供的一种目标媒体文件的示意图,如图8所示,以媒体帧为视频帧为例,计算机设备可以在获取到N个视频帧80a后,可以对N个视频帧80a进行编码,得到关于N个视频帧80a对应的视频码流数据80b。进一步地,计算机设备可以对视频码流数据80b进行封装,得到目标媒体文件80c。如图8所示,目标媒体文件包括视频媒体轨道、对象信息元数据轨道以及关联实体组盒。其中,对象信息元数据轨道应使用'cdsc'类型的轨道参考关联至该对象信息元数据轨道描述的视频媒体轨道。具体的,计算机设备可以将视频码流数据80b封装在视频媒体轨道中,同时,计算机设备可以获取关于N个视频帧的对象指示信息,将关于N个视频帧的对象指示信息封装至视频媒体轨道对应的对象信息元数据轨道中,一个视频体帧的对象指示信息封装在对象信息元数据轨道中的一个样本中。同时,对象指示信息还可以包括对象关系指示信息,该对象关系指示信息用于指示具有关联关系的媒体文件,该对象关系指示信息封装在关联实体组中。例如,对视频码流数据80b进行封装得到的封装媒体文件(即视频媒体轨道)包括视频媒体轨道G05和视频媒体轨道G06,视频媒体轨道G05和视频媒体轨道G06分别对应的视频帧中包括相同媒体对象,或者包括关联媒体对象。同时,存在视频媒体轨道G05对应的对象信息元数据轨道Y05,以及存在视频媒体轨道G06对应的对象信息元数据轨道Y06时,则对象关系指示信息包括用于指示视频媒体轨道G05、视频媒体轨道G06、对象信息元数据轨道Y05以及对象信息元数据轨道Y06之间具有关联关系的关联实体组。该关联实体组包括实体组标识,如Z02,以及实体数量(即4个),以及视频媒体轨道G05、视频媒体轨道G06、对象信息元数据轨道Y05以及对象信息元数据轨道Y06分别对应的实体标识(即G05,G06,Y05,Y06)。进一步地,计算机设备可以将N个视频帧对应的目标媒体文件80c发送给解码设备80d。
可选的,N个媒体帧中包括具有媒体对象的Q个静态媒体帧,封装媒体文件中包括Q个静态媒体帧对应的Q个媒体数据项;Q为小于或者等于N的正整数。计算机设备将封装媒体文件和对象指示信息发送至解码设备的具体方式可以包括:从对象指示信息中,获取媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征;r为小于或者等于Q的正整数。将媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征,封装至与媒体数据项r关联的数据项属性盒中。将Q个媒体数据项分别对应的数据项属性盒添加至封装媒体文件中,得到目标媒体文件,将目标媒体文件发送至解码设备。
具体的,计算机设备在对N个媒体帧对应的码流数据进行封装时,可以将N个媒体帧中具有媒体对象的Q个静态媒体帧对应的码流数据,封装为媒体数据项,即封装媒体文件中包括Q个静态媒体帧对应的Q个媒体数据项,对象指示信息中包括每个静态媒体帧包括的媒体对象的对象属性特征和分布特征。具体的,计算机设备可以从对象指示信息中,获取媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征,将媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征,封装至与媒体数据项r关联的数据项属性盒中。这样,通过每个媒体数据项关联的数据项属性盒,可以快速定位到满足条件的媒体数据项,同时也可以快速定位到满足条件的媒体帧内的空间区域,或者,可以快速定位到满足条件的媒体帧对应的分片。可见,通过数据项属性盒可以提高媒体数据的获取效率。
其中,数据项属性盒的数据盒类型可以为“obip(一种数据盒类型)”,数据项属性盒的属性类型可以为描述性的数据项属性,该数据项属性盒可以包含于ItemPropertyContainerBox(数据项属性容器盒)中,每个媒体数据项对应的数据项属性盒的数量可以为0个或者1个。计算机设备可以设置数据项属性盒对应的强制特性为非强制特性,即可以存在数据项属性盒,也可以不存在数据项属性盒。
具体的,计算机设备将媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征,封装至与媒体数据项r关联的数据项属性盒中的具体内容可以参见表5。
表5
/>
其中,表5中的num_objects指示当前对象信息数据盒包含的媒体对象条目数量。object_oid_flag取值为0时表示当前对象信息数据盒中关于媒体对象的对象描述信息是以人眼可读的字符串形式指示的,即以人眼可读的字符串形式指示媒体对象的对象描述信息。object_oid_flag取值为1时表示当前对象信息数据盒中关于媒体对象的对象描述信息是以OID的形式指示,即以OID的形式指示媒体对象的对象描述信息。object_info_id指示相应媒体对象条目的标识符(即对象标识),object_oid指示相应媒体对象条目对应的对象描述信息,以OID的形式指示。object_label指示相应媒体对象条目对应的物体描述信息,以人眼可读的字符串形式指示。object_spatial_info_flag取值为0时,表示不指示媒体对象对应的具体空间区域信息;object_spatial_info_flag取值为1时,表示指示媒体对象对应的具体空间区域信息。object_slice_info_flag取值为0时,表示不指示媒体对象对应的分片信息(如点云片信息);取值为1时,表示指示媒体对象对应的分片信息。3DPoint用于指示对应空间区域的锚点坐标,CuboidRegionStruct用于指示对应空间区域的尺寸信息,SliceMapping用于指示对应分片信息。
可选的,关于N个媒体帧的封装媒体文件包括第一媒体文件和第二媒体文件,在第一媒体文件片段对应的媒体帧中的媒体对象,与第二媒体文件片段对应的媒体帧中的媒体对象之间存在关联关系时,对象指示信息包括对象关系指示信息;对象关系指示信息用于指示第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系。对象指示信息包括第一媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,以及第二媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征。此时,计算机设备将封装媒体文件和对象指示信息发送至解码设备的具体方式可以包括:将对象关系指示信息封装至关联实体组盒中。将第一媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,封装至第一媒体文件。将第二媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,封装至第二媒体文件。将关联实体组盒、封装后的第一媒体文件以及封装后的第二媒体文件,确定为目标媒体文件,将目标媒体文件发送至解码设备。
具体的,对象指示信息还包括对象关系指示信息,该对象关系指示信息用于指示包括的媒体对象之间关联关系的多个媒体文件。例如,封装媒体文件中的多个媒体文件片段分别对应的媒体帧中包括相同的媒体对象,则对象关系指示信息可以用于指示包括相同媒体对象的多个媒体文件之间具有关联关系。具体的,以封装媒体文件中包括第一媒体文件和第二媒体文件为例,对象指示信息包括第一媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,以及第二媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征。在第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间存在关联关系时,对象指示信息还包括对象关系指示信息,对象关系指示信息用于指示第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系。计算机设备可以将对象关系指示信息封装至关联实体组盒中。
具体的,计算机设备可以基于对象关系指示信息指示具有关联关系的第一媒体文件和第二媒体文件,生成关联实体组,如该关联实体组包括第一媒体文件和第二媒体文件的文件标识,以及第一媒体文件和第二媒体文件的文件数量。进一步,计算机设备可以将关联实体组添加至关联实体组盒中。其中,第一媒体文件和第二媒体文件可以为封装媒体文件中的一个或者多个媒体文件片段,也可以为封装媒体文件中的任意媒体轨道或者媒体数据项,关联实体组中可以包括第一媒体文件和第二媒体文件分别对应的媒体轨道、媒体数据项以及元数据轨道中的一个或者多个。
例如,第一媒体文件包括媒体轨道G01,属于该媒体轨道G01的媒体帧包括的媒体对象的对象属性特征和分布特征封装在媒体轨道G01对应的元数据轨道中Y01中,第二媒体文件包括媒体轨道G02,属于该媒体轨道G02的媒体帧包括的媒体对象的对象属性特征和分布特征封装在媒体轨道G02对应的元数据轨道中Y02中。计算机设备可以基于媒体轨道G01、元数据轨道中Y01、媒体轨道G02以及元数据轨道Y02,生成关联实体组。如该关联实体组中包括媒体轨道G01、元数据轨道Y01、媒体轨道G02以及元数据轨道Y02分别对应的标识,以及媒体轨道G01、元数据轨道Y01、媒体轨道G02以及元数据轨道Y02的总数量。其中,关联实体组盒的数据盒类型可以为“obje(一种数据盒类型)”,该关联实体组盒包含于GroupsListBox(实体组列表盒),该关联实体组盒的数量可以为0个或者1个,计算机设备可以设置关联实体组盒对应的强制特性为非强制特性,即可以存在关联实体组盒,也可以不存在关联实体组盒。
具体的,计算机设备将对象关系指示信息封装至关联实体组盒中的具体内容可以参见表6。
表6
其中,表6中的group_id指示当前关联实体组的标识符,num_entities_in_group指示当前关联实体组内的实体(媒体轨道、元数据轨道或者媒体数据项)数目。entity_id指示实体(媒体轨道、元数据轨道或者数据项)的标识符。
同时,计算机设备可以将第一媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,封装至第一媒体文件中,将第二媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,封装至第二媒体文件中。具体可以参见媒体轨道或者媒体数据项分别对应的对象指示信息的封装内容。进一步地,计算机设备可以将关联实体组盒、封装后的第一媒体文件以及封装后的第二媒体文件,确定为目标媒体文件,将目标媒体文件发送至解码设备。
在本申请实施例中,编码设备在获取到关于N个媒体帧对应的封装媒体文件后,在N个媒体文件包括媒体对象时,可以生成关于N个媒体帧的对象指示信息,该所述对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及该媒体对象在N个媒体帧中的分布特征。即该对象指示信息用于反映N个媒体帧中包括哪种类型的媒体对象,以及哪些媒体帧中包括媒体对象,以及媒体帧的哪些位置包括媒体对象等,基于该对象指示信息能够快速地从封装媒体文件中了解解码设备所需要的媒体帧(即媒体数据)。将对象指示信息以及封装媒体文件发送给解码设备,解码设备可以根据对象指示信息,能够快速地可以从N个媒体帧对应的封装媒体文件中,获取到待解码的媒体文件片段,该待解码的媒体文件片段可以是指解码设备所需要的媒体数据对应的媒体文件片段,可以提高需要解码的媒体文件片段的获取效率。进一步地,只需要对待解码的媒体文件片段进行解码处理,便可以得到待解码的媒体文件片段对应的媒体数据(如解码设备所需要的媒体数据),而不需要对全量的媒体文件进行解码处理,可以减少解码数据量,能够提高媒体数据的获取效率,降低解码设备的资源(如计算资源)开销。
进一步地,请参见图9,是本申请实施例提供的一种媒体数据处理方法的流程示意图。如图9所示,该方法可由解码设备来执行,其中,该方法可以包括但不限于如下步骤:
S201,接收对象指示信息。
具体的,计算机设备可以接收对象指示信息,该对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及媒体对象在N个媒体帧中的分布特征,N为正整数。具体的,本申请实施例可以应用于点云数据场景,即该N个媒体帧可以为点云数据中的点云帧,当然也可以应用于其他类型的媒体场景,如视频数据场景,即N个媒体帧可以为视频数据中的视频帧。其中,媒体对象可以是指媒体帧中的物品(如杯子、椅子等)、虚拟道具、虚拟角色、人物、动物等。可以理解的是,通过对象指示信息可以快速确定每个媒体帧中包括的媒体对象,这样,可以实现快速特定媒体帧(如包括特定媒体对象的媒体帧)定位,进而可以快速获取到特定媒体帧对应的媒体数据,可以提高媒体数据的获取效率。其中,N个媒体帧中每个媒体帧包括的媒体对象的对象属性特征和分布特征可以是在N个媒体帧的获取阶段,对N个媒体帧进行对象识别得到的,也可以是指对N个媒体帧对应的码流数据进行算法分析得到的,也可以是由其他方式获取到的,本申请实施例对此不做限制。其中,对象指示信息可以是指编码设备发送的,也可以是由其他设备发送的。
可选的,对象指示信息中的对象属性特征可以包括N个媒体帧包括的媒体对象的对象数量、对象标识以及对象描述信息中的一个或者多个。其中,对象标识可以为OID标识(即object identifiers,是由国际电信联盟(ITU)和国际标准化组织(ISO/IEC)标准化的一个标识符机制,用来在全球范围内使用一个明确的永久名称命名任何对象、概念或“事物”),通过OID标识便可以明确确定对应的媒体对象的具体对象信息。其中,对象描述信息可以是指用人眼可读的字符串形式来描述的媒体对象的对象具体信息,如对象结构、对象颜色、对象材质、对象功能等。
可选的,对象指示信息中的分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,即分布特征可以用于指示N个媒体帧中包括的媒体对象所属的目标媒体帧。或者,分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及媒体对象在目标媒体帧中所属的空间区域,即每个媒体帧中的空间区域包括的媒体对象。或者,分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及媒体对象在目标媒体帧中所属的分片。或者,分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及在目标媒体帧中所属的空间区域,以及在目标媒体帧中所属的分片。可以理解的是,分布特征可以用于指示每个媒体帧包括的媒体对象、每个媒体帧内的空间区域包括的媒体对象以及每个媒体帧包括的媒体对象所在的分片等信息中一种或者多种。这样,通过关于N个媒体帧的对象指示信息,可以快速定位到特定媒体帧(如包括特定媒体对象的媒体帧)的媒体数据,也可以快速定位到特定分片(如包括特定媒体对象的点云片或者视频片)的媒体数据,也可以快速定位到特定空间区域(如包括特定媒体对象的空间区域)的媒体数据,提高媒体数据的获取效率。
S202,根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段。
具体的,计算机设备可以根据对象指示信息,从N个媒体帧对应的封装媒体文件中,获取待解码的媒体文件片段。其中,N个媒体帧对应的封装媒体文件是对N个媒体帧对应的码流数据进行封装得到的,N个媒体帧对应的码流数据是对N个媒体帧进行编码得到。其中,关于N个媒体帧的封装媒体文件可以是由编码设备发送的,由解码设备基于对象指示信息从封装媒体文件中获取到待解码的媒体文件片段。由于对象指示信息指示了N个媒体帧包括的媒体对象的对象属性特征,以及媒体对象在N个媒体帧中的分布特征,因此,可以基于对象指示信息,从N个媒体帧对应的封装媒体文件中获取到待解码的媒体文件片段。这样,只需要对待解码的媒体文件片段进行解码即可获取到需要的媒体数据,可以不用对N个媒体帧对应的封装媒体文件进行解码,可以减少解码计算量,进而可以提高媒体数据(特定媒体数据)的获取效率。
可选的,待解码的媒体文件片段为包括目标媒体对象的码流数据;或者,待解码的媒体文件片段为不包括目标媒体对象的码流数据。其中,目标媒体对象属于N个媒体帧中的媒体对象,如目标媒体对象可以是指具有目标颜色的媒体对象,或者,目标媒体对象可以是指具有目标标识的媒体对象,或者,目标媒体对象可以是指具有目标功能的媒体对象,或者,目标媒体对象可以是指具有关联关系的多个媒体对象等。其中,具有关联关系的多个媒体对象可以是指具有绑定关系的多个媒体对象,或者,具有共同显示或者共同移动的多个媒体对象等。或者,待解码的媒体文件片段为不包括媒体对象的码流数据。这样,通过对象指示信息获取到待解码的媒体文件片段,只需要对应待解码的媒体文件进行解码,便可以获取到特定媒体数据(如包括目标对象的媒体数据,或者,不包含目标媒体对象的媒体数据,或者,不包含媒体对象的媒体数据等),可以减少解码数据量,同时也可以提高媒体数据的获取效率。同时,可以实现在呈现待解码文件对应的媒体数据的基础上,支持与目标媒体对象的交互。
可选的,对象指示信息包括S个媒体文件片段分别关联的对象指示信息,S个媒体文件片段属于封装媒体文件。计算机设备根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段的具体方式可以包括:获取S个媒体文件片段分别对应的片段标识。若S个媒体文件片段中的目标媒体文件片段的对象指示信息反映目标媒体文件片段满足解码条件,则根据目标媒体文件片段的片段标识,生成关于目标媒体文件片段的获取请求。将获取请求发送至编码设备,接收编码设备基于获取请求返回的目标媒体文件片段,将目标媒体文件片段,确定为待解码的媒体文件片段。
具体的,编码设备可以根据S个媒体文件片段分别对应的对象指示信息以及S个媒体文件片段分别对应的片段标识生成描述性信令文件,将描述性年龄文件发送给解码设备。其中,S个媒体文件片段分别对应的对象指示信息可以用于指示S个媒体文件片段分别包括的媒体帧中的媒体对象的对象属性特征。计算机设备从描述性信令文件中获取到S个媒体文件片段分别对应的对象指示信息以及S个媒体文件片段分别对应的片段标识后,可以基于S个媒体文件片段分别对应的对象指示信息,确定S个媒体文件片段是否满足解码条件。若S个媒体文件片段中的目标媒体文件片段的对象指示信息反映目标媒体文件片段满足解码条件,则根据目标媒体文件片段的片段标识,生成关于目标媒体文件片段的获取请求。
进一步地,计算机设备可以将获取请求发送至编码设备,编码设备接收到关于目标媒体文件片段的获取请求后,可以将目标媒体文件片段返回给解码设备。解码设备可以接收编码设备基于获取请求返回的目标媒体文件片段,将目标媒体文件片段,确定为待解码的媒体文件片段。可见,编码设备只需要将目标媒体文件片段发送给解码设备,而不用将S个媒体文件片段发送给解码设备,可以降低数据传输压力,同时提高数据传输效率。另外,解码设备只需要对目标媒体文件片段进行解码,便可以获取到所需要的媒体数据,而不用获取N个媒体帧对应的封装媒体文件,对封装媒体文件进行解码,可以降低解码数据量,同时也可以提高媒体数据的获取效率。
可选的,编码设备可以直接将对象指示信息发送给解码设备。可选的,计算机设备接收编码设备所发送的对象指示信息的具体方式可以包括:接收编码设备所发送的目标媒体文件,该目标媒体文件是编码设备将对象指示信息添加至封装媒体文件中得到的。计算机设备可以对目标媒体文件进行解封装处理,得到关于N个媒体帧的对象指示信息,同时也可以得到关于N个媒体帧的封装媒体文件。
可选的,封装媒体文件包括N个媒体帧中的K个动态媒体帧所属的P个媒体轨道,P为正整数,K为小于或者等于N的正整数。计算机设备根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段的具体方式可以包括:从媒体轨道j对应的对象信息数据盒j中,获取属于媒体轨道j的动态媒体帧中的媒体对象的对象属性特征;j为小于或者等于P的正整数。根据P个媒体轨道分别对应的对象属性特征,从P个媒体轨道中确定满足解码条件的目标媒体轨道。根据属于目标媒体轨道中的动态媒体帧对应的对象指示信息,确定待解码的媒体文件片段;属于目标媒体轨道的动态媒体帧的对象指示信息被封装目标媒体轨道对应的元数据轨道中。
具体的,封装媒体文件包括N个媒体帧中的K个动态媒体帧所属的P个媒体轨道,一个媒体轨道包括一个轨道样本入口和一个或者多个轨道样本,一个轨道样本用于封装一个动态媒体帧对应的码流数据。计算机设备可以P个媒体中的媒体轨道j对应的对象信息数据盒j,每个媒体轨道可以均对应一个对象信息数据盒,该对象信息数据盒封装有属于对应媒体轨道的媒体帧中的媒体对象的对象属性特征。其中,对象信息数据盒j可以位于媒体轨道j中的轨道样本入口中,也可以位于媒体轨道j对应的元数据轨道的轨道样本入口中。计算机设备可以从媒体轨道j对应的对象信息数据盒j中,获取属于媒体轨道j的动态媒体帧中的媒体对象的对象属性特征。进一步地,计算机设备可以根据P个媒体轨道分别对应的对象属性特征,从P个媒体轨道中确定满足解码条件的目标媒体轨道。这样,根据对象信息数据盒中封装的对应媒体轨道的媒体对象的对象属性特征,便可以从P个媒体轨道中快速定位到满足解码条件的媒体轨道,可以提高媒体数据的获取效率。
进一步地,对象指示信息还包括属于每个媒体轨道的媒体帧中的媒体对象的对象属性特征和分布特征,该属于每个媒体轨道的媒体帧中的媒体对象的对象属性特征和分布特征,封装在对应媒体轨道关联的元数据轨道中。以媒体轨道j为例,属于媒体轨道j的媒体帧中的媒体对象的对象属性特征和分布特征,封装在媒体轨道j关联的元数据轨道。该元数据轨道包括轨道样本入口和一个或者多个轨道样本,元数据轨道中的一个轨道样本用于封装一个媒体帧中的媒体对象的对象属性特征和分布特征。其中,媒体轨道j中的轨道样本与媒体轨道j关联的元数据轨道中的轨道样本一一对应。计算机设备可以从目标媒体轨道对应的元数据轨道中,获取属于目标媒体轨道中的动态媒体帧对应的对象指示信息,根据属于目标媒体轨道中的动态媒体帧对应的对象指示信息,定待解码的媒体文件片段,属于目标媒体轨道的动态媒体帧的对象指示信息被封装目标媒体轨道对应的元数据轨道中。
可选的,媒体轨道对应的元数据轨道可以包括同步轨道样本和非同步轨道样本,同步轨道样本封装了属于对应媒体轨道的媒体帧中的媒体对象的对象属性特征和分布特征,非同步轨道样本封装了属于对应媒体轨道的媒体帧与参考媒体帧之间的对象变化特征和分布变化特征。其中,对象变化特征是指属于对应媒体轨道的媒体帧中的媒体对象的对象属性特征,与参考媒体帧中的媒体对象的对象属性特征之间的变化特征,对象变化特征是指属于对应媒体轨道的媒体帧中的媒体对象的分布特征,与参考媒体帧中的媒体对象的分布特征之间的变化特征。以获取属于媒体轨道j的动态媒体帧a对应的对象指示信息为例,计算机设备可以从媒体轨道j对应的元数据轨道的轨道样本中,确定动态媒体帧a对应的轨道样本,作为目标轨道样本。在目标轨道样本中封装了动态媒体帧a包括的媒体对象的对象属性特征和封装特征时,直接将目标轨道样本中存储的对象指示信息,作为动态媒体帧a对应的对象指示信息。在目标轨道样本中封装了动态媒体帧a包括的媒体对象对应的对象变化特征和分布变化特征时,计算机设备可以获取动态媒体帧a对应的参考媒体帧,以及获取参考媒体帧中的媒体对象的对象属性特征和分布特征。进一步地,计算机设备可以根据参考媒体帧中的媒体对象的对象属性特征和分布特征,以及目标轨道样本中存储的对象变化特征和分布变化特征,确定动态媒体帧a对应的对象指示信息。这样,通过非同步轨道样本只存储变化特征,可以避免重复存储,减少存储数据量,进而可以降低存储压力。
可选的,计算机设备根据属于目标媒体轨道中的动态媒体帧对应的对象指示信息,确定待解码的媒体文件片段的具体方式可以包括:根据属于目标媒体轨道的动态媒体帧对应的对象指示信息,从属于目标媒体轨道的动态媒体帧中,确定满足解码条件的目标动态媒体帧。根据目标媒体轨道中关于目标动态媒体帧的码流数据,以及目标动态媒体帧的对象指示信息,确定待解码的媒体文件片段。
具体的,计算机设备可以根据属于目标媒体轨道的动态媒体帧对应的对象指示信息,从属于目标媒体轨道的动态媒体帧中,确定满足解码条件的目标动态媒体帧。例如,获取到包括目标媒体对象的动态媒体帧,或者,获取到不包括目标媒体对象的动态媒体帧等。其中,进一步地,动态媒体帧对应的对象指示信息可以为对象属性特征,该对象属性特征可以对象标识、对象描述信息,根据属于目标媒体轨道的动态媒体帧的对象属性特征,便可以从属于目标媒体轨道的动态媒体帧中确定目标动态媒体帧。进一步地,计算机设备可以根据目标媒体轨道中关于目标动态媒体帧的码流数据,以及目标动态媒体帧的对象指示信息,确定待解码的媒体文件片段。可见,通过每个媒体帧包括的媒体对象的对象属性特征,可以便可以快速定位到目标媒体帧,可以提高媒体数据的获取效率。
可选的,计算机设备根据目标媒体轨道中关于目标动态媒体帧的码流数据,以及目标动态媒体帧的对象指示信息,确定待解码的媒体文件片段的具体方式可以包括:根据目标动态媒体帧的对象指示信息,从目标动态媒体帧中确定满足解码条件的分片,作为第一分片。将目标动态媒体帧对应的码流数据中关于第一分片的码流数据,确定为待解码的媒体文件片段。
具体的,目标动态媒体帧的对象指示信息可以包括媒体对象在目标动态媒体帧中的分布特征,如媒体对象在目标动态媒体帧所属的空间区域,媒体对象在目标动态媒体帧中所属的分片(如点云片或者视频片),一个空间区域对应一个分片。计算机设备可以根据媒体对象在目标动态媒体帧所属的空间区域,媒体对象在目标动态媒体帧中所属的分片,从目标动态媒体帧中确定满足解码条件的分片,作为第一分片,目标动态媒体帧对应的码流数据中包括第一分片的码流数据,计算机设备可以将目标动态媒体帧对应的码流数据中关于第一分片的码流数据,确定为待解码的媒体文件片段。可见,通过媒体对象在媒体帧中的分布特征,可以快速定位满足解码条件的分片对应的码流数据,只需要对分片对应的码流数据进行解码,可以降低解码数据量,同时提高媒体数据的获取效率
可选的,封装媒体文件包括N个媒体帧中的Q个静态媒体帧对应的Q个媒体数据项,对象指示信息包括Q个媒体数据项分别对应的对象指示信息,Q为小于或者等于N的正整数。计算机设备根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段的具体方式可以包括:根据Q个媒体数据项分别对应的对象指示信息,从Q个媒体数据项中确定满足解码条件的目标媒体数据项。根据目标媒体数据项以及目标媒体数据项对应的对象指示信息,确定待解码的媒体文件片段。
具体的,媒体数据项是对静态媒体帧对应的码流数据进行封装得到的,每个媒体数据项对应的对象指示信息可以包括对应媒体数据项关联的静态媒体帧包括的媒体对象的对象属性特征和分布。计算机设备可以根据Q个媒体数据项分别对应的对象指示信息,从Q个媒体数据项中确定满足解码条件的目标媒体数据项。具体的,对象指示信息可以包括媒体对象的对象属性特征,该对象属性特征可以包括对象数量、对象标识以及对象描述信息,计算机设备可以根据Q个媒体数据项分别对应的对象属性特征,从Q个媒体数据项中确定满足解码条件的目标媒体数据项。如包括目标媒体对象的目标媒体数据项,或者,不包括目标媒体对象的目标媒体数据项等。进一步地,计算机设备可以根据目标媒体数据项以及目标媒体数据项对应的对象指示信息,确定待解码的媒体文件片段。可见,通过媒体数据项对应的对象指示信息,可以快速定位到目标媒体数据项,提高媒体数据的获取效率。
可选的,计算机设备根据目标媒体数据项以及目标媒体数据项对应的对象指示信息,确定待解码的媒体文件片段的具体方式可以包括:根据目标媒体数据项对应的对象指示信息,从目标媒体数据项对应的静态媒体帧中确定满足解码条件的点云片,作为第二点云片。从目标媒体数据项中确定第二点云片对应的码流数据,将第二点云片对应的码流数据确定为待解码的媒体文件片段。
具体的,目标媒体数据项对应的对象指示信息可以包括目标媒体数据项对应的静态媒体帧包括的媒体对象在对应静态媒体帧中的分布特征,如媒体对象在对应静态媒体帧所属的空间区域,媒体对象在对应静态媒体帧中所属的分片(如点云片或者视频片),一个空间区域对应一个分片。计算机设备可以根据媒体对象在对应静态媒体帧所属的空间区域,媒体对象在对应静态媒体帧中所属的分片,从目标媒体数据项对应的静态媒体帧中确定满足解码条件的分片,作为第二分片,目标媒体数据项中包括第二分片的码流数据,计算机设备可以将目标媒体数据项对应的码流数据中关于第二分片的码流数据,确定为待解码的媒体文件片段。可见,通过媒体对象在媒体帧中的分布特征,可以快速定位满足解码条件的分片对应的码流数据,只需要对分片对应的码流数据进行解码,可以降低解码数据量,同时提高媒体数据的获取效率。
可选的,封装媒体文件包括第一媒体文件和第二媒体文件,对象指示信息包括第一媒体文件的对象指示信息、第二媒体文件的对象指示信息,以及对象关系指示信息。对象关系指示信息用于指示第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系。第一媒体文件的对象指示信息封装在第一媒体文件中,第二媒体文件的对象指示信息封装在第二媒体文件中。计算机设备根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段的具体方式可以包括:在确定第一媒体文件中满足解码条件时,根据对象关系指示信息,获取与第一媒体文件具有关联关系的第二媒体文件。根据第一媒体文件和第二媒体文件,确定待解码的媒体文件片段。
具体的,对象指示信息还包括对象关系指示信息,该对象关系指示信息用于指示包括的媒体对象之间关联关系的多个媒体文件。例如,封装媒体文件中的多个媒体文件片段分别对应的媒体帧中包括相同的媒体对象,则对象关系指示信息可以用于指示包括相同媒体对象的多个媒体文件之间具有关联关系。具体的,以封装媒体文件中包括第一媒体文件和第二媒体文件为例,在第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间存在关联关系时,对象关系指示信息用于指示第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系。
具体的,计算机设备在确定第一媒体文件中满足解码条件时,根据对象关系指示信息,获取与第一媒体文件具有关联关系的第二媒体文件。计算机设备可以根据第一媒体文件对应的对象指示信息和第二媒体文件对应的对象指示信息,从第一媒体文件和第二媒体文件中,确定待解码的媒体文件片段,如第一媒体文件和第二媒体文件中包括目标媒体对象的媒体文件片段,或者,第一媒体文件和第二媒体文件中包括关联媒体对象(如具有绑定关系的多个媒体对象)的媒体文件片段。可见,通过对象关系指示信息,可以快速获取到具有关联关系的不同媒体文件,以实现对具有关联关系的不同媒体文件进行联合呈现或者关联呈现。
S203,对待解码的媒体文件片段进行解码处理,得到待解码的媒体文件片段对应的媒体数据。
具体的,计算机设只需要对待解码的媒体文件片段进行解码处理,得到待解码的媒体文件片段对应的媒体数据,进而可以对待解码的媒体文件片段对应的媒体数据进行呈现。其中,该待解码的媒体文件片段对应的媒体数据可以是指包括目标媒体对象的媒体帧数据,在呈现目标媒体对象的媒体数据的基础上,还可以支持与目标媒体对象交互。其中,待解码的媒体文件片段对应的媒体数据可以是指包括目标媒体对象的分片数据,只需要对分片数据进行解码和呈现,可以降低解码设备的资源(如计算资源)开销。其中,待解码的媒体文件片段对应的媒体数据可以是指具有关联关系的多个媒体文件(如媒体轨道或者媒体数据项),可以实现不同媒体文件的联合呈现或者关联呈现。可见,通过对象指示信息,可以快速从封装媒体文件中获取到所需要的媒体数据,可以提高媒体数据的获取效率。
在本申请实施例中,解码设备可以接收编码设备所发送的对象指示信息,该所述对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及该媒体对象在N个媒体帧中的分布特征。即该对象指示信息用于反映N个媒体帧中包括哪种类型的媒体对象,以及哪些媒体帧中包括媒体对象,以及媒体帧的哪些位置包括媒体对象等,基于该对象指示信息能够快速地了解解码设备所需要的媒体帧(即媒体数据)。因此,根据对象指示信息,能够快速地可以从N个媒体帧对应的封装媒体文件中,获取到待解码的媒体文件片段,该待解码的媒体文件片段可以是指解码设备所需要的媒体数据对应的媒体文件片段,可以提高需要解码的媒体文件片段的获取效率。进一步地,只需要对待解码的媒体文件片段进行解码处理,便可以得到待解码的媒体文件片段对应的媒体数据(如解码设备所需要的媒体数据),而不需要对全量的媒体文件进行解码处理,可以减少解码数据量,能够提高媒体数据的获取效率,降低解码设备的资源(如计算资源)开销。
请参见图10,是本申请实施例提供的一种媒体数据处理装置的结构示意图。如图10所示,该媒体数据处理装置可以包括:接收模块11、第一获取模块12以及解码模块13。
接收模块11,用于接收对象指示信息;对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及媒体对象在N个媒体帧中的分布特征;N为正整数;
第一获取模块12,用于根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段;
解码模块13,用于对待解码的媒体文件片段进行解码处理,得到待解码的媒体文件片段对应的媒体数据。
其中,对象属性特征包括N个媒体帧包括的媒体对象的对象数量、对象标识以及对象描述信息中的一个或者多个。
其中,分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧;或者,
分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及媒体对象在目标媒体帧中所属的空间区域;或者,
分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及媒体对象在目标媒体帧中所属的分片;或者,
分布特征用于指示N个媒体帧中具有媒体对象的目标媒体帧,以及媒体对象在目标媒体帧中所属的空间区域,媒体对象在目标媒体帧中所属的分片。
其中,其特征在于,待解码的媒体文件片段为包括目标媒体对象的码流数据;或者,待解码的媒体文件片段为不包括目标媒体对象的码流数据;其中,目标媒体对象属于N个媒体帧中的媒体对象。
其中,对象指示信息包括S个媒体文件片段分别关联的对象指示信息;S个媒体文件片段属于封装媒体文件;
第一获取模块12包括:
第一获取单元1201,用于获取S个媒体文件片段分别对应的片段标识;
第一生成单元1202,用于若S个媒体文件片段中的目标媒体文件片段的对象指示信息反映目标媒体文件片段满足解码条件,则根据目标媒体文件片段的片段标识,生成关于目标媒体文件片段的获取请求;
第一接收单元1203,用于将获取请求发送至编码设备,接收编码设备基于获取请求返回的目标媒体文件片段;
第一确定单元1204,用于将目标媒体文件片段,确定为待解码的媒体文件片段。
其中,接收模块11包括:
第二接收单元1101,用于接收编码设备所发送的目标媒体文件;
解封装单元1102,用于对目标媒体文件进行解封装处理,得到关于N个媒体帧的对象指示信息。
其中,封装媒体文件包括N个媒体帧中的K个动态媒体帧所属的P个媒体轨道;P为正整数,K为小于或者等于N的正整数;
第一获取模块12包括:
第二获取单元1205,用于从媒体轨道j对应的对象信息数据盒j中,获取属于媒体轨道j的动态媒体帧中的媒体对象的对象属性特征;j为小于或者等于P的正整数;
第二确定单元1206,用于根据P个媒体轨道分别对应的对象属性特征,从P个媒体轨道中确定满足解码条件的目标媒体轨道;
第三确定单元1207,用于根据属于目标媒体轨道中的动态媒体帧对应的对象指示信息,确定待解码的媒体文件片段;属于目标媒体轨道的动态媒体帧的对象指示信息被封装目标媒体轨道对应的元数据轨道中。
其中,第三确定单元1207具体用于:
根据属于目标媒体轨道的动态媒体帧对应的对象指示信息,从属于目标媒体轨道的动态媒体帧中,确定满足解码条件的目标动态媒体帧;
根据目标媒体轨道中关于目标动态媒体帧的码流数据,以及目标动态媒体帧的对象指示信息,确定待解码的媒体文件片段。
其中,根据目标媒体轨道中关于目标动态媒体帧的码流数据,以及目标动态媒体帧的对象指示信息,确定待解码的媒体文件片段,包括:
根据目标动态媒体帧的对象指示信息,从目标动态媒体帧中确定满足解码条件的分片,作为第一分片;
将目标动态媒体帧对应的码流数据中关于第一分片的码流数据,确定为待解码的媒体文件片段。
其中,封装媒体文件包括N个媒体帧中的Q个静态媒体帧对应的Q个媒体数据项,对象指示信息包括Q个媒体数据项分别对应的对象指示信息;Q为小于或者等于N的正整数;
第一获取模块12包括:
第四确定单元1208,用于根据Q个媒体数据项分别对应的对象指示信息,从Q个媒体数据项中确定满足解码条件的目标媒体数据项;
第五确定单元1209,用于根据目标媒体数据项以及目标媒体数据项对应的对象指示信息,确定待解码的媒体文件片段。
其中,第五确定单元1209具体用于:
根据目标媒体数据项对应的对象指示信息,从目标媒体数据项对应的静态媒体帧中确定满足解码条件的点云片,作为第二点云片;
从目标媒体数据项中确定第二点云片对应的码流数据,将第二点云片对应的码流数据确定为待解码的媒体文件片段。
其中,关于N个媒体帧的封装媒体文件包括第一媒体文件和第二媒体文件,对象指示信息包括第一媒体文件的对象指示信息、第二媒体文件的对象指示信息,以及对象关系指示信息;对象关系指示信息用于指示第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系,第一媒体文件的对象指示信息封装在第一媒体文件中,第二媒体文件的对象指示信息封装在第二媒体文件中;
第一获取模块12包括:
第三获取单元1210,用于在确定第一媒体文件中满足解码条件时,根据对象关系指示信息,获取与第一媒体文件具有关联关系的第二媒体文件;
第六确定单元1211,用于根据第一媒体文件和第二媒体文件,确定待解码的媒体文件片段。
在本申请实施例中,编码设备在获取到关于N个媒体帧对应的封装媒体文件后,在N个媒体文件包括媒体对象时,可以生成关于N个媒体帧的对象指示信息,该所述对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及该媒体对象在N个媒体帧中的分布特征。即该对象指示信息用于反映N个媒体帧中包括哪种类型的媒体对象,以及哪些媒体帧中包括媒体对象,以及媒体帧的哪些位置包括媒体对象等,基于该对象指示信息能够快速地从封装媒体文件中了解解码设备所需要的媒体帧(即媒体数据)。将对象指示信息以及封装媒体文件发送给解码设备,解码设备可以根据对象指示信息,能够快速地可以从N个媒体帧对应的封装媒体文件中,获取到待解码的媒体文件片段,该待解码的媒体文件片段可以是指解码设备所需要的媒体数据对应的媒体文件片段,可以提高需要解码的媒体文件片段的获取效率。进一步地,只需要对待解码的媒体文件片段进行解码处理,便可以得到待解码的媒体文件片段对应的媒体数据(如解码设备所需要的媒体数据),而不需要对全量的媒体文件进行解码处理,可以减少解码数据量,能够提高媒体数据的获取效率,降低解码设备的资源(如计算资源)开销。
请参见图11,是本申请实施例提供的一种媒体数据处理装置的结构示意图。如图11所示,该媒体数据处理装置可以包括:第二获取模块21、生成模块22以及发送模块23。
第二获取模块21,获取关于N个媒体帧的封装媒体文件;N为正整数;
生成模块22,用于若N个媒体帧包括媒体对象,则生成关于N个媒体帧的对象指示信息;对象指示信息用于指示N个媒体帧包括的媒体对象对应的对象属性特征,以及媒体对象在N个媒体帧中的分布特征;
发送模块23,用于将封装媒体文件和对象指示信息发送至解码设备。
其中,发送模块23包括:
提取单元2301,用于若封装媒体文件包括S个媒体文件片段,则从对象指示信息,提取与S个媒体文件片段分别关联的对象指示信息;S为大于1的整数;
第一封装单元2302,用于将与S个媒体文件片段中的媒体文件片段i关联的对象指示信息,封装至媒体文件片段i中,得到目标媒体文件片段i;S为大于1的整数,i为小于或者等于S的正整数;
第一发送单元2303,用于将与S个媒体文件片段分别关联的对象指示信息,以及S个媒体文件片段分别对应的片段标识,发送至解码设备;
第二发送单元2304,用于若接收到关于目标媒体文件片段i的获取请求,则将目标媒体文件片段i发送给解码设备;获取请求是由解码设备基于与S个媒体文件片段分别关联的对象指示信息以及片段标识生成的。
其中,发送模块23包括:
第二封装单元2305,用于将对象指示信息封装至封装媒体文件中,得到目标媒体文件;
第三发送单元2306,用于将目标媒体文件发送给解码设备。
其中,N个媒体帧中包括具有媒体对象的K个动态媒体帧,封装媒体文件包括K个动态媒体帧所属的P个媒体轨道;P为正整数,K为小于或者等于N的正整数;
发送模块23包括:
第四获取单元2307,用于从对象指示信息中,获取属于媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征;j为小于或者等于P的正整数;
第三封装单元2308,用于将属于媒体轨道j的动态媒体帧中的媒体对象的对象属性特征,封装至与媒体轨道j关联的对象信息数据盒j中;
第四封装单元2309,用于将属于媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征,封装至媒体轨道j对应的元数据轨道中;
第一添加单元2310,用于将P个媒体轨道分别对应的对象信息数据盒和元数据轨道,添加至封装媒体文件中,得到目标媒体文件,将目标媒体文件发送至解码设备。
其中,媒体轨道j对应的元数据轨道包括属于媒体轨道j的动态媒体帧分别对应的元数据轨道样本;
第四封装单元2309具体用于:
将属于媒体轨道j的动态媒体帧a包括的媒体对象的对象属性特征和分布特征,添加至动态媒体帧a对应的元数据轨道样本;a为小于或者等于属于媒体轨道j的动态媒体帧的总数量的正整数。
其中,媒体轨道j对应的元数据轨道包括属于媒体轨道j的动态媒体帧分别对应的元数据轨道样本;
第四封装单元2309具体用于:
获取属于媒体轨道j的动态媒体帧a对应的参考媒体帧中的媒体对象的对象属性特征和分布特征;a为小于或者等于属于媒体轨道j的动态媒体帧的总数量的正整数;
确定参考媒体帧中的媒体对象的对象属性特征与动态媒体帧a的对象属性特征之间的对象变化特征;
确定参考媒体帧中的媒体对象的分布特征与动态媒体帧a的分布特征之间的分布变化特征;
将对象变化特征和分布变化特征,添加至动态媒体帧a对应的元数据轨道样本。
其中,第一添加单元2310具体用于:
将对象信息数据盒j添加至媒体轨道j的轨道样本入口中;
将P个媒体轨道分别对应的元数据轨道添加至封装媒体文件中,得到目标媒体文件。
其中,第一添加单元2310具体用于:
将对象信息数据盒j添加至媒体轨道j对应的元数据轨道的轨道样本入口中,得到媒体轨道j对应的添加元数据轨道;
将P个媒体轨道分别对应的添加元数据轨道,添加至封装媒体文件中,得到目标媒体文件。
其中,N个媒体帧中包括具有媒体对象的Q个静态媒体帧,封装媒体文件中包括Q个静态媒体帧对应的Q个媒体数据项;Q为小于或者等于N的正整数;
发送模块23包括:
第五获取单元2311,用于从对象指示信息中,获取媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征;r为小于或者等于Q的正整数;
第五封装单元2312,用于将媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征,封装至与媒体数据项r关联的数据项属性盒中;
第二添加单元2313,用于将Q个媒体数据项分别对应的数据项属性盒添加至封装媒体文件中,得到目标媒体文件,将目标媒体文件发送至解码设备。
其中,关于N个媒体帧的封装媒体文件包括第一媒体文件和第二媒体文件;
对象指示信息包括对象关系指示信息;对象关系指示信息用于指示第一媒体文件对应的媒体帧中的媒体对象,与第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系;
发送模块23包括:
第六封装单元2314,用于将对象关系指示信息封装至关联实体组盒中;
第七封装单元2315,用于将第一媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,封装至第一媒体文件中;
第八封装单元2316,用于将第二媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,封装至第二媒体文件中;
第七确定单元2317,用于将关联实体组盒、封装后的第一媒体文件以及封装后的第二媒体文件,确定为目标媒体文件,将目标媒体文件发送至解码设备。
在本申请实施例中,解码设备可以接收编码设备所发送的对象指示信息,该所述对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及该媒体对象在N个媒体帧中的分布特征。即该对象指示信息用于反映N个媒体帧中包括哪种类型的媒体对象,以及哪些媒体帧中包括媒体对象,以及媒体帧的哪些位置包括媒体对象等,基于该对象指示信息能够快速地了解解码设备所需要的媒体帧(即媒体数据)。因此,根据对象指示信息,能够快速地可以从N个媒体帧对应的封装媒体文件中,获取到待解码的媒体文件片段,该待解码的媒体文件片段可以是指解码设备所需要的媒体数据对应的媒体文件片段,可以提高需要解码的媒体文件片段的获取效率。进一步地,只需要对待解码的媒体文件片段进行解码处理,便可以得到待解码的媒体文件片段对应的媒体数据(如解码设备所需要的媒体数据),而不需要对全量的媒体文件进行解码处理,可以减少解码数据量,能够提高媒体数据的获取效率,降低解码设备的资源(如计算资源)开销。
请参见图12,图12是本申请实施例提供的一种计算机设备的结构示意图。如图12所示,该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。可选的,网络接口1004可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器1005还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图12所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取关于N个媒体帧的封装媒体文件;N为正整数;
若N个媒体帧包括媒体对象,则生成关于N个媒体帧的对象指示信息;对象指示信息用于指示N个媒体帧包括的媒体对象对应的对象属性特征,以及媒体对象在N个媒体帧中的分布特征;
将封装媒体文件和对象指示信息发送至解码设备。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图2所对应实施例中对媒体数据处理方法的描述,也可执行前文图10所对应实施例中对媒体数据处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
请参见图13,图13是本申请实施例提供的一种计算机设备的结构示意图。如图13所示,该计算机设备2000可以包括:处理器2001,网络接口2004和存储器2005,此外,上述计算机设备2000还可以包括:用户接口2003,和至少一个通信总线2002。其中,通信总线2002用于实现这些组件之间的连接通信。其中,用户接口2003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口2003还可以包括标准的有线接口、无线接口。可选的,网络接口2004可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器2005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器2005还可以是至少一个位于远离前述处理器2001的存储装置。如图13所示,作为一种计算机可读存储介质的存储器2005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图13所示的计算机设备2000中,网络接口2004可提供网络通讯功能;而用户接口2003主要用于为用户提供输入的接口;而处理器2001可以用于调用存储器2005中存储的设备控制应用程序,以实现:
接收对象指示信息;对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及媒体对象在N个媒体帧中的分布特征;N为正整数;
根据对象指示信息,从N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段;
对待解码的媒体文件片段进行解码处理,得到待解码的媒体文件片段对应的媒体数据。
应当理解,本申请实施例中所描述的计算机设备2000可执行前文图9所对应实施例中对媒体数据处理方法的描述,也可执行前文图11所对应实施例中对媒体数据处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的媒体数据处理装置所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文对应实施例中对上述媒体数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
作为示例,上述程序指令可被部署在一个计算机设备上执行,或者被部署在一个地点的至少两个计算机设备上执行,又或者,在分布在至少两个地点且通过通信网络互连的至少两个计算机设备上执行,分布在至少两个地点且通过通信网络互连的至少两个计算机设备可以组成区块链网络。
上述计算机可读存储介质可以是前述任一实施例提供的媒体数据处理装置或者上述计算机设备的中部存储单元,例如计算机设备的硬盘或中存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(SMart Media card,SMC),安全数字(Secure digital,SD)卡,闪存卡(flaSh card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的中部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同媒体中容,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
可理解的是,本申请以上实施例如果需要用到用户信息等,需要获得用户许可或者同意,需要遵守相关国家和地区的相关法律法规。
本申请实施例还提供了一种计算机程序产品,包括计算机程序/指令,计算机程序/指令被处理器执行时实现前文对应实施例中对上述媒体数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品的实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程网络连接设备的处理器以产生一个机器,使得通过计算机或其他可编程网络连接设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程网络连接设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程网络连接设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (20)

1.一种媒体数据处理方法,其特征在于,包括:
接收对象指示信息;所述对象指示信息用于反映N个媒体帧包括的媒体对象的对象属性特征,以及所述媒体对象在所述N个媒体帧中的分布特征;N为正整数;
根据所述对象指示信息,从所述N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段;
对所述待解码的媒体文件片段进行解码处理,得到所述待解码的媒体文件片段对应的媒体数据。
2.根据权利要求1所述的方法,其特征在于,所述对象属性特征包括所述N个媒体帧包括的媒体对象的对象数量、对象标识以及对象描述信息中的一个或者多个。
3.根据权利要求1所述的方法,其特征在于,所述分布特征用于指示所述N个媒体帧中具有所述媒体对象的目标媒体帧;或者,
所述分布特征用于指示所述N个媒体帧中具有所述媒体对象的目标媒体帧,以及所述媒体对象在所述目标媒体帧中所属的空间区域;或者,
所述分布特征用于指示所述N个媒体帧中具有所述媒体对象的目标媒体帧,以及所述媒体对象在所述目标媒体帧中所属的分片;或者,
所述分布特征用于指示所述N个媒体帧中具有所述媒体对象的目标媒体帧,以及所述媒体对象在所述目标媒体帧中所属的空间区域,所述媒体对象在所述目标媒体帧中所属的分片。
4.根据权利要求1所述的方法,其特征在于,所述待解码的媒体文件片段为包括目标媒体对象的码流数据;或者,所述待解码的媒体文件片段为不包括所述目标媒体对象的码流数据;其中,所述目标媒体对象属于所述N个媒体帧中的媒体对象。
5.根据权利要求1所述的方法,其特征在于,所述对象指示信息包括S个媒体文件片段分别关联的对象指示信息;所述S个媒体文件片段属于所述封装媒体文件;S为大于1的整数;
所述根据所述对象指示信息,从所述N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段,包括:
获取所述S个媒体文件片段分别对应的片段标识;
若所述S个媒体文件片段中的目标媒体文件片段的对象指示信息反映所述目标媒体文件片段满足解码条件,则根据所述目标媒体文件片段的片段标识,生成关于所述目标媒体文件片段的获取请求;
将所述获取请求发送至编码设备,接收所述编码设备基于所述获取请求返回的所述目标媒体文件片段;
将所述目标媒体文件片段,确定为待解码的媒体文件片段。
6.根据权利要求1所述的方法,其特征在于,所述封装媒体文件包括所述N个媒体帧中的K个动态媒体帧所属的P个媒体轨道;P为正整数,K为小于或者等于N的正整数;
所述根据所述对象指示信息,从所述N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段,包括:
从媒体轨道j对应的对象信息数据盒j中,获取属于所述媒体轨道j的动态媒体帧中的媒体对象的对象属性特征;j为小于或者等于P的正整数;
根据所述P个媒体轨道分别对应的对象属性特征,从所述P个媒体轨道中确定满足解码条件的目标媒体轨道;
根据属于所述目标媒体轨道中的动态媒体帧对应的对象指示信息,确定待解码的媒体文件片段;属于所述目标媒体轨道的动态媒体帧的对象指示信息被封装所述目标媒体轨道对应的元数据轨道中。
7.根据权利要求6所述的方法,其特征在于,所述根据属于所述目标媒体轨道中的动态媒体帧对应的对象指示信息,确定待解码的媒体文件片段,包括:
根据属于所述目标媒体轨道的动态媒体帧对应的对象指示信息,从属于所述目标媒体轨道的动态媒体帧中,确定满足解码条件的目标动态媒体帧;
根据所述目标媒体轨道中关于所述目标动态媒体帧的码流数据,以及所述目标动态媒体帧的对象指示信息,确定待解码的媒体文件片段。
8.根据权利要求7所述的方法,其特征在于,所述根据所述目标媒体轨道中关于所述目标动态媒体帧的码流数据,以及所述目标动态媒体帧的对象指示信息,确定待解码的媒体文件片段,包括:
根据所述目标动态媒体帧的对象指示信息,从所述目标动态媒体帧中确定满足解码条件的分片,作为第一分片;
将所述目标动态媒体帧对应的码流数据中关于所述第一分片的码流数据,确定为待解码的媒体文件片段。
9.根据权利要求1~8任一项所述的方法,其特征在于,所述封装媒体文件包括所述N个媒体帧中的Q个静态媒体帧对应的Q个媒体数据项,所述对象指示信息包括所述Q个媒体数据项分别对应的对象指示信息;Q为小于或者等于N的正整数;
所述根据所述对象指示信息,从所述N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段,包括:
根据所述Q个媒体数据项分别对应的对象指示信息,从所述Q个媒体数据项中确定满足解码条件的目标媒体数据项;
根据所述目标媒体数据项以及所述目标媒体数据项对应的对象指示信息,确定待解码的媒体文件片段。
10.根据权利要求9所述的方法,其特征在于,所述根据所述目标媒体数据项以及所述目标媒体数据项对应的对象指示信息,确定待解码的媒体文件片段,包括:
根据所述目标媒体数据项对应的对象指示信息,从所述目标媒体数据项对应的静态媒体帧中确定满足解码条件的点云片,作为第二点云片;
从所述目标媒体数据项中确定所述第二点云片对应的码流数据,将所述第二点云片对应的码流数据确定为待解码的媒体文件片段。
11.根据权利要求1~8任一项所述的方法,其特征在于,所述封装媒体文件包括第一媒体文件和第二媒体文件,所述对象指示信息包括所述第一媒体文件的对象指示信息、所述第二媒体文件的对象指示信息,以及对象关系指示信息;所述对象关系指示信息用于指示所述第一媒体文件对应的媒体帧中的媒体对象,与所述第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系,所述第一媒体文件的对象指示信息封装在所述第一媒体文件中,所述第二媒体文件的对象指示信息封装在所述第二媒体文件中;
所述根据所述对象指示信息,从所述N个媒体帧对应的封装媒体文件中获取待解码的媒体文件片段,包括:
在确定所述第一媒体文件满足解码条件时,根据所述对象关系指示信息,获取与所述第一媒体文件具有关联关系的第二媒体文件;
根据所述第一媒体文件和所述第二媒体文件,确定待解码的媒体文件片段。
12.一种媒体数据处理方法,其特征在于,包括:
获取关于N个媒体帧的封装媒体文件;N为正整数;
若所述N个媒体帧包括媒体对象,则生成关于所述N个媒体帧的对象指示信息;所述对象指示信息用于指示所述N个媒体帧包括的媒体对象对应的对象属性特征,以及所述媒体对象在所述N个媒体帧中的分布特征;
将所述封装媒体文件和所述对象指示信息发送至解码设备。
13.根据权利要求12所述的方法,其特征在于,所述将所述封装媒体文件和所述对象指示信息发送至解码设备,包括:
若所述封装媒体文件包括S个媒体文件片段,则从所述对象指示信息,提取与所述S个媒体文件片段分别关联的对象指示信息;S为大于1的整数;
将与所述S个媒体文件片段中的媒体文件片段i关联的对象指示信息,封装至所述媒体文件片段i中,得到目标媒体文件片段i;S为大于1的整数,i为小于或者等于S的正整数;
将与所述S个媒体文件片段分别关联的对象指示信息,以及所述S个媒体文件片段分别对应的片段标识,发送至解码设备;
若接收到关于所述目标媒体文件片段i的获取请求,则将所述目标媒体文件片段i发送给所述解码设备;所述获取请求是由所述解码设备基于与所述S个媒体文件片段分别关联的对象指示信息以及所述片段标识生成的。
14.根据权利要求12所述的方法,其特征在于,所述N个媒体帧中包括具有媒体对象的K个动态媒体帧,所述封装媒体文件包括所述K个动态媒体帧所属的P个媒体轨道;P为正整数,K为小于或者等于N的正整数;
所述将所述封装媒体文件和所述对象指示信息发送至解码设备,包括:
从所述对象指示信息中,获取属于媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征;j为小于或者等于P的正整数;
将属于所述媒体轨道j的动态媒体帧中的媒体对象的对象属性特征,封装至与所述媒体轨道j关联的对象信息数据盒j中;
将属于所述媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征,封装至所述媒体轨道j对应的元数据轨道中;
将所述P个媒体轨道分别对应的对象信息数据盒和元数据轨道,添加至所述封装媒体文件中,得到目标媒体文件,将所述目标媒体文件发送至解码设备。
15.根据权利要求14所述的方法,其特征在于,所述媒体轨道j对应的元数据轨道包括属于所述媒体轨道j的动态媒体帧分别对应的元数据轨道样本;
所述将属于所述媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征,封装至所述媒体轨道j对应的元数据轨道中,包括:
将属于所述媒体轨道j的动态媒体帧a包括的媒体对象的对象属性特征和分布特征,添加至所述动态媒体帧a对应的元数据轨道样本;a为小于或者等于属于所述媒体轨道j的动态媒体帧的总数量的正整数。
16.根据权利要求14所述的方法,其特征在于,所述媒体轨道j对应的元数据轨道包括属于所述媒体轨道j的动态媒体帧分别对应的元数据轨道样本;
所述将属于所述媒体轨道j的动态媒体帧包括的媒体对象的对象属性特征和分布特征,封装至所述媒体轨道j对应的元数据轨道中,包括:
获取属于所述媒体轨道j的动态媒体帧a对应的参考媒体帧中的媒体对象的对象属性特征和分布特征;a为小于或者等于属于所述媒体轨道j的动态媒体帧的总数量的正整数;
确定所述参考媒体帧中的媒体对象的对象属性特征与所述动态媒体帧a的对象属性特征之间的对象变化特征;
确定所述参考媒体帧中的媒体对象的分布特征与所述动态媒体帧a的分布特征之间的分布变化特征;
将所述对象变化特征和所述分布变化特征,添加至所述动态媒体帧a对应的元数据轨道样本。
17.根据权利要求14所述的方法,其特征在于,所述将所述P个媒体轨道分别对应的对象信息数据盒和元数据轨道,添加至所述封装媒体文件中,得到目标媒体文件,包括:
将所述对象信息数据盒j添加至所述媒体轨道j的轨道样本入口中;
将所述P个媒体轨道分别对应的元数据轨道添加至所述封装媒体文件中,得到目标媒体文件。
18.根据权利要求14所述的方法,其特征在于,所述将所述P个媒体轨道分别对应的对象信息数据盒和元数据轨道,添加至所述封装媒体文件中,得到目标媒体文件,包括:
将所述对象信息数据盒j添加至所述媒体轨道j对应的元数据轨道的轨道样本入口中,得到所述媒体轨道j对应的添加元数据轨道;
将P个媒体轨道分别对应的添加元数据轨道,添加至所述封装媒体文件中,得到目标媒体文件。
19.根据权利要求12所述的方法,其特征在于,所述N个媒体帧中包括具有媒体对象的Q个静态媒体帧,所述封装媒体文件中包括所述Q个静态媒体帧对应的Q个媒体数据项;Q为小于或者等于N的正整数;
所述将所述封装媒体文件和所述对象指示信息发送至解码设备,包括:
从所述对象指示信息中,获取媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征;r为小于或者等于Q的正整数;
将所述媒体数据项r对应的静态媒体帧中的媒体对象的对象属性特征和分布特征,封装至与所述媒体数据项r关联的数据项属性盒中;
将所述Q个媒体数据项分别对应的数据项属性盒添加至封装媒体文件中,得到目标媒体文件,将所述目标媒体文件发送至解码设备。
20.根据权利要求12所述的方法,其特征在于,所述封装媒体文件包括第一媒体文件和第二媒体文件;
所述对象指示信息包括对象关系指示信息;所述对象关系指示信息用于指示所述第一媒体文件对应的媒体帧中的媒体对象,与所述第二媒体文件对应的媒体帧中的媒体对象之间具有关联关系;
所述将所述封装媒体文件和所述对象指示信息发送至解码设备,包括:
将所述对象关系指示信息封装至关联实体组盒中;
将所述第一媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,封装至所述第一媒体文件中;
将所述第二媒体文件对应的媒体帧中的媒体对象的对象属性特征和对象分布特征,封装至所述第二媒体文件中;
将所述关联实体组盒、封装后的第一媒体文件以及封装后的第二媒体文件,确定为目标媒体文件,将所述目标媒体文件发送至解码设备。
CN202311055036.5A 2023-08-18 2023-08-18 媒体数据处理方法、装置、设备及存储介质 Pending CN116939290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311055036.5A CN116939290A (zh) 2023-08-18 2023-08-18 媒体数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311055036.5A CN116939290A (zh) 2023-08-18 2023-08-18 媒体数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116939290A true CN116939290A (zh) 2023-10-24

Family

ID=88387987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311055036.5A Pending CN116939290A (zh) 2023-08-18 2023-08-18 媒体数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116939290A (zh)

Similar Documents

Publication Publication Date Title
US20230421810A1 (en) Encapsulation and decapsulation methods and apparatuses for point cloud media file, and storage medium
CN114079781B (zh) 一种点云媒体的数据处理方法、装置、设备及存储介质
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN115379189B (zh) 一种点云媒体的数据处理方法及相关设备
CN115396645B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN114095737A (zh) 点云媒体文件封装方法、装置、设备及存储介质
WO2024041238A1 (zh) 一种点云媒体的数据处理方法及相关设备
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN116939290A (zh) 媒体数据处理方法、装置、设备及存储介质
CN114581631A (zh) 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN115834857B (zh) 点云数据处理方法、装置、设备及存储介质
CN115086635B (zh) 多视角视频的处理方法、装置、设备及存储介质
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
CN115102932B (zh) 点云媒体的数据处理方法、装置、设备、存储介质及产品
CN115379188B (zh) 点云数据处理方法、装置、设备及存储介质
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
CN116347118A (zh) 一种沉浸媒体的数据处理方法及相关设备
CN117082262A (zh) 点云文件封装与解封装方法、装置、设备及存储介质
WO2022111348A1 (zh) 点云媒体的数据处理方法、装置、设备及存储介质
CN114374675B (zh) 媒体文件的封装方法、媒体文件的解封装方法及相关设备
WO2022037423A1 (zh) 点云媒体的数据处理方法、装置、设备及介质
CN115061984A (zh) 点云媒体的数据处理方法、装置、设备、存储介质
CN115426502A (zh) 点云媒体的数据处理方法、装置、设备及存储介质
CN115037943A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40097789

Country of ref document: HK