CN116137664A - 点云媒体文件封装方法、装置、设备及存储介质 - Google Patents
点云媒体文件封装方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116137664A CN116137664A CN202111362971.7A CN202111362971A CN116137664A CN 116137664 A CN116137664 A CN 116137664A CN 202111362971 A CN202111362971 A CN 202111362971A CN 116137664 A CN116137664 A CN 116137664A
- Authority
- CN
- China
- Prior art keywords
- quality
- information
- file
- track
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 141
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000005538 encapsulation Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims description 57
- 230000011664 signaling Effects 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 23
- 239000000523 sample Substances 0.000 claims 13
- 239000000758 substrate Substances 0.000 claims 1
- 238000007654 immersion Methods 0.000 description 44
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000013507 mapping Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012856 packing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 101150030514 GPC1 gene Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012858 packaging process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000854350 Enicospilus group Species 0.000 description 1
- 101100287577 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) gpe-1 gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种点云媒体文件封装方法、装置、设备及存储介质,该方法包括:文件封装设备通过获取点云内容编码后的码流;对点云内容的码流进行封装,得到点云内容的媒体文件;其中,媒体内容包括至少一个轨道和质量等级指示信息,质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。即本申请的质量等级指示信息指示不同轨道的质量和/或轨道中的样本的质量,使得文件解封装设备根据该质量等级指示信息,选择性消费点云媒体中部分轨道和/或轨道中的部分样本,进而提高了点云媒体的消费灵活性。
Description
技术领域
本申请实施例涉及视频处理技术领域,尤其涉及一种点云媒体文件封装方法、装置、设备及存储介质。
背景技术
沉浸式媒体指能为消费者带来沉浸式体验的媒体内容,沉浸式媒体按照用户在消费媒体内容时的自由度,可以分为3自由度(Degree of Freedom,简称DoF)媒体、3DoF+媒体以及6DoF媒体。
沉浸式媒体包括点云媒体,由于采集设备、编码设备、编码方式等的差异,使得点云媒体包括质量等级不同的点云轨道。但是,目前文件封装设备对点云媒体中不同质量等级的点云轨道进行指示,使得文件解封装设备在消费点云媒体时,无法根据点云轨道的质量等级,选择性消费部分点云媒体,造成点云媒体的可选择消费性差的问题。
发明内容
本申请提供一种点云媒体文件封装方法、装置、设备及存储介质,以提高点云媒体的可选择消费性,提升用户体验,且降低解码和传输资源。
第一方面,本申请提供一种点云媒体文件封装方法,应用于文件封装设备,该方法包括:
获取点云内容编码后的码流;
对所述点云内容的码流进行封装,得到所述点云内容的媒体文件;
其中,所述媒体内容包括至少一个轨道和质量等级指示信息,所述质量等级指示信息用于指示所述媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。
第二方面,本申请提供一种点云媒体文件解封装方法,应用于文件解封装设备,该方法包括:
获取质量等级指示信息,所述质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量、任意组合的不同轨道的质量、轨道内样本组的质量中的至少一个,所述媒体文件是对点云内容的码流进行封装得到的;
根据所述质量等级指示信息,获得待解码的目标文件;
对所述目标文件进行解封装,得到待解码的目标码流;
对所述目标码流进行解码,得到目标点云内容。
第三方面,本申请提供一种点云媒体文件封装装置,应用于文件封装设备,该装置包括:
获取单元,用于获取点云内容编码后的码流;
封装单元,用于对所述点云内容的码流进行封装,得到所述点云内容的媒体文件;
其中,所述媒体内容包括至少一个轨道和质量等级指示信息,所述质量等级指示信息用于指示所述媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。
第四方面,本申请提供一种点云媒体文件解封装装置,应用于文件解封装设备,该装置包括:
获取单元,用于获取质量等级指示信息,所述质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量、任意组合的不同轨道的质量、轨道内样本组的质量中的至少一个,所述媒体文件是对点云内容的码流进行封装得到的;并根据所述质量等级指示信息,获得待解码的目标文件;
解封装单元,用于对所述目标文件进行解封装,得到待解码的目标码流;
解码单元,用于对所述目标码流进行解码,得到目标点云内容。
第五方面,本申请提供一种文件封装设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行第一方面的方法。
第六方面,本申请提供一种文件解封装设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行第二方面的方法。
第七方面,提供了一种计算设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行第一方面和/或第二方面的方法。
第八方面,提供了一种计算机可读存储介质,用于存储计算机程序,该计算机程序使得计算机执行第一方面和/或第二方面的方法。
第九方面,提供了一种计算机程序产品,包括计算机程序指令,所述计算机程序指令使得计算机执行上述第一方面和/或第二方面中任一方面或其各实现方式中的方法。
第十方面,提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面和/或第二方面中任一方面或其各实现方式中的方法。
综上,在本申请中,文件封装设备通过获取点云内容编码后的码流;对点云内容的码流进行封装,得到点云内容的媒体文件;其中,媒体内容包括至少一个轨道和质量等级指示信息,质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。即本申请的质量等级指示信息指示不同轨道的质量和/或轨道中的样本的质量,使得文件解封装设备根据该质量等级指示信息,选择性消费点云媒体中部分轨道和/或轨道中的部分样本,进而提高了点云媒体的消费可选择性和灵活性,提升用户体验,且避免解码不必要的媒体文件,从而节约带宽和解码资源,提高解码效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了三自由度的示意图;
图2示意性示出了三自由度+的示意图;
图3示意性示出了六自由度的示意图;
图4A为本申请一实施例提供的一种沉浸媒体系统的架构图;
图4B为本申请一实施例提供的GPCC媒体的内容流程示意图;
图5A为一种可替换组示意图;
图5B为另一种可替换组示意图;
图6为本申请一实施例提供的点云媒体文件封装方法的流程图;
图7为本申请一实施例提供的点云媒体文件解封装方法的流程图;
图8为本申请一实施例提供的点云媒体文件封装与解封装方法的交互示意图;
图9为本申请一实施例提供的点云媒体文件封装装置的结构示意图;
图10为本申请一实施例提供的点云媒体文件解封装装置的结构示意图;
图11是本申请实施例提供的计算设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例涉及沉浸媒体的数据处理技术。
在介绍本申请技术方案之前,下面先对本申请相关知识进行介绍:
多视角/多视点视频:指采用多组摄像机阵列,从多个角度拍摄的带有深度信息的视频。多视角/多视点视频也叫自由视角/自由视点视频,是一种提供六自由度体验的沉浸式媒体。
点云:点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息,根据应用场景的不同,还可能具有色彩、材质或其他信息。通常,点云中的每个点都具有相同数量的附加属性。
V3C容积媒体:visual volumetric video-based coding media,指捕获自三维空间视觉内容并提供3DoF+、6DoF观看体验的,以传统视频编码的,在文件封装中包含容积视频类型轨道的沉浸式媒体,包括多视角视频、视频编码点云等。
PCC:Point Cloud Compression,点云压缩。
G-PCC:Geometry-based Point Cloud Compression,基于几何模型的点云压缩。
V-PCC:Video-based Point Cloud Compression,基于传统视频编码的点云压缩。
图集:指示2D平面帧上的区域信息,3D呈现空间的区域信息,以及二者之间的映射关系和映射所需的必要参数信息。
Track:轨道,媒体文件封装过程中的媒体数据集合,一个媒体文件可由多个轨道组成,比如一个媒体文件可以包含一个视频轨道,一个音频轨道以及一个字幕轨道。
组件轨道(component track),指点云几何数据轨道或者点云属性数据轨道。
Sample:样本,媒体文件封装过程中的封装单位,一个媒体轨道由很多个样本组成。比如视频轨道的一个样本通常为一个视频帧。
DoF:Degree of Freedom,自由度。力学系统中是指独立坐标的个数,除了平移的自由度外,还有转动及振动自由度。本申请实施例中指用户在观看沉浸式媒体时,支持的运动并产生内容交互的自由度。
3DoF:即三自由度,指用户头部围绕XYZ轴旋转的三种自由度。图1示意性示出了三自由度的示意图。如图1所示,就是在某个地方、某一个点在三个轴上都可以旋转,可以转头,也可以上下低头,也可以摆头。通过三自由度的体验,用户能够360度地沉浸在一个现场中。如果是静态的,可以理解为是全景的图片。如果全景的图片是动态,就是全景视频,也就是VR视频。但是VR视频是有一定局限性的,用户是不能够移动的,不能选择任意的一个地方去看。
3DoF+:即在三自由度的基础上,用户还拥有沿XYZ轴做有限运动的自由度,也可以将其称之为受限六自由度,对应的媒体码流可以称之为受限六自由度媒体码流。图2示意性示出了三自由度+的示意图。
6DoF:即在三自由度的基础上,用户还拥有沿XYZ轴自由运动的自由度,对应的媒体码流可以称之为六自由度媒体码流。图3示意性示出了六自由度的示意图。其中,6DoF媒体是指的6自由度视频,是指视频可以提供用户在三维空间的XYZ轴方向自由移动视点,以及围绕XYX轴自由旋转视点的高自由度观看体验。6DoF媒体是以摄像机阵列采集得到的空间不同视角的视频组合。为了便于6DoF媒体的表达、存储、压缩和处理,将6DoF媒体数据表达为以下信息的组合:多摄像机采集的纹理图,多摄像机纹理图所对应的深度图,以及相应的6DoF媒体内容描述元数据,元数据中包含了多摄像机的参数,以及6DoF媒体的拼接布局和边缘保护等描述信息。在编码端,把多摄像机的纹理图信息和对应的深度图信息进行拼接处理,并且把拼接方式的描述数据根据所定义的语法和语义写入元数据。拼接后的多摄像机深度图和纹理图信息通过平面视频压缩方式进行编码,并且传输到终端解码后,进行用户所请求的6DoF虚拟视点的合成,从而提供用户6DoF媒体的观看体验。
AVS:Audio Video Coding Standard,音视频编码标准。
ISOBMFF:ISO Based Media File Format,基于ISO(International StandardOrganization,国际标准化组织)标准的媒体文件格式。ISOBMFF是媒体文件的封装标准,最典型的ISOBMFF文件即MP4(Moving Picture Experts Group4,动态图像专家组4)文件。
DASH:dynamic adaptive streaming over HTTP,基于HTTP的动态自适应流是一种自适应比特率流技术,使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。
MPD:media presentation description,DASH中的媒体演示描述信令,用于描述媒体片段信息。
HEVC:High Efficiency Video Coding,国际视频编码标准HEVC/H.265。
VVC:versatile video coding,国际视频编码标准VVC/H.266。
Intra(picture)Prediction:帧内预测。
Inter(picture)Prediction:帧间预测。
SCC:screen content coding,屏幕内容编码。
沉浸式媒体指能为消费者带来沉浸式体验的媒体内容,沉浸式媒体按照用户在消费媒体内容时的自由度,可以分为3DoF媒体、3DoF+媒体以及6DoF媒体。其中常见的6DoF媒体包括多视角视频以及点云媒体。
多视角视频通常由摄像机阵列从多个角度对场景进行拍摄,形成场景的纹理信息(色彩信息等)和深度信息(空间距离信息等),再加上2D平面帧到3D呈现空间的映射信息,即构成了可在用户侧进行消费的6DoF媒体。
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息,根据应用场景的不同,还可能具有色彩、材质或其他信息。通常,点云中的每个点都具有相同数量的附加属性。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性,因而应用广泛,包括虚拟现实(Virtual Reality,VR)游戏、计算机辅助设计(Computer Aided Design,CAD)、地理信息系统(Geography Information System,GIS)、自动导航系统(AutonomousNavigation System,ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等。
点云的获取主要有以下途径:计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云,每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云,每秒可以获取千万级点云。此外,在医学领域,由MRI、CT、电磁定位信息,可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期,提高了数据的精度。点云数据获取方式的变革,使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累,点云数据的高效存储、传输、发布、共享和标准化,成为点云应用的关键。
在对点云媒体进行编码后,需要对编码后的数据流进行封装并传输给用户。相对应地,在点云媒体播放器端,需要先对点云文件进行解封装,然后再进行解码,最后将解码后的数据流呈现。因此,在解封装环节,获取到特定的信息之后,能够在一定程度上提升解码环节的效率,从而为点云媒体的呈现带来更好的体验。
图4A为本申请一实施例提供的一种沉浸媒体系统的架构图。如图4A所示,沉浸媒体系统包括编码设备和解码设备,编码设备可以是指沉浸媒体的提供者所使用的计算机设备,该计算机设备可以是终端(如PC(Personal Computer,个人计算机)、智能移动设备(如智能手机)等)或服务器。解码设备可以是指沉浸媒体的使用者所使用的计算机设备,该计算机设备可以是终端(如PC(Personal Computer,个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等))。沉浸媒体的数据处理过程包括在编码设备侧的数据处理过程及在解码设备侧的数据处理过程。
在编码设备端的数据处理过程主要包括:
(1)沉浸媒体的媒体内容的获取与制作过程;
(2)沉浸媒体的编码及文件封装的过程。在解码设备端的数据处理过程主要包括:
(3)沉浸媒体的文件解封装及解码的过程;
(4)沉浸媒体的渲染过程。
另外,编码设备与解码设备之间涉及沉浸媒体的传输过程,该传输过程可以基于各种传输协议来进行,此处的传输协议可包括但不限于:DASH(Dynamic AdaptiveStreaming over HTTP,动态自适应流媒体传输)协议、HLS(HTTP Live Streaming,动态码率自适应传输)协议、SMTP(Smart Media Transport Protocaol,智能媒体传输协议)、TCP(Transmission Control Protocol,传输控制协议)等。
下面将结合图4A,分别对沉浸媒体的数据处理过程中涉及的各个过程进行详细介绍。
一、在编码设备端的数据处理过程:
(1)沉浸媒体的媒体内容的获取与制作过程。
1)沉浸媒体的媒体内容的获取过程。
在一种实现中,捕获设备可以是指设于编码设备中的硬件组件,例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中,该捕获设备也可以是与编码设备相连接的硬件装置,例如与服务器相连接摄像头。
该捕获设备可以包括但不限于:音频设备、摄像设备及传感设备。其中,音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。
捕获设备的数量可以为多个,这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容,捕获的音频内容和视频内容在时间和空间上均保持同步。通过捕获设备采集到的媒体内容称作沉浸媒体的原始数据。
2)沉浸媒体的媒体内容的制作过程。
捕获到的音频内容本身就是适合被执行沉浸媒体的音频编码的内容。捕获到的视频内容进行一系列制作流程后才可成为适合被执行沉浸媒体的视频编码的内容,该制作流程包括:
①拼接。由于捕获到的视频内容是捕获设备在不同角度下拍摄得到的,拼接就是指对这些各个角度拍摄的视频内容拼接成一个完整的、能够反映现实空间360度视觉全景的视频,即拼接后的视频是一个在三维空间表示的全景视频(或球面视频)。
②投影。投影就是指将拼接形成的一个三维视频映射到一个二维(3-Dimension,2D)图像上的过程,投影形成的2D图像称为投影图像;投影的方式可包括但不限于:经纬图投影、正六面体投影。
③区域封装。投影图像可以被直接进行编码,也可以对投影图像进行区域封装之后再进行编码。实践中发现,在沉浸媒体的数据处理过程中,对于二维投影图像进行区域封装之后再进行编码能够大幅提升沉浸媒体的视频编码效率,因此区域封装技术被广泛应用到沉浸媒体的视频处理过程中。所谓区域封装是指将投影图像按区域执行转换处理的过程,区域封装过程使投影图像被转换为封装图像。区域封装的过程具体包括:将投影图像划分为多个映射区域,然后再对多个映射区域分别进行转换处理得到多个封装区域,将多个封装区域映射到一个2D图像中得到封装图像。其中,映射区域是指执行区域封装前在投影图像中经划分得到的区域;封装区域是指执行区域封装后位于封装图像中的区域。
转换处理可以包括但不限于:镜像、旋转、重新排列、上采样、下采样、改变区域的分辨率及移动等处理。
需要说明的是,由于采用捕获设备只能捕获到全景视频,这样的视频经编码设备处理并传输至解码设备进行相应的数据处理后,解码设备侧的用户只能通过执行一些特定动作(如头部旋转)来观看360度的视频信息,而执行非特定动作(如移动头部)并不能获得相应的视频变化,VR体验不佳,因此需要额外提供与全景视频相匹配的深度信息,来使用户获得更优的沉浸度和更佳的VR体验,这就涉及6DoF(Six Degrees of Freedom,六自由度)制作技术。当用户可以在模拟的场景中较自由的移动时,称为6DoF。采用6DoF制作技术进行沉浸媒体的视频内容的制作时,捕获设备一般会选用光场摄像头、激光设备、雷达设备等,捕获空间中的点云数据或光场数据,并且在执行上述制作流程①-③的过程中还需要进行一些特定处理,例如对点云数据的切割、映射等过程,深度信息的计算过程等。
(2)沉浸媒体的编码及文件封装的过程。
捕获到的音频内容可直接进行音频编码形成沉浸媒体的音频码流。经过上述制作流程①-②或①-③之后,对投影图像或封装图像进行视频编码,得到沉浸媒体的视频码流,例如,将打包图片(D)被编码为编码图像(Ei)或编码视频比特流(Ev)。捕获的音频(Ba)被编码为音频比特流(Ea)。然后,根据特定的媒体容器文件格式,将编码的图像、视频和/或音频组合成用于文件回放的媒体文件(F)或用于流式传输的初始化段和媒体段的序列(Fs)。编码设备端还将元数据,例如投影和区域信息,包括到文件或片段中,有助于呈现解码的打包图片。
此处需要说明的是,如果采用6DoF制作技术,在视频编码过程中需要采用特定的编码方式(如点云编码)进行编码。将音频码流和视频码流按照沉浸媒体的文件格式(如ISOBMFF(ISO Base Media File Format,ISO基媒体文件格式))封装在文件容器中形成沉浸媒体的媒体文件资源,该媒体文件资源可以是媒体文件或媒体片段形成沉浸媒体的媒体文件;并按照沉浸媒体的文件格式要求采用媒体呈现描述信息(Media presentationdescription,MPD)记录该沉浸媒体的媒体文件资源的元数据,此处的元数据是对与沉浸媒体的呈现有关的信息的总称,该元数据可包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。如图4A所示,编码设备会存储经过数据处理过程之后形成的媒体呈现描述信息和媒体文件资源。
沉浸媒体系统支持数据盒(Box),数据盒是指包括元数据的数据块或对象,即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒,例如包括球面区域缩放数据盒(Sphere Region Zooming Box),其包含用于描述球面区域缩放信息的元数据;2D区域缩放数据盒(2DRegionZoomingBox),其包含用于描述2D区域缩放信息的元数据;区域封装数据盒(Region Wise PackingBox),其包含用于描述区域封装过程中的相应信息的元数据,等等。
二、在解码设备端的数据处理过程:
(3)沉浸媒体的文件解封装及解码的过程;
解码设备可以通过编码设备的推荐或按照解码设备端的用户需求自适应动态从编码设备获得沉浸媒体的媒体文件资源和相应的媒体呈现描述信息,例如解码设备可根据用户的头部/眼睛/身体的跟踪信息确定用户的朝向和位置,再基于确定的朝向和位置动态向编码设备请求获得相应的媒体文件资源。媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由编码设备传输给解码设备。解码设备端的文件解封装的过程与编码设备端的文件封装过程是相逆的,解码设备按照沉浸媒体的文件格式要求对媒体文件资源进行解封装,得到音频码流和视频码流。解码设备端的解码过程与编码设备端的编码过程是相逆的,解码设备对音频码流进行音频解码,还原出音频内容。
另外,解码设备对视频码流的解码过程包括如下:
①对视频码流进行解码,得到平面图像;根据媒体呈现描述信息提供的元数据,如果该元数据指示沉浸媒体执行过区域封装过程,该平面图像是指封装图像;如果该元数据指示沉浸媒体未执行过区域封装过程,则该平面图像是指投影图像;
②如果元数据指示沉浸媒体执行过区域封装过程,解码设备就将封装图像进行区域解封装得到投影图像。此处区域解封装与区域封装是相逆的,区域解封装是指将封装图像按照区域执行逆转换处理的过程,区域解封装使封装图像被转换为投影图像。区域解封装的过程具体包括:按照元数据的指示对封装图像中的多个封装区域分别进行逆转换处理得到多个映射区域,将该多个映射区域映射至一个2D图像从而得到投影图像。逆转换处理是指与转换处理相逆的处理,例如:转换处理是指逆时针旋转90度,那么逆转换处理是指顺时针旋转90度。
③根据媒体呈现描述信息将投影图像进行重建处理以转换为3D图像,此处的重建处理是指将二维的投影图像重新投影至3D空间中的处理。
(4)沉浸媒体的渲染过程。
解码设备根据媒体呈现描述信息中与渲染、视窗相关的元数据对音频解码得到的音频内容及视频解码得到的3D图像进行渲染,渲染完成即实现了对该3D图像的播放输出。特别地,如果采用3DoF和3DoF+的制作技术,解码设备主要基于当前视点、视差、深度信息等对3D图像进行渲染,如果采用6DoF的制作技术,解码设备主要基于当前视点对视窗内的3D图像进行渲染。其中,视点指用户的观看位置点,视差是指用户的双目产生的视线差或由于运动产生的视线差,视窗是指观看区域。
沉浸媒体系统支持数据盒(Box),数据盒是指包括元数据的数据块或对象,即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒,例如包括球面区域缩放数据盒(Sphere Region Zooming Box),其包含用于描述球面区域缩放信息的元数据;2D区域缩放数据盒(2DRegionZoomingBox),其包含用于描述2D区域缩放信息的元数据;区域封装数据盒(Region Wise PackingBox),其包含用于描述区域封装过程中的相应信息的元数据等。
图4B为本申请一实施例提供的GPCC媒体的内容流程示意图,如图4B所示,沉浸媒体系统包括文件封装设备和文件解封装设备。在一些实施例中,文件封装设备器可以理解为上述编码设备,文件解封装设备可以理解为上述解码设备。
真实世界的视觉场景(A)由一组相机或具有多个镜头和传感器的相机设备捕获。源点云数据(B)中的采集结果。一个或多个点云帧被编码为编码的G-PCC位流,包括编码的几何位流和属性位流(E)。然后,根据特定的媒体容器文件格式,一个或多个编码的比特流被组合成用于文件回放的媒体文件(F)或用于流式传输(Fs)的初始化段和媒体段的序列。在本申请中,媒体容器文件格式是ISO/IEC 14496-12中规定的ISO基本媒体文件格式。文件封装设备还可以将元数据包含到文件或段中。使用递送机制将片段Fs递送给玩家。
文件封装设备输出的文件(F)与文件解封装设备输入的文件(F')相同。文件解封装设备处理文件(F')或接收到的段(F's)并提取编码比特流(E')并解析元数据。然后将G-PCC比特流解码为解码信号(D'),并从解码信号(D')生成点云数据。在适用的情况下,根据当前的观看位置、观看方向或由各种类型的传感器(例如头部)确定的视口,将点云数据渲染并显示在头戴式显示器或任何其他显示设备的屏幕上跟踪,可能还有位置或眼动跟踪传感器。除了被玩家用来访问解码点云数据的适当部分之外,当前观看位置或观看方向也可以用于解码优化。在视口相关的传递中,当前的观看位置和观看方向也被传递到策略模块,它决定了要接收的轨道。
上述过程适用于实时和按需用例。
图4B中的各参数定义如下:
E/E':为编码的G-PCC比特流;
F/F':为包括轨道格式规范的媒体文件,其中可能包含对轨道样本中包含的基本流的约束。
可替换组,即多个内容相同的轨道因为差异化的原因(比如编码方式、码率等)可以在呈现时相互替换,则这些轨道可以组成一个可替换组,一个可替换组内的轨道可以用于可替换组ID来标识。文件解封装设备(例如客户端)在消费时,每次消费可替换组中的一个轨道。
图5A为一种可替换组示意图,包括可替换组ID=10的两个轨道组成一个可替换组,相互之间可替换,包括可替换组ID=11的两个轨道组成一个可替换组,相互之间可替换,包括可替换组ID=12的三个轨道组成一个可替换组,相互之间可替换。
图5B为另一种可替换组示意图,媒体轨道1和媒体轨道2均包括可替换组alternative group的标识,即alternative group=1,这样可以确定媒体轨道1和媒体轨道2属于一个可替换组,为该可替换组中可以相同替换的媒体轨道。其中媒体轨道1包括几何成分子轨道和属性成分子轨道,媒体轨道2包括几何成分子轨道和属性成分子轨道,属性成分的编码依赖几何成分。媒体轨道1和媒体轨道2的编码方式不同,例如媒体轨道1为采用基于GPCC的无损编码方式编码得到,媒体轨道2为采用基于GPCC的有损编码方式编码得到。
在一些实施例中,存在一种对可替换组中的各个轨道进行质量等级指示的方法,例如通过如下GPCC可替换质量数据盒来指示。
GPCC可替换质量数据盒
定义
数据盒类型:'gpaq'
包含于:GPCC样本入口('gpe1','gpeg','gpc1','gpcg','gpeb','gpcb')或者GPCC项目样本入口
是否强制:否
数量:0个或一个
GPCC可替换质量数据盒,用于指示相同可替换组内不同轨道间的质量差异信息。当轨道中存在该数据盒时,相关轨道的质量等级信息由内容提供者决定。(is used toindicate the quality difference between tracks within the same alternativegroup.When this box is presented,the quality level is ranked by the contentprovider)。
语法
aligned(8)class GPCCAlternativesQualityBox extends FullBox('gpaq',0,0){
unsigned int(8)quality_ranking;
}
语义
quality_ranking指示相应轨道的质量等级信息,该字段取值越小表明质量等级越高。(indicates quality ranking information of the corresponding track.Thelower value of this field suggests a higher quality)。
上述实施例指示了同一个实体组内不同轨道的质量等级,但是对于不是可替换组内的轨道,或者不存在可替换组的媒体文件,没有指示轨道的质量等级,进而无法选择性消费部分点云媒体,造成点云媒体的可选择消费性差的问题。
为了解决上述技术问题,本申请通过在点云媒体文件中增加质量等级指示信息,该质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量、任意组合的不同轨道的质量、轨道内样本组的质量中的至少一个。即本申请的质量等级指示信息指示不同轨道的质量和/或轨道中的样本的质量,使得文件解封装设备根据该质量等级指示信息,选择性消费点云媒体中部分轨道和/或轨道中的部分样本,进而提高了点云媒体的消费可选择性和灵活性,提升用户体验,且避免解码不必要的媒体文件,从而节约带宽和解码资源,提高解码效率。
下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图6为本申请一实施例提供的点云媒体文件封装方法的流程图,如图6所示,该方法包括如下步骤:
S601、文件封装设备获取点云内容编码后的码流。
在一些实施例中,文件封装设备也称为点云封装设备,或者点云编码设备。
在一些实施例中,点云内容也称为点云或点云数据。
本申请实施例中,文件封装设备获取点云内容编码后的码流的方式包括但不限于如下几种:
方式一,文件封装设备从采集设备处获取点云内容,例如,文件封装设备从点云采集设备处获取点云内容,对该点云内容进行编码,得到点云内容的码流。
方式二,文件封装设备从存储设备处获取点云内容编码后的码流,例如,编码设备对点云内容进行编码后,存储在存储设备中,文件封装设备从存储设备处读取点云内容码流后的码流。
S602、文件封装设备对点云内容的码流进行封装,得到点云内容的媒体文件。
其中,媒体内容包括至少一个轨道和质量等级指示信息,质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。
文件封装设备对获取的点云内容的码流进行分组,得到该点云内容的媒体文件。该媒体文件中包括至少一个轨道,可选的,该媒体文件还包括可替换组。
由于采集设备的稳定性变化,或者采集环境的变换,例如光线的变换,或者编码设备性能的差异,或者编码方式的不同等,使得生成的轨道的质量存在差异。
例如,媒体文件包括轨道1和轨道2,其中轨道1和轨道2对应的内容均为颜色,但是轨道1和轨道2对应的颜色内容不同,因此,轨道1与轨道2无法组成可替换组,且轨道1和轨道2对应的颜色内容在编码时采用的编码方式也不同,造成轨道1和轨道2的质量等级不同。对于此,本申请实施例,可以通过质量等级指示信息来指示轨道1和轨道2的质量等级,这样文件解封装设备可以根据轨道1和轨道2的质量等级,选择性地解码轨道1和/或轨道2,提高媒体文件的解码可选择性,提升用户体验。
再例如,媒体文件包括轨道3和轨道4,轨道3和轨道4对应的点云内容相同,但是由于采集设备能力不固定,使得轨道3和轨道4对应的点云内容的质量存在差异,具体的,点云内容的质量以样本为单位差异。对于此,本申请实施例,可以通过质量等级指示信息来指示轨道3和轨道4中质量存在差异的样本组,例如,轨道3中的样本组1中的样本与轨道4中样本组3中的样本的质量存在差异,质量等级指示信息可以指示轨道3中的样本组1和轨道4中样本组3的质量等级,进而使得文件解封装设备选择性解码轨道3中的样本组1或解码轨道4中样本组3,即本申请可以对媒体文件中的部分样本进行选择性解码,进一步提高媒体文件解码可选择性。
在一些实施例中,上述质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量等级,或者用于指示媒体文件中任意组合的不同轨道的质量等级,或者用于指示媒体文件中轨道内样本组的质量等级中的一个。
在一些实施例中,若媒体文件包括多个轨道,例如10个轨道时,这多个轨道中包括可替换组,这样,本申请的质量等级指示信息可以指示该媒体文件中可替换组中不同轨道的质量等级。可选的,若该媒体文件中还存在非可替换组中的不同轨道,且这些不同轨道具有属于同一个等级范围内的不同的质量等级时,则上述质量等级指示信息还可以指示该媒体文件中不是可替换组中的任意组合的不同轨道的质量等级。可选的,若该媒体文件中至少两个轨道内的样本组具有属于同一个等级范围内的不同质量等级时,则上述质量等级指示信息还可以指示该媒体文件中轨道内样本组的质量等级。
需要说明的是,本申请实施例的质量等级指示信息所指示的具体内容,根据轨道的具体质量等级,以及轨道中样本的具体质量等级确定,本申请对此不做限制。
在一些实施例中,质量等级指示信息包括质量排序对象标志和质量排序字段。
其中,质量排序对象标志用于指示质量等级排序所针对的对象。
本申请实施例中,上述对象可以为同一个可替换组内的轨道,也可以不是同一个可替换组内的轨道。可选的,上述对象还包括轨道内的样本组或样本。
本申请中,可以通过给质量排序对象标志赋予不同的数值,以使质量排序对象标志指示指示质量等级排序所针对的不同对象。
示例性一,若质量排序对象标志的取值为第一数值时,则指示质量等级排序是针对同一可替换组内的轨道。
示例二,若质量排序对象标志的取值为第二数值时,则指示质量等级排序是针对携带相同排名组标识的任意组合的不同轨道。
可选的,排名组标识用于指示质量等级排序所适用的轨道组标识。
上述示例二,当质量排序对象标志的取值为第二数值时,文件解封装设备可以确定出质量等级排序是针对携带相同排名组标识的任意组合的不同轨道,进而从携带相同排名组标识的不同轨道中选择性解码不同轨道,进而实现对非可替换组内的不同轨道的选择性解码。
本申请对上述第一数值和第二数值的具体取值不做限制。
可选的,第一数值为1。
可选的,第二数值为0。
可选的,可以用字段default_alternatives_ranking_flag表示质量排序对象标志。
可选的,可以用字段ranking_group_id来表示排名组标识。
可选的,上述ranking_group_id还可以任意可以表示质量等级排序对应的不同轨道的任意标识。
在一些实施例中,若上述质量等级排序是针对同一个轨道组内的不同轨道时,还可以使用轨道组标识来代替上述ranking_group_id。
在一些实施例中,若上述质量等级排序是针对同一个实体组内的不同实体时,还可以使用实体组标识来代替上述ranking_group_id。
上述质量排序字段用于指示对象的质量等级信息。可选的,该字段取值越小表明质量等级越高。
在一些实施例中,可以用字段quality_ranking表示质量排序字段。
本申请实施例的媒体文件包括质量等级指示信息,质量等级指示信息包括质量排序对象标志和质量排序字段,这样文件解封装设备可以根据质量排序对象标志和质量排序字段确定出该质量等级排序所针对的对象的质量等级信息,进而根据对象的质量等级信息,对媒体文件中的部分对象进行解码,实现对媒体文件选择性消费。
在一些实施例中,本申请实施例的质量等级指示信息除了包括上述质量排序对象标志和质量排序字段外,还包括排序单位标志,排序单位标志用于指示质量等级排序的单位。
在该实施例中,质量等级指示信息包括的内容如下所示:
{质量排序对象标志,质量排序字段,排序单位标志}。
本申请中,涉及的质量等级排序的单位包括轨道和样本。
在一些实施例中,可以通过给质量等级排序赋予不同的数值来指示质量等级排序的单位。
在一种示例中,若排序单位标志的取值为第三数值时,则指示质量等级排序是以轨道为单位进行排序的。
在一种示例中,若排序单位标志的取值为第四数值时,则指示质量等级排序是以轨道内的样本为单位进行排序的。
可选的,当排序单位标志指示质量等级排序是以轨道内的样本为单位进行排序的,则样本的质量等级由样本组内的质量排序(quality_ranking)字段指示。
本申请实施例对上述第三数值和第四数值的具体取值不做限制。
可选的,上述第三数值为0。
可选的,上述第四数值为1。
在一些实施例中,可以用字段sample_ranking_flag表示排序单位标志。
在一些实施例中,若排序单位标志的取值为第四数值(例如1)时,则质量等级指示信息还包括质量等级信息样本组,该质量等级信息样本组中包括质量排序字段,该质量排序字段用于指示样本组内样本的质量等级信息。
在该实施例中,质量等级指示信息包括的内容如下所示:
{质量排序对象标志,排序单位标志=第四数值,{质量等级信息样本组:质量等级信息}}。
在一些实施例中,若所述质量等级指示信息包括所述质量等级信息样本组时,则相同质量等级排序范围内的轨道的样本组划分方式相同。即不同轨道的样本组应该具备相同的呈现时间。
例如,轨道1包括两个样本组,分别为样本组11和12,轨道2包括样本组21和22,其中,样本组11和样本组21中的样本的质量等级属于同一个等级范围且不同,例如样本组11中样本的质量等级为1,样本组21中样本的质量等级为2。轨道1中的样本组11和轨道2中的样本组21的样本组划分方式相同,进而保证了相互的可替换性,保证用户选择样本组11或样本组21进行消费时,可以做正常呈现。
在一些实施例中,可以用字段GPCCQualityInfoSampleGroupEntry表示质量等级信息样本组。
在一种示例中,质量等级信息样本组的代码如下所示:
语法
语义
quality_ranking用于指示样本组内样本的质量等级信息,该字段取值越小表明质量等级越高。当GPCCQualityInfoSampleGroupEntry存在时,相同质量等级排序范围内的轨道,其样本组的划分应该相同,即不同轨道的样本组应该具备相同的呈现时间。
在一些实施例中,若上述质量排序对象标志的取值为所述第二数值(例如default_alternatives_ranking_flag=0)时,则质量等级指示信息还包括排序组标识(例如ranking_group_id),该排序组标识用于指示所述质量等级排序所适用的轨道组标识或实体组标识。
本申请实施例对上述质量等级指示信息在媒体文件中的存在位置不做限制,例如可以为媒体文件的轨道头处。
在一些实施例中,将质量等级指示信息携带在媒体文件中的质量信息数据盒。
在一些实施例中,若上述媒体文件的封装标准为ISOBMFF,对质量信息数据盒作如下扩展:
在点云质量信息数据盒中增加相关字段
数据盒类型:'gpaq'
包含于:GPCCSampleEntry('gpe1','gpeg','gpc1','gpcg','gpeb','gpcb')orGPCCTileSampleEntry
强制性:否
数量:0个或1个
GPCCQualityBox用于指示点云轨道的质量信息。当轨道中存在该数据盒时,相关轨道的质量等级信息由内容提供者决定。
语法
语义
quality_ranking指示相应轨道和/或样本组的质量等级信息,该字段取值越小表明质量等级越高。
default_alternatives_ranking_flag取值为1时表明质量等级排序仅针对同一可替换组中的轨道。取值为0时表明质量等级排序针对所有携带同样ranking_group_id的轨道。
sample_ranking_flag取值为0时表明质量等级排序以轨道为单位进行。取值为1时表明质量等级排序以轨道内的样本为单位进行。当该字段取值为1时,样本的质量等级由样本组内的quality_ranking字段指示。
ranking_group_id指示质量等级排序生效范围的轨道组ID。
在一些实施例中,若质量等级指示信息位于媒体文件中的质量信息数据盒时,则质量排序字段可以复用质量数据盒中的质量排序字段。
该质量信息数据盒用于指示点云轨道的质量信息。
在一些实施例中,若质量排序对象标志的取值为第二数值(例如default_alternatives_ranking_flag=1),表明质量等级排序针对所有携带同样ranking_group_id的轨道时,除了单独添加ranking_group_id来指示质量等级排序的生效范围外,本申请还可以通过轨道组和实体组的方式,来指示质量等级排序的生效范围,这是因为轨道组内的样本均包括该轨道组标识,进而可以使用轨道组标识来代替ranking_group_id。或者,因为实体组内的实体均包括该实体组标识,进而可以使用实体组标识来代替ranking_group_id。
在一种可能的实现方式中,质量等级指示信息还包括质量信息轨道组数据盒,质量信息轨道组数据盒用于指示质量等级排序适用于轨道组内的轨道。
在该实现方式中,在文件封装时,将同一个质量等级范围内的多个轨道封装在一个轨道组内,例如轨道1、轨道2、轨道3之间的质量等级分别为1、3、2,这样将轨道1、轨道2和轨道3封装在同一个轨道组01中。这样,轨道1、轨道2和轨道3均包括轨道组01的标识,也就是说这属于同一质量等级范围的3个轨迹具有相同的排序组标识,该排序组标识即为轨道组01的标识,进而不需要为这3个轨道再单独设置排序组标识,进而减少质量等级指示信息的码字,提高封装效率。
可选的,该质量信息轨道组数据盒中的轨道标识参照媒体文件所包括的轨道组类型数据盒中的轨道组标识,进而避免质量信息轨道组数据盒携带不必要的数据,防止冗余。
在一些实施例中,可以将上述质量等级指示信息中的质量等级字段(quality_ranking)和排序单位标志(sample_ranking_flag)放置在上述质量信息轨道组数据盒中。即若质量等级指示信息包括质量信息轨道组数据盒时,则质量排序字段和排序单位标志包含于质量信息轨道组数据盒中。
在一些实施例中,质量信息轨道组可以通过如下代码实现:
其中,TrackGroupTypeBox:
若质量等级指示信息包含GPCCQualityInfoTrackGroupBox,且GPCCQualityInfoTrackGroupBox中拥有相同track_group_id的轨道时,其质量等级信息在该轨道组的范围内生效。
quality_ranking指示相应轨道的质量等级信息,该字段取值越小表明质量等级越高。
sample_ranking_flag取值为0时表明质量等级排序以轨道为单位进行。取值为1时表明质量等级排序以轨道内的样本为单位进行。当该字段取值为1时,样本的质量等级由样本组内的quality_ranking字段指示。
在另一种可能的实现方式中,质量等级指示信息还包括质量信息实体组数据盒,该质量信息实体组数据盒用于指示质量等级排序适用于实体组内的实体。
在该实现方式中,在文件封装时,将同一个质量等级范围内的多个实体封装在一个实体组内,例如实体1、实体2、实体3之间的质量等级分别为1、3、2,这样将实体1、实体2和实体3封装在同一个实体组01中。这样,实体1、实体2和实体3均包括实体组01的标识,也就是说这属于同一质量等级范围的3个轨迹具有相同的排序组标识,该排序组标识即为实体组01的标识,进而不需要为这3个实体再单独设置排序组标识,进而减少质量等级指示信息的码字,提高封装效率。
可选的,该质量信息实体组数据盒中的实体组标识参照媒体文件所包括的实体组类型数据盒中的实体组标识,进而避免质量信息实体组数据盒携带不必要的数据,防止冗余。
在一些实施例中,可以将上述质量等级指示信息中的质量等级字段(quality_ranking)和排序单位标志(sample_ranking_flag)放置在上述质量信息实体组数据盒中。即若质量等级指示信息包括质量信息实体组数据盒时,则质量排序字段和排序单位标志包含于质量信息实体组数据盒中。
在一些实施例中,质量信息实体组可以通过如下代码实现:
其中,EntityToGroupBox:
对于GPCCQualityInfoEntityToGroupBox中的实体,其质量等级信息在该实体组的范围内生效。
quality_ranking指示相应实体的质量等级信息,该字段取值越小表明质量等级越高。
sample_ranking_flag取值为0时表明质量等级排序以实体为单位进行。取值为1时表明质量等级排序以实体内的样本为单位进行。当该字段取值为1时,样本的质量等级由样本组内的quality_ranking字段指示。
本申请实施例通过轨道组和实体组的方式实现来指示质量信息生效范围的分组,其方法简单,丰富了质量等级指示信息的形式。
在一些实施例中,本申请还可以轨道选择数据盒进行扩展,以指示点云轨道间的差异信息。
示例性的,扩展轨道选择数据盒如下所示:
语法
语义
switch_group是一个整数,用于指定一组或一组轨道。如果该字段为0(默认值)或轨道选择数据盒不存在,则没有关于该轨道是否可用于播放或流媒体切换的信息。如果该整数不为0,则对于可用于相互切换的轨道应相同。属于同一个切换组的轨道应该属于同一个可替换组。一个可替换组可能只有一个成员。
attribute_list是一个列表,直到数据盒末尾,是属性信息。此列表中的属性应用作轨道的描述或同一备用或可替换组中轨道的区分标准。每个区分属性都与指向区分轨道的字段或信息的指针相关联。.
属性
属性描述如表1所示:
表1
属性区分如下表2所示:
表2
其中,属性描述用于表征它们修改的轨道,而属性区分用于区分属于相同替代或切换组的轨道。属性区分的指针用于指示区分该轨道与具有相同属性的其他轨道的位置信息。
本申请实施例的点云媒体文件封装方法,文件封装设备通过获取点云内容编码后的码流;对点云内容的码流进行封装,得到点云内容的媒体文件;其中,媒体内容包括至少一个轨道和质量等级指示信息,质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。即本申请的质量等级指示信息可以指示不同轨道的质量和/或轨道中的样本的质量,使得文件解封装设备根据该质量等级指示信息,选择性消费点云媒体中部分轨道和/或轨道中的部分样本,进而提高了点云媒体的消费可选择性和灵活性,提升用户体验,且避免解码不必要的媒体文件,从而节约带宽和解码资源,提高解码效率。
图7为本申请一实施例提供的点云媒体文件解封装方法的流程图,如图7所示,该方法包括如下步骤:
S701、文件解封装设备获取质量等级指示信息。
其中,质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量、任意组合的不同轨道的质量、轨道内样本组的质量中的至少一个。
其中,媒体文件是对点云内容的码流进行封装得到的,包括至少一个轨道和质量等级指示信息。
上述S701的实现方式包括但不限于如下几种:
方式一,文件封装设备向文件解封装设备发送第一信令,该第一信令中包括质量等级指示信息。文件解封装设备接收到第一信令后,对该第一信令进行解析,得到第一信令中携带的质量等级指示信息。
可选的,上述第一信令为DASH信令。
方式二,文件解封装设备获取媒体文件,该媒体文件中包括质量等级指示信息。其中,文件解封装设备获取媒体文件的方式可以有多种,例如文件封装设备生成媒体文件后,将该媒体文件发送给文件解封装设备。或者,文件封装设备将生成的媒体文件存储在存储设备中,例如存储在云服务器中,文件解封装设备从存储设备中读取媒体文件。
S702、文件解封装设备根据质量等级指示信息,获得待解码的目标文件。
在一些实施例中,若文件解封装设备从第一信令中读取质量等级指示信息时,则文件解封装设备根据质量等级指示信息,向文件封装设备发送第一请求信息,该第一请求信息包括目标文件的标识;文件封装设备根据第一请求信息中携带的目标文件的标识,将媒体文件中的目标文件发送给文件解封装设备。
在一些实施例中,若文件解封装设备已经获得了媒体文件,这样文件解封装设备可以根据质量等级指示信息,从媒体文件中,得到待解码的目标文件。
在一些实施例中,质量等级指示信息包括质量排序对象标志和质量排序字段,其中,质量排序对象标志用于指示质量等级排序所针对的对象,质量排序字段用于指示对象的质量等级信息。这样,文件解封装设备可以根据质量排序对象标志,以及质量排序字段,确定出目标文件的标识,进而根据目标文件的标识从媒体文件中,获得待解码的目标文件。
在一些实施例中,若质量排序对象标志的取值为第一数值时,则指示质量等级排序是针对同一可替换组内的轨道;
若质量排序对象标志的取值为第二数值时,则指示质量等级排序是针对携带相同排名组标识的任意组合的不同轨道。
在一些实施例中,若质量排序对象标志的取值为第二数值时,则质量等级指示信息还包括排序组标识(ranking_group_id),该排序组标识用于指示质量等级排序所适用的轨道组标识或实体组标识。
可选的,第一数值为1。
可选的,第二数值为0。
示例性的,若质量排序对象标志(default_alternatives_ranking_flag)的取值为第一数值时,文件解封装设备可以根据质量排序字段,从可替换组中,确定出待解码的目标文件的标识。
例如,以轨道C2和轨道C3为例进行说明,其中轨道C2和轨道C3对应的质量等级指示信息如下:
C2:{track_id=2;default_alternatives_ranking_flag=1;sample_ranking_flag=0;quality_ranking=0;alternative_group_id=100};
C3:{track_id=3;default_alternatives_ranking_flag=1;sample_ranking_flag=1;quality_ranking=1;alternative_group_id=100}。
由上述可知,轨道C2和轨道C3为一组可替换组,且轨道C2的质量优于轨道C3。这样,当文件解封装设备的网络资源等较优时,可以选择请求解码轨道C2进行解码。
若质量排序对象标志的取值为第二数值时,文件解封装设备可以根据质量排序字段,从携带相同排名组标识的任意组合的不同轨道中,确定出待解码的目标文件的标识。
例如,以轨道C2和轨道C3为例进行说明,其中轨道C2和轨道C3对应的质量等级指示信息如下:
C2:{track_id=2;default_alternatives_ranking_flag=0;sample_ranking_flag=0;quality_ranking=0;ranking_group_id=100};
C3:{track_id=3;default_alternatives_ranking_flag=0;sample_ranking_flag=0;quality_ranking=1;ranking_group_id=100}。
由上述可知,轨道C2和轨道C3不是可替换组,且轨道C2和轨道C3对应的ranking_group_id均为100,这样可以根据质量等级字段取值的大小,从轨道C2和轨道C3中选择出一个轨道作为待解码的轨道。例如,当文件解封装设备的网络资源较差时,可以选择请求解码轨道C3进行解码。
在一些实施例中,质量等级指示信息还包括排序单位标志,排序单位标志用于指示质量等级排序的单位。
例如,若排序单位标志的取值为第三数值时,则指示质量等级排序是以轨道为单位进行排序的。
再例如,若排序单位标志的取值为第四数值时,则指示质量等级排序是以轨道内的样本为单位进行排序的。
基于此,若排序单位标志的取值为第三数值时,文件解封装设备可以根据质量排序字段,确定出待解码的目标轨道标识。若排序单位标志的取值为第四数值时,文件解封装设备可以根据质量排序字段,确定出待解码的目标样本标识。
在一些实施例中,若排序单位标志的取值为第四数值时,则质量等级指示信息还包括质量等级信息样本组,质量等级信息样本组中包括质量排序字段,质量排序字段用于指示样本组内样本的质量等级信息。
可选的,第三数值为0。
可选的,第四数值为1。
例如,轨道C2和轨道C3对应的质量等级指示信息如下所示:
C2:{track_id=2;alternative_group_id=100;default_alternatives_ranking_flag=1;sample_ranking_flag=1}{GPCCQualityInfoSampleGroup21:quality_ranking=0;GPCCQualityInfoSampleGroup22:quality_ranking=1};
C3:{track_id=3;alternative_group_id=100;default_alternatives_ranking_flag=1;sample_ranking_flag=1}{GPCCQualityInfoSampleGroup31:quality_ranking=1;GPCCQualityInfoSampleGroup32:quality_ranking=0}。
轨道C2包括两个质量等级信息样本组,分别为GPCCQualityInfoSampleGroup21和GPCCQualityInfoSampleGroup22,轨道C3包括两个质量等级信息样本组,分别为GPCCQualityInfoSampleGroup31和GPCCQualityInfoSampleGroup32。其中,GPCCQualityInfoSampleGroup21和GPCCQualityInfoSampleGroup31的质量等级属于同一个质量等级范围内,其中GPCCQualityInfoSampleGroup21的quality_ranking=0,指示GPCCQualityInfoSampleGroup21中每个样本的质量等级为0,GPCCQualityInfoSampleGroup31的quality_ranking=1,指示GPCCQualityInfoSampleGroup31中每个样本的质量等级为1。其中,GPCCQualityInfoSampleGroup22和GPCCQualityInfoSampleGroup32的质量等级属于同一个质量等级范围内,其中GPCCQualityInfoSampleGroup22的quality_ranking=1,指示GPCCQualityInfoSampleGroup22中每个样本的质量等级为1,GPCCQualityInfoSampleGroup32的quality_ranking=0,指示GPCCQualityInfoSampleGroup32中每个样本的质量等级为0。
这样文件解封装设备可以根据上述质量等级指示信息,确定出待解码的目标文件的标识,例如,文件解封装设备的网络资源充足,则文件解封装设备可以选择解码轨道C2中的GPCCQualityInfoSampleGroup21和C3中的GPCCQualityInfoSampleGroup32作为待解码的目标文件。
在一些实施例中,若质量等级指示信息包括质量等级信息样本组时,则相同质量等级排序范围内的轨道的样本组划分方式相同。例如,上述轨道C2中的GPCCQualityInfoSampleGroup21和C3中的GPCCQualityInfoSampleGroup31的样本划分方式相同,轨道C2中的GPCCQualityInfoSampleGroup22和C3中的GPCCQualityInfoSampleGroup32的样本划分方式相同,保证不同轨道的样本组应该具备相同的呈现时间。
在一些实施例中,质量等级指示信息位于媒体文件中的质量信息数据盒时,则质量排序字段复用质量数据盒中的质量排序字段,质量信息数据盒用于指示轨道的质量信息。这样,文件解封装设备可以从该质量信息数据盒中获得质量等级指示信息。
在一些实施例中,若质量排序对象标志的取值为第二数值时,则质量等级指示信息还包括质量信息轨道组数据盒,其中,质量信息轨道组数据盒用于指示质量等级排序适用于轨道组内的轨道。这样,文件解封装设备可以根据质量信息轨道组数据盒确定质量等级排序适用于轨道组内的轨道。
在一些实施例中,若质量排序对象标志的取值为第二数值时,则质量等级指示信息还包括质量信息实体组数据盒,其中,质量信息轨道组数据盒用于指示质量等级排序适用于实体组内的实体。这样,文件解封装设备可以根据质量信息实体组数据盒确定质量等级排序适用于实体组内的实体。
在一些实施例中,若质量等级指示信息包括质量信息轨道组数据盒时,则质量排序字段和排序单位标志包含于质量信息轨道组数据盒中。
在一些实施例中,若质量等级指示信息包括质量信息实体组数据盒时,则质量排序字段和排序单位标志包含于质量信息实体组数据盒中。
根据上述方法,文件解封装设备获得目标文件后,执行如下步骤,实现目标文件的解码。
S703、文件解封装设备对目标文件进行解封装,得到待解码的目标码流。
S704、文件解封装设备对目标码流进行解码,得到目标点云内容。
具体的,文件解封装设备接收到目标文件后,先对目标文件进行解封装,得到解封装后的目标码流,再对码流进行解码,得到解码后的目标点云内容。
在一些实施例中,属性成分的解码基于几何成分,此时,在对属性成分轨道解码之前,先对几何成分轨道进行解码。
本申请实施例提供的点云媒体文件解封装方法,文件解封装设备获取质量等级指示信息,质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量、任意组合的不同轨道的质量、轨道内样本组的质量中的至少一个,媒体文件是对点云内容的码流进行封装得到的;根据质量等级指示信息,获得待解码的目标文件;对目标文件进行解封装,得到待解码的目标码流;对目标码流进行解码,得到目标点云内容。即本申请的文件解封装设备可以根据该质量等级指示信息,选择性消费点云媒体中部分轨道和/或轨道中的部分样本,进而提高了点云媒体的消费可选择性和灵活性,提升用户体验,且避免解码不必要的媒体文件,从而节约带宽和解码资源,提高解码效率。
图8为本申请一实施例提供的点云媒体文件封装与解封装方法的交互示意图,如图8所示,包括:
S801、文件封装设备获取点云内容编码后的码流。
上述S801参照上述S601的描述,在此不再赘述。
S802、文件封装设备对点云内容的码流进行封装,得到点云内容的媒体文件。
其中,媒体内容包括至少一个轨道和质量等级指示信息,质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。
在一些实施例中,质量等级指示信息包括质量排序对象标志和质量排序字段,质量排序对象标志用于指示质量等级排序所针对的对象,质量排序字段用于指示对象的质量等级信息。
在一些实施例中,质量等级指示信息还包括排序单位标志,排序单位标志用于指示质量等级排序的单位。
在一些实施例中,若排序单位标志的取值为第四数值时,则质量等级指示信息还包括质量等级信息样本组,质量等级信息样本组中包括质量排序字段,质量排序字段用于指示样本组内样本的质量等级信息。
上述S802参照上述S602的描述,在此不再赘述。
S803、文件封装设备生成第一信令,该第一信令中包括质量等级指示信息。
S804、文件封装设备将第一信令发送给文件解封装设备。
S805、文件解封装设备接收文件封装设备发送的第一信令,并解析第一信令,得到质量等级指示信息。
S806、文件解封装设备根据质量等级指示信息,向文件封装设备发送第一请求信息,该第一请求信息包括目标文件的标识。
可选的,上述目标文件可以为媒体文件中的部分文件,也可以是整个媒体文件。
S807、文件封装设备根据目标文件的标识,将媒体文件中的目标文件发送给文件解封装设备。
S808、文件解封装设备对目标文件进行解封装,得到待解码的目标码流。
S809、文件解封装设备对目标码流进行解码,得到目标点云内容。
为了进一步说明本申请实施例的技术方案,下面结合具体的示例进行举例说明。
示例1,多轨道质量排序
假设文件封装设备包括点云内容F,该点云内容F进行编码和封装后,得到如下轨道,分别为几何轨道Component1、属性轨道Component2、属性轨道Component3。
步骤11,假设属性轨道C2和C3均为颜色属性,但其颜色内容不同。C2和C3由于编码参数设置不同,质量等级分别为0和1。由于C2和C3内容不同,不属于同一个可替换组,因此在文件封装中,各字段取值如下:
C1:{track_id=1};
C2:{track_id=2;default_alternatives_ranking_flag=0;sample_ranking_flag=0;quality_ranking=0;ranking_group_id=100};
C3:{track_id=3;default_alternatives_ranking_flag=0;sample_ranking_flag=0;quality_ranking=1;ranking_group_id=100}。
步骤12,文件封装设备根据步骤11中的质量等级指示信息,生成第一信令,该第一信令中包括质量等级指示信息。
可选的,该第一信令可以为点云资源集合的信令描述文件。
步骤13,文件封装设备将第一信令发送给文件解封装设备。
步骤14,文件解封装设备根据第一信令中的质量等级指示信息,确定待解码的目标文件。
例如,文件解封装设备对应的客户端A为点播用户,由于网络带宽充足,为保证最佳观看体验,请求C1+C2进行消费。
再例如,文件解封装设备对应的客户端B为点播用户,由于网络带宽和设备能力受限,请求C1+C3进行消费。
再例如,文件解封装设备对应的客户端C下载完整文件后本地播放,在解码时,根据质量等级信息,解码C1+C2进行消费。
示例2,多轨道样本组质量排序
假设文件封装设备包括点云内容F,该点云内容F进行编码和封装后,得到如下轨道,分别为几何轨道Component1、属性轨道Component2、属性轨道Component3:
步骤21,假设属性轨道C2和C3互为可替换轨道,但由于采集过程设备采集能力不固定,C2和C3质量信息以样本为单位存在差异。因此在文件封装中,各字段取值如下:
C1:{track_id=1}
C2:{track_id=2;alternative_group_id=100;default_alternatives_ranking_flag=1;sample_ranking_flag=1}{GPCCQualityInfoSampleGroup21:quality_ranking=0;GPCCQualityInfoSampleGroup22:quality_ranking=1};
C3:{track_id=3;alternative_group_id=100;default_alternatives_ranking_flag=1;sample_ranking_flag=1}{GPCCQualityInfoSampleGroup31:quality_ranking=1;GPCCQualityInfoSampleGroup32:quality_ranking=0}。
步骤22,文件封装设备根据步骤21中的质量等级信息,生成第一信令发送给文件解封装设备。
可选的,第一信令为点云资源集合的信令描述文件。
步骤23,文件封装设备将第一信令发送给文件解封装设备。
步骤24,文件解封装设备根据第一信令中的质量等级指示信息,确定待解码的目标文件。
例如,文件解封装设备对应的客户端A下载完整媒体文件后本地播放,在解码时,根据质量等级信息,在消费样本组21和31对应的样本时,选择21中的样本(更高质量)进行消费;在消费样本组22和32对应的样本时,选择32中的样本(更高质量)进行消费。
应理解,图6至图8仅为本申请的示例,不应理解为对本申请的限制。
以上结合附图详细描述了本申请的优选实施方式,但是,本申请并不限于上述实施方式中的具体细节,在本申请的技术构思范围内,可以对本申请的技术方案进行多种简单变型,这些简单变型均属于本申请的保护范围。例如,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本申请对各种可能的组合方式不再另行说明。又例如,本申请的各种不同的实施方式之间也可以进行任意组合,只要其不违背本申请的思想,其同样应当视为本申请所公开的内容。
上文结合图6和图8,详细描述了本申请的方法实施例,下文结合图9至图11,详细描述本申请的装置实施例。
图9为本申请一实施例提供的点云媒体文件封装装置的结构示意图,该装置10应用于文件封装设备,该装置10包括:
获取单元11,用于获取点云内容编码后的码流;
封装单元12,用于对所述点云内容的码流进行封装,得到所述点云内容的媒体文件;
其中,所述媒体内容包括至少一个轨道和质量等级指示信息,所述质量等级指示信息用于指示所述媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。
在一些实施例中,所述质量等级指示信息包括质量排序对象标志、质量排序字段和排序单位标志中的任意一个,所述质量排序对象标志用于指示质量等级排序所针对的对象,所述质量排序字段用于指示所述对象的质量等级信息,所述排序单位标志用于指示所述质量等级排序的单位。
在一些实施例中,若所述质量排序对象标志的取值为第一数值时,则指示所述质量等级排序是针对同一可替换组内的轨道;
若所述质量排序对象标志的取值为第二数值时,则指示所述质量等级排序是针对携带相同排名组标识的任意组合的不同轨道。
在一些实施例中,若所述排序单位标志的取值为第三数值时,则指示所述质量等级排序是以轨道为单位进行排序的;
若所述排序单位标志的取值为第四数值时,则指示所述质量等级排序是以轨道内的样本为单位进行排序的。
在一些实施例中,若所述排序单位标志的取值为第四数值时,则所述质量等级指示信息还包括质量等级信息样本组,所述质量等级信息样本组中包括所述质量排序字段,所述质量排序字段用于指示所述样本组内样本的质量等级信息,且相同质量等级排序范围内的轨道的样本组划分方式相同。
在一些实施例中,若所述质量排序对象标志的取值为所述第二数值时,则所述质量等级指示信息还包括排序组标识,所述排序组标识用于指示所述质量等级排序所适用的轨道组标识或实体组标识。
在一些实施例中,若所述质量等级指示信息位于所述媒体文件中的质量信息数据盒时,则所述质量排序字段复用所述质量数据盒中的质量排序字段,所述质量信息数据盒用于指示轨道的质量信息。
在一些实施例中,若所述质量排序对象标志的取值为所述第二数值时,则所述质量等级指示信息还包括质量信息轨道组数据盒,或者质量信息实体组数据盒;
其中,所述质量信息轨道组数据盒用于指示所述质量等级排序适用于所述轨道组内的轨道,所述质量信息轨道组数据盒用于指示所述质量等级排序适用于所述实体组内的实体。
在一些实施例中,若所述质量等级指示信息包括所述质量信息轨道组数据盒时,则所述质量排序字段和所述排序单位标志包含于所述质量信息轨道组数据盒中;或者,
若所述质量等级指示信息包括所述质量信息实体组数据盒时,则所述质量排序字段和所述排序单位标志包含于所述质量信息实体组数据盒中。
在一些实施例中,封装单元12,还用于生成第一信令,所述第一信令中包括所述质量等级指示信息;将所述第一信令发送给文件解封装设备;接收所述文件解封装设备发送的第一请求信息,所述第一请求信息包括目标文件的标识;根据所述目标文件的标识,将所述媒体文件中的所述目标文件发送给所述文件解封装设备。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图9所示的装置10可以执行文件封装设备对应的方法实施例,并且装置10中的各个模块的前述和其它操作和/或功能分别为了实现文件封装设备对应的方法实施例,为了简洁,在此不再赘述。
图10为本申请一实施例提供的点云媒体文件解封装装置的结构示意图,该装置20应用于文件解封装设备,该装置20包括:
获取单元21,用于获取质量等级指示信息,所述质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量、任意组合的不同轨道的质量、轨道内样本组的质量中的至少一个,所述媒体文件是对点云内容的码流进行封装得到的;并根据所述质量等级指示信息,获得待解码的目标文件;
解封装单元22,用于对所述目标文件进行解封装,得到待解码的目标码流;
解码单元23,用于对所述目标码流进行解码,得到目标点云内容。
在一些实施例中,获取单元21,具体用于接收文件封装设备发送的第一信令,并解析所述第一信令,得到所述质量等级指示信息,其中所述第一信令包括所述质量等级指示信息;根据所述质量等级指示信息,向所述文件封装设备发送第一请求信息,所述第一请求信息包括目标文件的标识;接收所述文件封装设备发送的所述目标文件。
在一些实施例中,获取单元21,具体用于从文件封装设备处获取所述媒体文件,并获得所述媒体文件中的所述质量等级指示信息;根据所述质量等级指示信息,从所述媒体文件中,得到所述待解码的目标文件。
在一些实施例中,所述质量等级指示信息包括质量排序对象标志、质量排序字段和排序单位标志中的任意一个,所述质量排序对象标志用于指示质量等级排序所针对的对象,所述质量排序字段用于指示所述对象的质量等级信息,所述排序单位标志用于指示所述质量等级排序的单位。
在一些实施例中,若所述质量排序对象标志的取值为第一数值时,则指示所述质量等级排序是针对同一可替换组内的轨道;
若所述质量排序对象标志的取值为第二数值时,则指示所述质量等级排序是针对携带相同排名组标识的任意组合的不同轨道。
在一些实施例中,若所述排序单位标志的取值为第三数值时,则指示所述质量等级排序是以轨道为单位进行排序的;
若所述排序单位标志的取值为第四数值时,则指示所述质量等级排序是以轨道内的样本为单位进行排序的。
在一些实施例中,若所述排序单位标志的取值为第四数值时,则所述质量等级指示信息还包括质量等级信息样本组,所述质量等级信息样本组中包括所述质量排序字段,所述质量排序字段用于指示所述样本组内样本的质量等级信息,相同质量等级排序范围内的轨道的样本组划分方式相同。
在一些实施例中,若所述质量排序对象标志的取值为所述第二数值时,则所述质量等级指示信息还包括排序组标识,所述排序组标识用于指示所述质量等级排序所适用的轨道组标识或实体组标识。
在一些实施例中,若所述质量等级指示信息位于所述媒体文件中的质量信息数据盒时,则所述质量排序字段复用所述质量数据盒中的质量排序字段,所述质量信息数据盒用于指示轨道的质量信息。
在一些实施例中,若所述质量排序对象标志的取值为所述第二数值时,则所述质量等级指示信息还包括质量信息轨道组数据盒,或者质量信息实体组数据盒;
其中,所述质量信息轨道组数据盒用于指示所述质量等级排序适用于所述轨道组内的轨道,所述质量信息轨道组数据盒用于指示所述质量等级排序适用于所述实体组内的实体。
在一些实施例中,若所述质量等级指示信息包括所述质量信息轨道组数据盒时,则所述质量排序字段和所述排序单位标志包含于所述质量信息轨道组数据盒中;或者,
若所述质量等级指示信息包括所述质量信息实体组数据盒时,则所述质量排序字段和所述排序单位标志包含于所述质量信息实体组数据盒中。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图10所示的装置20可以执行服务器对应的方法实施例,并且装置20中的各个模块的前述和其它操作和/或功能分别为了实现文件解封装设备对应的方法实施例,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图11是本申请实施例提供的计算设备的示意性框图,该计算设备可以为上述的文件封装设备、或文件解封装设备,或者该计算设备具有文件封装设备和文件解封装设备的功能。
如图11所示,该计算设备40可包括:
存储器41和存储器42,该存储器41用于存储计算机程序,并将该程序代码传输给该存储器42。换言之,该存储器42可以从存储器41中调用并运行计算机程序,以实现本申请实施例中的方法。
例如,该存储器42可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中,该存储器42可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器41包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器41中,并由该存储器42执行,以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该视频制作设备中的执行过程。
如图11所示,该计算设备40还可包括:
收发器40,该收发器43可连接至该存储器42或存储器41。
其中,存储器42可以控制该收发器43与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器43可以包括发射机和接收机。收发器43还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该视频制作设备中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本申请实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上该,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (23)
1.一种点云媒体文件封装方法,其特征在于,应用于文件封装设备,所述方法包括:
获取点云内容编码后的码流;
对所述点云内容的码流进行封装,得到所述点云内容的媒体文件;
其中,所述媒体内容包括至少一个轨道和质量等级指示信息,所述质量等级指示信息用于指示所述媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。
2.根据权利要求1所述的方法,其特征在于,所述质量等级指示信息包括质量排序对象标志、质量排序字段和排序单位标志中的任意一个,所述质量排序对象标志用于指示质量等级排序所针对的对象,所述质量排序字段用于指示所述对象的质量等级信息,所述排序单位标志用于指示所述质量等级排序的单位。
3.根据权利要求2所述的方法,其特征在于,
若所述质量排序对象标志的取值为第一数值时,则指示所述质量等级排序是针对同一可替换组内的轨道;若所述质量排序对象标志的取值为第二数值时,则指示所述质量等级排序是针对携带相同排名组标识的任意组合的不同轨道;
或者,
若所述排序单位标志的取值为第三数值时,则指示所述质量等级排序是以轨道为单位进行排序的;若所述排序单位标志的取值为第四数值时,则指示所述质量等级排序是以轨道内的样本为单位进行排序的。
4.根据权利要求3所述的方法,其特征在于,若所述排序单位标志的取值为第四数值时,则所述质量等级指示信息还包括质量等级信息样本组,所述质量等级信息样本组中包括所述质量排序字段,所述质量排序字段用于指示所述样本组内样本的质量等级信息,且相同质量等级排序范围内的轨道的样本组划分方式相同。
5.根据权利要求3所述的方法,其特征在于,若所述质量排序对象标志的取值为所述第二数值时,则所述质量等级指示信息还包括排序组标识,所述排序组标识用于指示所述质量等级排序所适用的轨道组标识或实体组标识。
6.根据权利要求5所述的方法,其特征在于,若所述质量等级指示信息位于所述媒体文件中的质量信息数据盒时,则所述质量排序字段复用所述质量数据盒中的质量排序字段,所述质量信息数据盒用于指示轨道的质量信息。
7.根据权利要求3所述的方法,其特征在于,若所述质量排序对象标志的取值为所述第二数值时,则所述质量等级指示信息还包括质量信息轨道组数据盒,或者质量信息实体组数据盒;
其中,所述质量信息轨道组数据盒用于指示所述质量等级排序适用于所述轨道组内的轨道,所述质量信息轨道组数据盒用于指示所述质量等级排序适用于所述实体组内的实体。
8.根据权利要求7所述的方法,其特征在于,若所述质量等级指示信息包括所述质量信息轨道组数据盒时,则所述质量排序字段和所述排序单位标志包含于所述质量信息轨道组数据盒中;或者,
若所述质量等级指示信息包括所述质量信息实体组数据盒时,则所述质量排序字段和所述排序单位标志包含于所述质量信息实体组数据盒中。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述方法还包括:
生成第一信令,所述第一信令中包括所述质量等级指示信息;
将所述第一信令发送给文件解封装设备;
接收所述文件解封装设备发送的第一请求信息,所述第一请求信息包括目标文件的标识;
根据所述目标文件的标识,将所述媒体文件中的所述目标文件发送给所述文件解封装设备。
10.一种点云媒体文件解封装方法,其特征在于,应用于文件解封装设备,所述方法包括:
获取质量等级指示信息,所述质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量、任意组合的不同轨道的质量、轨道内样本组的质量中的至少一个,所述媒体文件是对点云内容的码流进行封装得到的;
根据所述质量等级指示信息,获得待解码的目标文件;
对所述目标文件进行解封装,得到待解码的目标码流;
对所述目标码流进行解码,得到目标点云内容。
11.根据权利要求10所述的方法,其特征在于,所述获取质量等级指示信息,包括:
接收文件封装设备发送的第一信令,并解析所述第一信令,得到所述质量等级指示信息,其中所述第一信令包括所述质量等级指示信息;
所述根据所述质量等级指示信息,获得待解码的目标文件,包括:
根据所述质量等级指示信息,向所述文件封装设备发送第一请求信息,所述第一请求信息包括目标文件的标识;
接收所述文件封装设备发送的所述目标文件。
12.根据权利要求10所述的方法,其特征在于,所述获取质量等级指示信息,包括:
从文件封装设备处获取所述媒体文件,并获得所述媒体文件中的所述质量等级指示信息;
所述根据所述质量等级指示信息,获得待解码的目标文件,包括:
根据所述质量等级指示信息,从所述媒体文件中,得到所述待解码的目标文件。
13.根据权利要求10所述的方法,其特征在于,所述质量等级指示信息包括质量排序对象标志、质量排序字段和排序单位标志中的任意一个,所述质量排序对象标志用于指示质量等级排序所针对的对象,所述质量排序字段用于指示所述对象的质量等级信息,所述排序单位标志用于指示所述质量等级排序的单位。
14.根据权利要求13所述的方法,其特征在于,
若所述质量排序对象标志的取值为第一数值时,则指示所述质量等级排序是针对同一可替换组内的轨道;若所述质量排序对象标志的取值为第二数值时,则指示所述质量等级排序是针对携带相同排名组标识的任意组合的不同轨道;
或者,
若所述排序单位标志的取值为第三数值时,则指示所述质量等级排序是以轨道为单位进行排序的;若所述排序单位标志的取值为第四数值时,则指示所述质量等级排序是以轨道内的样本为单位进行排序的。
15.根据权利要求14所述的方法,其特征在于,若所述排序单位标志的取值为第四数值时,则所述质量等级指示信息还包括质量等级信息样本组,所述质量等级信息样本组中包括所述质量排序字段,所述质量排序字段用于指示所述样本组内样本的质量等级信息,相同质量等级排序范围内的轨道的样本组划分方式相同。
16.根据权利要求14-15任一项所述的方法,其特征在于,若所述质量排序对象标志的取值为所述第二数值时,则所述质量等级指示信息还包括排序组标识,所述排序组标识用于指示所述质量等级排序所适用的轨道组标识或实体组标识。
17.根据权利要求16所述的方法,其特征在于,若所述质量等级指示信息位于所述媒体文件中的质量信息数据盒时,则所述质量排序字段复用所述质量数据盒中的质量排序字段,所述质量信息数据盒用于指示轨道的质量信息。
18.根据权利要求14-15任一项所述的方法,其特征在于,若所述质量排序对象标志的取值为所述第二数值时,则所述质量等级指示信息还包括质量信息轨道组数据盒,或者质量信息实体组数据盒;
其中,所述质量信息轨道组数据盒用于指示所述质量等级排序适用于所述轨道组内的轨道,所述质量信息轨道组数据盒用于指示所述质量等级排序适用于所述实体组内的实体。
19.根据权利要求18所述的方法,其特征在于,若所述质量等级指示信息包括所述质量信息轨道组数据盒时,则所述质量排序字段和所述排序单位标志包含于所述质量信息轨道组数据盒中;或者,
若所述质量等级指示信息包括所述质量信息实体组数据盒时,则所述质量排序字段和所述排序单位标志包含于所述质量信息实体组数据盒中。
20.一种点云媒体文件封装装置,其特征在于,应用于文件封装设备,所述装置包括:
获取单元,用于获取点云内容编码后的码流;
封装单元,用于对所述点云内容的码流进行封装,得到所述点云内容的媒体文件;
其中,所述媒体内容包括至少一个轨道和质量等级指示信息,所述质量等级指示信息用于指示所述媒体文件中可替换组内不同轨道的质量等级、任意组合的不同轨道的质量等级、轨道内样本组的质量等级中的至少一个。
21.一种点云媒体文件解封装装置,其特征在于,应用于文件解封装设备,所述装置包括:
获取单元,用于获取质量等级指示信息,所述质量等级指示信息用于指示媒体文件中可替换组内不同轨道的质量、任意组合的不同轨道的质量、轨道内样本组的质量中的至少一个,所述媒体文件是对点云内容的码流进行封装得到的;并根据所述质量等级指示信息,获得待解码的目标文件;
解封装单元,用于对所述目标文件进行解封装,得到待解码的目标码流;
解码单元,用于对所述目标码流进行解码,得到目标点云内容。
22.一种计算设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行权利要求1至10或11至20中任一项所述的方法。
23.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至10或11至20中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111362971.7A CN116137664A (zh) | 2021-11-17 | 2021-11-17 | 点云媒体文件封装方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111362971.7A CN116137664A (zh) | 2021-11-17 | 2021-11-17 | 点云媒体文件封装方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116137664A true CN116137664A (zh) | 2023-05-19 |
Family
ID=86333037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111362971.7A Pending CN116137664A (zh) | 2021-11-17 | 2021-11-17 | 点云媒体文件封装方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116137664A (zh) |
-
2021
- 2021-11-17 CN CN202111362971.7A patent/CN116137664A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230421810A1 (en) | Encapsulation and decapsulation methods and apparatuses for point cloud media file, and storage medium | |
CN114095737B (zh) | 媒体文件封装及解封装方法、装置、设备及存储介质 | |
CN113891117B (zh) | 沉浸媒体的数据处理方法、装置、设备及可读存储介质 | |
US20240015197A1 (en) | Method, apparatus and device for encapsulating media file, and storage medium | |
CN115396645A (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 | |
CN113766271B (zh) | 一种沉浸媒体的数据处理方法、装置及设备 | |
CN115396647B (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 | |
KR102647019B1 (ko) | 멀티뷰 비디오 프로세싱 방법 및 장치 | |
CN115002470A (zh) | 一种媒体数据处理方法、装置、设备以及可读存储介质 | |
CN114581631A (zh) | 沉浸式媒体的数据处理方法、装置和计算机可读存储介质 | |
CN116137664A (zh) | 点云媒体文件封装方法、装置、设备及存储介质 | |
US20230421774A1 (en) | Packaging and unpackaging method and apparatus for point cloud media file, and storage medium | |
WO2023024839A1 (zh) | 媒体文件封装与解封装方法、装置、设备及存储介质 | |
WO2023024843A1 (zh) | 媒体文件封装与解封装方法、设备及存储介质 | |
CN115086635B (zh) | 多视角视频的处理方法、装置、设备及存储介质 | |
CN113497928B (zh) | 一种沉浸媒体的数据处理方法及相关设备 | |
WO2023016293A1 (zh) | 自由视角视频的文件封装方法、装置、设备及存储介质 | |
CN117082262A (zh) | 点云文件封装与解封装方法、装置、设备及存储介质 | |
WO2022078148A1 (zh) | 媒体文件的封装方法、媒体文件的解封装方法及相关设备 | |
US20230360678A1 (en) | Data processing method and storage medium | |
CN115474034A (zh) | 沉浸媒体的数据处理方法、装置、相关设备及存储介质 | |
CN116781676A (zh) | 一种点云媒体的数据处理方法、装置、设备及介质 | |
CN116347118A (zh) | 一种沉浸媒体的数据处理方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40086079 Country of ref document: HK |