CN115618027A - 一种数据处理方法、装置、计算机及可读存储介质 - Google Patents

一种数据处理方法、装置、计算机及可读存储介质 Download PDF

Info

Publication number
CN115618027A
CN115618027A CN202110786808.7A CN202110786808A CN115618027A CN 115618027 A CN115618027 A CN 115618027A CN 202110786808 A CN202110786808 A CN 202110786808A CN 115618027 A CN115618027 A CN 115618027A
Authority
CN
China
Prior art keywords
component
track
atlas
tracks
component track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110786808.7A
Other languages
English (en)
Inventor
胡颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110786808.7A priority Critical patent/CN115618027A/zh
Priority to JP2023554318A priority patent/JP2024511726A/ja
Priority to EP22841128.6A priority patent/EP4373089A1/en
Priority to KR1020237029719A priority patent/KR20230141835A/ko
Priority to PCT/CN2022/099726 priority patent/WO2023284488A1/zh
Publication of CN115618027A publication Critical patent/CN115618027A/zh
Priority to US18/239,080 priority patent/US20230403383A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种数据处理方法、装置、计算机及可读存储介质,该方法包括:获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。采用本申请,可以实现部分解封装及部分解码,提高数据封装及解封装的精确性。

Description

一种数据处理方法、装置、计算机及可读存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置、计算机及可读存储介质。
背景技术
沉浸式媒体指能为用户带来沉浸式体验的媒体内容,而点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。一般情况下,点云可以通过计算机生成、3D激光扫描或3D摄影测量等途径进行获取,随着点云获取途径的变革,使得大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累,对点云数据的高效存储、传输、发布、共享和标准化等,成为点云应用的关键。其中,在对点云数据进行编码后,需要对编码后的数据流进行封装并传输给用户,目前,一般是将编码后的数据流直接进行封装,将封装好的数据传输给用户,使得在对点云数据的编码封装等过程中,会损失部分数据,用户在接收到封装好的数据后,也无法从封装好的数据中进行更为精确的数据获取过程,使得数据处理的效率及效果等较差。
发明内容
本申请实施例提供了一种数据处理方法、装置、计算机及可读存储介质,可以实现部分解封装及部分解码,提高数据封装及解封装的精确性。
本申请实施例一方面提供了一种数据处理方法,包括:
获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。
其中,组件轨道数据盒包括轨道组数据盒;轨道组数据盒包括图集标识及图集分片标识;图集标识表示图集分片所属的容积视频的图集的标识;
当图集分片标识与图集标识相关联时,图集分片标识对应的图集分片属于图集标识对应的容积视频的图集。
其中,组件轨道数据盒包括轨道组数据盒;轨道组数据盒包括图集标识及图集分片标识;图集标识表示图集分片所属的图集的标识;每个组件轨道对应的图集分片包括第一图集分片及第二图集分片;
当第一图集分片的第一图集分片标识所关联的图集标识,与第二图集分片的第二图集分片标识所关联的图集标识相同时,第一图集分片与第二图集分片属于同一个分片轨道组。
其中,组件轨道还包括组件轨道类型;k个组件轨道包括第一组件轨道及第二组件轨道;
当第一组件轨道的第一组件轨道类型与第二组件轨道的第二组件轨道类型相同时,第一组件轨道对应的图集分片与第二组件轨道对应的图集分片属于同一个分片轨道组。
其中,组件轨道数据盒包括组件信息数据盒,组件信息数据盒包括数据盒类型,数据盒类型表示组件信息数据盒指示组件信息数据盒所属的组件轨道的信息;k个组件轨道包括目标组件轨道;
当在目标组件轨道中封装组件信息数据盒时,组件信息数据盒指示目标组件轨道对应的图集分片及空间信息。
其中,按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件,包括:
获取轨道组划分信息,基于轨道组划分信息从k个组件轨道分别包括的组件轨道数据盒中,获取k个组件轨道的组件轨道信息;轨道组划分信息表示对k个组件轨道进行分组的方式;
基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组;M为正整数;
对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
其中,轨道组划分信息包括图集划分信息,k个组件轨道的组件轨道信息包括k个组件轨道分别对应的图集分片所关联的图集标识;图集标识表示图集分片所属的容积视频的图集的标识;
基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组,包括:
在k个组件轨道中,基于图集划分信息,将关联相同的图集标识的图集分片所对应的组件轨道进行分组,得到M个分片轨道组。
其中,轨道组划分信息包括图集组件划分信息,k个组件轨道的组件轨道信息包括k个组件轨道分别对应的图集分片所关联的图集标识,以及k个组件轨道分别对应的组件轨道类型;图集标识表示图集分片所属的容积视频的图集的标识;
基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组,包括:
在k个组件轨道中,基于图集组件划分信息,将具有相同的组件轨道类型,且关联相同的图集标识的组件轨道进行分组,得到M个分片轨道组。
其中,基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组,包括:
基于组件轨道信息确定k个组件轨道分别对应的组件轨道类型,以及k个组件轨道分别对应的图集分片所属的图集标识;图集标识表示图集分片所属的容积视频的图集的标识;
若k个组件轨道中存在待划分组件轨道,则基于待划分组件轨道对应的图集分片所属的图集标识,将待划分组件轨道拆分为至少两个组件子轨道;待划分组件轨道是指对应至少两个图集分片,且至少两个图集分片分别对应的图集标识不相同的组件轨道;组件子轨道所对应的图集分片关联同一个图集标识;
将至少两个组件子轨道及常规组件轨道,确定为候选组件轨道;常规组件轨道是指k个组件轨道中除待划分组件轨道之外的组件轨道;
将具有相同的组件轨道类型,且关联相同的图集标识的候选组件轨道进行划分,得到M个分片轨道组。
其中,对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件,包括:
获取M个分片轨道组中,第i个分片轨道组对应的组件轨道类型信息的轨道索引i;i为小于或等于M的正整数;
为第i个分片轨道组添加轨道索引i,基于轨道索引i,对第i个分片轨道组与第i个分片轨道组所包括的组件轨道对应的图集分片进行关联;
根据关联结果对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
本申请实施例一方面提供了一种数据处理方法,上述方法包括:
获取目标文件中的k个组件轨道;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容。
其中,按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容,包括:
当响应针对目标组件轨道的显示请求时,从目标文件中获取目标组件轨道所包括的目标组件轨道数据盒,从目标组件轨道数据盒中获取目标组件轨道对应的目标分片数量;
基于目标分片数量对目标文件进行h次迭代解封装,得到目标组件轨道对应的分片显示内容;h为目标分片数量。
其中,按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容,包括:
当响应针对待处理图集分片的显示请求时,获取待处理图集分片的待处理图集分片标识;
从目标文件中获取k个组件轨道分别包括的组件轨道数据盒,基于组件轨道数据盒中的分片数量及待处理图集分片标识,对k个组件轨道分别包括的组件轨道数据盒进行遍历查找;
将查找到待处理图集分片标识的组件轨道数据盒所属的组件轨道确定为待处理组件轨道;
对待处理组件轨道进行解封装处理,得到待处理图集分片对应的分片显示内容。
其中,按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容,包括:
按照组件轨道数据盒对目标文件进行解封装,得到k个组件轨道及每个组件轨道对应的图集分片;
基于k个组件轨道分别包括的组件轨道数据盒中的空间区域信息,确定k个组件轨道在容积视频中所处的空间区域;
根据k个组件轨道在容积视频中所处的空间区域,以及每个组件轨道对应的图集分片,生成分片显示内容。
本申请实施例一方面提供了一种数据处理装置,上述装置包括:
数据获取模块,用于获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
数据封装模块,用于按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。
其中,组件轨道数据盒包括轨道组数据盒;轨道组数据盒包括图集标识及图集分片标识;图集标识表示图集分片所属的容积视频的图集的标识;
当图集分片标识与图集标识相关联时,图集分片标识对应的图集分片属于图集标识对应的容积视频的图集。
其中,组件轨道数据盒包括轨道组数据盒;轨道组数据盒包括图集标识及图集分片标识;图集标识表示图集分片所属的图集的标识;每个组件轨道对应的图集分片包括第一图集分片及第二图集分片;
当第一图集分片的第一图集分片标识所关联的图集标识,与第二图集分片的第二图集分片标识所关联的图集标识相同时,第一图集分片与第二图集分片属于同一个分片轨道组。
其中,组件轨道还包括组件轨道类型;k个组件轨道包括第一组件轨道及第二组件轨道;
当第一组件轨道的第一组件轨道类型与第二组件轨道的第二组件轨道类型相同时,第一组件轨道对应的图集分片与第二组件轨道对应的图集分片属于同一个分片轨道组。
其中,组件轨道数据盒包括组件信息数据盒,组件信息数据盒包括数据盒类型,数据盒类型表示组件信息数据盒指示组件信息数据盒所属的组件轨道的信息;k个组件轨道包括目标组件轨道;
当在目标组件轨道中封装组件信息数据盒时,组件信息数据盒指示目标组件轨道对应的图集分片及空间信息。
其中,该数据封装模块,包括:
信息获取单元,用于获取轨道组划分信息,基于轨道组划分信息从k个组件轨道分别包括的组件轨道数据盒中,获取k个组件轨道的组件轨道信息;轨道组划分信息表示对k个组件轨道进行分组的方式;
轨道分组单元,用于基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组;M为正整数;
轨道封装单元,用于对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
其中,轨道组划分信息包括图集划分信息,k个组件轨道的组件轨道信息包括k个组件轨道分别对应的图集分片所关联的图集标识;图集标识表示图集分片所属的容积视频的图集的标识;
该轨道分组单元,包括:
图集分组子单元,用于在k个组件轨道中,基于图集划分信息,将关联相同的图集标识的图集分片所对应的组件轨道进行分组,得到M个分片轨道组。
其中,轨道组划分信息包括图集组件划分信息,k个组件轨道的组件轨道信息包括k个组件轨道分别对应的图集分片所关联的图集标识,以及k个组件轨道分别对应的组件轨道类型;图集标识表示图集分片所属的容积视频的图集的标识;
该轨道分组单元,包括:
类型分组子单元,用于在k个组件轨道中,基于图集组件划分信息,将具有相同的组件轨道类型,且关联相同的图集标识的组件轨道进行分组,得到M个分片轨道组。
其中,该轨道分组单元,包括:
类型确定子单元,用于基于组件轨道信息确定k个组件轨道分别对应的组件轨道类型,以及k个组件轨道分别对应的图集分片所属的图集标识;图集标识表示图集分片所属的容积视频的图集的标识;
轨道拆分子单元,用于若k个组件轨道中存在待划分组件轨道,则基于待划分组件轨道对应的图集分片所属的图集标识,将待划分组件轨道拆分为至少两个组件子轨道;待划分组件轨道是指对应至少两个图集分片,且至少两个图集分片分别对应的图集标识不相同的组件轨道;组件子轨道所对应的图集分片关联同一个图集标识;
轨道确定子单元,用于将至少两个组件子轨道及常规组件轨道,确定为候选组件轨道;常规组件轨道是指k个组件轨道中除待划分组件轨道之外的组件轨道;
轨道分组子单元,用于将具有相同的组件轨道类型,且关联相同的图集标识的候选组件轨道进行划分,得到M个分片轨道组。
其中,该轨道封装单元,包括:
索引获取子单元,用于获取M个分片轨道组中,第i个分片轨道组对应的组件轨道类型信息的轨道索引i;i为小于或等于M的正整数;
索引关联子单元,用于为第i个分片轨道组添加轨道索引i,基于轨道索引i,对第i个分片轨道组与第i个分片轨道组所包括的组件轨道对应的图集分片进行关联;
文件生成子单元,用于根据关联结果对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
本申请实施例一方面提供了一种数据处理装置,上述装置包括:
轨道获取模块,用于获取目标文件中的k个组件轨道;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
数据解封装模块,用于按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容。
其中,该数据解封装模块,包括:
数量获取单元,用于当响应针对目标组件轨道的显示请求时,从目标文件中获取目标组件轨道所包括的目标组件轨道数据盒,从目标组件轨道数据盒中获取目标组件轨道对应的目标分片数量;
解封装迭代单元,用于基于目标分片数量对目标文件进行h次迭代解封装,得到目标组件轨道对应的分片显示内容;h为目标分片数量。
其中,该数据解封装模块,包括:
标识获取单元,用于当响应针对待处理图集分片的显示请求时,获取待处理图集分片的待处理图集分片标识;
数据盒查找单元,用于从目标文件中获取k个组件轨道分别包括的组件轨道数据盒,基于组件轨道数据盒中的分片数量及待处理图集分片标识,对k个组件轨道分别包括的组件轨道数据盒进行遍历查找;
轨道选取单元,用于将查找到待处理图集分片标识的组件轨道数据盒所属的组件轨道确定为待处理组件轨道;
轨道解封装单元,用于对待处理组件轨道进行解封装处理,得到待处理图集分片对应的分片显示内容。
其中,该数据解封装模块,包括:
文件解封装单元,用于按照组件轨道数据盒对目标文件进行解封装,得到k个组件轨道及每个组件轨道对应的图集分片;
空间确定单元,用于基于k个组件轨道分别包括的组件轨道数据盒中的空间区域信息,确定k个组件轨道在容积视频中所处的空间区域;
内容生成单元,用于根据k个组件轨道在容积视频中所处的空间区域,以及每个组件轨道对应的图集分片,生成分片显示内容。
本申请实施例一方面提供了一种计算机设备,包括处理器、存储器、输入输出接口;
上述处理器分别与上述存储器和上述输入输出接口相连,其中,上述输入输出接口用于接收数据及输出数据,上述存储器用于存储程序代码,上述处理器用于调用上述程序代码,以执行如本申请实施例一方面中上述的数据处理方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序包括程序指令,上述程序指令当被处理器执行时,执行如本申请实施例一方面中上述的数据处理方法。
实施本申请实施例,将具有如下有益效果:
本申请实施例可以获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。通过以上过程,可以在每个组件轨道中封装一个组件轨道数据盒,该组件轨道数据盒指示了所在的组件轨道的相关信息,可以将图集分片信息和组件轨道(即图集分片与组件轨道)等的关联关系精细化到单个组件轨道的粒度,使得可以尽可能全面地保留组件轨道的信息,封装得到的目标文件中的组件轨道的信息也更加条理化及精细化。进一步地,将该目标文件发送至用户设备后,该用户设备可以精确选择需要的组件轨道,达到部分解封装和部分解码的目的,从而无需对目标文件进行全面解封装及解码,节省了数据处理所耗费的时间和资源,进而提高了数据处理的精确性及效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理架构图;
图2是本申请实施例提供的一种组件轨道生成场景示意图;
图3是本申请实施例提供的一种数据处理场景示意图;
图4是本申请实施例提供的一种数据封装方法流程图;
图5是本申请实施例提供的一种轨道组划分示意图;
图6是本申请实施例提供的一种数据解封装方法流程图;
图7是本申请实施例提供的一种数据处理场景示意图;
图8是本申请实施例提供的一种数据处理装置示意图;
图9是本申请实施例提供的又一种数据处理装置示意图;
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例涉及数据处理技术,该数据处理技术是针对图集的一种数据封装及解封装技术。其中,该图集用于指示2D平面帧上的区域信息,3D呈现空间的区域信息,以及两者之间的映射关系和映射所需的必要参数信息等,该图集可以是指容积视频对应的图集,该容积视频(volumetric video)是指捕获自三维空间视觉内容,并提供三自由度加(3Degree of Freedom+,3DoF+)或六自由度(6Degree of Freedom,6DoF)等观看体验的,在文件封装中包含容积视频类型轨道的沉浸式媒体,包括多视角视频及视频编码点云等。其中,该多视角/多视点视频,是指采用多组摄像机阵列,从多个角度拍摄的带有深度信息的视频,该多视角/多视点视频也叫自由视角/自由视点视频,是一种提供六自由度体验的沉浸式媒体;点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集,点云中的每个点至少具有三维位置信息,根据应用场景的不同,还可能具有色彩、材质或其他信息等,通常,点云中的每个点都具有相同数量的附加属性。
进一步地,自由度(Degree of Freedom,DoF)是指用户在观看沉浸式媒体时支持的运动并产生内容交互的自由度;3DoF是指用户头部围绕三维空间的坐标轴(x轴、y轴及z轴)旋转的三种自由度;3DoF+是指在三自由度的基础上,用户还拥有沿x轴、y轴及z轴进行有限运动的自由度;6DoF是指在三自由度的基础上,用户还拥有沿x轴、y轴及z轴进行自由运动的自由度。
可选的,本申请适用于对多视角/多视点视频,以及基于传统视频编码的点云压缩(Video-based Point Cloud Compression,V-PCC)点云媒体等容积视频的封装及解封装。
具体的,请参见图1,图1为本申请实施例提供的一种数据处理架构图,如图1所示,本申请实施例是通过计算机设备101所实现的,该计算机设备101可以是由服务器及终端设备组成;该计算机设备101还可以是服务器或终端设备,在此不做限定。
举例来说,该计算机设备101可以获取容积视频的数据,包括该容积视频对应的图集,该图集由N个图集分片组成,N为正整数。可选的,该计算机设备101可以获取到一个或至少两个容积视频,可以认为一个容积视频对应一个图集,或者,一个容积视频对应至少两个图集,或者,可以将至少两个容积视频对应一个图集。可选的,若一个容积视频对应至少两个图集,则计算机设备101可以为每个图集添加图集标识,基于该图集标识可以确定该图集所属的容积视频。具体的,计算机设备101可以获取需要进行封装的k个组件轨道及每个组件轨道对应的图集分片,其中,该组件轨道包括组件轨道数据盒,计算机设备101可以基于k个组件轨道分别包括的组件轨道数据盒,对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件,k为正整数。计算机设备101可以将该目标文件发送至用户设备,如用户设备102a、用户设备102b或用户设备102c等。具体的,计算机设备101可以接收用户设备针对目标文件的文件获取请求,基于该文件获取请求将该目标文件发送至该用户设备。或者,计算机设备101可以获取用户设备针对容积视频的数据获取请求,基于该数据获取请求,获取该容积视频关联的k个组件轨道及每个组件轨道对应的图集分片,基于每个组件轨道所包括的组件轨道数据盒,将k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件;可选的,计算机设备101可以获取该容积视频对应的图集,对该图集进行切片处理,得到该图集所包括的图集分片,同时,在对该图集进行切片处理时,可以基于该容积视频的视频信息,得到每个图集分片关联的组件轨道,根据组件轨道及图集分片的关联关系,得到k个组件轨道及每个组件轨道对应的图集分片。
换句话说,计算机设备101可以在接收到针对目标数据的获取请求时,获取与该目标数据相关联的k个组件轨道及每个组件轨道对应的图集分片,基于每个组件轨道分别包括的组件轨道数据盒,对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件,将该目标文件发送至发起针对目标数据的获取请求的用户设备。其中,该目标数据可以是目标文件,此时,该目标文件可以是提前生成的;该目标数据可以是容积视频,此时,该目标文件可以是提前生成的,也可以是接收到针对目标数据的获取请求后生成的;该目标数据还可以是组件轨道,即,该目标数据包括k个组件轨道,计算机设备可以获取该目标数据对应的图集分片等,在此不做限制。
可选的,本申请中的数据可以存储于计算机设备中,也可以基于区块链技术或云存储技术等进行存储,即,本申请中的数据还可以存储于区块链网络或云空间等中,在此不做限制。举例来说,计算机设备101可以将k个组件轨道及每个组件轨道对应的图集分片,以及每个组件轨道的组件关联信息、对k个组件轨道及每个组件轨道对应的图集分片进行封装所得到的目标文件等,存储在计算机设备101、区块链网络或云空间等中的一个或任意多个(至少两个)位置处。计算机设备101可以将本申请中的数据存储在一个位置,以节省资源;也可以存储于多个位置,以保障数据的安全性。
本申请实施例通过在每个组件轨道中封装入组件轨道数据盒,该组件轨道数据盒可以用于表示对应的组件轨道的组件关联信息,使得每个组件轨道的组件关联信息都可以获取到,可以尽可能全面地保留组件轨道的信息,封装好的目标文件中的组件轨道的信息也更加条理化及精细化,进而使得接收到该目标文件的用户设备可以基于每个组件轨道的组件轨道数据盒,对需要的组件轨道进行解封装获取,节省了数据处理所耗费的时间和资源等。
进一步地,请参见图2,图2是本申请实施例提供的一种组件轨道生成场景示意图。如图2所示,以一个容积视频对应一个图集为例,本申请实施例通过计算机设备实现,该计算机设备可以获取容积视频201,对该容积视频201进行解析及信息提取,得到该容积视频201的图集202,对该容积视频201的图集202进行图集切片,得到该图集202对应的N个图集分片203,具体的,可以按照区域对容积视频201的图集202进行图集切片。基于该容积视频201获取N个图集分片203分别对应的组件轨道,根据图集分片与组件轨道的关联关系,得到图集轨道204。具体的,计算机设备获取N个图集分片203分别对应的组件轨道,可以是获取每个图集分片的分片信息,根据该分片信息对应的分片信息类型确定每个图集分片分别对应的组件轨道类型,根据每个图集分片分别对应的组件轨道类型得到每个图集分片分别对应的组件轨道。例如,若该分片信息对应的分片信息类型为颜色信息类型,则计算机设备可以将该分片信息所关联的图集分片对应的组件轨道类型确定为属性组件类型;若该分片信息对应的分片信息类型为位置信息类型,则计算机设备可以将该分片信息所关联的图集分片对应的组件轨道类型确定为几何组件类型等。其中,该图集轨道204可以是包括一组组件轨道的轨道,即,该图集轨道204可以包括至少两个组件轨道及每个组件轨道分别对应的图集分片。其中,一个图集分片可以对应一个组件轨道,也可以对应至少两个组件轨道,一个组件轨道也可以对应至少两个图集分片等,在此不做限制。可选的,若计算机设备生成该容积视频对应的目标文件,则该至少两个组件轨道的数量为k。
进一步地,可以参见图3,图3是本申请实施例提供的一种数据处理场景示意图。如图3所示,计算机设备301可以获取k个组件轨道分别对应的组件关联信息302,包括k个组件轨道及每个组件轨道分别对应的图集分片,如组件轨道1及组件轨道1对应的图集分片、组件轨道2及组件轨道2对应的图集分片,以及组件轨道k及组件轨道k对应的图集分片等。其中,每个组件轨道均包括组件轨道数据盒,计算机设备301可以对k个组件轨道及每个组件轨道的组件关联信息302进行封装,得到目标文件,将该目标文件发送至用户设备303中。用户设备303可以从目标文件中获取需要的组件轨道,对该组件轨道的组件关联信息进行解封装,得到分片显示内容304。进一步地,该用户设备303可以对该分片显示内容304进行显示。
可以理解的是,计算机设备包括但不限于终端设备或服务器,可以认为是用户终端(User Equipment,UE),用户设备可以包括但不限于终端设备或服务器。换句话说,计算机设备可以是服务器或终端设备,也可以是服务器和终端设备组成的系统。其中,上述所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(Augmented Reality/Virtual Reality,AR/VR)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device,MID),或者火车、轮船、飞行等场景下的终端设备等。其中,以上所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中,本申请中的“或”是指多个中的任意一个或任意多个,例如,“A或B”是指“A”、“B”及“A和B”。
进一步地,请参见图4,图4是本申请实施例提供的一种数据封装方法流程图。如图4所示,该数据封装过程包括如下步骤:
步骤S401,获取k个组件轨道及每个组件轨道对应的图集分片。
具体的,每个组件轨道均包括组件轨道数据盒,组件轨道数据盒包括分片数量(可以记作num_tiles)及空间区域信息(可以记作3D_spatial_region_flag);其中,该分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数。可选的,该组件轨道数据盒中还可以包括图集标识及图集分片标识等。
可选的,可以存在一个或至少两个轨道组划分信息,每个轨道组划分信息分别对应一个轨道组划分方法。其中,该轨道组划分信息可以根据需要进行更改,如增加轨道组划分信息,或删除轨道组划分信息等。
一种轨道组划分方法中,每个组件轨道对应的图集分片包括第一图集分片及第二图集分片,即,包括第一组件轨道包括的第一图集分片以及第二组件轨道包括的第二图集分片,当第一图集分片的第一图集分片标识所关联的图集标识,与第二图集分片的第二图集分片标识所关联的图集标识相同时,第一图集分片与第二图集分片属于同一个分片轨道组,即,可以将该第一图集分片对应的第一组件轨道,以及第二图集分片对应的第二组件轨道加入同一个分片轨道组中。此时,可以认为每个分片轨道组用于表示一个图集所对应的组件轨道的信息,即,一个分片轨道组中的组件轨道所对应的图集分片属于同一个图集。
一种轨道组划分方法中,组件轨道还包括组件轨道类型。假定k个组件轨道包括第一组件轨道及第二组件轨道,当第一组件轨道的第一组件轨道类型与第二组件轨道的第二组件轨道类型相同,且第一组件轨道对应的图集分片所关联的图集标识与第二组件轨道对应的图集分片所关联的图集标识相同时,第一组件轨道对应的图集分片与第二组件轨道对应的图集分片属于同一个分片轨道组。也就是说,同一个分片轨道组中所包括的组件轨道的组件轨道类型相同,且该组件轨道对应的图集分片属于同一个图集。
其中,该组件轨道数据盒可以包括轨道组数据盒,该轨道组数据盒中包括图集标识及图集分片标识;图集标识表示图集分片所属的容积视频的图集的标识。可选的,当图集分片标识与图集标识相关联时,图集分片标识对应的图集分片属于图集标识对应的容积视频的图集。其中,该轨道组数据盒中还可以包括分片数量及空间区域信息等。
可选的,该组件轨道数据盒可以包括组件信息数据盒,该组件信息数据盒可以包括数据盒类型,数据盒类型表示组件信息数据盒指示组件信息数据盒所属的组件轨道的信息;k个组件轨道包括目标组件轨道。具体的,该组件信息数据盒可以包括数据盒类型、组件信息数据盒所属的父级数据盒(如SchemeInformationBox这一数据盒等)、执行状态(包括强制执行状态及可选执行状态等)及数据盒数量等,该组件信息数据盒中还可以包括分片数量、空间区域信息及图集标识等。当在目标组件轨道中封装组件信息数据盒时,组件信息数据盒指示目标组件轨道对应的图集分片及空间信息。
可选的,该组件轨道数据盒可以包括轨道组数据盒或组件信息数据盒中的一个或至少两个,其中,该轨道组数据盒与组件信息数据盒在组件轨道中的位置不同。
举例来说,参见图5,图5是本申请实施例提供的一种轨道组划分示意图。如图5所示,计算机设备获取到k个组件轨道及每个组件轨道对应的图集分片,例如,组件轨道1(记作track11)、组件轨道2(记作track12)、组件轨道3(记作track13)及组件轨道4(记作track14),其中,track11对应的组件轨道类型为几何组件类型,对应图集分片1(记作tile1);track12对应的组件轨道类型为几何组件类型,对应图集分片2(记作tile2);track13对应的组件轨道类型为属性组件类型,对应图集分片3(记作tile3);track14对应的组件轨道类型为属性组件类型,对应图集分片4(记作tile4)。可选的,该组件轨道类型可以包括但不限于占位图组件类型、几何组件类型、属性组件类型及封装组件类型等。
步骤S402,按照组件轨道中所包括的组件轨道数据盒,对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。
具体的,计算机设备可以获取轨道组划分信息,基于轨道组划分信息从k个组件轨道分别包括的组件轨道数据盒中,获取k个组件轨道的组件轨道信息;该轨道组划分信息表示对k个组件轨道进行分组的方式。例如,该轨道组划分信息用于指示基于图集的轨道组划分方法,则计算机设备获取的组件轨道信息可以包括k个组件轨道分别对应的图集分片所属的图集;该轨道组划分信息用于指示基于图集及组件轨道类型的轨道组划分方法,则计算机设备获取的组件轨道信息可以包括k个组件轨道分别对应的图集分片所属的图集,以及每个组件轨道的组件轨道类型等。基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组;M为正整数。对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
具体的,一种轨道组划分方法中,轨道组划分信息包括图集划分信息,k个组件轨道的组件轨道信息包括k个组件轨道分别对应的图集分片所关联的图集标识;图集标识表示图集分片所属的容积视频的图集的标识。在基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组时,计算机设备可以在k个组件轨道中,基于图集划分信息,将关联相同的图集标识的图集分片所对应的组件轨道进行分组,得到M个分片轨道组。
一种轨道组划分方法中,轨道组划分信息包括图集组件划分信息,k个组件轨道的组件轨道信息包括k个组件轨道分别对应的图集分片所关联的图集标识,以及k个组件轨道分别对应的组件轨道类型;图集标识表示图集分片所属的容积视频的图集的标识。在基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组时,计算机设备可以在k个组件轨道中,基于图集组件划分信息,将具有相同的组件轨道类型,且关联相同的图集标识的组件轨道进行分组,得到M个分片轨道组。
可选的,计算机设备可以基于组件轨道信息确定k个组件轨道分别对应的组件轨道类型,以及k个组件轨道分别对应的图集分片所属的图集标识;图集标识表示图集分片所属的容积视频的图集的标识。若k个组件轨道中存在待划分组件轨道,则基于待划分组件轨道对应的图集分片所属的图集标识,将待划分组件轨道拆分为至少两个组件子轨道;待划分组件轨道是指对应至少两个图集分片,且至少两个图集分片分别对应的图集标识不相同的组件轨道;组件子轨道所对应的图集分片关联同一个图集标识。例如,存在组件轨道A对应图集分片1及图集分片2,其中,该图集分片1对应图集标识1,图集分片2对应图集标识2,则可以将该组件轨道A确定为待划分组件轨道,将待划分组件轨道拆分为至少两个组件子轨道,包括组件子轨道1(对应图集分片1)及组件子轨道2(对应图集分片2)。进一步地,将至少两个组件子轨道及常规组件轨道,确定为候选组件轨道;常规组件轨道是指k个组件轨道中除待划分组件轨道之外的组件轨道。将具有相同的组件轨道类型,且关联相同的图集标识的候选组件轨道进行划分,得到M个分片轨道组。
其中,获取M个分片轨道组中,第i个分片轨道组对应的组件轨道类型信息的轨道索引i;i为小于或等于M的正整数。为第i个分片轨道组添加轨道索引i,基于轨道索引i,对第i个分片轨道组与第i个分片轨道组所包括的组件轨道对应的图集分片进行关联。根据关联结果对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。其中,该轨道索引可以是由字符串进行表示,该字符串可以是根据轨道索引的生成顺序生成的,即可以表示轨道索引的生成顺序;也可以是随机生成的唯一索引;或者,可以基于组件轨道所携带的数据类型确定等,在此不做限制。
举例来说,该轨道索引可以参见表1所示:
Figure BDA0003159300280000171
如表1所示,该轨道索引包括但不限于v3vo、v3vg、v3va及v3vp等,可以通过轨道索引表示对应的分片轨道组中所包括的组件轨道的组件轨道类型。其中,在基于组件轨道类型确定分片轨道组时,每个分片轨道组中所包括的组件轨道的组件轨道类型是相同的,可以基于轨道索引表示该分片轨道组中所包括的组件轨道的组件轨道类型,以减少需要处理的数据量。例如,存在组件轨道1至组件轨道10的组件轨道类型均为几何组件类型,计算机设备可以将组件轨道1至组件轨道10划分为一个分片轨道组,基于轨道索引“v3vg”标记该分片轨道组,从而无需对每个组件轨道携带组件轨道类型,进而减少需要处理的数据量。
举例来说,如图5所示,可以得知组件轨道1(track11)与组件轨道2(track12)均对应几何组件类型,组件轨道3(track13)与组件轨道4(track14)均对应属性组件类型,计算机设备可以基于组件轨道类型,将track11及track12放入一个轨道组,即分片轨道组1,将track13及track14放入一个轨道组,即分片轨道组2。可选的,基于表1,可以采用轨道索引“v3vg”标记该分片轨道组1,并将track11及track12分别对应的图集分片关联至分片轨道组1,还可以将分片轨道组1关联至图集轨道(如图2所示);可以采用轨道索引“v3va”标记该分片轨道组2,并将track13及track14分别对应的图集分片关联至分片轨道组2,还可以将分片轨道组2关联至图集轨道(如图2所示)。
本申请实施例可以获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。通过以上过程,可以在每个组件轨道中封装一个组件轨道数据盒,该组件轨道数据盒指示了所在的组件轨道的相关信息,可以将图集分片信息和组件轨道(即图集分片与组件轨道)等的关联关系精细化到单个组件轨道的粒度,使得可以尽可能全面地保留组件轨道的信息,封装得到的目标文件中的组件轨道的信息也更加条理化及精细化。进一步地,将该目标文件发送至用户设备后,该用户设备可以精确选择需要的组件轨道,达到部分解封装和部分解码的目的,从而无需对目标文件进行全面解封装及解码,节省了数据处理所耗费的时间和资源,进而提高了数据处理的精确性及效率。
进一步地,参见图6,图6是本申请实施例提供的一种数据解封装方法流程图。如图6所示,包括如下步骤:
步骤S601,获取目标文件中的k个组件轨道,该组件轨道包括组件轨道数据盒。
具体的,组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数。
步骤S602,按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容。
具体的,当响应针对目标组件轨道的显示请求时,从目标文件中获取目标组件轨道所包括的目标组件轨道数据盒,从目标组件轨道数据盒中获取目标组件轨道对应的目标分片数量。其中,该目标组件轨道数据盒在组件轨道中的位置是已知的,计算机设备可以获取数据盒位置,在目标组件轨道中的数据盒位置处获取目标组件轨道数据盒。可选的,该目标组件轨道数据盒可以是轨道组数据盒,或者可以是组件信息数据盒,还可以是包括轨道组数据盒及组件信息数据盒。若计算机设备确定了目标轨道组件中所包括的目标组件轨道数据盒,并获取到该目标组件轨道数据盒的目标数据盒位置,则在目标组件轨道中的目标数据盒位置处获取目标组件轨道数据盒;若计算机设备未获取到目标组件轨道数据盒的组成元素,或者该目标组件轨道数据盒包括轨道组数据盒及组件信息数据盒,则可以获取轨道组数据盒对应的第一数据盒位置及组件信息数据盒对应的第二数据盒位置,在目标组件轨道的第一数据盒位置及第二数据盒位置处进行查找,基于查找到的数据盒进行后续处理,换句话说,该轨道组数据盒与组件信息数据盒可以相互替代,在本质上用于表示相同的信息。其中,该目标组件轨道可以是k个组件轨道中的任意一个组件轨道。
进一步地,计算机设备可以基于目标分片数量对目标文件进行h次迭代解封装,得到目标组件轨道对应的分片显示内容;h为目标分片数量。也就是说,该目标组件轨道对应h个图集分片,对目标文件中的目标组件轨道进行h次迭代解封装,以得到h个图集分片分别对应的图集分片信息。
当响应针对待处理图集分片的显示请求时,获取待处理图集分片的待处理图集分片标识。从目标文件中获取k个组件轨道分别包括的组件轨道数据盒,基于组件轨道数据盒中的分片数量及待处理图集分片标识,对k个组件轨道分别包括的组件轨道数据盒进行遍历查找。具体的,该组件轨道对应h个图集分片,即,该组件轨道所包括的组件轨道数据盒中包括该组件轨道对应的h个图集分片的图集分片标识,计算机设备可以基于分片数量h,对k个组件轨道分别包括的组件轨道数据盒中的图集分片标识进行遍历查找,若查找h次仍未获取到待处理图集分片标识,则表示当前查找的组件轨道中不存在待处理图集分片标识。进一步地,将查找到待处理图集分片标识的组件轨道数据盒所属的组件轨道确定为待处理组件轨道;对待处理组件轨道进行解封装处理,得到待处理图集分片对应的分片显示内容。如图5所示,若该待处理图集分片为tile1,则计算机设备对k个组件轨道分别包括的组件轨道数据盒进行遍历查找,得到待处理组件轨道,包括组件轨道1及组件轨道3。
进一步可选的,计算机设备可以按照组件轨道数据盒对目标文件进行解封装,得到k个组件轨道及每个组件轨道对应的图集分片;基于k个组件轨道分别包括的组件轨道数据盒中的空间区域信息,确定k个组件轨道在容积视频中所处的空间区域;根据k个组件轨道在容积视频中所处的空间区域,以及每个组件轨道对应的图集分片,生成分片显示内容。
可选的,当响应针对目标组件轨道的显示请求时,计算机设备可以从目标文件中获取目标轨道组件,按照目标轨道组件包括的目标组件轨道数据盒对目标轨道组件进行解封装处理,得到目标轨道组件对应的编码比特流;对编码比特流进行解码,生成编码比特流对应的解码信号;获取目标组件轨道对应的图集分片数据,基于图集分片数据确定目标组件轨道对应的图集分片的点云信息;基于点云信息确定目标组件轨道对应的分片显示内容。
本申请实施例可以获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。通过以上过程,可以在每个组件轨道中封装一个组件轨道数据盒,该组件轨道数据盒指示了所在的组件轨道的相关信息,可以将图集分片信息和组件轨道(即图集分片与组件轨道)等的关联关系精细化到单个组件轨道的粒度,使得可以尽可能全面地保留组件轨道的信息,封装得到的目标文件中的组件轨道的信息也更加条理化及精细化。进一步地,将该目标文件发送至用户设备后,该用户设备可以精确选择需要的组件轨道,达到部分解封装和部分解码的目的,从而无需对目标文件进行全面解封装及解码,节省了数据处理所耗费的时间和资源,进而提高了数据处理的精确性及效率。
进一步地,可以参见图7,图7是本申请实施例提供的一种数据处理场景示意图。如图7所示,真实世界或合成视觉场景(A)由一组相机或虚拟相机捕获,一个相机具有多个镜头和传感器,真实世界或合成视觉场景(A)可以是指容积视频等,计算机设备的采集结果是源容积数据(B),对该源容积数据进行编码,得到编码的V3C比特流(Ev),该编码的V3C比特流包括一个图集比特流、至多一个占用比特流、一个几何比特流,以及零个或至少一个属性比特流。进一步地,计算机设备可以根据特定的媒体容器文件格式,对一个或多个编码的V3C比特流进行文件/段封装,得到用于本地回放的媒体文件(F)或用于流式传输的初始化段和媒体段的序列(Fs)。其中,该媒体容器文件格式可以是ISO/IEC14496-12中规定的ISO基本媒体文件格式。可以基于递送机制将初始化段和媒体段的序列(Fs)发送至用户设备。
进一步地,文件封装器输出的媒体文件(F)与文件解封装器作为输入的文件(F')相同。文件解封装器可以处理文件(F')或接收到的段(Fs'),即对处理文件(F')或接收到的段(Fs')进行文件/段解封装,提取编码比特流(Ev'),对该编码比特流进行解码,得到解码信号(D')。基于当前的观看方向或视口,对解码信号(D')进行重建,得到重建信息(B'),对重建信息(B')进行渲染,得到分片显示内容(A'),并可以在用户设备中显示该分片显示内容(A'),如在头戴式显示器或任何其他显示设备的屏幕等上进行显示。可选的,当前观看方向是由头部跟踪或眼睛跟踪功能所确定的。可选的,计算机设备可以将当前的观看方向传递给策略模块,基于该策略模块确定要接收的轨迹。
其中,在对一个或多个编码的V3C比特流进行文件/段封装时,可以采用本申请中图4所示的各个步骤,对一个或多个编码的V3C比特流进行封装处理,得到目标文件,包括媒体文件(F)或初始化段和媒体段的序列(Fs)。在对处理文件(F')或接收到的段(Fs')进行文件/段解封装时,可以采用图6中各个步骤,对处理文件(F')或接收到的段(Fs')进行文件/段解封装,得到分片显示内容。
参见图8,图8是本申请实施例提供的一种数据处理装置示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图8所示,该数据处理装置800可以用于上述图4所对应实施例中的计算机设备,具体的,该装置可以包括:数据获取模块11及数据封装模块12。
数据获取模块11,用于获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
数据封装模块12,用于按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。
其中,组件轨道数据盒包括轨道组数据盒;轨道组数据盒包括图集标识及图集分片标识;图集标识表示图集分片所属的容积视频的图集的标识;
当图集分片标识与图集标识相关联时,图集分片标识对应的图集分片属于图集标识对应的容积视频的图集。
其中,组件轨道数据盒包括轨道组数据盒;轨道组数据盒包括图集标识及图集分片标识;图集标识表示图集分片所属的图集的标识;每个组件轨道对应的图集分片包括第一图集分片及第二图集分片;
当第一图集分片的第一图集分片标识所关联的图集标识,与第二图集分片的第二图集分片标识所关联的图集标识相同时,第一图集分片与第二图集分片属于同一个分片轨道组。
其中,组件轨道还包括组件轨道类型;k个组件轨道包括第一组件轨道及第二组件轨道;
当第一组件轨道的第一组件轨道类型与第二组件轨道的第二组件轨道类型相同时,第一组件轨道对应的图集分片与第二组件轨道对应的图集分片属于同一个分片轨道组。
其中,组件轨道数据盒包括组件信息数据盒,组件信息数据盒包括数据盒类型,数据盒类型表示组件信息数据盒指示组件信息数据盒所属的组件轨道的信息;k个组件轨道包括目标组件轨道;
当在目标组件轨道中封装组件信息数据盒时,组件信息数据盒指示目标组件轨道对应的图集分片及空间信息。
其中,该数据封装模块12,包括:
信息获取单元121,用于获取轨道组划分信息,基于轨道组划分信息从k个组件轨道分别包括的组件轨道数据盒中,获取k个组件轨道的组件轨道信息;轨道组划分信息表示对k个组件轨道进行分组的方式;
轨道分组单元122,用于基于轨道组划分信息及组件轨道信息对k个组件轨道进行划分,得到M个分片轨道组;M为正整数;
轨道封装单元123,用于对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
其中,轨道组划分信息包括图集划分信息,k个组件轨道的组件轨道信息包括k个组件轨道分别对应的图集分片所关联的图集标识;图集标识表示图集分片所属的容积视频的图集的标识;
该轨道分组单元122,包括:
图集分组子单元1221,用于在k个组件轨道中,基于图集划分信息,将关联相同的图集标识的图集分片所对应的组件轨道进行分组,得到M个分片轨道组。
其中,轨道组划分信息包括图集组件划分信息,k个组件轨道的组件轨道信息包括k个组件轨道分别对应的图集分片所关联的图集标识,以及k个组件轨道分别对应的组件轨道类型;图集标识表示图集分片所属的容积视频的图集的标识;
该轨道分组单元122,包括:
类型分组子单元1222,用于在k个组件轨道中,基于图集组件划分信息,将具有相同的组件轨道类型,且关联相同的图集标识的组件轨道进行分组,得到M个分片轨道组。
其中,该轨道分组单元122,包括:
类型确定子单元1223,用于基于组件轨道信息确定k个组件轨道分别对应的组件轨道类型,以及k个组件轨道分别对应的图集分片所属的图集标识;图集标识表示图集分片所属的容积视频的图集的标识;
轨道拆分子单元1224,用于若k个组件轨道中存在待划分组件轨道,则基于待划分组件轨道对应的图集分片所属的图集标识,将待划分组件轨道拆分为至少两个组件子轨道;待划分组件轨道是指对应至少两个图集分片,且至少两个图集分片分别对应的图集标识不相同的组件轨道;组件子轨道所对应的图集分片关联同一个图集标识;
轨道确定子单元1225,用于将至少两个组件子轨道及常规组件轨道,确定为候选组件轨道;常规组件轨道是指k个组件轨道中除待划分组件轨道之外的组件轨道;
轨道分组子单元1226,用于将具有相同的组件轨道类型,且关联相同的图集标识的候选组件轨道进行划分,得到M个分片轨道组。
其中,该轨道封装单元123,包括:
索引获取子单元1231,用于获取M个分片轨道组中,第i个分片轨道组对应的组件轨道类型信息的轨道索引i;i为小于或等于M的正整数;
索引关联子单元1232,用于为第i个分片轨道组添加轨道索引i,基于轨道索引i,对第i个分片轨道组与第i个分片轨道组所包括的组件轨道对应的图集分片进行关联;
文件生成子单元1233,用于根据关联结果对M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
本申请实施例提供了一种数据处理装置,上述装置可以获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。通过以上过程,可以在每个组件轨道中封装一个组件轨道数据盒,该组件轨道数据盒指示了所在的组件轨道的相关信息,可以将图集分片信息和组件轨道(即图集分片与组件轨道)等的关联关系精细化到单个组件轨道的粒度,使得可以尽可能全面地保留组件轨道的信息,封装得到的目标文件中的组件轨道的信息也更加条理化及精细化。进一步地,将该目标文件发送至用户设备后,该用户设备可以精确选择需要的组件轨道,达到部分解封装和部分解码的目的,从而无需对目标文件进行全面解封装及解码,节省了数据处理所耗费的时间和资源,进而提高了数据处理的精确性及效率。
参见图9,图9是本申请实施例提供的又一种数据处理装置示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图9所示,该数据处理装置900可以用于上述图6所对应实施例中的计算机设备,具体的,该装置可以包括:轨道获取模块21及数据解封装模块22。
轨道获取模块21,用于获取目标文件中的k个组件轨道;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
数据解封装模块22,用于按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容。
其中,该数据解封装模块22,包括:
数量获取单元221,用于当响应针对目标组件轨道的显示请求时,从目标文件中获取目标组件轨道所包括的目标组件轨道数据盒,从目标组件轨道数据盒中获取目标组件轨道对应的目标分片数量;
解封装迭代单元222,用于基于目标分片数量对目标文件进行h次迭代解封装,得到目标组件轨道对应的分片显示内容;h为目标分片数量。
其中,该数据解封装模块22,包括:
标识获取单元223,用于当响应针对待处理图集分片的显示请求时,获取待处理图集分片的待处理图集分片标识;
数据盒查找单元224,用于从目标文件中获取k个组件轨道分别包括的组件轨道数据盒,基于组件轨道数据盒中的分片数量及待处理图集分片标识,对k个组件轨道分别包括的组件轨道数据盒进行遍历查找;
轨道选取单元225,用于将查找到待处理图集分片标识的组件轨道数据盒所属的组件轨道确定为待处理组件轨道;
轨道解封装单元226,用于对待处理组件轨道进行解封装处理,得到待处理图集分片对应的分片显示内容。
其中,该数据解封装模块22,包括:
文件解封装单元227,用于按照组件轨道数据盒对目标文件进行解封装,得到k个组件轨道及每个组件轨道对应的图集分片;
空间确定单元228,用于基于k个组件轨道分别包括的组件轨道数据盒中的空间区域信息,确定k个组件轨道在容积视频中所处的空间区域;
内容生成单元229,用于根据k个组件轨道在容积视频中所处的空间区域,以及每个组件轨道对应的图集分片,生成分片显示内容。
本申请实施例提供了一种数据处理装置,上述装置可以获取目标文件中的k个组件轨道;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容。通过以上过程,可以在每个组件轨道中封装一个组件轨道数据盒,该组件轨道数据盒指示了所在的组件轨道的相关信息,可以将图集分片信息和组件轨道(即图集分片与组件轨道)等的关联关系精细化到单个组件轨道的粒度,用户设备在接收到目标文件后,可以在单个组件轨道的粒度上,基于每个组件轨道的组件轨道数据盒,得到每个组件轨道的信息,用户设备可以基于需要,对目标文件中所需的部分进行解封装及解码等操作,可以节省数据处理所耗费的时间和资源,进而提高数据处理的精确性及效率。
参见图10,图10是本申请实施例提供的一种计算机设备的结构示意图。如图10所示,本申请实施例中的计算机设备可以包括:一个或多个处理器1001、存储器1002和输入输出接口1003。上述处理器1001、存储器1002和输入输出接口1003通过总线1004连接。存储器1002用于存储计算机程序,该计算机程序包括程序指令,输入输出接口1003用于接收数据及输出数据,实现计算机设备与用户设备之间的数据交互;处理器1001用于执行存储器1002存储的程序指令。
该处理器1001位于计算机设备中时,执行如下操作:
获取k个组件轨道及每个组件轨道对应的图集分片;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
按照组件轨道数据盒对k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。
或者,该处理器1001位于用户设备中时,执行如下操作:
获取目标文件中的k个组件轨道;组件轨道包括组件轨道数据盒,组件轨道数据盒包括分片数量及空间区域信息;分片数量是指组件轨道数据盒所属的组件轨道对应的图集分片的数量;空间区域信息是指组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
按照组件轨道数据盒对目标文件进行解封装,得到分片显示内容。
在一些可行的实施方式中,上述处理器1001可以是中央处理单元(centralprocessing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1002可以包括只读存储器和随机存取存储器,并向处理器1001和输入输出接口1003提供指令和数据。存储器1002的一部分还可以包括非易失性随机存取存储器。例如,存储器1002还可以存储设备类型的信息。
具体实现中,上述计算机设备可通过其内置的各个功能模块执行如上述图4或图6中各个步骤所提供的实现方式,具体可参见上述图4或图6中各个步骤所提供的实现方式,在此不再赘述。
本申请实施例通过提供一种计算机设备,包括:处理器、输入输出接口、存储器,通过处理器获取存储器中的计算机指令,执行上述图4或图6中所示方法的各个步骤,进行数据处理操作。本申请实施例可以在每个组件轨道中封装一个组件轨道数据盒,该组件轨道数据盒指示了所在的组件轨道的相关信息,可以将图集分片信息和组件轨道(即图集分片与组件轨道)等的关联关系精细化到单个组件轨道的粒度,使得可以尽可能全面地保留组件轨道的信息,封装得到的目标文件中的组件轨道的信息也更加条理化及精细化。进一步地,将该目标文件发送至用户设备后,该用户设备可以精确选择需要的组件轨道,达到部分解封装和部分解码的目的,从而无需对目标文件进行全面解封装及解码,节省了数据处理所耗费的时间和资源,进而提高了数据处理的精确性及效率。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,当该程序指令被上述处理器执行时,可以实现图4或图6中各个步骤所提供的数据处理方法,具体可参见上述图4或图6各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,程序指令可被部署为在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例的说明书和权利要求书及附图中的术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (18)

1.一种数据处理方法,其特征在于,所述方法包括:
获取k个组件轨道及每个组件轨道对应的图集分片;所述组件轨道包括组件轨道数据盒,所述组件轨道数据盒包括分片数量及空间区域信息;所述分片数量是指所述组件轨道数据盒所属的组件轨道对应的图集分片的数量;所述空间区域信息是指所述组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
按照所述组件轨道数据盒对所述k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。
2.如权利要求1所述的方法,其特征在于,所述组件轨道数据盒包括轨道组数据盒;所述轨道组数据盒包括图集标识及图集分片标识;所述图集标识表示所述图集分片所属的容积视频的图集的标识;
当所述图集分片标识与所述图集标识相关联时,所述图集分片标识对应的图集分片属于所述图集标识对应的容积视频的图集。
3.如权利要求1所述的方法,其特征在于,所述组件轨道数据盒包括轨道组数据盒;所述轨道组数据盒包括图集标识及图集分片标识;所述图集标识表示所述图集分片所属的图集的标识;所述每个组件轨道对应的图集分片包括第一图集分片及第二图集分片;
当所述第一图集分片的第一图集分片标识所关联的图集标识,与所述第二图集分片的第二图集分片标识所关联的图集标识相同时,所述第一图集分片与所述第二图集分片属于同一个分片轨道组。
4.如权利要求1所述的方法,其特征在于,所述组件轨道还包括组件轨道类型;所述k个组件轨道包括第一组件轨道及第二组件轨道;
当所述第一组件轨道的第一组件轨道类型与所述第二组件轨道的第二组件轨道类型相同时,所述第一组件轨道对应的图集分片与所述第二组件轨道对应的图集分片属于同一个分片轨道组。
5.如权利要求1所述的方法,其特征在于,所述组件轨道数据盒包括组件信息数据盒,所述组件信息数据盒包括数据盒类型,所述数据盒类型表示所述组件信息数据盒指示所述组件信息数据盒所属的组件轨道的信息;所述k个组件轨道包括目标组件轨道;
当在所述目标组件轨道中封装所述组件信息数据盒时,所述组件信息数据盒指示所述目标组件轨道对应的图集分片及空间信息。
6.如权利要求1~5任一项所述的方法,其特征在于,所述按照所述组件轨道数据盒对所述k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件,包括:
获取轨道组划分信息,基于所述轨道组划分信息从所述k个组件轨道分别包括的组件轨道数据盒中,获取所述k个组件轨道的组件轨道信息;所述轨道组划分信息表示对所述k个组件轨道进行分组的方式;
基于所述轨道组划分信息及所述组件轨道信息对所述k个组件轨道进行划分,得到M个分片轨道组;M为正整数;
对所述M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
7.如权利要求6所述的方法,其特征在于,所述轨道组划分信息包括图集划分信息,所述k个组件轨道的组件轨道信息包括所述k个组件轨道分别对应的图集分片所关联的图集标识;所述图集标识表示所述图集分片所属的容积视频的图集的标识;
所述基于所述轨道组划分信息及所述组件轨道信息对所述k个组件轨道进行划分,得到M个分片轨道组,包括:
在所述k个组件轨道中,基于所述图集划分信息,将关联相同的图集标识的图集分片所对应的组件轨道进行分组,得到M个分片轨道组。
8.如权利要求6所述的方法,其特征在于,所述轨道组划分信息包括图集组件划分信息,所述k个组件轨道的组件轨道信息包括所述k个组件轨道分别对应的图集分片所关联的图集标识,以及所述k个组件轨道分别对应的组件轨道类型;所述图集标识表示所述图集分片所属的容积视频的图集的标识;
所述基于所述轨道组划分信息及所述组件轨道信息对所述k个组件轨道进行划分,得到M个分片轨道组,包括:
在所述k个组件轨道中,基于所述图集组件划分信息,将具有相同的组件轨道类型,且关联相同的图集标识的组件轨道进行分组,得到M个分片轨道组。
9.如权利要求6所述的方法,其特征在于,所述基于所述轨道组划分信息及所述组件轨道信息对所述k个组件轨道进行划分,得到M个分片轨道组,包括:
基于所述组件轨道信息确定所述k个组件轨道分别对应的组件轨道类型,以及所述k个组件轨道分别对应的图集分片所属的图集标识;所述图集标识表示所述图集分片所属的容积视频的图集的标识;
若所述k个组件轨道中存在待划分组件轨道,则基于所述待划分组件轨道对应的图集分片所属的图集标识,将所述待划分组件轨道拆分为至少两个组件子轨道;所述待划分组件轨道是指对应至少两个图集分片,且所述至少两个图集分片分别对应的图集标识不相同的组件轨道;所述组件子轨道所对应的图集分片关联同一个图集标识;
将所述至少两个组件子轨道及常规组件轨道,确定为候选组件轨道;所述常规组件轨道是指所述k个组件轨道中除所述待划分组件轨道之外的组件轨道;
将具有相同的组件轨道类型,且关联相同的图集标识的候选组件轨道进行划分,得到M个分片轨道组。
10.如权利要求6所述的方法,其特征在于,所述对所述M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件,包括:
获取所述M个分片轨道组中,第i个分片轨道组对应的组件轨道类型信息的轨道索引i;i为小于或等于M的正整数;
为所述第i个分片轨道组添加所述轨道索引i,基于所述轨道索引i,对所述第i个分片轨道组与所述第i个分片轨道组所包括的组件轨道对应的图集分片进行关联;
根据关联结果对所述M个分片轨道组及每个分片轨道组关联的图集分片进行封装,得到目标文件。
11.一种数据处理方法,其特征在于,所述方法包括:
获取目标文件中的k个组件轨道;所述组件轨道包括组件轨道数据盒,所述组件轨道数据盒包括分片数量及空间区域信息;所述分片数量是指所述组件轨道数据盒所属的组件轨道对应的图集分片的数量;所述空间区域信息是指所述组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
按照所述组件轨道数据盒对目标文件进行解封装,得到分片显示内容。
12.如权利要求11所述的方法,其特征在于,所述按照所述组件轨道数据盒对目标文件进行解封装,得到分片显示内容,包括:
当响应针对目标组件轨道的显示请求时,从目标文件中获取所述目标组件轨道所包括的目标组件轨道数据盒,从所述目标组件轨道数据盒中获取所述目标组件轨道对应的目标分片数量;
基于所述目标分片数量对所述目标文件进行h次迭代解封装,得到所述目标组件轨道对应的分片显示内容;h为所述目标分片数量。
13.如权利要求11所述的方法,其特征在于,所述按照所述组件轨道数据盒对目标文件进行解封装,得到分片显示内容,包括:
当响应针对待处理图集分片的显示请求时,获取所述待处理图集分片的待处理图集分片标识;
从所述目标文件中获取所述k个组件轨道分别包括的组件轨道数据盒,基于所述组件轨道数据盒中的分片数量及所述待处理图集分片标识,对所述k个组件轨道分别包括的组件轨道数据盒进行遍历查找;
将查找到所述待处理图集分片标识的组件轨道数据盒所属的组件轨道确定为待处理组件轨道;
对所述待处理组件轨道进行解封装处理,得到所述待处理图集分片对应的分片显示内容。
14.如权利要求11所述的方法,其特征在于,所述按照所述组件轨道数据盒对目标文件进行解封装,得到分片显示内容,包括:
按照所述组件轨道数据盒对目标文件进行解封装,得到所述k个组件轨道及每个组件轨道对应的图集分片;
基于所述k个组件轨道分别包括的组件轨道数据盒中的空间区域信息,确定所述k个组件轨道在容积视频中所处的空间区域;
根据所述k个组件轨道在容积视频中所处的空间区域,以及所述每个组件轨道对应的图集分片,生成分片显示内容。
15.一种数据处理装置,其特征在于,所述装置包括:
数据获取模块,用于获取k个组件轨道及每个组件轨道对应的图集分片;所述组件轨道包括组件轨道数据盒,所述组件轨道数据盒包括分片数量及空间区域信息;所述分片数量是指所述组件轨道数据盒所属的组件轨道对应的图集分片的数量;所述空间区域信息是指所述组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
数据封装模块,用于按照所述组件轨道数据盒对所述k个组件轨道及每个组件轨道对应的图集分片进行封装,得到目标文件。
16.一种数据处理装置,其特征在于,所述装置包括:
轨道获取模块,用于获取目标文件中的k个组件轨道;所述组件轨道包括组件轨道数据盒,所述组件轨道数据盒包括分片数量及空间区域信息;所述分片数量是指所述组件轨道数据盒所属的组件轨道对应的图集分片的数量;所述空间区域信息是指所述组件轨道数据盒所属的组件轨道的空间区域;k为正整数;
数据解封装模块,用于按照所述组件轨道数据盒对目标文件进行解封装,得到分片显示内容。
17.一种计算机设备,其特征在于,包括处理器、存储器、输入输出接口;
所述处理器分别与所述存储器和所述输入输出接口相连,其中,所述输入输出接口用于接收数据及输出数据,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-10任一项所述的方法,或者执行权利要求11-14任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-10任一项所述的方法,或者执行权利要求11-14任一项所述的方法。
CN202110786808.7A 2021-07-12 2021-07-12 一种数据处理方法、装置、计算机及可读存储介质 Pending CN115618027A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202110786808.7A CN115618027A (zh) 2021-07-12 2021-07-12 一种数据处理方法、装置、计算机及可读存储介质
JP2023554318A JP2024511726A (ja) 2021-07-12 2022-06-20 データ処理方法、装置、コンピュータ機器、記憶媒体及びコンピュータプログラム
EP22841128.6A EP4373089A1 (en) 2021-07-12 2022-06-20 Data processing method and apparatus, computer, and readable storage medium
KR1020237029719A KR20230141835A (ko) 2021-07-12 2022-06-20 데이터 처리 방법 및 장치, 컴퓨터 및 판독 가능한 저장 매체
PCT/CN2022/099726 WO2023284488A1 (zh) 2021-07-12 2022-06-20 一种数据处理方法、装置、计算机及可读存储介质
US18/239,080 US20230403383A1 (en) 2021-07-12 2023-08-28 Data processing method and apparatus, computer and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110786808.7A CN115618027A (zh) 2021-07-12 2021-07-12 一种数据处理方法、装置、计算机及可读存储介质

Publications (1)

Publication Number Publication Date
CN115618027A true CN115618027A (zh) 2023-01-17

Family

ID=84855492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110786808.7A Pending CN115618027A (zh) 2021-07-12 2021-07-12 一种数据处理方法、装置、计算机及可读存储介质

Country Status (6)

Country Link
US (1) US20230403383A1 (zh)
EP (1) EP4373089A1 (zh)
JP (1) JP2024511726A (zh)
KR (1) KR20230141835A (zh)
CN (1) CN115618027A (zh)
WO (1) WO2023284488A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2585760B (en) * 2018-06-06 2022-04-20 Canon Kk Method, device, and computer program for transmitting media content
EP4042381A4 (en) * 2019-09-30 2022-11-02 ZTE Corporation POINT CLOUD DATA FILE FORMAT
BR112022012990A2 (pt) * 2019-12-31 2022-11-16 Nokia Technologies Oy Um método, um aparelho e um produto de programa de computador para codificação de vídeo e decodificação de vídeo
CN112492385A (zh) * 2020-09-30 2021-03-12 中兴通讯股份有限公司 点云数据处理方法、装置、存储介质及电子装置
CN112700550A (zh) * 2021-01-06 2021-04-23 中兴通讯股份有限公司 三维点云数据处理方法、装置、存储介质及电子装置
CN112887733A (zh) * 2021-01-25 2021-06-01 中兴通讯股份有限公司 一种容积媒体处理方法、装置、存储介质及电子装置
CN112804256B (zh) * 2021-02-09 2022-05-24 腾讯科技(深圳)有限公司 多媒体文件中轨道数据的处理方法、装置、介质及设备

Also Published As

Publication number Publication date
US20230403383A1 (en) 2023-12-14
EP4373089A1 (en) 2024-05-22
KR20230141835A (ko) 2023-10-10
JP2024511726A (ja) 2024-03-15
WO2023284488A1 (zh) 2023-01-19

Similar Documents

Publication Publication Date Title
CN110876051A (zh) 视频数据的处理,传输方法及装置,视频数据的处理系统
US20230421810A1 (en) Encapsulation and decapsulation methods and apparatuses for point cloud media file, and storage medium
CN114095737B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
EP4283996A1 (en) Volumetric media processing method and apparatus, and storage medium and electronic apparatus
US20220360819A1 (en) Volumetric media process methods and apparatus
CN116744007A (zh) 点云媒体的编解码方法及相关产品
CN113891117A (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
US20220215616A1 (en) File format for point cloud data
CN113949829B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
CN115396647B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN114116617A (zh) 点云媒体的数据处理方法、装置、设备及可读存储介质
CN115396646B (zh) 一种点云媒体的数据处理方法及相关设备
CN115618027A (zh) 一种数据处理方法、装置、计算机及可读存储介质
KR102647019B1 (ko) 멀티뷰 비디오 프로세싱 방법 및 장치
CN115086635B (zh) 多视角视频的处理方法、装置、设备及存储介质
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
CN114374675B (zh) 媒体文件的封装方法、媒体文件的解封装方法及相关设备
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
WO2023024843A1 (zh) 媒体文件封装与解封装方法、设备及存储介质
JP2023551010A (ja) 没入型メディアのマルチアトラスカプセル化
CN115481280A (zh) 容积视频的数据处理方法、装置、设备及可读存储介质
CN115426502A (zh) 点云媒体的数据处理方法、装置、设备及存储介质
CN116939290A (zh) 媒体数据处理方法、装置、设备及存储介质
CN115733576A (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
CN115834857A (zh) 点云数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40079459

Country of ref document: HK