CN114969394A - 非时序点云媒体的数据处理方法、装置以及设备 - Google Patents
非时序点云媒体的数据处理方法、装置以及设备 Download PDFInfo
- Publication number
- CN114969394A CN114969394A CN202110197827.6A CN202110197827A CN114969394A CN 114969394 A CN114969394 A CN 114969394A CN 202110197827 A CN202110197827 A CN 202110197827A CN 114969394 A CN114969394 A CN 114969394A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- viewing area
- attribute information
- time
- cloud media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/44—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种非时序点云媒体的数据处理方法、装置以及设备,涉及计算机视觉(图像)技术领域中的非时序点云媒体技术领域,该非时序点云媒体的数据处理方法,包括:获取非时序点云媒体对应的观看区域的属性信息;基于该非时序点云媒体对应的观看区域的属性信息,呈现该非时序点云媒体。通过在非时序点云媒体对应的观看区域的属性信息中引入第一指示信息,在指示该非时序点云媒体存在推荐观看区域的情况下,能够在非时序点云媒体封装结构的基础上,支持根据非时序点云媒体的推荐观看区域请求和消费非时序点云媒体,使得非时序点云媒体的传输和消费环节更加高效,并支持更灵活的非时序点云媒体呈现形式。
Description
技术领域
本申请实施例涉及人工智能的计算机视觉(图像)技术领域,尤其涉及非时序点云媒体技术领域,并且更具体地,涉及非时序点云媒体的数据处理方法、装置以及设备。
背景技术
随着科学技术的不断发展,目前已经能够以较低的成本、在较短的时间周期内获得大量高精度的点云数据,点云数据往往以点云媒体的形式在内容制作设备与内容消费设备之间进行传输。
点云媒体的传输过程具体如下:内容制作设备对点云媒体进行编码后,对编码后的点云媒体进行封装,得到点云媒体的封装文件,内容制作设备将点云媒体的封装文件传输给内容消费设备;内容消费设备对内容制作设备传输的点云媒体的封装文件进行解封装,然后再进行解码,最后内容消费设备呈现该媒体文件。由于点云媒体中包含的点云数据的数量较大,怎样提升点云媒体的解析处理效率,从而为点云媒体的消费带来较佳体验,是业界一直在持续解决的问题。
发明内容
本申请提供了一种非时序点云媒体的数据处理方法、装置以及设备,能够使得非时序点云媒体的传输和消费环节更加高效,并支持更灵活的非时序点云媒体呈现形式。
一方面,本申请提供了一种非时序点云媒体的数据处理方法,包括:
获取非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示该非时序点云媒体是否存在推荐观看区域的第一指示信息;
基于该非时序点云媒体对应的观看区域的属性信息,呈现该非时序点云媒体。
另一方面,本申请提供了一种非时序点云媒体的数据处理方法,包括:
生成非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示该非时序点云媒体是否存在推荐观看区域的第一指示信息;
基于该非时序点云媒体对应的观看区域的属性信息,配置该非时序点云媒体的动态自适应流媒体传输DASH信令消息和该非时序点云媒体的属性信息数据盒。
另一方面,本申请提供了一种点云媒体的数据处理装置,包括:
获取单元,用于获取非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示该非时序点云媒体是否存在推荐观看区域的第一指示信息;
呈现单元,用于基于该非时序点云媒体对应的观看区域的属性信息,呈现该非时序点云媒体。
另一方面,本申请提供了一种点云媒体的数据处理装置,该方法包括:
获取单元,用于生成非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示该非时序点云媒体是否存在推荐观看区域的第一指示信息;
配置单元,用于基于该非时序点云媒体对应的观看区域的属性信息,配置该非时序点云媒体的动态自适应流媒体传输DASH信令消息和该非时序点云媒体的属性信息数据盒。
另一方面,本申请实施例提供一种点云媒体的数据处理设备,该点云媒体的数据处理设备包括:
处理器,适于实现计算机指令;以及,
计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令适于由处理器加载并执行上述的点云媒体的数据处理方法。
另一方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,该计算机指令被计算机设备的处理器读取并执行时,使得计算机设备执行上述的点云媒体的数据处理方法。
本申请提供的非时序点云媒体的数据处理方法,通过引入非时序点云媒体对应的观看区域的属性信息,并在非时序点云媒体对应的观看区域的属性信息中引入第一指示信息,在指示该非时序点云媒体存在推荐观看区域的情况下,能够在非时序点云媒体封装结构的基础上,支持根据非时序点云媒体的推荐观看区域请求和消费非时序点云媒体,使得非时序点云媒体的传输和消费环节更加高效,并支持更灵活的非时序点云媒体呈现形式。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的点云媒体的数据处理系统的示意框图。
图2a是本申请实施例提供的点云媒体的数据处理架构的示意图。
图2b和图2c是本申请实施例提供的样本的示意结构图。
图3至图7是本申请实施例提供的非时序点云媒体的数据处理方法的示意性流程图。
图8和图9是本申请实施例提供的非时序点云媒体的数据处理装置的示意框图。
图10是本申请实施例提供的非时序点云媒体的数据处理设备的示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供的方案可涉及人工智能技术。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
应理解,人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例可涉及人工智能技术中的计算机视觉(Computer Vision,CV)技术,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供一种计算机视觉技术中与点云媒体的数据处理相关的技术领域。
下面对点云相关的概念进行说明。
点云(Point Cloud)是空间中一组无规则分布的、表达三维物体或三维场景的空间结构及表面属性的离散点集。
点云数据(Point Cloud Data)是点云的具体记录形式,点云中每个点的点云数据可以包括几何信息和属性信息,其中,点云中每个点的几何信息是指该点的笛卡尔三维坐标数据,点云中每个点的属性信息可以包括但不限于以下至少一种:色彩信息、材质信息、激光反射强度信息。色彩信息可以是任意一种色彩空间上的信息。例如,色彩信息可以是红绿蓝(Red Green Blue,RGB)信息。再如,色彩信息还可以是亮度色度(YcbCr,YUV)信息。其中,Y表示明亮度(Luma),Cb(U)表示蓝色色差,Cr(V)表示红色,U和V表示为色度(Chroma),色度用于描述色差信息。
点云中的每个点都具有相同数量的属性信息。例如,点云中的每个点都具有色彩信息和激光反射强度两种属性信息。再如,点云中的每个点都具有色彩信息、材质信息和激光反射强度信息三种属性信息。在点云媒体的封装过程中,点的几何信息也可称为点云媒体的几何分量或几何成分(Geometry Component),点的属性信息也可称为点云媒体的属性分量或属性成分(Attribute Component)。点云媒体可包括一个几何成分以及一个或多个属性成分。
基于应用场景可以将点云划分为两大类别,即机器感知点云和人眼感知点云。机器感知点云的应用场景包括但不限于:自主导航系统、实时巡检系统、地理信息系统、视觉分拣机器人、抢险救灾机器人等点云应用场景。人眼感知点云的应用场景包括但不限于:数字文化遗产、自由视点广播、三维沉浸通信、三维沉浸交互等点云应用场景。点云的获取途径包括但不限于:计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云,每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云,每秒可以获取千万级点云。具体而言,可通过光电雷达、激光雷达、激光扫描仪、多视角相机等采集设备,可以采集得到物体表面的点云。根据激光测量原理得到的点云,其可以包括点的三维坐标信息和点的激光反射强度(reflectance)。根据摄影测量原理得到的点云,其可以可包括点的三维坐标信息和点的色彩信息。结合激光测量和摄影测量原理得到点云,其可以可包括点的三维坐标信息、点的激光反射强度(reflectance)和点的色彩信息。相应的,也可基于点云的获取途径将点云划分为三种类型的点云,即第一静态点云、第二类动态点云以及第三类动态获取点云。针对第一静态点云,物体是静止的,且获取点云的设备也是静止的;针对第二类动态点云,物体是运动的,但获取点云的设备是静止的;针对第三类动态获取点云,获取点云的设备是运动的。
例如,在医学领域,由磁共振成像(magnetic resonance imaging,MRI)、计算机断层摄影(computed tomography,CT)、电磁定位信息,可以获得生物组织器官的点云。这些技术降低了点云的获取成本和时间周期,提高了数据的精度。点云的获取方式的变革,使大量点云的获取成为可能。伴随着大规模的点云不断积累,点云的高效存储、传输、发布、共享和标准化,成为点云应用的关键。
点云数据可用于形成点云媒体,点云媒体可以是一个媒体文件。点云媒体可包括多个媒体帧,点云媒体中的每个媒体帧由点云数据组成。点云媒体可以灵活方便地表达三维物体或三维场景的空间结构及表面属性,因此被广泛应用。对点云媒体进行编码后,再对编码后的码流进行封装可形成封装文件,封装文件可用于传输给用户。相对应的,在点云媒体播放器端,需要先对封装文件进行解封装,然后再进行解码,最后对解码后的数据流进行呈现。封装文件也可称为点云文件。
截止目前,可通过点云编码框架对点云进行编码。
点云编码框架可以是运动图象专家组(Moving Picture Experts Group,MPEG)提供的基于几何的点云压缩(Geometry Point Cloud Compression,G-PCC)编解码框架或基于视频的点云压缩(Video Point Cloud Compression,V-PCC)编解码框架,也可以是音视频编码标准(Audio Video Standard,AVS)提供的AVS-PCC编解码框架。G-PCC编解码框架可用于针对第一静态点云和第三类动态获取点云进行压缩,V-PCC编解码框架可用于针对第二类动态点云进行压缩。G-PCC编解码框架也称为点云编解码器TMC13,V-PCC编解码框架也称为点云编解码器TMC2。
本申请实施例提供的点云媒体的数据处理方案。
图1是本申请实施例提供的点云媒体的数据处理系统100的架构示意图。
如图1所示,该点云媒体的数据处理系统100包括内容消费设备101和内容制作设备102。其中,内容制作设备102是指点云媒体的提供者(例如点云媒体的内容制作者)所使用的计算机设备,该计算机设备可以是终端(例如PC(PersonalComputer,个人计算机)、智能移动设备(例如智能手机)等)、服务器、可移动平台(例如无人机(UnmannedAerialVehicle,UAV)、机器人等)等具备点云媒体编码、封装能力的设备;内容消费设备101是指点云媒体的使用者(例如用户)所使用的计算机设备,该计算机设备可以是终端(例如PC(PersonalComputer,个人计算机)、智能移动设备(例如智能手机)、VR(VirtualReality,虚拟现实)设备(例如VR头盔、VR眼镜)等)等具备点云媒体解封装、解码能力的设备。
内容制作设备102和内容消费设备101可以通过有线通信或者无线通信的方式进行直接或间接地连接,本申请实施例在此不做限制。
图2a是本申请实施例提供的点云媒体的数据处理架构的架构示意图。下面将结合图1所示的点云媒体的数据处理系统以及图2a所示的点云媒体的数据处理架构,对本申请实施例提供的点云媒体的数据处理方案进行介绍。
如图2a所示,点云媒体的数据处理过程包括内容制作设备侧的数据处理过程以及内容消费设备侧的数据处理过程,具体处理过程如下:
一、内容制作设备侧的数据处理过程:
(1)、点云数据的获取过程。
在一种实现方式中,从点云数据的获取方式看,点云数据的获取方式可以分为通过捕获设备采集真实世界的视觉场景以获取以及通过计算机设备生成两种方式。在一种实现方式中,捕获设备可以是设置于内容制作设备中的硬件组件,例如捕获设备是终端的摄像头、传感器等。捕获设备也可以是与内容制作设备相连接的硬件装置,例如与服务器相连接的摄像头等。捕获设备用于为内容制作设备提供点云数据的获取服务,捕获设备可以包括但不限于以下任一种:摄像设备、传感设备、扫描设备;其中,摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等;传感设备可以包括激光设备、雷达设备等;扫描设备可以包括3D激光扫描设备等。捕获设备的数量可以为多个,这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的点云数据,捕获到的点云数据在时间上和空间上均保持同步。在另一种实现方式中,计算机设备可以根据虚拟三维物体及虚拟三维场景的生成点云数据。由于点云数据的获取方式不同,通过不同方式获取到的点云数据对应的压缩编码方式也可能有所区别。
(2)点云数据的编码及封装过程。
在一种实现方式中,内容制作设备可以采用基于几何的点云压缩(Geometry-BasedPointCloudCompression,GPCC)编码方式或者基于传统视频编码的点云压缩(Video-BasedPointCloudCompression,VPCC)编码方式对获取到的点云数据进行编码处理,得到点云数据的GPCC比特流或者VPCC比特流。以GPCC编码方式为例,内容制作设备采用文件轨道对编码后的点云数据的GPCC比特流进行封装;所谓文件轨道是指编码后的点云数据的GPCC比特流的封装容器;所谓封装容器就是把编码器生成的多媒体内容(视频,音频,字幕,章节信息等)混合封装在一起的标准。封装容器可以使得不同多媒体内容同步播放变得很简单。GPCC比特流可以封装在单个文件轨道中,GPCC比特流也可以封装到多个文件轨道中,以形成封装文件。GPCC比特流封装在单个文件轨道中和GPCC比特流封装在多个文件轨道中的具体情况如下:
①、GPCC比特流封装在单个文件轨道中。
当GPCC比特流在单个文件轨道中传输时,要求GPCC比特流根据单个文件轨道的传输规则进行声明并表示。封装在单个文件轨道中的GPCC比特流无需进行进一步处理,可以通过国际标准化组织基本媒体文件格式(InternationalOrganizationforStandardizationBaseMediaFileFormat,ISOBMFF)进行封装。具体而言,封装在单个文件轨道中的每个样本(Sample)都包含一个或多个GPCC成分,所谓样本是指一个或多个点云的封装结构的集合。例如类型-长度-值字节流格式(Type-Length-ValueByteStreamFormat,TLV)封装结构。样本是点云媒体封装过程中的封装单位;点云媒体包含多个样本,一个样本通常为点云媒体的一个媒体帧,以视频媒体为例,视频媒体的一个样本为一个视频帧。
图2b是本申请实施例提供的一种样本的示意结构图。
如图2b所示,在进行单个文件轨道传输时,该文件轨道中的样本由GPCC参数集TLV、几何比特流TLV和属性比特流TLV组成,该样本被封装到单个文件轨道中。
②、GPCC比特流封装在多个文件轨道中。
当编码的GPCC几何比特流和编码的GPCC属性比特流在不同的文件轨道中进行传输时,文件轨道中的每个样本都包含至少一个TLV封装结构,该TLV封装结构中携带单个GPCC成分的数据,并且TLV封装结构中不同时包含编码的GPCC几何比特流和编码的GPCC属性比特流。
假设存在文件轨道1和文件轨道2,在文件轨道1中传输的样本1可包含编码的GPCC几何比特流,并不包含编码的GPCC属性比特流;在文件轨道2中传输的样本2可包含编码的GPCC属性比特流,并不包含编码的GPCC几何比特流。由于内容消费设备在解码时首先应对编码的GPCC几何比特流进行解码,而编码的GPCC属性比特流的解码取决于解码后的几何信息,因此将不同的GPCC分量比特流封装在单独的文件轨道中,使得内容消费设备可以在编码的GPCC属性比特流之前访问承载编码的GPCC几何比特流的文件轨道。
图2c是本申请实施例提供的另一种样本的示意结构图。
如图2c所示,在进行多个文件轨道传输时,编码的GPCC几何比特流和编码的GPCC属性比特流在不同的文件轨道中进行传输,该文件轨道中的样本由GPCC参数集TLV、几何比特流TLV组成,样本中不包含属性比特流TLV,该样本被封装在多个文件轨道中的任一个文件轨道中。
在一种实现方式中,获取到的点云数据经内容制作设备编码、封装后形成点云媒体的封装文件,该点云媒体的封装文件可以是整个媒体文件,也可以是媒体文件中的媒体片段;并且内容制作设备按照点云媒体的文件格式要求采用媒体呈现描述信息记录该点云媒体的封装文件的元数据,例如,采用媒体演示描述(MediaPresentationDescription,MPD)文件记录该点云媒体的封装文件的元数据。此处的元数据是对与点云媒体的呈现有关的信息的总称,该元数据可以包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。内容制作设备将MPD文件下发至内容消费设备,以使内容消费设备根据该MDP文件中的相关描述信息请求获取点云媒体的封装文件。具体地,点云媒体的封装文件可通过传输机制由内容制作设备下发至内容消费设备。作为示例,传输机制可以是动态自适应流媒体传输(Dynamic Adaptive Streaming over HTTP,DASH)、智能媒体传输(Smart Media Transport,SMT)。
内容制作设备将经过压缩后的点云数据封装成一系列小型的基于超文本传输协议(Hyper Text Transfer Protocol,HTTP)的媒体片段,每个媒体片段包含的时间可以设置,一般包含时间较短,但是每个媒体片段有多种码率的版本,这样可以更精确地实现网络自适应下载。内容消费设备将根据当前网络条件自适应地选择下载和播放当前网络能够承载的最高比特率版本,由此,既可以保证当前媒体的质量,又能避免由于码率过高导致的播放卡顿或重新缓冲事件。基于此,可以实现动态无缝适应实时的网络条件并提供高质量的播放内容,拥有更少的卡顿,极大地提升了用户体验。换言之,码率切换以媒体片段为单位,当网络带宽较好时,内容消费设备可以请求对应时间较高码率的媒体片段;而当带宽变差时,内容消费设备则下载对应码率较低的媒体片段。由于不同质量的媒体片段在时间上都是相互对齐的,因此不同质量的媒体片段之间切换时,画面是自然流畅的。
通过媒体演示描述(media presentation description,MPD)文件可精确描述封装文件,MPD文件可以是一个可扩展标示语言(Extensive Markup Language,XML)文件,并完整描述了封装文件的所有信息,包括各类音视频参数、媒体片段的时长、不同媒体片段的码率、分辨率以及对应的统一资源定位符(Uniform Resource Locator,URL)等等,内容消费设备通过首先下载并解析MPD文件,可获取到与自身性能和带宽最匹配的媒体片段。MPD文件可以包含一个或多个自适应集(AdaptationSets)。例如,一个自适应集包含同一视频内容的多个不同比特率的视频片段,另一个自适应集包含同一音频内容的多个不同比特率的视频片段。一个自适应集可以包含多个表示(Representation)。一个表示可包括一个或多个媒体内容的组合,比如某种分辨率的视频文件可以看做一个表示。
内容消费设备根据MPD文件的URL向服务器发送请求获取MPD文件,内容消费设备首先解析MPD文件,得到封装文件的内容信息,包括视频分辨率、视频内容种类、分段情况、帧率、码率以及各个媒体片段的URL地址等媒体配置信息。内容消费设备通过分析上述封装文件的内容信息,根据当前网络状态以及客户端缓冲区的大小等选择合适的媒体片段。然后通过向内容制作设备发送请求,根据媒体URL下载对应的媒体片段并进行流式传输。内容消费设备收到对应的封装文件之后,进行解封装得到裸码流,最后送入解码器进行解码播放。
二、内容消费设备侧的数据处理过程:
(1)、点云数据的解封装及解码过程。
在一种实现方式中,内容消费设备可以通过内容制作设备下发的MDP文件获取点云媒体的封装文件。内容消费设备端的文件解封装的过程与内容制作设备端的文件封装过程是相逆的,内容消费设备按照点云媒体的文件格式要求对点云媒体的封装文件进行解封装,得到编码比特流,即GPCC比特流或VPCC比特流。内容消费设备端的解码过程与内容制作设备端的编码过程是相逆的,内容消费设备对编码比特流进行解码,还原出点云数据。点云数据的渲染过程。在一种实现方式中,内容消费设备根据MDP文件中与渲染、视窗相关的元数据对GPCC比特流解码得到的点云数据进行渲染,渲染完成即实现了对点云数据对应的视觉场景的呈现。
本申请实施例中,对于内容制作设备端,首先通过采集设备对真实世界的视觉场景进行采样,得到与真实世界的视觉场景对应的点云数据;然后通过GPCC编码方式或VPCC编码方式对获取的点云数据进行编码处理,得到GPCC比特流或VPCC比特流,GPCC比特流或VPCC比特流中均可包括编码后的几何比特流和编码后的属性比特流;接着对GPCC比特流或者VPCC比特流进行封装得到点云媒体的封装文件,即媒体文件或媒体片段。内容制作设备还可以将元数据封装到媒体文件或媒体片段中,并通过传输机制将点云媒体的封装文件下发至内容消费设备,例如通过动态自适应流媒体传输机制将点云媒体的封装文件下发至内容消费设备。
对于内容消费设备端,首先接收内容制作设备发送的点云媒体的封装文件;然后对点云媒体的封装文件进行解封装处理,得到编码的GPCC比特流(或者VPCC比特流)以及元数据;接着解析编码的GPCC比特流或VPCC比特流中的元数据,即对编码的GPCC比特流或VPCC比特流进行解码处理,得到点云数据;最后基于当前用户的观看(视窗)方向,对解码后的点云数据进行渲染,并显示在内容消费设备中。需要说明的是,当前用户的观看(视窗)方向由头部跟踪以及视觉跟踪功能确定。除了通过渲染器用来渲染当前用户的观看(视窗)方向的点云数据外,还可以通过音频解码器来对当前用户的观看(视窗)方向的音频进行解码优化。通过内容制作设备对采集到的点云数据进行编码、封装,实现了点云数据的存储和传输;内容制作设备将封装得到的点云媒体的封装文件下发至内容消费设备,实现了点云数据的发布和共享;内容消费设备对点云媒体的封装文件进行解封装、解码消费,使得真实世界的视觉场景在内容消费设备中得以呈现。
可以理解的是,本申请实施例描述的点云媒体的数据处理系统是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题或场景,同样适用。
由上述点云媒体的数据处理过程可知,内容制作设备需要对点云媒体进行编码、封装成点云媒体的封装文件后才能下发至内容消费设备,相应地,内容消费设备需要对点云媒体的封装文件进行解封装、解码后才能渲染呈现该点云媒体。本申请实施例提供的点云媒体的数据处理系统支持数据盒(Box),例如ISOBMFF数据盒,数据盒是指包括元数据的数据块或包括元数据的对象,即数据盒中包含了点云媒体的元数据;点云媒体可以关联多个数据盒。例如,可用于描述点云媒体对应的观看区域的属性信息的属性信息数据盒,该属性信息数据盒可用于对编码的GPCC比特流或VPCC比特流进行解码处理。
本申请实施例涉及的点云媒体包括动态点云媒体和静态点云媒体,静态点云媒体也称为非时序点云媒体。对于静态点云媒体来说,目前仅提供了非时序点云媒体的基本封装方法,并未支持非时序点云媒体的用于确定推荐观看区域的方案。因此,本申请针对非时序点云媒体,在非时序点云媒体封装结构的基础上,引入了非时序点云媒体对应的观看区域的属性信息,能够在非时序点云媒体封装结构的基础上,支持根据非时序点云媒体对应的观看区域的属性信息求和消费非时序点云媒体,使得非时序点云媒体的传输和消费环节更加高效,并支持更灵活的非时序点云媒体呈现形式。
图3是本申请实施例提供的点云媒体的数据处理方法200的示意性流程图。该方法200可由点云媒体系统中的内容消费设备来执行。例如,内容消费客户端。
如图3所示,该方法200可包括:
S210,获取非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示该非时序点云媒体是否存在推荐观看区域的第一指示信息;当然,该第一指示信息也可以理解为用于指示该非时序点云媒体对应的观看区域的属性信息属性信息是否包括该非时序点云媒体的推荐观看区域。
S220,基于该非时序点云媒体对应的观看区域的属性信息,呈现该非时序点云媒体。
内容消费设备获取非时序点云媒体对应的观看区域的属性信息后,可根据该非时序点云媒体对应的观看区域的属性信息中包括的具体信息,呈现该非时序点云媒体。
例如,内容制备设备根据非时序点云媒体的内容,确定点云文件的观看区域以及推荐观看区域的观看时间,该观看区域包括初始观看区域和推荐观看区域,该推荐观看区域包括该初始观看区域;内容制备设备根据非时序点云媒体的推荐观看区域,在非时序点云媒体的封装过程中生成属性信息数据盒以及相应的信令消息;内容制备设备将信令消息发送给内容消费设备;内容消费设备根据信令消息,请求对应的封装文件;内容消费设备接收内容制备设备发送的封装文件;内容消费设备根据信令消息、封装文件中相应的属性信息数据盒信息,按照非时序点云媒体的初始观看区域、推荐观看区域、推荐观看时间等信息为用户呈现非时序点云媒体的内容。
在一些实施例中,若该非时序点云媒体不存在M个推荐观看区域,则该第一指示信息的取值为第一取值;若该非时序点云媒体存在该M个推荐观看区域的属性信息,则该第一指示信息的取值为第二取值;M≥1。在一种实现方式中,该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的属性信息;该M个推荐观看区域的属性信息包括以下中的至少一项:该M个推荐观看区域对应的三维空间结构数据、该M个推荐观看区域对应的区域标识、以及该M个推荐观看区域对应的标题标识。在一种实现方式中,该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的属性信息;该非时序点云媒体对应的观看区域的属性信息还包括数量指示信息,该数量指示信息的取值用于指示该M个推荐观看区域的数量,该M个推荐观看区域的数量大于0。
在指示该非时序点云媒体存在推荐观看区域的情况下,通过指示非时序点云媒体的推荐观看区域,可以支持客户端根据推荐的观看区域请求和消费非时序点云媒体,使得非时序点云媒体的传输和消费环节更加高效,并支持更灵活的非时序点云媒体呈现形式。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息还包括用于指示该非时序点云媒体对应的观看区域的属性信息是否包括初始观看区域的第二指示信息;若该非时序点云媒体对应的观看区域的属性信息不包括该初始观看区域,则该第二指示信息的取值为第三取值;若该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域,则该第二指示信息的取值为第四取值。在一种实现方式中,若该非时序点云媒体存在初始观看区域,则该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域;若该非时序点云媒体不存在初始观看区域,则该非时序点云媒体对应的观看区域的属性信息不包括该初始观看区域。当然,本申请实施例并不限于此。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息还包括用于指示该非时序点云媒体的推荐观看区域是否包括该初始观看区域的第三指示信息;若该非时序点云媒体的推荐观看区域不包括该初始观看区域,则该第三指示信息的取值为第五取值;若该非时序点云媒体的推荐观看区域包括该初始观看区域,则该第三指示信息的取值为第六取值。在一种实现方式中,若该非时序点云媒体存在初始观看区域,且该非时序点云媒体的推荐观看区域不包括该初始观看区域,则该第二指示信息的取值为第四取值;若该非时序点云媒体存在初始观看区域,且该非时序点云媒体的推荐观看区域包括该初始观看区域,则该第二指示信息的取值为该第三取值或该第四取值,当然,本申请实施例并不限于此。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域的属性信息;该初始观看区域的属性信息包括以下中的至少一项:该初始观看区域的三维空间结构数据、该初始观看区域的三维空间结构数据对应的区域标识、以及该初始观看区域的三维空间结构数据对应的标题标识。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息包括M个推荐观看区域的属性信息;该非时序点云媒体对应的观看区域的属性信息还包括呈现时长指示信息,该呈现时长指示信息用于指示该非时序点云媒体对应的观看区域的属性信息是否包括该M个推荐观看区域的呈现时长;若该呈现时长指示信息用于指示该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的呈现时长,该非时序点云媒体对应的观看区域的属性信息还包括呈现时长信息,该呈现时长信息的取值用于指示该M个推荐观看区域中每一个推荐观看区域的呈现时长;M≥1。
在具体实现中,本申请在系统层添加若干描述性字段,包括文件封装层面和系统信令层面的字段扩展,以支持本申请的实施步骤。下文中,以扩展ISOBMFF数据盒(即属性信息数据盒)和DASH信令的形式举例,定义了针对非时序点云文件的观看区域的属性信息以及针对非时序点云文件的观看区域的指示信令。
针对属性信息数据盒的语法的示例,一种实现可参见下述表1:
表1
上述表1涉及语法的语义如下:
1、初始观看区域的指示信息(initial_region_indicated):
用于指示属性信息数据盒中是否包括非时序点云媒体的初始观看区域的属性信息。例如,取值为1时表明属性信息数据盒中包含非时序点云媒体的初始观看区域的属性信息。取值为0时表明属性信息数据盒中不包含非时序点云媒体的初始观看区域的属性信息。为便于描述,本申请将该初始观看区域的指示信息简称为第二指示信息。
2、推荐观看区域的指示信息(recommended_region_indicated):
用于指示属性信息数据盒中是否包括非时序点云媒体的推荐观看区域的属性信息。例如,取值为1时表明属性信息数据盒中包含非时序点云媒体的推荐观看区域的属性信息。取值为0时表明属性信息数据盒中不包含非时序点云媒体的推荐观看区域的属性信息。为便于描述,本申请将该推荐观看区域的指示信息简称为第一指示信息。需要说明的是,当第一指示信息取值为1时,如果推荐观看区域包含初始观看区域,此时第二指示信息的取值可以为0。但本申请不对此做强制限制,二者也可以同时置1,此时推荐观看区域的属性信息中也可以包含于初始观看区域的属性信息。
3、呈现时长指示信息(presentation_duration_indicated):
用于指示属性信息数据盒中是否包括推荐观看区域对应的呈现时长信息。例如,取值为1时表明属性信息数据盒中包含非时序点云媒体的推荐观看区域呈现时持续时间的信息。取值为0时表明属性信息数据盒中不包含非时序点云媒体的推荐观看区域呈现时持续时间的信息。
4、三维空间结构数据(3DSpatialRegionStruct):
用于指示非时序点云媒体的观看区域的三维空间结构数据,例如用于指示初始观看区域的三维空间结构数据或者推荐观看区域的三维空间结构数据。
5、数量指示信息(num_recommended_regions):
用于指示推荐观看区域的数量。
6、呈现时长信息(presentation_duration):
用于指示推荐观看区域的呈现时长。
需要说明的是,对于初始观看区域、推荐观看区域,除了直接指示三维空间结构数据之外,还可以通过标题标识(tile ID)或区域标识(region ID)的方式来索引相应的空间信息。每一个标题标识都对应有一个观看区域,每一个区域标识都对应有一个观看区域。三维空间结构数据(3DSpatialRegionStruct)可包括对应的区域标识。
针对属性信息数据盒的语法的示例,一种实现可参见下述表2:
表2
上述表2涉及语法的语义如下:
7、标题标识数量(num_tiles):
用于指示初始观看区域或推荐观看区域对应的标题标识的数量。
8、标题标识(tile_id);
用于指示初始观看区域或推荐观看区域对应的标题标识。
应理解,表2中的其他元素的含义可参考表1中的相应的元素的含义,为避免重复,此处不再赘述。
针对属性信息数据盒的语法的示例,一种实现可参见下述表3:
表3
上述表1涉及语法的语义如下:
9、区域标识数量(num_regions):
用于指示初始观看区域或推荐观看区域对应的区域标识的数量。
10、标题标识(region_id);
用于指示初始观看区域或推荐观看区域对应的区域标识。
应理解,表2中的其他元素的含义可参考表1中的相应的元素的含义,为避免重复,此处不再赘述。
需要说明的是,表1至表3仅为本申请的示例,不应理解为对本申请的限制。例如,本申请的其他可替代实施例中,属性信息数据盒可扩展为完整数据盒(FullBox),即属性信息数据盒中还可增加版本(version)字段等信息。此外,表1中的属性信息数据盒为应用于GPCC封装技术的数据盒,但在其他可替代实施例中,本申请的方案也可应用于至VPCC的封装技术。非时序点云媒体的属性信息数据盒可以是指国际标准化组织基媒体文件格式(ISOBaseMedia File Format,ISOBMFF)数据盒。内容消费设备在获取非时序点云媒体的成分属性数据盒后,按照属性信息数据盒对点云媒体对应的属性信息进行解析,并基于解析后的属性信息,呈现非时序点云媒体。
针对DASH信令,具体可参见下述表4:
表4
上述表4涉及元素的语义如下:
描述子(Descriptor)是一种数据特征的表示方法,定义数据特征的语法和语义。推荐空间信息(RcmdSpatialInfo)描述子用于描述GPCC项(item)相关的元素和属性,该描述子为一个属性补充(SupplementalProperty)元素。针对MPD文件,其可以包含一个或多个自适应集(AdaptationSets)。一个自适应集包含同一视频内容的多个不同比特率的视频片段,另一个自适应集包含同一音频内容的多个不同比特率的视频片段。一个自适应集可以包含多个表示(Representation)。一个表示可包括一个或多个媒体内容的组合,比如某种分辨率的视频文件可以看做一个表示。该描述子可以位于自适应集(AdaptationSets)层级或者表示(Representation)层级。grsi@“xxx”表示该描述子的容器元素中包括的元素以及属性“xxx”。
需要说明的是,对于初始观看区域、推荐观看区域,除了直接指示三维空间结构数据之外,还可以通过标题标识(tile ID)或区域标识(region ID)的方式来索引相应的空间信息。每一个标题标识都对应有一个观看区域,每一个区域标识都对应有一个观看区域。三维空间结构数据(3DSpatialRegionStruct)可包括对应的区域标识。基于此,其对应的DASH信令可如表5所示:
表5
当然,表4中的DASH信令中的标题标识也可替换为区域标识,为避免重复,此处不再赘述。
针对具体的应用场景,下面结合图4至图6,对本申请实施例提供的非时序点云媒体的数据处理方案举例描述。
在一些实施例中,该S210可包括:
接收内容制作设备发送的动态自适应流媒体传输DASH信令消息;该DASH信令消息包括该非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息包括该非时序点云媒体的初始观看区域的属性信息;基于该非时序点云媒体的初始观看区域的属性信息向该内容制作设备发送获取请求;该获取请求中携带目标描述信息,该目标描述信息用于描述包括该初始观看区域的目标封装文件;接收该内容制作设备根据该获取请求返回该目标封装文件;该目标封装文件中包括该非时序点云媒体的属性信息数据盒,该属性信息数据盒用于定义该非时序点云媒体对应的观看区域的属性信息。基于此,在S220中,可基于该DASH信令消息中的该非时序点云媒体对应的观看区域的属性信息以及该属性信息数据盒中的该非时序点云媒体对应的观看区域的属性信息,呈现该目标封装文件。
图4是本申请实施例提供的非时序点云媒体的数据处理方法310的示意性流程图。该方法310可以由图1所示实施例中的内容制作设备102以及内容消费设备101交互执行。如图5所示,该非时序点云媒体的数据处理方法310可包括以下中的部分或全部内容:
S311,内容制作设备获取某非时序点云内容A,该非时序点云内容A存在初始观看区域,推荐观看区域,且每个推荐观看区域存在推荐观看时间。
S312,内容制作设备在封装该点云内容A时,配置该封装该点云内容A的DASH信令消息和该点云内容A的属性信息数据盒。作为示例,相应的属性信息数据盒信息和DASH信令消息如下:
F1:item1:RecommendedSpatialInfoProperty:
initial_region_indicated=1;recommended_region_indicated=1;
presentation_duration_indicated=1;
initial_region:{3d_region_id=1001,anchor=(0,0,0),region=(100,100,100)};
recommended_region:
{3d_region_id=1001,anchor=(0,0,0),
region=(100,100,100),presentation_duration=5000};{3d_region_id=1002,
anchor=(0,100,0),region=(100,100,100),presentation_duration=5000};
{3d_region_id=1003,anchor=(0,200,0),
region=(100,100,100),presentation_duration=5000}。
S313,内容制作设备将DASH信令消息发送内容消费设备。需要说明的是,DASH信令中相关字段的信息与属性信息数据盒中的信息相对应,为避免重复,此处不再赘述。
S314,内容消费设备根据DASH信令,向内容制作设备请求包括初始观看区域对应的封装文件F1。
S315,内容制作设备将封装文件F1传输给内容消费设备。
S316,内容消费设备根据DASH信令、封装文件F1中相应的属性信息数据盒信息,按照点云内容A的初始观看区域、推荐观看区域、推荐观看时间等信息为用户呈现点云内容A。即先呈现区域1001(呈现时间为5000ms),再呈现区域1002(呈现时间为5000ms),最后呈现区域1003(呈现时间为5000ms)。需要说明的是,在具体的呈现形式上,内容消费设备可以在呈现时间到达后,直接为用户切换画面,也可以通过应用界面的提示,在用户确定切换后,为用户切换画面,本申请对此不作限制。
在一些实施例中,该S210可包括:
接收内容制作设备发送的包括该非时序点云媒体的初始观看区域的目标封装文件,该目标封装文件中包括该非时序点云媒体的属性信息数据盒,该属性信息数据盒用于定义该非时序点云媒体对应的观看区域的属性信息;基于此,在S220中,可基于该属性信息数据盒中的该非时序点云媒体对应的观看区域的属性信息,呈现该目标封装文件。
图5是本申请实施例提供的非时序点云媒体的数据处理方法320的示意性流程图。该方法320可以由图1所示实施例中的内容制作设备102以及内容消费设备101交互执行。如图5所示,该非时序点云媒体的数据处理方法320可包括以下中的部分或全部内容:
S321,内容制作设备获取某非时序点云内容A,该非时序点云内容A存在初始观看区域,推荐观看区域,且每个推荐观看区域存在推荐观看时间。
S322,内容制作设备在封装该点云内容A时,配置该点云内容A的属性信息数据盒。作为示例,相应的属性信息数据盒信息包括如下信息:
F1:item1:RecommendedSpatialInfoProperty:
initial_region_indicated=1;recommended_region_indicated=1;
presentation_duration_indicated=1;
initial_region:{3d_region_id=1001,anchor=(0,0,0),region=(100,100,100)};
recommended_region:
{3d_region_id=1001,anchor=(0,0,0),
region=(100,100,100),presentation_duration=5000};{3d_region_id=1002,
anchor=(0,100,0),region=(100,100,100),presentation_duration=5000};
{3d_region_id=1003,anchor=(0,200,0),
region=(100,100,100),presentation_duration=5000}。
S323,内容制作设备将封装文件F1传输给内容消费设备;
S324,内容消费设备根据封装文件F1中相应的属性信息数据盒信息,按照点云内容A的初始观看区域、推荐观看区域、推荐观看时间等信息为用户呈现点云内容A。即先呈现区域1001(呈现时间为5000ms),再呈现区域1002(呈现时间为5000ms),最后呈现区域1003(呈现时间为5000ms)。需要说明的是,在具体的呈现形式上,内容消费设备可以在呈现时间到达后,直接为用户切换画面,也可以通过应用界面的提示,在用户确定切换后,为用户切换画面,本申请对此不作限制。
在一些实施例中,该S210可包括:
接收内容制作设备发送的动态自适应流媒体传输DASH信令消息;该DASH信令消息包括该非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息包括该非时序点云媒体的初始观看区域的属性信息;基于此,在S220中,基于该非时序点云媒体的初始观看区域的属性信息向该内容制作设备发送获取请求;该获取请求中携带目标描述信息,该目标描述信息用于描述包括该初始观看区域的目标封装文件;接收该内容制作设备根据该获取请求返回该目标封装文件;基于该DASH信令消息中的该非时序点云媒体对应的观看区域的属性信息,呈现该目标封装文件。
图6是本申请实施例提供的非时序点云媒体的数据处理方法330的示意性流程图。该方法330可以由图1所示实施例中的内容制作设备102以及内容消费设备101交互执行。如图6所示,该非时序点云媒体的数据处理方法330可包括以下中的部分或全部内容:
S331,内容制作设备获取某非时序点云内容A,该非时序点云内容A存在初始观看区域,推荐观看区域,且每个推荐观看区域存在推荐观看时间。
S332,内容制作设备在封装该点云内容A时,配置该封装该点云内容A的DASH信令。作为示例,DASH信令如下:
initialRegionIndicated=1;rcmdRegionIndicated=1;preDurationIndicated=1;
initial3DSpatialRegion:{3d_region_id=1001,anchor=(0,0,0),region=(100,100,100)};
rcmd3DSpatialRegion:
{3d_region_id=1001,anchor=(0,0,0),
region=(100,100,100),presentation_duration=5000};{3d_region_id=1002,
anchor=(0,100,0),region=(100,100,100),presentation_duration=5000};
{3d_region_id=1003,anchor=(0,200,0),
region=(100,100,100),presentation_duration=5000}。
S333,内容制作设备将DASH信令消息发送内容消费设备。需要说明的是,DASH信令中相关字段的信息与属性信息数据盒中的信息相对应,为避免重复,此处不再赘述。
S334,内容消费设备根据DASH信令,向内容制作设备请求包括初始观看区域对应的封装文件F1。
S335,内容制作设备将封装文件F1传输给内容消费设备。
S336,内容消费设备根据DASH信令,按照点云内容A的初始观看区域、推荐观看区域、推荐观看时间等信息为用户呈现点云内容A。即先呈现区域1001(呈现时间为5000ms),再呈现区域1002(呈现时间为5000ms),最后呈现区域1003(呈现时间为5000ms)。需要说明的是,在具体的呈现形式上,内容消费设备可以在呈现时间到达后,直接为用户切换画面,也可以通过应用界面的提示,在用户确定切换后,为用户切换画面,本申请对此不作限制。
应理解,通过三维空间结构数据指示观看区域的方式仅为本申请的示例,不应理解为对本申请的限制,在本申请的其他实施例中,也可以通过标题标识或区域标识的指示方式指示初始观看区域或推荐观看区域。
例如,在其他可替代实施例中,方法310至方法320中涉及的属性信息数据盒信息和/或DASH信令包括的信息可以替换为如下信息:
initialRegionIndicated=1;rcmdRegionIndicated=1;preDurationIndicated=1;
initial3DSpatialRegion:{initalTileIds:tile1,tile2};
rcmd3DSpatialRegion:
{rcmdTileIds:tile1,tile2,presentation_duration=5000};
{rcmdTileIds:tile3,tile4,presentation_duration=5000};
{rcmdTileIds:tile5,tile6,presentation_duration=5000}。
此时,内容消费设备根据属性信息数据盒信息中的信息和/或DASH信令中的信息,按照其中的初始观看区域、推荐观看区域、推荐观看时间等信息为用户呈现点云媒体内容。即先呈现tile1+tile2对应的区域(呈现时间为5000ms),再呈现tile3+tile4对应的区域(呈现时间为5000ms),最后呈现tile5+tile6对应的区域(呈现时间为5000ms)。
图7是本申请实施例提供的点云媒体的数据处理方法400的示意性流程图。该方法400可由点云媒体系统中的内容制作设备来执行。例如,服务器、无人机、手机终端等具备点云媒体编码能力的设备。
如图7所示,该方法200可包括:
S410,生成非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示该非时序点云媒体是否存在推荐观看区域的第一指示信息;
S420,基于该非时序点云媒体对应的观看区域的属性信息,配置该非时序点云媒体的动态自适应流媒体传输DASH信令消息和该非时序点云媒体的属性信息数据盒。
在一些实施例中,若该非时序点云媒体不存在M个推荐观看区域,则该第一指示信息的取值为第一取值;若该非时序点云媒体存在该M个推荐观看区域的属性信息,则该第一指示信息的取值为第二取值;M≥1。在一种实现方式中,该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的属性信息;该M个推荐观看区域的属性信息包括以下中的至少一项:该M个推荐观看区域对应的三维空间结构数据、该M个推荐观看区域对应的区域标识、以及该M个推荐观看区域对应的标题标识。在一种实现方式中,该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的属性信息;该非时序点云媒体对应的观看区域的属性信息还包括数量指示信息,该数量指示信息的取值用于指示该M个推荐观看区域的数量,该M个推荐观看区域的数量大于0。
在指示该非时序点云媒体存在推荐观看区域的情况下,通过指示非时序点云媒体的推荐观看区域,可以支持客户端根据推荐的观看区域请求和消费非时序点云媒体,使得非时序点云媒体的传输和消费环节更加高效,并支持更灵活的非时序点云媒体呈现形式。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息还包括用于指示该非时序点云媒体对应的观看区域的属性信息是否包括初始观看区域的第二指示信息;若该非时序点云媒体对应的观看区域的属性信息不包括该初始观看区域,则该第二指示信息的取值为第三取值;若该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域,则该第二指示信息的取值为第四取值。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息还包括用于指示该非时序点云媒体的推荐观看区域是否包括该初始观看区域的第三指示信息;若该非时序点云媒体的推荐观看区域不包括该初始观看区域,则该第三指示信息的取值为第五取值;若该非时序点云媒体的推荐观看区域包括该初始观看区域,则该第三指示信息的取值为第六取值。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域的属性信息;该初始观看区域的属性信息包括以下中的至少一项:该初始观看区域的三维空间结构数据、该初始观看区域的三维空间结构数据对应的区域标识、以及该初始观看区域的三维空间结构数据对应的标题标识。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息包括M个推荐观看区域的属性信息;该非时序点云媒体对应的观看区域的属性信息还包括呈现时长指示信息,该呈现时长指示信息用于指示该非时序点云媒体对应的观看区域的属性信息是否包括该M个推荐观看区域的呈现时长;若该呈现时长指示信息用于指示该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的呈现时长,该非时序点云媒体对应的观看区域的属性信息还包括呈现时长信息,该呈现时长信息的取值用于指示该M个推荐观看区域中每一个推荐观看区域的呈现时长;M≥1。
在一些实施例中,该方法400还可包括:
向内容消费设备发送的动态自适应流媒体传输DASH信令消息;该DASH信令消息包括该非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息包括该非时序点云媒体的初始观看区域的属性信息;接收该内容消费设备基于该非时序点云媒体的初始观看区域的属性信息向该内容制作设备发送的获取请求;该获取请求中携带目标描述信息,该目标描述信息用于描述包括该初始观看区域的目标封装文件;根据该获取请求向该内容消费设备返回该目标封装文件;该目标封装文件中包括该非时序点云媒体的属性信息数据盒,该属性信息数据盒用于定义该非时序点云媒体对应的观看区域的属性信息。
在一些实施例中,该方法400还可包括:
向内容消费设备发送包括该非时序点云媒体的初始观看区域的目标封装文件,该目标封装文件中包括该非时序点云媒体的属性信息数据盒,该属性信息数据盒用于定义该非时序点云媒体对应的观看区域的属性信息。
在一些实施例中,该方法400还可包括:
向内容消费设备发送的动态自适应流媒体传输DASH信令消息;该DASH信令消息包括该非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息包括该非时序点云媒体的初始观看区域的属性信息;接收该内容消费设备基于该非时序点云媒体的初始观看区域的属性信息发送的获取请求;该获取请求中携带目标描述信息,该目标描述信息用于描述包括该初始观看区域的目标封装文件;接收该内容制作设备根据该获取请求返回该目标封装文件。
图8是本申请实施例提供的非时序点云媒体的数据处理装置500的结构示意图,该非时序点云媒体的数据处理装置500可以用于执行图3至图6所示的点云媒体的数据处理方法中的相应步骤。
如图8所示,该非时序点云媒体的数据处理装置500可包括:
获取单元510,用于获取非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示该非时序点云媒体是否存在推荐观看区域的第一指示信息;
呈现单元520,用于基于该非时序点云媒体对应的观看区域的属性信息,呈现该非时序点云媒体。
在一些实施例中,若该非时序点云媒体不存在M个推荐观看区域,则该第一指示信息的取值为第一取值;若该非时序点云媒体存在该M个推荐观看区域的属性信息,则该第一指示信息的取值为第二取值;M≥1。在一种实现方式中,该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的属性信息;该M个推荐观看区域的属性信息包括以下中的至少一项:该M个推荐观看区域对应的三维空间结构数据、该M个推荐观看区域对应的区域标识、以及该M个推荐观看区域对应的标题标识。在一种实现方式中,该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的属性信息;该非时序点云媒体对应的观看区域的属性信息还包括数量指示信息,该数量指示信息的取值用于指示该M个推荐观看区域的数量,该M个推荐观看区域的数量大于0。
在指示该非时序点云媒体存在推荐观看区域的情况下,通过指示非时序点云媒体的推荐观看区域,可以支持客户端根据推荐的观看区域请求和消费非时序点云媒体,使得非时序点云媒体的传输和消费环节更加高效,并支持更灵活的非时序点云媒体呈现形式。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息还包括用于指示该非时序点云媒体对应的观看区域的属性信息是否包括初始观看区域的第二指示信息;若该非时序点云媒体对应的观看区域的属性信息不包括该初始观看区域,则该第二指示信息的取值为第三取值;若该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域,则该第二指示信息的取值为第四取值。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息还包括用于指示该非时序点云媒体的推荐观看区域是否包括该初始观看区域的第三指示信息;若该非时序点云媒体的推荐观看区域不包括该初始观看区域,则该第三指示信息的取值为第五取值;若该非时序点云媒体的推荐观看区域包括该初始观看区域,则该第三指示信息的取值为第六取值。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域的属性信息;该初始观看区域的属性信息包括以下中的至少一项:该初始观看区域的三维空间结构数据、该初始观看区域的三维空间结构数据对应的区域标识、以及该初始观看区域的三维空间结构数据对应的标题标识。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息包括M个推荐观看区域的属性信息;该非时序点云媒体对应的观看区域的属性信息还包括呈现时长指示信息,该呈现时长指示信息用于指示该非时序点云媒体对应的观看区域的属性信息是否包括该M个推荐观看区域的呈现时长;若该呈现时长指示信息用于指示该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的呈现时长,该非时序点云媒体对应的观看区域的属性信息还包括呈现时长信息,该呈现时长信息的取值用于指示该M个推荐观看区域中每一个推荐观看区域的呈现时长;M≥1。
在一些实施例中,该获取单元510具体用于:
接收内容制作设备发送的动态自适应流媒体传输DASH信令消息;该DASH信令消息包括该非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息包括该非时序点云媒体的初始观看区域的属性信息;基于该非时序点云媒体的初始观看区域的属性信息向该内容制作设备发送获取请求;该获取请求中携带目标描述信息,该目标描述信息用于描述包括该初始观看区域的目标封装文件;接收该内容制作设备根据该获取请求返回该目标封装文件;该目标封装文件中包括该非时序点云媒体的属性信息数据盒,该属性信息数据盒用于定义该非时序点云媒体对应的观看区域的属性信息;
其中,该呈现单元520具体用于:
基于该DASH信令消息中的该非时序点云媒体对应的观看区域的属性信息以及该属性信息数据盒中的该非时序点云媒体对应的观看区域的属性信息,呈现该目标封装文件。
在一些实施例中,该获取单元510具体用于:
接收内容制作设备发送的包括该非时序点云媒体的初始观看区域的目标封装文件,该目标封装文件中包括该非时序点云媒体的属性信息数据盒,该属性信息数据盒用于定义该非时序点云媒体对应的观看区域的属性信息;
其中,该呈现单元520具体用于:
基于该属性信息数据盒中的该非时序点云媒体对应的观看区域的属性信息,呈现该目标封装文件。
在一些实施例中,该获取单元510具体用于:
接收内容制作设备发送的动态自适应流媒体传输DASH信令消息;该DASH信令消息包括该非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息包括该非时序点云媒体的初始观看区域的属性信息;
其中,该呈现单元520具体用于:
基于该非时序点云媒体的初始观看区域的属性信息向该内容制作设备发送获取请求;该获取请求中携带目标描述信息,该目标描述信息用于描述包括该初始观看区域的目标封装文件;接收该内容制作设备根据该获取请求返回该目标封装文件;基于该DASH信令消息中的该非时序点云媒体对应的观看区域的属性信息,呈现该目标封装文件。
图9是本申请实施例提供的非时序点云媒体的数据处理装置600的结构示意图,该非时序点云媒体的数据处理装置600可以用于执行图4至图7所示的点云媒体的数据处理方法中的相应步骤。
生成单元610,用于生成非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示该非时序点云媒体是否存在推荐观看区域的第一指示信息;
配置单元620,用于基于该非时序点云媒体对应的观看区域的属性信息,配置该非时序点云媒体的动态自适应流媒体传输DASH信令消息和该非时序点云媒体的属性信息数据盒。
在一些实施例中,若该非时序点云媒体不存在M个推荐观看区域,则该第一指示信息的取值为第一取值;若该非时序点云媒体存在该M个推荐观看区域的属性信息,则该第一指示信息的取值为第二取值;M≥1。在一种实现方式中,该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的属性信息;该M个推荐观看区域的属性信息包括以下中的至少一项:该M个推荐观看区域对应的三维空间结构数据、该M个推荐观看区域对应的区域标识、以及该M个推荐观看区域对应的标题标识。在一种实现方式中,该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的属性信息;该非时序点云媒体对应的观看区域的属性信息还包括数量指示信息,该数量指示信息的取值用于指示该M个推荐观看区域的数量,该M个推荐观看区域的数量大于0。
在指示该非时序点云媒体存在推荐观看区域的情况下,通过指示非时序点云媒体的推荐观看区域,可以支持客户端根据推荐的观看区域请求和消费非时序点云媒体,使得非时序点云媒体的传输和消费环节更加高效,并支持更灵活的非时序点云媒体呈现形式。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息还包括用于指示该非时序点云媒体对应的观看区域的属性信息是否包括初始观看区域的第二指示信息;若该非时序点云媒体对应的观看区域的属性信息不包括该初始观看区域,则该第二指示信息的取值为第三取值;若该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域,则该第二指示信息的取值为第四取值。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息还包括用于指示该非时序点云媒体的推荐观看区域是否包括该初始观看区域的第三指示信息;若该非时序点云媒体的推荐观看区域不包括该初始观看区域,则该第三指示信息的取值为第五取值;若该非时序点云媒体的推荐观看区域包括该初始观看区域,则该第三指示信息的取值为第六取值。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息包括该初始观看区域的属性信息;该初始观看区域的属性信息包括以下中的至少一项:该初始观看区域的三维空间结构数据、该初始观看区域的三维空间结构数据对应的区域标识、以及该初始观看区域的三维空间结构数据对应的标题标识。
在一些实施例中,该非时序点云媒体对应的观看区域的属性信息包括M个推荐观看区域的属性信息;该非时序点云媒体对应的观看区域的属性信息还包括呈现时长指示信息,该呈现时长指示信息用于指示该非时序点云媒体对应的观看区域的属性信息是否包括该M个推荐观看区域的呈现时长;若该呈现时长指示信息用于指示该非时序点云媒体对应的观看区域的属性信息包括该M个推荐观看区域的呈现时长,该非时序点云媒体对应的观看区域的属性信息还包括呈现时长信息,该呈现时长信息的取值用于指示该M个推荐观看区域中每一个推荐观看区域的呈现时长;M≥1。
在一些实施例中,该装置600还包括通信单元,用于:
向内容消费设备发送的动态自适应流媒体传输DASH信令消息;该DASH信令消息包括该非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息包括该非时序点云媒体的初始观看区域的属性信息;接收该内容消费设备基于该非时序点云媒体的初始观看区域的属性信息向该内容制作设备发送的获取请求;该获取请求中携带目标描述信息,该目标描述信息用于描述包括该初始观看区域的目标封装文件;根据该获取请求向该内容消费设备返回该目标封装文件;该目标封装文件中包括该非时序点云媒体的属性信息数据盒,该属性信息数据盒用于定义该非时序点云媒体对应的观看区域的属性信息。
在一些实施例中,该装置600还包括通信单元,用于:
向内容消费设备发送包括该非时序点云媒体的初始观看区域的目标封装文件,该目标封装文件中包括该非时序点云媒体的属性信息数据盒,该属性信息数据盒用于定义该非时序点云媒体对应的观看区域的属性信息。
在一些实施例中,该装置600还包括通信单元,用于:
向内容消费设备发送的动态自适应流媒体传输DASH信令消息;该DASH信令消息包括该非时序点云媒体对应的观看区域的属性信息,该非时序点云媒体对应的观看区域的属性信息包括该非时序点云媒体的初始观看区域的属性信息;接收该内容消费设备基于该非时序点云媒体的初始观看区域的属性信息发送的获取请求;该获取请求中携带目标描述信息,该目标描述信息用于描述包括该初始观看区域的目标封装文件;接收该内容制作设备根据该获取请求返回该目标封装文件。
应理解,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,非时序点云媒体的数据处理装置500可以对应于执行本申请实施例的方法200、310、320或330中的相应主体,并且点云媒体的数据处理装置500中的各个单元分别为了实现相应方法中的相应流程,类似的,点云媒体的数据处理装置600可以对应于执行本申请实施例的方法310、320、330或400中的相应主体,并且点云媒体的数据处理装置600中的各个单元分别为了实现相应方法中的相应流程,为了简洁,在此不再赘述。
还应当理解,本申请实施例涉及的点云媒体的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该点云媒体的数据处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括例如中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的通用计算机的通用计算设备上运行能够执行相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造本申请实施例涉及的点云媒体的数据处理装置,以及来实现本申请实施例的点云媒体的数据处理方法。计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于图1所示点云媒体的数据处理系统的内容消费设备101或内容制作设备102中,并在其中运行,来实现本申请实施例的相应方法。
换言之,上文涉及的单元可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过软硬件结合的形式实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件组合执行完成。可选地,软件可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图10是本申请实施例提供的点云媒体的数据处理设备700的示意结构图。
如图10所示,该点云媒体的数据处理设备700至少包括处理器710以及计算机可读存储介质720。其中,处理器710以及计算机可读存储介质720可通过总线或者其它方式连接。计算机可读存储介质720用于存储计算机程序721,计算机程序721包括计算机指令,处理器710用于执行计算机可读存储介质720存储的计算机指令。处理器710是点云媒体的数据处理设备700的计算核心以及控制核心,其适于实现一条或多条计算机指令,具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
作为示例,处理器710也可称为中央处理器(CentralProcessingUnit,CPU)。处理器710可以包括但不限于:通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
作为示例,计算机可读存储介质720可以是高速RAM存储器,也可以是非不稳定的存储器(Non-VolatileMemory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器710的计算机可读存储介质。具体而言,计算机可读存储介质720包括但不限于:易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在一种实现方式中,该点云媒体的数据处理设备700可以是图1所示的点云媒体的数据处理系统中的内容消费设备101;该计算机可读存储介质720中存储有第一计算机指令;由处理器710加载并执行计算机可读存储介质720中存放的第一计算机指令,以实现图3或图5所示方法实施例中的相应步骤;具体实现中,计算机可读存储介质720中的第一计算机指令由处理器710加载并执行相应步骤,为避免重复,此处不再赘述。
在一种实现方式中,该点云媒体的数据处理设备700可以是图1所示的点云媒体的数据处理系统中的内容制作设备102;该计算机可读存储介质720中存储有第二计算机指令;由处理器710加载并执行计算机可读存储介质720中存放的第二计算机指令,以实现图4或图5所示方法实施例中的相应步骤;具体实现中,计算机可读存储介质720中的第二计算机指令由处理器710加载并执行相应步骤,为避免重复,此处不再赘述。
根据本申请的另一方面,本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是点云媒体的数据处理设备700中的记忆设备,用于存放程序和数据。例如,计算机可读存储介质720。可以理解的是,此处的计算机可读存储介质720既可以包括点云媒体的数据处理设备700中的内置存储介质,当然也可以包括点云媒体的数据处理设备700所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了点云媒体的数据处理设备700的操作系统。并且,在该存储空间中还存放了适于被处理器710加载并执行的一条或多条的计算机指令,这些计算机指令可以是一个或多个的计算机程序721(包括程序代码)。
根据本申请的另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。例如,计算机程序721。此时,数据处理设备700可以是计算机,处理器710从计算机可读存储介质720读取该计算机指令,处理器710执行该计算机指令,使得该计算机执行上述各种可选方式中提供的点云媒体的数据处理方法。
换言之,当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地运行本申请实施例的流程或实现本申请实施例的功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质进行传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元以及流程步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
最后需要说明的是,以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种非时序点云媒体的数据处理方法,其特征在于,包括:
获取非时序点云媒体对应的观看区域的属性信息,所述非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示所述非时序点云媒体是否存在推荐观看区域的第一指示信息;
基于所述非时序点云媒体对应的观看区域的属性信息,呈现所述非时序点云媒体。
2.根据权利要求1所述的方法,其特征在于,若所述非时序点云媒体不存在M个推荐观看区域,则所述第一指示信息的取值为第一取值;若所述非时序点云媒体存在所述M个推荐观看区域,则所述第一指示信息的取值为第二取值;M≥1。
3.根据权利要求2所述的方法,其特征在于,所述非时序点云媒体对应的观看区域的属性信息包括所述M个推荐观看区域的属性信息;所述M个推荐观看区域的属性信息包括以下中的至少一项:所述M个推荐观看区域对应的三维空间结构数据、所述M个推荐观看区域对应的区域标识、以及所述M个推荐观看区域对应的标题标识。
4.根据权利要求2所述的方法,其特征在于,所述非时序点云媒体对应的观看区域的属性信息包括所述M个推荐观看区域的属性信息;所述非时序点云媒体对应的观看区域的属性信息还包括数量指示信息,所述数量指示信息的取值用于指示所述M个推荐观看区域的数量,所述M个推荐观看区域的数量大于0。
5.根据权利要求1所述的方法,其特征在于,所述非时序点云媒体对应的观看区域的属性信息还包括用于指示所述非时序点云媒体对应的观看区域的属性信息是否包括初始观看区域的第二指示信息;若所述非时序点云媒体对应的观看区域的属性信息不包括所述初始观看区域,则所述第二指示信息的取值为第三取值;若所述非时序点云媒体对应的观看区域的属性信息包括所述初始观看区域,则所述第二指示信息的取值为第四取值。
6.根据权利要求1所述的方法,其特征在于,所述非时序点云媒体对应的观看区域的属性信息还包括用于指示所述非时序点云媒体的推荐观看区域是否包括所述非时序点云媒体的初始观看区域的第三指示信息;若所述非时序点云媒体的推荐观看区域不包括所述初始观看区域,则所述第三指示信息的取值为第五取值;若所述非时序点云媒体的推荐观看区域包括所述初始观看区域,则所述第三指示信息的取值为第六取值。
7.根据权利要求1所述的方法,其特征在于,所述非时序点云媒体对应的观看区域的属性信息包括所述非时序点云媒体的初始观看区域的属性信息;所述初始观看区域的属性信息包括以下中的至少一项:所述初始观看区域的三维空间结构数据、所述初始观看区域的三维空间结构数据对应的区域标识、以及所述初始观看区域的三维空间结构数据对应的标题标识。
8.根据权利要求1所述的方法,其特征在于,所述非时序点云媒体对应的观看区域的属性信息包括M个推荐观看区域的属性信息;所述非时序点云媒体对应的观看区域的属性信息还包括呈现时长指示信息,所述呈现时长指示信息用于指示所述非时序点云媒体对应的观看区域的属性信息是否包括所述M个推荐观看区域的呈现时长;
若所述呈现时长指示信息用于指示所述非时序点云媒体对应的观看区域的属性信息包括所述M个推荐观看区域的呈现时长,所述非时序点云媒体对应的观看区域的属性信息还包括呈现时长信息,所述呈现时长信息的取值用于指示所述M个推荐观看区域中每一个推荐观看区域的呈现时长;M≥1。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述获取非时序点云媒体对应的观看区域的属性信息,包括:
接收内容制作设备发送的动态自适应流媒体传输DASH信令消息;所述DASH信令消息包括所述非时序点云媒体对应的观看区域的属性信息,所述非时序点云媒体对应的观看区域的属性信息包括所述非时序点云媒体的初始观看区域的属性信息;
基于所述非时序点云媒体的初始观看区域的属性信息向所述内容制作设备发送获取请求;所述获取请求中携带目标描述信息,所述目标描述信息用于描述包括所述初始观看区域的目标封装文件;
接收所述内容制作设备根据所述获取请求返回所述目标封装文件;所述目标封装文件中包括所述非时序点云媒体的属性信息数据盒,所述属性信息数据盒用于定义所述非时序点云媒体对应的观看区域的属性信息;
其中,所述基于所述非时序点云媒体对应的观看区域的属性信息,呈现所述非时序点云媒体,包括:
基于所述DASH信令消息中的所述非时序点云媒体对应的观看区域的属性信息以及所述属性信息数据盒中的所述非时序点云媒体对应的观看区域的属性信息,呈现所述目标封装文件。
10.根据权利要求1至8中任一项所述的方法,其特征在于,所述获取非时序点云媒体对应的观看区域的属性信息,包括:
接收内容制作设备发送的包括所述非时序点云媒体的初始观看区域的目标封装文件,所述目标封装文件中包括所述非时序点云媒体的属性信息数据盒,所述属性信息数据盒用于定义所述非时序点云媒体对应的观看区域的属性信息;
其中,所述基于所述非时序点云媒体对应的观看区域的属性信息,呈现所述非时序点云媒体,包括:
基于所述属性信息数据盒中的所述非时序点云媒体对应的观看区域的属性信息,呈现所述目标封装文件。
11.根据权利要求1至8中任一项所述的方法,其特征在于,所述获取非时序点云媒体对应的观看区域的属性信息,包括:
接收内容制作设备发送的动态自适应流媒体传输DASH信令消息;所述DASH信令消息包括所述非时序点云媒体对应的观看区域的属性信息,所述非时序点云媒体对应的观看区域的属性信息包括所述非时序点云媒体的初始观看区域的属性信息;
其中,所述基于所述非时序点云媒体对应的观看区域的属性信息,呈现所述非时序点云媒体,包括:
基于所述非时序点云媒体的初始观看区域的属性信息向所述内容制作设备发送获取请求;所述获取请求中携带目标描述信息,所述目标描述信息用于描述包括所述初始观看区域的目标封装文件;
接收所述内容制作设备根据所述获取请求返回所述目标封装文件;
基于所述DASH信令消息中的所述非时序点云媒体对应的观看区域的属性信息,呈现所述目标封装文件。
12.一种点云媒体的数据处理方法,其特征在于,所述方法包括:
生成非时序点云媒体对应的观看区域的属性信息,所述非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示所述非时序点云媒体是否存在推荐观看区域的第一指示信息;
基于所述非时序点云媒体对应的观看区域的属性信息,配置所述非时序点云媒体的动态自适应流媒体传输DASH信令消息和所述非时序点云媒体的属性信息数据盒。
13.一种点云媒体的数据处理装置,其特征在于,包括:
获取单元,用于获取非时序点云媒体对应的观看区域的属性信息,所述非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示所述非时序点云媒体是否存在推荐观看区域的第一指示信息;
呈现单元,用于基于所述非时序点云媒体对应的观看区域的属性信息,呈现所述非时序点云媒体。
14.一种点云媒体的数据处理装置,其特征在于,包括:
获取单元,用于生成非时序点云媒体对应的观看区域的属性信息,所述非时序点云媒体对应的观看区域的属性信息属性信息包括用于指示所述非时序点云媒体是否存在推荐观看区域的第一指示信息;
配置单元,用于基于所述非时序点云媒体对应的观看区域的属性信息,配置所述非时序点云媒体的动态自适应流媒体传输DASH信令消息和所述非时序点云媒体的属性信息数据盒。
15.一种点云媒体的数据处理设备,其特征在于,包括:
处理器,适于执行计算机程序;
计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至11中任一项所述的点云媒体的数据处理方法,或实现如权利要求12所述的点云媒体的数据处理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110197827.6A CN114969394A (zh) | 2021-02-22 | 2021-02-22 | 非时序点云媒体的数据处理方法、装置以及设备 |
PCT/CN2022/075510 WO2022174745A1 (zh) | 2021-02-22 | 2022-02-08 | 非时序点云媒体的数据处理方法、装置以及设备 |
US17/980,056 US20230062933A1 (en) | 2021-02-22 | 2022-11-03 | Data processing method, apparatus, and device for non-sequential point cloud media |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110197827.6A CN114969394A (zh) | 2021-02-22 | 2021-02-22 | 非时序点云媒体的数据处理方法、装置以及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114969394A true CN114969394A (zh) | 2022-08-30 |
Family
ID=82932081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110197827.6A Pending CN114969394A (zh) | 2021-02-22 | 2021-02-22 | 非时序点云媒体的数据处理方法、装置以及设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230062933A1 (zh) |
CN (1) | CN114969394A (zh) |
WO (1) | WO2022174745A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10565616B2 (en) * | 2017-07-13 | 2020-02-18 | Misapplied Sciences, Inc. | Multi-view advertising system and method |
KR102390208B1 (ko) * | 2017-10-17 | 2022-04-25 | 삼성전자주식회사 | 멀티미디어 데이터를 전송하는 방법 및 장치 |
US10984541B2 (en) * | 2018-04-12 | 2021-04-20 | Samsung Electronics Co., Ltd. | 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud |
WO2020189895A1 (ko) * | 2019-03-21 | 2020-09-24 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
US11831861B2 (en) * | 2019-08-12 | 2023-11-28 | Intel Corporation | Methods for viewport-dependent adaptive streaming of point cloud content |
US20210105313A1 (en) * | 2019-10-02 | 2021-04-08 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for signaling a region in spatially grouped immersive media data tracks |
-
2021
- 2021-02-22 CN CN202110197827.6A patent/CN114969394A/zh active Pending
-
2022
- 2022-02-08 WO PCT/CN2022/075510 patent/WO2022174745A1/zh unknown
- 2022-11-03 US US17/980,056 patent/US20230062933A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022174745A1 (zh) | 2022-08-25 |
US20230062933A1 (en) | 2023-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7472220B2 (ja) | 方法、プログラム、及びデバイス | |
WO2022037386A1 (zh) | 点云媒体的数据处理方法、装置、设备及存储介质 | |
US20230421810A1 (en) | Encapsulation and decapsulation methods and apparatuses for point cloud media file, and storage medium | |
WO2022062860A1 (zh) | 一种点云媒体的数据处理方法、装置、设备及存储介质 | |
CN114697631B (zh) | 沉浸媒体的处理方法、装置、设备及存储介质 | |
US20220272424A1 (en) | Data processing for immersive media | |
US20230169719A1 (en) | Method and Apparatus for Processing Immersive Media Data, Storage Medium and Electronic Apparatus | |
US20230034937A1 (en) | Media file encapsulating method, media file decapsulating method, and related devices | |
CN115396645A (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 | |
CN115379189A (zh) | 一种点云媒体的数据处理方法及相关设备 | |
WO2023226504A1 (zh) | 一种媒体数据处理方法、装置、设备以及可读存储介质 | |
WO2022037423A1 (zh) | 点云媒体的数据处理方法、装置、设备及介质 | |
US20230025664A1 (en) | Data processing method and apparatus for immersive media, and computer-readable storage medium | |
WO2022193875A1 (zh) | 多视角视频的处理方法、装置、设备及存储介质 | |
CN115733576B (zh) | 点云媒体文件的封装与解封装方法、装置及存储介质 | |
CN114554243B (zh) | 点云媒体的数据处理方法、装置、设备及存储介质 | |
CN114969394A (zh) | 非时序点云媒体的数据处理方法、装置以及设备 | |
CN115102932B (zh) | 点云媒体的数据处理方法、装置、设备、存储介质及产品 | |
WO2023169004A1 (zh) | 点云媒体的数据处理方法、装置、设备及介质 | |
CN116781675A (zh) | 一种点云媒体的数据处理方法、装置、设备及介质 | |
CN115061984A (zh) | 点云媒体的数据处理方法、装置、设备、存储介质 | |
CN117082262A (zh) | 点云文件封装与解封装方法、装置、设备及存储介质 | |
CN115426502A (zh) | 点云媒体的数据处理方法、装置、设备及存储介质 | |
CN116939290A (zh) | 媒体数据处理方法、装置、设备及存储介质 | |
CN116643643A (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40073440 Country of ref document: HK |