CN109565572A - 指示视频内容的文件格式 - Google Patents

指示视频内容的文件格式 Download PDF

Info

Publication number
CN109565572A
CN109565572A CN201780047781.1A CN201780047781A CN109565572A CN 109565572 A CN109565572 A CN 109565572A CN 201780047781 A CN201780047781 A CN 201780047781A CN 109565572 A CN109565572 A CN 109565572A
Authority
CN
China
Prior art keywords
track
space partition
partition zone
projection
processing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780047781.1A
Other languages
English (en)
Inventor
赖柏霖
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109565572A publication Critical patent/CN109565572A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Abstract

本发明提供一种装置，包含：接口电路，处理电路与显示设备。该接口电路用于接收媒体数据，该媒体数据具有被架构进对应一个或多个空间分区的一个或多个轨道的视频内容。该媒体数据报含该一个或多个轨道与该一个或多个空间分区的对应关系。该处理电路，用于抽取该一个或多个轨道与该一个或多个空间分区的对应关系，并基于该对应关系，从该一个或多个轨道中选择一个或多个覆盖轨道，覆盖轨道具有空间分区覆盖关注区域。该显示设备，用于在该时间显示关注区域的影像。

Description

指示视频内容的文件格式
交叉引用
本发明主张在2016年8月10日提出的申请号为62/372,824、标题为“Methods andApparatus of Indications of VR and 360 video Content in File Format”的美国临时专利申请的优先权，主张在2016年9月2日提出的申请号为62/382,805、标题为“Methodsand Apparatus of Indications of VR in File Formats”的美国临时专利申请的优先权，主张在2017年7月31日提出的申请号为15/663,932、标题为“FILE FORMAT FORINDICATION OF VIDEO CONTENT”的美国临时专利申请的优先权，其内容以引用方式整体并入本文中。
背景技术
此处所提供的背景描述是为了大体展现本发明的内容。本发明的发明人的工作，在此背景技术部分所描述的以及说明书的某些方面可能不构成申请时的现有技术，也并非是明确或暗示承认为本发明的现有技术。
全向视频(Omnidirectional video)/360视频可渲染以提供特别的用户体验。例如，于虚拟现实应用中，计算机技术创建复制真实环境的现实影像，声音以及其他感觉或创建虚拟设置，所以用户能感受到于环境中实体存在的仿真全向视频(Omnidirectionalvideo)/360视频的体验。
发明内容
本发明之一方面提供装置，其包含接口电路，处理电路，及显示设备。该接口电路用于接收媒体数据，该媒体数据具有被架构进对应一个或多个空间分区的一个或多个轨道的视频内容。该媒体数据报含该一个或多个轨道到该一个或多个空间分区的对应关系。该处理电路用于抽取该一个或多个轨道到该一个或多个空间分区的该对应关系，从该一个或多个轨道选择一个或多个覆盖轨道，该一个或多个覆盖轨道基于该对应关系具有覆盖关注区域的空间分区，并基于该一个或多个轨道产生该关注区域的多个影像。该显示设备用于显示该关注区域的该多个影像。
根据本发明之一方面，该处理电路用于基于与轨道关注的空间分区信息，决定该轨道到空间分区的对应关系。
根据本发明之一方面，该处理电路用于基于投射指示器决定投射类型，并基于该投射类型决定该对应关系。于实施例中，该处理电路用于当该投射指示器指示等距长方投影时，在定义该空间分区的球面坐标系统中抽取多个值。例如，该处理电路用于基于该球面坐标系统内的该多个值决定定义该空间分区的中心点与视场(a field of view)。又例如，该处理电路用于基于该球面坐标系统中的该多个值决定定义该空间分区的边界。
在另一个实施例中，该处理电路用于当该投射指示器指示理想的固体投影(platonic solid projection.)时，抽取识别该空间分区的面索引。
本发明之一方面提供一种影像渲染方法。该方法包含接收媒体数据，该媒体数据具有被架构进对应一个或多个空间分区的一个或多个轨道的视频内容。该媒体数据报含该一个或多个轨道到该一个或多个空间分区的对应关系。而且，该方法包含抽取该一个或多个轨道到该一个或多个空间分区的该对应关系，从该一个或多个轨道选择一个或多个覆盖轨道，该一个或多个覆盖轨道基于该对应关系具有覆盖关注区域的空间分区，基于该一个或多个轨道产生该关注区域的多个影像，以及显示该关注区域的该多个影像。
本发明之一方面提供一种装置，其包含内存与处理电路。该内存用于缓冲获取的媒体数据。该处理电路用于将该获取的媒体数据架构进对应一个或多个空间分区的一个或多个轨道，编码该媒体数据并用该一个或多个轨道到该一个或多个空间分区的对应关系封装该编码的媒体数据进一个或多个文件。
本发明之一方面提供一种方法。该方法包含接收获取的媒体数据，将该获取的媒体数据架构进对应一个或多个空间分区的一个或多个轨道，编码该媒体数据，以及用该一个或多个轨道到该一个或多个空间分区的对应关系封装该编码的媒体数据进一个或多个文件。
附图说明
本发明提出作为例子的各实施例会参考后面附图在后具体描述，其中同样的标号代表同样元件，其中：
图1显示根据本发明实施例的媒体系统100的方块图；
图2显示根据本发明一个实施例的流程例子200的流程图；
图3显示根据本发明一个实施例的流程例子300的流程图；以及图4-图8显示根据本发明一个实施例的文件格式的对应关系范例。
具体实施方式
图1显示根据本发明实施例的媒体系统100的方块图。媒体系统100包含相互耦接的来源系统(source system)110，分发系统(delivery system)150以及渲染系统(rendering sub-system)160。来源系统110用于获取全向视频(Omnidirectional video)/360视频的媒体数据并恰当地封装(encapsulate)该媒体数据。分发系统150用于将封装的媒体数据从来源系统110分发至渲染系统160。渲染系统160用于根据媒体数据渲染全向视频(Omnidirectional video)/360视频。
根据本发明之一方面，来源系统110逻辑地将媒体数据架构进一个或多个轨道中，且每一轨道包含按时间顺序的取样序列。于一个实施例中，来源系统110根据空间分区将影像/视频数据架构进一个或多个轨道。该一个或多个轨道被封装进一个或多个文件。并且，来源系统110包含轨道与空间分区的间的对应关系来协助渲染。因此，在一个例子中，基于对应关系，渲染系统160能获取合适轨道来产生关注区域的影像。
来源系统110可使用任何合适的技术实施。于一个实施例中，来源系统110的元件组合于设备封装内。于另一个例子中，来源系统110为分布式系统(distributed system)，来源系统110的元件可被安排于不同位置，且可互相恰当地经由例如有线连接及/或无线连接而连接。
在图1的例子中，来源系统100包含互相耦接的获取设备(acquisition device)112，处理电路(例如影像产生电路)120，内存115以及接口电路111。
获取设备112用于获取各种媒体数据，例如影像，声音，全向视频(Omnidirectional video)/360视频等等。获取设备112可具有恰当设置。于一个例子中，获取设备112包含具有多个照相机的照相机架(camera rig，图未示)，例如具有两个鱼眼照相机(fisheye camera)的影像系统，具有四个照相机的四面影像系统(tetrahedral imagingsystem)，具有六个照相机的立方体影像系统(cubic imaging system)，具有八个照相机的八面体影像系统(octahedral imaging system)，具有二十个照相机的二十面体影像系统(icosahedral imaging system)，等等，用于在环绕空间中不同方向照像。
在一个实施例中，照相机所拍摄的影像为重迭的，且可拼接为比单个照相机提供更大范围的环绕空间的影像。在一个例子中，照相机所拍摄的影像可提供整个环绕空间的360°球面覆盖。需要注意的是，照相机所拍摄的影像可提供小于环绕空间的360°球面覆盖。
由获取设备112获取的媒体数据可恰当存储或缓冲，例如在内存115中。处理电路120可存取内存115，处理媒体数据，并将该媒体数据封装进恰当格式。封装的媒体数据然后恰当地储存或缓冲于，例如内存115中。
在一个实施例中，处理电路120包含用于处理声音数据的声音处理路径，以及用于处理影像/视频数据的影像/视频处理路径。处理电路120然后根据恰当的格式将声音，影像及视频数据与元数据(metadata)封装。
在一个例子中，于影像/视频处理路径上，处理电路120能将不同照像机拍摄的影像拼接起来形成拼接影像，例如全向影像(omnidirectional image)，等等。然后，处理电路120能根据二维(2D)平面投射全向影像来转换全向影像为2D影像，2D影像可用2D技术编码。然后处理电路120可恰当编码影像及/或影像流。
需要注意的是，处理电路120可根据恰当投射技术投射该全向影像。在一个例子中，处理电路120能使用等距长方投影(equirectangular projection，ERP)来投射全向影像。ERP投射是投射一个球表面，例如全向影像到一个矩形平面，例如2D影像，类似于将地球表面投射为地图。在一个例子中，球表面(例如地球表面)是用偏航(yaw，例如经度)与间距(pitch，例如纬度)的球面坐标系统，而矩形平面使用XY坐标系统。在投射时，偏航圈(yawcircles)转换为垂直线而间距圈(pitch circles)转换为水平线，偏航圈与间距圈在球面坐标系统内是正交的，而垂直线与水平线在XY坐标系统内是正交的。
在另一个例子中，处理电路120可投射全向影像到理想的固体(platonic solid)表面上，例如四面体，立方体，八面体，二十面体等等。投射的表面可分别重新布置，例如旋转，重新定位来形成2D影像。该2D影像然后被编码。
需要注意的是，在一个实施例中，处理电路120可编码从不同照相机来的影像，且不对影像执行拼接操作及/或投射操作。
还需要注意的是，处理电路120能使用恰当格式封装媒体数据。在一个例子中，媒体数据被封装进单个轨道(single track)内。例如，ERP投射投射一个球面到矩形平面上，单个轨道能包含投射后的矩形平面的所有矩形的影像流。
在另一个例子中，媒体数据被封装进多个轨道。在一个例子中，ERP投射投射球表面到矩形平面，且矩形平面被划分为多个分区(也被称做”子图像”)。一个分区的影像的计时序列(timed sequence)形成一个轨道。因此，球表面的视频内容根据多个分区架构进多个轨道。
在另一个实施例中，理想的固体投影将球面投射为理想的固体之表面。于此实施例中，球面被根据理想的固体的表面分区。表面上的影像的计时序列(timed sequence)形成一个轨道。因此，球面的视频内容根据理想的固体的表面被架构进多个轨道。
在另一个实施例中，多个照相机用于从场景的不同方向拍摄影像。在此实施例中，场景根据照相机的视野(field of views)进行分区。来自照相机的影像的计时序列形成一个轨道。因此，场景的视频内容根据多个照相机被架构进多个轨道。
根据本发明的一方面，处理电路120用于产生轨道与空间分区的间的对应关系，且包含对应关系与媒体数据。在一个实施例中，处理电路120包含文件/区段(segment)封装模块130，用于在文件及/或区段中封装轨道与空间分区的对应关系。对应关系能用来协助渲染系统，例如渲染系统160，以获取合适的轨道并渲染关注区域的影像。
在一个实施例中，处理电路120用于使用可扩展格式标准(extensible formatstandard)，例如ISO基本媒体文件格式(ISO base media file format)与类似的文件格式作为计时基础媒体(time-based media)，例如视频及/或音频。在一个实施例中，ISO基本媒体文件格式定义了计时基础多媒体文件的一般结构，且可灵活多变并可扩展，这有利于媒体的交换(interchange)，管理，编辑与展现。ISO基本媒体文件格式独立于特定网络协议，且一般能支持各种网络协议。因此，在一个例子中，基于ISO基本媒体文件格式的展示可经由网络或其他流分发系统机制本地渲染。
一般地，媒体展示可被包含于一个或多个文件内。一个或多个文件中特定文件包含媒体展示的元数据，并根据文件格式格式化，例如ISO基本媒体文件格式。特定文件也可包含媒体数据。当媒体展示被包含于多个文件内时，其他文件能包含媒体数据。在一个实施例中，元数据用于用参考来描述媒体数据。因此，在一个例子中，媒体数据储存于不偏好任何协议的状态。同样的媒体数据可用于本地展示，多个协议，等等。媒体数据可按顺序或不按顺序储存。
具体地，ISO基本媒体文件格式包含盒子的特定收集(specific collection ofboxes)。盒子是逻辑容器(logical containers)。盒子包含保有从媒体内容与媒体内容结构获取的描述符(descriptors)。媒体被封装进盒子的层级架构中。一个盒子是一个基于对象的架构块，其由一个独特类型识别符(unique type identifier)与长度定义。
在一个例子中，媒体内容的展示被作为电影且逻辑地划分为多个轨道，例如并行轨道。每个轨道代表媒体内容的逻辑取样的计时序列。媒体数据被存储并以存取单元来存取，例如帧，等等。存取单元是定义为基本流(elementary stream)内数据的最小单独可存取部分，且独特计时信息可分配到每一存取单元。在一个实施例中，存取单元能以任何序列及/或任何分组，完整或分成多个封包，来实体地储存。ISO基本媒体文件格式通过参考字节位置，而使用盒子来映像存取单元到逻辑取样的流，其中字节位置是存取单元储存的地方。在一个例子中，逻辑取样信息使存取单元在时间上被同步译码或展示，而不论储存在何处。
根据本发明一方面，处理电路120用于将轨道到空间分区的对应关系包含进轨道之元数据。在一个实施例中，处理电路120用于使用一个轨道程序定义盒子(box)来包含轨道的元数据。处理电路120包含轨道之元数据内空间分区的描述。例如，处理电路120能将空间分区的描述包含进轨道程序定义盒子的子盒子(sub-box)。空间分区的描述可基于分区特性被恰当地提供。
在一个实施例中，球面的视频内容根据ERP投射被投射到矩形平面上，且矩形平面被划分为多个分区(子-图像)。在一个实施例中，空间分区的描述(子-图像)以球面坐标系统提供。在一个例子中，空间分区由中心点与视场定义。中心点是以偏航方向的中心(center_yaw)以及间距方向的中心(center_pitch)来提供，视场是以偏航方向的视场(fov_yaw)与间距方向的视场(fov_pitch)来提供。在另一个例子中，空间分区由边界定义，例如最小偏航值(yaw_left)，最大偏航值(yaw_right)，最小间距值(pitch_bot)，最大间距值(pitch_top)。
在另一个实施例中，理想的固体投影将球面投射到理想的固体之表面上，因此，球面根据理想的固体的表面被划分。在本实施例中，空间分区的描述用表面索引(faceindex)提供。在此例子中，空间分区可基于理想的固体的表面号码(num_faces)来识别，表面的表面索引(face_id)对应空间分区。
在一个实施例中，多个照相机用于在不同方向拍摄场景的影像。于此实施例中，场景根据照相机的视场被分区(子-图像等于照相机捕获图像)。在一个例子中，可基于对应照相机的特性识别空间分区，例如照相机的视场，等等。
在一个实施例中，处理电路120用一个或多个处理器实施，该多个处理器用于运行软件指令来执行媒体数据处理。在另一个实施例中，处理电路120用集成电路实施。
在图1的例子中，封装的媒体数据透过接口电路111提供给分发系统150。分发子系统150用于恰当地提供媒体数据给客户设备，例如渲染系统160。在一个实施例中，分发系统150包含服务器，内存设备，网络设备，等等。分发系统150的元件透过有线及/或无线连接互相耦接。分发系统150透过有线及/或无线连接恰当地与来源系统110及渲染系统160耦接。
渲染系统160可使用任何合适的技术实施。在一个例子中，渲染系统160的元件可组装于设备封装内。在另一个例子中，渲染系统160是分布式系统，来源系统110的元件可处于不同位置，且可透过有线及/或无线连接恰当地互相耦接。
在图1的例子中，渲染系统160包含互相耦接的接口电路161，处理电路170以及显示设备165。接口电路161用于透过任何适合的通信协议接收与封装的媒体数据对应的数据流。
处理电路170用于处理媒体数据并产生展示给一个或多个用户的显示设备165的影像。显示设备165可为任何显示器，例如电视，智能手机，可穿戴显示，头戴式显示等等。
根据本发明的一方面，处理电路170用于从媒体展示的元数据决定轨道到空间分区的对应关系。接着，处理电路170用于基于对应关系决定一个或多个具有空间分区的覆盖轨道覆盖关注区域。然后可获取该一个或多个轨道，且处理电路170能基于一个或多个覆盖轨道产生一个或多个关注区域的影像。
在一个实施例中，处理电路170用于透过接口电路161从分发系统150请求恰当的媒体数据，例如特定轨道。在另一个实施例中，处理电路170用于从本地储存文件获取特定轨道。
在一个例子中，处理电路170包含解析模块180与影像产生模块190。解析模块180用于解析元数据来从元数据抽取轨道到空间分区的对应关系。影像产生模块190用于产生关注区域的影像。解析模块180与影像产生模块190可实施为运行软件指令的处理器并可实施于集成电路中。
在一个实施例中，空间分区的描述以球面坐标系统提供。在一个例子中，解析模块180从轨道的元数据中抽取球面坐标系统中的值，其定义空间分区的中心点与视场。在另一个例子中，解析模块180从轨道的元数据中抽取球面坐标系统中的值，其定义了空间分区的边界。
在另一个实施例中，空间分区的描述以理想的固体的表面索引提供。在一个例子中，解析模块180从轨道的元数据中抽取理想的固体的表面数量与表面索引，其识别空间分区。
在一个实施例中，空间分区的描述以照相机的属性提供。在一个例子中，解析模块180从轨道的元数据中抽取照相机属性，并基于属性决定空间分区。
在一个实施例中，处理电路170使用一个或多个处理器实施，且该一个或多个处理器用于运行软件指令来执行媒体数据处理。在另一个实施例中，处理电路170用集成电路实施。
图2显示根据本发明一个实施例的示例流程200之流程图。在一个例子中，流程200由来源系统执行，例如图1例子中的来源系统110。流程于步骤S201开始并进行到步骤S210。
在步骤S210中，获取媒体数据。在图1的例子中，获取设备112获取各种媒体数据，例如全向视频(Omnidirectional video)/360视频的影像，声音，等等。在一个例子中，获取设备112包含多个照相机用于在环绕空间内拍摄各方向的影像。在一个例子中，照相机所拍摄的影像能提供整个环绕空间的360°球面范围。需要注意的是，照相机所拍摄的影像能提供小于整个环绕空间的360°球面范围。获取设备112获取的媒体数据可恰当地存储或缓冲，在例如内存115中。
在步骤S220，对媒体数据进行处理。在图1的例子中，处理电路120包含音频处理路径用于处理音频数据，且包含影像/视频处理路经用于处理影像/视频数据。在一个例子中，在影像/视频处理路径上，处理电路120可将来自不同照相机的影像拼接成拼接影像，例如全向影像，等等。然后，处理电路120可根据合适的2D平面将拼接影像投射，以转换全向影像为一个或多个可用2D编码技术编码的2D影像。然后，处理电路120可恰当地编码该影像或影像流。
在步骤S230中，轨道到空间分区(子-图像)的对应关系与媒体数据封装进文件/区段中。在图1的例子中，处理电路120用于将球表面的视频内容架构进对应球表面的空间分区的多个轨道。处理电路120使用轨道程序定义盒子(track boxes)来分别包含多个轨道的元数据，并分别将空间分区的描述增加进多个轨道的元数据。
在步骤S240中，封装的文件/区段被存储且分发。在图1的例子中，封装之媒体数据可被存储于内存115内，并透过接口电路111被提供到分发系统150。分发系统150可恰当地分发媒体数据给用户，例如渲染系统160。然后，流程进行到步骤S299并结束。
图3显示根据本发明一个实施例的流程300的流程图。在一个例子中，流程300由渲染系统运行，例如图1例子中的渲染系统160。流程开始于步骤S301并进行到步骤S310。
在步骤S310，接收具有轨道到空间分区的对应关系的媒体数据。于图1的例子中，渲染系统160中的接口电路161恰当地接收包含媒体展示的元数据的文件。在一个实施例中，元数据包含分别对应多个轨道的元数据的轨道程序定义盒子，并包含分别对应多个轨道的元数据中的空间分区的描述。
在步骤S320，选择一个或多个轨道，这些轨道的空间分区覆盖关注区域。在图1的例子中，处理电路170能决定关注区域，并基于空间分区的描述决定覆盖关注区域的空间分区。然后，处理电路170能根据决定的空间分区选择轨道，并相应恰当地获取选择的轨道。在一个实施例中，处理电路170用于从分发系统150请求合适的媒体数据，例如媒体数据的特定轨道。
在步骤S330，产生渲染关注区域视图的影像。在图1的例子中，处理电路170用于基于选择的轨道产生关注区域的一个或多个影像。
在步骤S340，显示影像。在图1的例子中，显示设备165恰当地展示影像给一个或多个用户。然后，流程进行到S399并结束。
图4显示根据本发明一个实施例的轨道到空间分区的对应关系例子400。
在图4例子中，球表面410的视频内容根据ERP投射被投射到矩形平面420。矩形平面420的影像形成一个流(stream)，且被架构进单个轨道中。因此，轨道与整个矩形平面具有对应关系。在一个实施例中，对应关系在元资料中识别，其根据文件格式被封装进文件，例如ISO基本媒体文件格式。
在图4例子中，程序定义盒子430用于定义空间分区。在一个例子中，程序定义盒子430是轨道程序定义盒子的子盒子(sub-box)，例如具有‘trak’类型的程序定义盒子，使得由轨道程序定义盒子定义的轨道对应于程序定义盒子430定义的空间分区。
在图4例子中，程序定义盒子430定义一个空间分区为整个矩形平面420。因此，轨道内的每个取样覆盖整个矩形平面420。
图5显示根据本发明一个实施例的轨道到空间分区的对应关系例子500。
在图5例子中，球表面510的视频内容根据ERP投射被投射到矩形平面520。矩形平面520被划分为1-4分区。每一分区的影像形成一发流，并被架构进一个轨道。因此，轨道与分区1-4具有对应关系。在一个实施例中，对应关系在元资料中识别，其根据文件格式被封装进文件，例如ISO基本媒体文件格式。
于图5例子中，程序定义盒子530用于定义分区2。在一个例子中，程序定义盒子530是轨道程序定义盒子的子盒子(sub-box)，例如具有‘trak’类型的程序定义盒子，使得由轨道程序定义盒子定义的轨道对应于程序定义盒子530定义的分区2。
在图5例子中，程序定义盒子530使用球面坐标系统定义分区2。例如，具有值“180”的yaw_left定义分区2的左面边界，具有值“0”的yaw_right(等同于球坐标系统中的360)定义分区2的右面边界，具有值“90”的pitch_top定义分区2的上面边界，具有值“0”的pitch_bot定义分区2的下面边界。
图6显示根据本发明一个实施例的轨道到空间分区的对应关系例子600。
在图6例子中，球表面610的视频内容根据ERP投射被投射到矩形平面620。矩形平面620被划分为1-4分区。每一分区的影像形成一个流，并被架构进一个轨道。因此，轨道与分区1-4具有对应关系。在一个实施例中，对应关系在元资料中识别，其根据文件格式被封装进文件，例如ISO基本媒体文件格式。
于图6例子中，程序定义盒子630用于定义分区2。在一个例子中，盒子630是轨道程序定义盒子的子盒子(sub-box)，例如具有‘trak’类型的程序定义盒子，使得由轨道程序定义盒子定义的轨道对应于程序定义盒子630定义的分区2。
在图6例子中，程序定义盒子630使用球面坐标系统定义分区2。例如，具有值“270”的center_yaw与具有值“45”的center_pitch定义分区2的中心点，具有值“180”的fov_yaw定义偏航方向的覆盖范围，具有值“90”的fov_pitch定义间距方向的覆盖范围。
图7显示根据本发明一个实施例的轨道到空间分区的对应关系例子700。
在图7例子中，球表面710的视频内容根据ERP投射被投射到六面体的面1-6，且面1-6被重新调整来形成2D平面720。在此例子中，2D平面720的分区对齐面1-6的边界，因此面索引可用来识别分区。一个面的影像形成一个流，并被架构进一个轨道。因此，轨道与面具有对应关系。在一个实施例中，对应关系在元资料中识别，其根据文件格式被封装进文件，例如ISO基本媒体文件格式。
在图7例子中，程序定义盒子730使用面索引来定义分区。在一个例子中，程序定义盒子730是轨道程序定义盒子的子盒子(sub-box)，例如具有‘trak’类型的程序定义盒子，使得由轨道程序定义盒子定义的轨道对应于程序定义盒子730定义的分区。
在图7例子中，程序定义盒子730识别投射类型为理想的固体投射。而且，程序定义盒子730识别面的数量为6，因此理想的固体是六面体。然后，程序定义盒子730使用具有值“1”的face_id来定义并识别分区。
图8显示根据本发明一个实施例的轨道到空间分区的对应关系例子800。
在图8例子中，球表面810的视频内容根据ERP投射被投射到八面体的面1-8，且面1-8被重新调整来形成2D平面820。在此例子中，2D平面820的分区对齐面1-8的边界，因此面索引可用来识别分区。一个面的影像形成一个流，并被架构进一个轨道。因此，轨道与面具有对应关系。在一个实施例中，对应关系在元资料中识别，其根据文件格式被封装进文件，例如ISO基本媒体文件格式。
在图8例子中，程序定义盒子830使用面索引来定义分区。在一个例子中，程序定义盒子830是轨道程序定义盒子的子盒子(sub-box)，例如具有‘trak’类型的程序定义盒子，使得由轨道程序定义盒子定义的轨道对应于程序定义盒子830定义的分区。
在图8例子中，程序定义盒子830识别投射类型为理想的固体投射。而且，程序定义盒子830识别面的数量为8，因此理想的固体是八面体。然后，程序定义盒子830使用具有值“3”的face_id来定义并识别分区。
当用硬件实施时，硬件可包含一个或多个分离元件，集成电路，专用集成电路(ASIC)，等等。
本发明上面描述以特定实施进行范例说明，但实施例可被修改，调整，变化。因此，上述实施例仅作为说明而非用来限制本发明。凡依本发明权利要求范围内所做之均等变化与修饰，皆不脱离本发明之精神与范围。

Claims (20)

1.一种装置，其特征在于，包含：
接口电路(161)，用于接收媒体数据，该媒体数据具有被架构进对应一个或多个空间分区的一个或多个轨道的视频内容，该媒体数据报含该一个或多个轨道到该一个或多个空间分区的对应关系；
处理电路(170)，用于抽取该一个或多个轨道到该一个或多个空间分区的该对应关系，从该一个或多个轨道选择一个或多个覆盖轨道，该一个或多个覆盖轨道基于该对应关系具有覆盖关注区域的空间分区，并基于该一个或多个轨道产生该关注区域的多个影像；以及
显示设备，用于显示该关注区域的该多个影像。
2.如权利要求1所述的装置，其中该处理电路用于基于与轨道关注的空间分区信息，决定该轨道到空间分区的对应关系。
3.如权利要求2所述的装置，其特征在于，该处理电路用于基于投射指示器决定投射类型，并基于该投射类型决定该对应关系。
4.如权利要求3所述的装置，其特征在于，该处理电路用于当该投射指示器指示等距长方投影时，在定义该空间分区的球面坐标系统中抽取多个值。
5.如权利要求4所述的装置，其特征在于，该处理电路用于基于该球面坐标系统内的该多个值决定定义该空间分区的中心点与视场。
6.如权利要求4所述的装置，其特征在于，该处理电路用于基于该球面坐标系统中的该多个值决定定义该空间分区的边界。
7.如权利要求3所述的装置，其特征在于，该处理电路用于当该投射指示器指示理想的固体投影时，抽取识别该空间分区的面索引。
8.一种影像渲染方法，其特征在于，包含：
接收媒体数据，该媒体数据具有被架构进对应一个或多个空间分区的一个或多个轨道的视频内容，该媒体数据报含该一个或多个轨道到该一个或多个空间分区的对应关系；
抽取该一个或多个轨道到该一个或多个空间分区的该对应关系；
从该一个或多个轨道选择一个或多个覆盖轨道，该一个或多个覆盖轨道基于该对应关系具有覆盖关注区域的空间分区；
基于该一个或多个轨道产生该关注区域的多个影像；以及
显示该关注区域的该多个影像。
9.如权利要求8所述的影像渲染方法，其特征在于，抽取该一个或多个轨道到该一个或多个空间分区的该对应关系之步骤更包含：
基于与轨道关注的空间分区信息，决定该轨道到空间分区的对应关系。
10.如权利要求9所述的影像渲染方法，其特征在于，抽取该一个或多个轨道到该一个或多个空间分区的该对应关系之步骤更包含：
基于投射指示器决定投射类型；以及
基于该投射类型决定该对应关系。
11.如权利要求10所述的影像渲染方法，其特征在于，更包含：
当该投射指示器指示等距长方投影时，在定义该空间分区的球面坐标系统中抽取多个值。
12.如权利要求11所述的影像渲染方法，其特征在于，更包含：
基于该球面坐标系统内的该多个值决定定义该空间分区的中心点与视场。
13.如权利要求11所述的影像渲染方法，其特征在于，更包含：
基于该球面坐标系统中的该多个值决定定义该空间分区的边界。
14.如权利要求10所述的影像渲染方法，其特征在于，更包含：
当该投射指示器指示理想的固体投影时，抽取识别该空间分区的面索引。
15.一种装置，其特征在于，包含：
内存(115)，用于缓冲获取的媒体数据；以及
处理电路(120)，用于将该获取的媒体数据架构进对应一个或多个空间分区的一个或多个轨道，编码该媒体数据并用该一个或多个轨道到该一个或多个空间分区的对应关系封装该编码的媒体数据进一个或多个文件。
16.如权利要求15所述的装置，其中该处理电路用于连系轨道的空间分区信息与该一个轨道的描述。
17.如权利要求16所述的装置，其特征在于，该处理电路用于包含投射指示器，其指示投射类型，并包含与该投射类型关注的该空间分区信息。
18.如权利要求17所述的装置，其特征在于，该处理电路用于当该投射指示器指示等距长方投影时，包含定义该空间分区的球面坐标系统中的多个值。
19.如权利要求17所述的装置，其特征在于，该处理电路用于当该投射指示器指示理想的固体投影时，包含识别该空间分区的面索引。
20.一种方法，其特征在于，包含：
接收获取的媒体数据；以及
将该获取的媒体数据的视频内容架构进对应一个或多个空间分区的一个或多个轨道；
编码该媒体数据；以及
用该一个或多个轨道到该一个或多个空间分区的对应关系封装该编码的媒体数据进一个或多个文件。
CN201780047781.1A 2016-08-10 2017-08-04 指示视频内容的文件格式 Pending CN109565572A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662372824P 2016-08-10 2016-08-10
US62/372,824 2016-08-10
US201662382805P 2016-09-02 2016-09-02
US62/382,805 2016-09-02
US15/663,932 US20180048877A1 (en) 2016-08-10 2017-07-31 File format for indication of video content
US15/663,932 2017-07-31
PCT/CN2017/095938 WO2018028512A1 (en) 2016-08-10 2017-08-04 File format for indication of video content

Publications (1)

Publication Number Publication Date
CN109565572A true CN109565572A (zh) 2019-04-02

Family

ID=61159493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780047781.1A Pending CN109565572A (zh) 2016-08-10 2017-08-04 指示视频内容的文件格式

Country Status (4)

Country Link
US (1) US20180048877A1 (zh)
CN (1) CN109565572A (zh)
TW (1) TWI634516B (zh)
WO (1) WO2018028512A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190199921A1 (en) * 2016-08-29 2019-06-27 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
WO2018070810A1 (ko) * 2016-10-12 2018-04-19 삼성전자 주식회사 가상 현실 영상을 처리하는 방법 및 장치
US11146802B2 (en) * 2018-04-12 2021-10-12 Mediatek Singapore Pte. Ltd. Methods and apparatus for providing two-dimensional spatial relationships
KR102188270B1 (ko) * 2018-07-06 2020-12-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
CN113170088B (zh) * 2018-10-08 2023-10-03 三星电子株式会社 用于生成包括三维视频内容的媒体文件的方法和装置，以及用于重放三维视频内容的方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710507A (zh) * 2004-06-17 2005-12-21 索尼株式会社 内容再现设备及方法、内容管理设备及方法和计算机程序
CN101521745A (zh) * 2009-04-14 2009-09-02 王广生 一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法
CN101616318A (zh) * 2008-06-23 2009-12-30 联发科技股份有限公司 用于渲染或译码已压缩多媒体数据的方法及相关的装置
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
CN102547212A (zh) * 2011-12-13 2012-07-04 浙江元亨通信技术股份有限公司 多路视频图像的拼接方法
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法
CN103248867A (zh) * 2012-08-20 2013-08-14 苏州大学 基于多摄像头数据融合的智能视频监控系统的监控方法
US8570376B1 (en) * 2008-11-19 2013-10-29 Videomining Corporation Method and system for efficient sampling of videos using spatiotemporal constraints for statistical behavior analysis
US20130325903A1 (en) * 2012-06-05 2013-12-05 Google Inc. System and Method for Storing and Retrieving Geospatial Data
CN104919812A (zh) * 2013-11-25 2015-09-16 华为技术有限公司 处理视频的设备和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US7656403B2 (en) * 2005-05-13 2010-02-02 Micoy Corporation Image processing and display
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
WO2009013845A1 (ja) * 2007-07-20 2009-01-29 Techwell Japan K.K. 画像処理装置及びカメラシステム
US7961980B2 (en) * 2007-08-06 2011-06-14 Imay Software Co., Ltd. Method for providing output image in either cylindrical mode or perspective mode
CN102347043B (zh) * 2010-07-30 2014-10-22 腾讯科技（北京）有限公司 多角度视频播放方法和系统
TW201239807A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd Image capture device and method for monitoring specified scene using the image capture device
CN103167246A (zh) * 2011-12-16 2013-06-19 李海 一种基于互联网的全景画面展示方法及用于该方法的全景摄像装置
CN104700383B (zh) * 2012-12-16 2017-09-15 吴凡 一种多聚焦图像生成装置及多聚焦图像文件处理方法
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
CN104506828B (zh) * 2015-01-13 2017-10-17 中南大学 一种无有效重叠变结构的定点定向视频实时拼接方法
US9787896B2 (en) * 2015-12-29 2017-10-10 VideoStitch Inc. System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US9992400B2 (en) * 2016-02-23 2018-06-05 VideoStitch Inc. Real-time changes to a spherical field of view
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US20170339469A1 (en) * 2016-05-23 2017-11-23 Arjun Trikannad Efficient distribution of real-time and live streaming 360 spherical video

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710507A (zh) * 2004-06-17 2005-12-21 索尼株式会社 内容再现设备及方法、内容管理设备及方法和计算机程序
CN101616318A (zh) * 2008-06-23 2009-12-30 联发科技股份有限公司 用于渲染或译码已压缩多媒体数据的方法及相关的装置
US8570376B1 (en) * 2008-11-19 2013-10-29 Videomining Corporation Method and system for efficient sampling of videos using spatiotemporal constraints for statistical behavior analysis
CN101521745A (zh) * 2009-04-14 2009-09-02 王广生 一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
CN102547212A (zh) * 2011-12-13 2012-07-04 浙江元亨通信技术股份有限公司 多路视频图像的拼接方法
US20130325903A1 (en) * 2012-06-05 2013-12-05 Google Inc. System and Method for Storing and Retrieving Geospatial Data
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法
CN103248867A (zh) * 2012-08-20 2013-08-14 苏州大学 基于多摄像头数据融合的智能视频监控系统的监控方法
CN104919812A (zh) * 2013-11-25 2015-09-16 华为技术有限公司 处理视频的设备和方法

Also Published As

Publication number Publication date
TWI634516B (zh) 2018-09-01
US20180048877A1 (en) 2018-02-15
TW201810189A (zh) 2018-03-16
WO2018028512A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN109565572A (zh) 指示视频内容的文件格式
JP7472220B2 (ja) 方法、プログラム、及びデバイス
US10545570B2 (en) Method for providing content and apparatus therefor
CN109565571B (zh) 标示关注区域的方法与装置
CN109691094A (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN111869201B (zh) 处理和发送三维内容的方法
JP2019519149A (ja) 仮想現実メディアコンテンツを適応ストリーミングする方法、デバイス及びコンピュータプログラム
CN112189345A (zh) 体积式视频格式的方法，装置和流
JP2021525470A (ja) メディアコンテンツを送信する方法、装置及びコンピュータプログラム
TWI710248B (zh) 用於軌道合成的方法以及裝置
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
US11139000B2 (en) Method and apparatus for signaling spatial region information
US20240080429A1 (en) Video data processing method and apparatus, computer device, computer readable storage medium, and computer program product
US20230353842A1 (en) Method, device, and computer program for encapsulating region annotations in media tracks
US20220286659A1 (en) Multi-view video processing method and apparatus
WO2022037423A1 (zh) 点云媒体的数据处理方法、装置、设备及介质
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
CN114374675B (zh) 媒体文件的封装方法、媒体文件的解封装方法及相关设备
EP3873095A1 (en) An apparatus, a method and a computer program for omnidirectional video
WO2022193875A1 (zh) 多视角视频的处理方法、装置、设备及存储介质
CN117082262A (zh) 点云文件封装与解封装方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402

RJ01 Rejection of invention patent application after publication