CN111566704A - 用于对表示球体多媒体内容的球体进行瓦片化的方法和网络装备 - Google Patents

用于对表示球体多媒体内容的球体进行瓦片化的方法和网络装备 Download PDF

Info

Publication number
CN111566704A
CN111566704A CN201880073470.7A CN201880073470A CN111566704A CN 111566704 A CN111566704 A CN 111566704A CN 201880073470 A CN201880073470 A CN 201880073470A CN 111566704 A CN111566704 A CN 111566704A
Authority
CN
China
Prior art keywords
tile
sphere
tiles
weft
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880073470.7A
Other languages
English (en)
Inventor
让·勒卢克斯
伊冯·勒加拉斯
查尔斯·萨蒙-勒加尼厄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN111566704A publication Critical patent/CN111566704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于利用瓦片集合对表示球体多媒体内容的球体进行瓦片化的方法，包括：获得(402)所述球体的每条纬线的高度，所述球体的所述每条纬线包括所述瓦片的一个或若干质心，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度和瓦片垂直角度幅度的部分；获得(403)布置在所述纬线上的所述瓦片的每个质心的角位置；确定(404)要应用于参考瓦片以获得所述瓦片集合中的所述瓦片的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的质心的高度和角位置。

Description

用于对表示球体多媒体内容的球体进行瓦片化的方法和网络 装备
技术领域
本公开一般涉及通过递送网络(delivery network)将球体视频(所谓的虚拟现实(VR)360°视频)流传输到终端设备。
背景技术
本部分旨在向读者介绍可能与下面描述和/或要求权利的本公开的各个方面相关的技术的各个方面。相信这样的讨论有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应当理解，这些陈述应就此而论来阅读，而不是作为对它们是现有技术的承认。
VR 360°视频提供沉浸式体验，其中用户可以使用VR头戴式显示器(HMD)环视，或者可以通过利用控制装置(诸如鼠标或遥控器)控制视口而在平面显示器上的场景内自由导航。
空间导航中的这种自由度要求整个360°场景被递送给播放器(嵌入在HMD或电视机设备内)，该播放器被配置为根据视口在场景内的位置来提取要被可视化的视频部分。因此，需要高吞吐量来递送视频。实际上，通常允许由360°水平方向和180°垂直方向围绕的物理空间视场可以在最小十二个视口集合内被用户完全覆盖。为了以4K分辨率提供无限制的VR 360°视频服务，必须提供相当于十二个4K视频的视频流。
因此，一个主要问题依赖于VR 360°视频在带宽受限网络上的有效传输，其具有可接受的沉浸式体验质量(即，避免冻结屏幕、块效应、黑屏等)。当前，为了在流传输中递送VR360°视频服务，必须在沉浸式体验、视频分辨率和内容递送网络的可用吞吐量之间达成折衷。
大多数已知的流传输VR 360°视频的解决方案向终端设备提供完整的360°场景，但是仅向用户呈现整个场景的不到10％。由于递送网络具有有限的吞吐量，所以降低视频分辨率以满足带宽约束。
其它已知的解决方案通过降低布置在终端设备的当前视口外部360°场景的部分的分辨率来减轻视频质量的劣化。然而，当终端设备的视口因用户的动作而被移动到较低分辨率区域时，所显示的视频会遭受突然的劣化。
本公开是考虑到前述内容而设计的。
发明内容
本公开涉及一种利用瓦片(tile)集合对表示球体多媒体内容的球体进行瓦片化(tiling)的方法，
所述方法包括：
-获得所述球体的每条纬线(parallel line)的高度，所述球体的所述每条纬线包括瓦片的一个或若干质心，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度和瓦片垂直角度幅度的部分；
-获得布置在所述纬线上的所述瓦片的每个质心的角位置；
-确定要应用于参考瓦片以获得所述瓦片集合中的所述瓦片的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的质心的高度和角位置。
在实施例中，与所述瓦片集合中的对应瓦片相关联的每个变换可由旋转矩阵定义。
在实施例中，所述旋转矩阵可以是两个旋转矩阵的矩阵积，由以下等式定义：
Figure BDA0002489651100000021
其中：
■Rotij是所述矩阵积，
■Rot(x，θj)是与围绕布置在球体中心的轴x、y、z的正交系统的轴x的角度的旋转相关联的旋转矩阵，
■Rot
Figure BDA0002489651100000031
是与围绕正交系统的轴y的角度的旋转相关联的旋转矩阵。在实施例中，对于所述对应瓦片，
-围绕轴x的旋转角度可以对应于所获得的包括所述对应瓦片的所述质心的纬线的高度，
-围绕轴y的旋转角度可以对应于所获得的所述对应瓦片的所述质心的角位置。
在实施例中，瓦片水平角度幅度和瓦片垂直角度幅度可以取决于服务参数。
在实施例中，纬线的数量可以取决于瓦片垂直角度幅度和垂直重叠比率。
在实施例中，纬线上的瓦片的数量可以取决于瓦片水平角度幅度和水平重叠比率。
在实施例中，两条纬线之间的角度幅度可以是恒定的。
在实施例中，所述瓦片集合中的瓦片可以具有相同的形状。
本公开还涉及一种网络装备，其被配置用于利用瓦片集合对表示球体多媒体内容的球体进行瓦片化，所述网络装备包括至少一个存储器和至少一个处理电路，所述至少一个处理电路被配置为执行：
-获得所述球体的每条纬线的高度，所述球体的所述每条纬线包括所述瓦片的一个或若干质心，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度和瓦片垂直角度幅度的部分；
-获得布置在所述纬线上的所述瓦片的每个质心的角位置；
-确定要应用于参考瓦片以获得所述瓦片集合中的所述瓦片的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的质心的高度和角位置。
在实施例中，与所述瓦片集合中的对应瓦片相关联的每个变换可由旋转矩阵定义。
在实施例中，所述旋转矩阵可以是两个旋转矩阵的矩阵积，由以下等式定义：
Figure BDA0002489651100000041
其中：
■Rotij是矩阵积，
■Rot(x，θj)是与围绕布置在球体中心的轴x、y、z的正交系统的轴x的角度的旋转相关联的旋转矩阵，
■Rot
Figure BDA0002489651100000042
是与围绕正交系统的轴y的角度的旋转相关联的旋转矩阵。在实施例中，对于所述对应瓦片，
-围绕轴x的旋转角度可以对应于所获得的包括所述对应瓦片的所述质心的纬线的高度，
-围绕轴y的旋转角度可以对应于所获得的所述对应瓦片的所述质心的角位置。
在实施例中，瓦片水平角度幅度和瓦片垂直角度幅度可以取决于服务参数。
在实施例中，纬线的数量可以取决于瓦片垂直角度幅度和垂直重叠比率。
本公开还涉及一种在终端处实现的方法，所述终端被配置为与网络装备通信以接收由球体表示的球体多媒体内容，
其中所述方法包括接收：
-所述球体的每条纬线的高度，所述球体的每条纬线包括瓦片化所述球体的瓦片的一个或若干质心，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度和瓦片垂直角度幅度的部分；
-布置在所述纬线上的所述瓦片的每个质心的角位置；
-要应用于参考瓦片以获得瓦片化所述球体的瓦片的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的质心的高度和角位置。
本公开还涉及一种终端，被配置为与网络装备通信以接收由球体表示的球体多媒体内容，
其中所述终端包括至少一个存储器和至少一个处理电路，所述至少一个处理电路被配置为接收：
-所述球体的每条纬线的高度，所述球体的每条纬线包括瓦片化所述球体的瓦片的一个或若干质心，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度和瓦片垂直角度幅度的部分；
-布置在所述纬线上的所述瓦片的每个质心的角位置；
-要应用于参考瓦片以获得瓦片化所述球体的瓦片的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的质心的高度和角位置。
此外，本公开还涉及一种计算机可读的非暂时性程序存储设备，其有形地体现为可由计算机执行的指令的程序，以执行用于利用瓦片集合来对表示球体多媒体内容的球体进行瓦片化的方法，所述方法包括：
-获得所述球体的每条纬线的高度，所述球体的每条纬线包括瓦片的一个或若干质心，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度和瓦片垂直角度幅度的部分；
-获得布置在所述纬线上的所述瓦片的每个质心的角位置；
-确定要应用于参考瓦片以获得所述瓦片集合中的所述瓦片的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的质心的高度和角位置。
本公开还涉及一种计算机程序产品，其存储在非暂时性计算机可读介质上并且包括可由处理器执行的程序代码指令，用于实现利用瓦片集合对表示球体多媒体内容的球体进行瓦片化的方法，所述方法包括：
-获得所述球体的每条纬线的高度，所述球体的每条纬线包括瓦片的一个或若干质心，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度和瓦片垂直角度幅度的部分；
-获得布置在所述纬线上的所述瓦片的每个质心的角位置；
-确定要应用于参考瓦片以获得所述瓦片集合中的所述瓦片的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的质心的高度和角位置。
根据本公开的方法可以在可编程装置上的软件中实现。它可以单独地以硬件或软件或其组合来实现。
由本公开的元素实现的一些过程可以是计算机实现的。因此，这样的元素可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式，其可以全部在本文中一般地被称为“电路”、“模块”或“系统”。此外，这样的元素可以采取在任何有形表达介质中体现的计算机程序产品的形式，该有形表达介质具有在该介质中体现的计算机可用程序代码。
由于本公开的元素可以以软件实现，因此本公开可以被实现为用于在任何合适的载体介质上提供给可编程装置的计算机可读代码。有形载体介质可以包括存储介质，例如软盘、CDROM、硬盘驱动器、磁带设备或固态存储器设备等。
因此，本公开提供了一种包括计算机可执行指令的计算机可读程序，以使得计算机能够执行根据本公开的用于利用瓦片集合对表示球体多媒体内容的球体进行瓦片化的方法。
下面阐述与所公开的实施例的范围相当的某些方面。应当理解，这些方面仅被呈现以向读者提供本公开可能采取的某些形式的简要概述，并且这些方面不旨在限制本公开的范围。实际上，本公开可以涵盖可能未在下面阐述的各种方面。
附图说明
通过以下实施例和执行例，将更好地理解和说明本公开，但本公开不以任何方式限制，参考附图，其中：
-图1是其中可以实现本发明原理的示例性网络架构的示意图；
-图2是其中可以实现本发明原理的示例性客户端终端的示意框图；
-图3是其中可以实现本发明原理的示例性网络装备的示意框图；
-图4是由本发明原理的一些实施例使用的用于瓦片化球体多媒体内容的示例性方法的流程图；
-图5描绘了根据本发明原理的球体多媒体内容在球体上的投影；
-图6示出了通过图4所示的方法获得的示例性瓦片；
-图7示出了用于实现图4的方法的空间正交系统；
-图8示出了根据本发明原理的图5的球体的纬线的示例；
-图9示出了通过图4的方法获得的瓦片在平面图上的示例性投影；
-图10描绘了根据图4的方法的实现方式获得的纬线的示例性分布。
在可能的情况下，在所有附图中使用相同的附图标记来表示相同或相似的部分。
具体实施方式
以下描述示出了本公开的原理。因此，将理解，本领域技术人员将能够设计出各种布置，该各种布置虽然未在本文中明确描述或示出，但体现本公开的原理并且包括在本公开的范围内。
本文所述的所有示例和条件语言旨在用于教育目的以帮助读者理解本公开的原理，并且应被解释为不限于此类具体所述的示例和条件。
此外，本文中叙述本公开的原理、方面和实施例的所有陈述及其具体示例旨在涵盖其结构和功能等同物两者。另外，这些等同物旨在包括当前已知的等同物以及将来开发的等同物，即，所开发的执行相同功能的任何元素，而不管结构如何。
因此，例如，本领域技术人员将理解，本文呈现的框图表示体现本公开的原理的说明性电路的概念视图。类似地，将理解，任何流程图、流图、状态转移图、伪代码等表示可基本上在计算机可读介质中表示并因此由计算机或处理器执行的各种过程，而不管是否明确示出了这样的计算机或处理器。
可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供图中所示的各种元素的功能。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为排他性地指代能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。
在其权利要求中，被表达为用于执行指定功能的装置和/或模块的任何元素旨在包括执行该功能的任何方式，包括例如a)执行该功能的电路元素的组合，或者b)任何形式与用于执行该软件以执行该功能的适当电路组合的软件，因此该软件包括固件、微代码等。因此，认为可以提供那些功能的任何装置都等同于本文所示的那些装置。
另外，应理解，本公开的附图和描述已被简化以示出与清楚理解本公开相关的元素，同时为了清楚起见，消除了在典型的数字多媒体内容递送方法、设备和系统中发现的许多其他元素。然而，因为这些元素在本领域中是公知的，所以在此不提供对这些元素的详细讨论。本文的公开内容涉及本领域技术人员已知的所有这些变化和修改。
本公开是关于通过递送网络将球体多媒体内容(诸如VR 360°视频)传递到客户端终端的流传输环境来描述的。
如图1所示，其中可以实现本公开的网络架构包括客户端终端100、网关200和网络装备300。
通过第一网络N1(例如家庭网络或企业网络)连接到网关200的客户端终端100可能希望通过第二网络N2(例如因特网网络)请求存储在远程网络装备300上的VR 360°视频。第一网络N1由于网关200而连接到第二网络N2。
网络装备300被配置为在客户端请求时使用流传输协议(诸如HTTP自适应流传输协议，所谓的HAS)将片段流传输到客户端终端100。
如图2的示例中所示，客户端终端100可以至少包括：
-到第一网络N1的连接接口101(有线和/或无线，例如WiFi、以太网等)；
-通信电路102，包含协议栈以与网络装备300通信。特别地，通信模块102包括本领域公知的TCP/IP栈。当然，它可以是使客户端终端100能够与网络装备300通信的任何其它类型的网络和/或通信装置；
-流传输控制器103，其从网络装备300接收VR 360°视频；
-视频播放器104，适于解码和呈现多媒体内容；
-一个或多个处理器105，用于执行存储在所述客户端终端100的非易失性存储器中的应用和程序；
-存储装置106，例如易失性存储器，用于在从网络装备300接收的片段被传输到视频播放器104之前对其进行缓冲；
-内部总线107，用于连接各种模块和本领域技术人员公知的用于执行通用客户端终端功能的所有装置。
作为示例，客户端终端100是便携式媒体设备、移动电话、平板电脑或膝上型电脑、头戴式设备、机顶盒等。自然地，客户端终端100可以不包括完整的视频播放器，而仅包括一些子元素，诸如用于对媒体内容进行解复用和解码的子元素，并且可以依赖于外部装置来向终端用户显示解码的内容。
如图3的示例所示，网络装备300可以至少包括：
-到第二网络N2的连接接口301；
-通信电路302，用于将数据递送到一个或若干请求终端。特别地，通信电路302可以包括本领域公知的TCP/IP栈。当然，它可以是使网络装备300能够与客户端终端100通信的任何其它类型的网络和/或通信装置；
-流传输控制器303，被配置为将VR 360°视频递送到一个或若干个客户端终端；
-一个或多个处理器304，用于执行存储在网络装备300的非易失性存储器中的应用和程序；
-存储装置305；
-内容生成器306，被配置为生成要发送的VR 360°视频。应当理解，内容生成器可以被布置在与网络装备300不同的单独的装置中。在这种情况下，包括内容生成器的装置可以向网络装备发送VR内容；
-内部总线307，用于连接各种模块和本领域技术人员公知的用于执行通用网络装备功能的所有装置。
根据本发明原理，网络装备300(例如，经由其(一个或多个)处理器304和/或内容生成器306)被配置为实现用于在表示VR 360°视频的球体500的中心O处布置的轴x、y、z的正交系统R(O、x、y、z)中利用瓦片集合(如图7所示)来对球体多媒体内容(例如，VR 360°视频)进行瓦片化的方法400(如图4所示)。球体的中心O对应于已经获取VR 360°视频的获取设备的位置。
如图5和6的示例所示，在步骤401中，可以将瓦片集合的每个瓦片600定义为所述球体500的覆盖瓦片水平角度幅度
Figure BDA0002489651100000111
和瓦片垂直角度幅度θtile的部分601。
可以通过考虑目标VR 360°视频服务的以下服务参数中的一个或若干个来确定瓦片水平角度幅度
Figure BDA0002489651100000112
和瓦片垂直角度幅度θtile：
-用于沿着客户端终端100和网络装备300之间的传输路径递送的网络可用带宽；
-所请求的VR 360°视频的质量；
-与客户端终端100的视口相关联的用户视场；
-水平超量供给比率Rhor，其可以是在瓦片600的表面上在相同线Lj上的两个连续瓦片之间的相交表面的0和1之间的比率(如关于图8所描述的)；
-垂直超量供给比率Rver，其可以是在瓦片600的表面上的两个连续线Lj和Lj+1上的两个瓦片之间的相交表面的0和1之间的比率(参见图8)。
图6中描绘的参考瓦片600R具有中心C，该中心C对应于正交系统R(O，x，y，z)的Oz轴(正部分)与表示VR 360°视频的球体500的表面的交点。在系统R(O，x，y，z)中，点C的坐标是(0，0，1)，即xc＝0、yc＝0和zc＝1。其球体坐标是(1，0，0)，即ρc＝1，θc＝0和
Figure BDA0002489651100000116
参考瓦片600R可接着由包含于以下各者之间的区域界定：
-经线602指示
Figure BDA0002489651100000113
-经线603指示
Figure BDA0002489651100000114
-纬线604指示θ＝+θtile/2；
-纬线605指示θ＝-θtile/2。
可以用系统R(O，x，y，z)中的球体坐标
Figure BDA0002489651100000115
来定义瓦片集合中的瓦片600的中心点(所谓的质心)Cij。
为了确定瓦片600的质心，在步骤402中，网络装备300可以获得球体500的每条纬线Lj的高度θj，所述球体的每条纬线Lj包括瓦片集合的瓦片600的一个或若干质心Cij。纬线Lj的数量取决于瓦片垂直角度幅度θtile和垂直重叠比率Rvert。两条连续纬线Lj之间的角度可以由以下等式定义：
Δθ＝θtile×(1–Rvert)
可以导出瓦片600的质心Cij的可能的θj值的列表，由下式给出：
θj＝Δθ×j＝θtile×(1–Rvert)×j
其中j属于[0，…，Nparallels per hemisphere-1]，该[0，…，Nparallels per hemisphere-1]具有由Nparallels per hemisphere＝90°/Δθ给出的每半球的纬线Lj的最大数量。
值得注意的是，可以降低每半球的纬线Lj的最大数量。视口越接近极，导航越容易变成围绕单个点的简单旋转。因此，瓦片的带在极处可能效率较低，并且可以由如下文所述的星形布局代替。在说明性而非限制性的示例中，极罩可以将每半球的纬线数量减少一，使得纬线数量Lj变为：
Nparallels per hemisphere＝(90°/Δθ)–1
一旦定义了纬线Lj，网络装备300就可以在步骤403中进一步确定相应的纬线Lj上的质心Cij的水平角位置，例如它们在空间上满足水平重叠比率Rhor。当移动通过极P时，布置在纬线Lj上的瓦片600的数量减少，因为它与纬线Lj的周长成比例。通过考虑赤道E处的周长CE，高度θj处的纬线Lj的周长Cj由以下公式给出：
Cj＝CE×cosθj
每条纬线Lj上的瓦片600的数量可以取决于瓦片水平角度幅度
Figure BDA0002489651100000121
和水平重叠比率Rhor。特别地，对于布置在θ0＝0°的纬线L0，属于L0的两个连续质心Ci0之间的角偏差由下式给出：
Figure BDA0002489651100000122
使得纬线L0上的瓦片的数量可以如下导出：
Figure BDA0002489651100000131
这导致纬线L0上的瓦片质心Ci0的可能
Figure BDA0002489651100000132
值的列表，由下式给出：
Figure BDA0002489651100000133
其中i属于[0，…，Ntiles on parallel L0-1]。
然后，纬线Lj上的瓦片数量可以从下面的等式中获得：
Figure BDA0002489651100000134
此外，布置在纬线Lj上的两个连续质心之间的角偏差从以下等式导出：
Figure BDA0002489651100000135
对于布置在纬线Lj上的质心Cij，系统R(O，x，y，z)中质心Cij的角位置可以如下获得：
Figure BDA0002489651100000136
其中i属于[0，…，Ntiles on parallel L0-1]。
Figure BDA0002489651100000137
表示相对于片段OC的围绕轴y的旋转角度，且θj表示相对于OC的围绕轴x的旋转角度。片段OCij可以通过应用于OC的旋转矩阵来获得，定义(步骤404)如下：
OCij＝Rotij(OC)
其中Rotij是旋转矩阵。
在本发明原理的实施例中，旋转矩阵Rotij可以是两个旋转矩阵的矩阵积，其由以下等式定义：
Figure BDA0002489651100000138
其中：
-Rot(x，θj)是与围绕正交系统R(O，x，y，z)的x轴的角度θj的旋转相关联的旋转矩阵，以及
-Rot
Figure BDA0002489651100000139
是与围绕正交系统R(O，x，y，z)的y轴的角度
Figure BDA00024896511000001310
的旋转相关联的旋转矩阵。
在本发明原理的实施例中，由于瓦片集合中的每个瓦片具有相同的形状，为了获得与质心Cij的瓦片相关联的瓦片网格(瓦片的网格中心被布置在所述瓦片的中心)，在步骤405中，旋转矩阵Rotij可以被应用于与质心C的参考瓦片600R相关联的参考瓦片网格。参考瓦片600R可以用作所有瓦片的模型。然后，将旋转矩阵Rotij应用于参考网格的所有顶点，以获得与以Cij为中心的瓦片相关联的瓦片网格的顶点。
在步骤406中，网络装备300可以例如通过使用已知的射线跟踪技术来计算旋转的瓦片形状与投射在球体500上的VR 360°视频的360°视频帧之间的射线相交，来确定瓦片的像素内容。
应当注意，可以在每个极P处以星形方式分布很少的瓦片以完成球体500的瓦片化。例如，在示例性而非限制性的示例中，星形方式的分布可以包括在每个极P上按规则(例如，两个连续瓦片的中心Cij之间的角偏差等于60°)布置的六个瓦片(覆盖瓦片水平角度幅度
Figure BDA0002489651100000141
和瓦片垂直角度幅度θtile)。在中心Cij处的瓦片的法线轴和正交系统R(O，x，y，z)的y轴之间的轴向倾斜可以等于5°。
如图9所示，当递送到客户端终端100的播放器104的内容是MPEG视频，即2D像素阵列时，每个生成的瓦片(即球体500的部分)可以通过球体部分到平面的投影而被转换成这样的2D阵列。
此外，根据本发明原理，客户端终端100的流传输控制器103从网络装备300接收VR360°视频可以进一步被配置为持续地选择与瓦片相关联的片段，该瓦片例如覆盖与终端100相关联的当前视口。在自适应流传输的示例中，从当前瓦片到下一瓦片的切换(两者都包括当前视口)可以仅发生在视频片段的末尾和下一视频片段的开头。
为此，客户端终端100可以从网络装备300接收瓦片水平和垂直角度幅度
Figure BDA0002489651100000151
的值，以便能够重新生成瓦片参考网格。网络装备300还可以将参考瓦片600R的所有顶点发送到终端100，并且将旋转矩阵Rotij的列表应用于瓦片参考网格以获得覆盖球体500的瓦片。在一种变型中，当终端100被配置为通过使用适当的数学库来动态地重新计算旋转矩阵时，网络装备仅可以与终端100共享质心Cij的极坐标。
在图10所示的本发明原理的说明性而非限制性的示例中，其中支持VR360°视频的场景表示的是球体，针对视口(与客户端终端100相关联)的等于60°的水平FOV(视场)被认为导致对于4K瓦片的等于大约120°的水平FOV。为了允许在4K视频中的最佳投影，将瓦片的形状选择为接近16/9矩形。此外，为了获得对于任何视口位置的相同行为，瓦片的形状独立于用户的视点。因此，当用户正在赤道L0处(即，在他前面)或在极P处(即，在他的头上或观看他的脚)观看时，递送到播放器104的视频表示VR 360°场景的相同比例。
在该示例中，4K视频瓦片被递送到终端100，其水平FOV等于120°，且垂直FOV等于大约72°(相对于VR 360°视频的16:9的比率)。通过考虑在两个连续的瓦片之间沿着赤道E的水平重叠率Rhor(导致90°的水平角重叠)，两个连续的瓦片之间的移位等于30°，从而十二个瓦片限定在赤道E上(纬线L0)。当从南极P移动到北极P时，可以垂直地应用相同的操作，当考虑垂直重叠比率Rvert等于3/4时，角度垂直重叠等于51°，意味着从瓦片的冠部(crown)到上面的瓦片的垂直移动等于17°，使得十一个瓦片可以被布置在球体的给定经线上。此外，在每个极P处以星形方式组织少量的瓦片以完成表示VR 360°视频的球体的瓦片化。最后，需要大约七十块瓦片来覆盖整个球体。
由于上述方法，通过仅递送场景的部分，可以控制视频质量与数据比特率的比率，并且可以获得客户端终端侧的高质量视频，即使具有网络带宽约束。另外，通过生成大于视口并且适应于显示器比率的瓦片，可以提供视频中的最小用户导航而没有中断。此外，通过为所有视口构建相同形状的瓦片，可以防止降低在极上的质量。
在说明书、权利要求书和附图中公开的引用可以独立地或以任何适当的组合提供。在适当的情况下，特征可以以硬件、软件或两者的组合来实现。
本文对“一个实施例”或“实施例”的引用意味着结合实施例描述的特定特征、结构或特性可包括在所描述的方法和设备的至少一个实现中。在说明书中的各个地方出现的短语“在实施例中”不必都指相同的实施例，也不是必须与其它实施例互斥的单独的或替代的实施例。
权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围具有限制作用。
尽管本文仅描述了本公开的某些实施例，但是本领域的任何技术人员将理解，本公开的其他修改、变化和可能性是可能的。因此，这些修改、变化和可能性被认为落入本公开的精神和范围内，并因此形成如本文所述和/或例示的本公开的部分。
附图中的流程图和/或框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的配置、操作和功能。在这点上，流程图或框图中的每个框可以表示代码的模块、片段或部分，其包括用于实现指定的(一个或多个)逻辑功能的一个或多个可执行指令。还应当注意，在一些可替换实现中，框中所标注的功能可以不按图中所标注的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，或者这些框可以以替代的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。虽然没有明确地描述，但是可以以任何组合或子组合来采用本实施例。

Claims (15)

1.一种用于利用瓦片集合(600)对表示球体多媒体内容的球体(500)进行瓦片化的方法，
所述方法(400)包括：
-获得(402)所述球体(500)的每条纬线(Lj)的高度(θj)，所述球体(500)的所述每条纬线(Lj)包括所述瓦片(600)的一个或若干质心(Cij)，每个瓦片被定义为所述球体(500)的覆盖瓦片水平角度幅度
Figure FDA0002489651090000011
和瓦片垂直角度幅度(θtile)的部分；
-获得(403)布置在所述纬线(Lj)上的所述瓦片(600)的每个质心(Cij)的角位置
Figure FDA0002489651090000012
-确定(404)要应用于参考瓦片以获得所述瓦片集合的所述瓦片(600)的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的所述质心(Cij)的高度(θj)和角位置
Figure FDA0002489651090000013
2.根据权利要求1所述的方法，其中与所述瓦片集合中的对应瓦片相关联的每个变换由旋转矩阵定义。
3.根据权利要求2所述的方法，其中所述旋转矩阵是两个旋转矩阵的矩阵积，由以下等式定义：
Figure FDA0002489651090000014
其中：
■Rotij是所述矩阵积，
■Rot(x，θj)是与围绕布置在所述球体(500)的中心(O)的轴x、y、z的正交系统(R(O，x，y，z))的轴x的角度(θj)的旋转相关联的旋转矩阵，
■Rot
Figure FDA0002489651090000021
是与围绕所述正交系统的所述轴y的角度
Figure FDA0002489651090000022
的旋转相关联的旋转矩阵。
4.根据权利要求3所述的方法，其中，对于所述对应瓦片：
-围绕所述轴x的所述旋转角度(θj)对应于所获得的包括所述对应瓦片的所述质心(Cij)的纬线(Lj)的高度，
-围绕所述轴y的所述旋转角度
Figure FDA0002489651090000023
对应于所获得的所述对应瓦片的所述质心(Cij)的角位置。
5.根据权利要求1至4所述的方法，其中所述瓦片水平角度幅度
Figure FDA0002489651090000024
和所述瓦片垂直角度幅度(θtile)取决于服务参数。
6.根据权利要求1至5所述的方法，其中纬线的数量取决于所述瓦片垂直角度幅度(θtile)和垂直重叠比率(Rvert)。
7.根据权利要求1至6所述的方法，其中，纬线(Lj)上的瓦片的数量取决于所述瓦片水平角度幅度
Figure FDA0002489651090000025
和水平重叠比率(Rhor)。
8.根据权利要求1至7所述的方法，其中，两条纬线(Lj)之间的角度幅度是恒定的。
9.根据权利要求1至9所述的方法，其中，所述瓦片集合中的所述瓦片具有相同的形状。
10.一种网络装备，被配置用于利用瓦片(600)集合对表示球体多媒体内容的球体(500)进行瓦片化，
所述网络装备包括至少一个存储器(305)和至少一个处理电路(304)，所述至少一个处理电路(304)被配置为执行：
-获得(402)所述球体(500)的每条纬线(Lj)的高度(θj)，所述球体(500)的所述每条纬线(Lj)包括所述瓦片的一个或若干质心，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度
Figure FDA0002489651090000031
和瓦片垂直角度幅度(θtile)的部分；
-获得(403)布置在所述纬线(Lj)上的所述瓦片的每个质心(Cij)的角位置
Figure FDA0002489651090000032
-确定(404)要应用于参考瓦片以获得所述瓦片集合的所述瓦片(600)的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的所述质心(Cij)的高度(θj)和角位置
Figure FDA0002489651090000033
11.根据权利要求10所述的网络装备，其中与所述瓦片集合中的对应瓦片相关联的每个变换由旋转矩阵定义。
12.根据权利要求11所述的网络装备，其中所述旋转矩阵是两个旋转矩阵的矩阵积，由以下等式定义：
Figure FDA0002489651090000034
其中：
■Rotij是所述矩阵积，
■Rot(x，θj)是与围绕布置在所述球体(500)的中心(O)的轴x、y、z的正交系统(R(O，x，y，z))的轴x的角度(θj)的旋转相关联的旋转矩阵，
■Rot
Figure FDA0002489651090000035
是与围绕所述正交系统的所述轴y的角度
Figure FDA0002489651090000036
的旋转相关联的旋转矩阵。
13.根据权利要求12所述的网络装备，其中，对于所述对应瓦片(600)，
-围绕所述轴x的所述旋转角度(θj)对应于所获得的包括所述对应瓦片的所述质心(Cij)的纬线(Lj)的高度，
-围绕所述轴y的所述旋转角度
Figure FDA0002489651090000041
对应于所获得的所述对应瓦片的所述质心(Cij)的角位置。
14.一种在终端(100)处实现的方法，所述终端被配置为与网络装备(300)通信以接收由球体表示的球体多媒体内容，
其中所述方法包括接收：
-所述球体(500)的每条纬线(Lj)的高度(θj)，所述球体(500)的所述每条纬线(Lj)包括瓦片化所述球体的瓦片的一个或若干质心(Cij)，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度
Figure FDA0002489651090000042
和瓦片垂直角度幅度(θtile)的部分；
-布置在所述纬线(Lj)上的所述瓦片的每个质心(Cij)的角位置
Figure FDA0002489651090000043
-要应用于参考瓦片以获得瓦片化所述球体的所述瓦片(600)的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的所述质心(Cij)的高度(θj)和角位置
Figure FDA0002489651090000044
15.一种终端，被配置为与网络装备(300)通信以接收由球体表示的球体多媒体内容，其中所述终端包括至少一个存储器(106)和至少一个处理电路(105)，所述至少一个处理电路(105)被配置为接收：
-所述球体(500)的每条纬线(Lj)的高度(θj)，所述球体的所述每条纬线(Lj)包括瓦片化所述球体的瓦片的一个或若干质心(Cij)，每个瓦片被定义为所述球体的覆盖瓦片水平角度幅度
Figure FDA0002489651090000045
和瓦片垂直角度幅度(θtile)的部分；
-布置在所述纬线(Lj)上的所述瓦片的每个质心(Cij)的角位置
Figure FDA0002489651090000051
-要应用于参考瓦片以获得瓦片化所述球体的所述瓦片的变换，所述变换中的每一个取决于所获得的待获得的对应瓦片的所述质心(Cij)高度(θj)和的角位置
Figure FDA0002489651090000052
CN201880073470.7A 2017-09-26 2018-09-14 用于对表示球体多媒体内容的球体进行瓦片化的方法和网络装备 Pending CN111566704A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306264.7A EP3460759A1 (en) 2017-09-26 2017-09-26 Method and network equipment for tiling a sphere representing a spherical multimedia content
EP17306264.7 2017-09-26
PCT/EP2018/074961 WO2019063324A1 (en) 2017-09-26 2018-09-14 METHOD AND NETWORK EQUIPMENT FOR DISPLAYING AS MOSAIC A SPHERE REPRESENTING SPHERICAL MULTIMEDIA CONTENT

Publications (1)

Publication Number Publication Date
CN111566704A true CN111566704A (zh) 2020-08-21

Family

ID=60009558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073470.7A Pending CN111566704A (zh) 2017-09-26 2018-09-14 用于对表示球体多媒体内容的球体进行瓦片化的方法和网络装备

Country Status (4)

Country Link
US (1) US20200273144A1 (zh)
EP (2) EP3460759A1 (zh)
CN (1) CN111566704A (zh)
WO (1) WO2019063324A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430806A (en) * 1993-09-07 1995-07-04 Loral Vought Systems Corporation System for changing perspective of 3-D images obtained from reflected energy signals
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US20080074489A1 (en) * 2006-09-27 2008-03-27 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating panoramic image
CN101673394A (zh) * 2008-08-08 2010-03-17 奥多比公司 内容感知的广角图像
CN103020354A (zh) * 2012-12-12 2013-04-03 哈尔滨飞羽科技有限公司 一种用于区域辨识的球幕投影系统设计方法
CN103139580A (zh) * 2011-11-29 2013-06-05 长春理工大学 一种三维全景空间立体图像生成方法
US20140125774A1 (en) * 2011-06-21 2014-05-08 Vadas, Ltd. Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
US20160012303A1 (en) * 2014-07-10 2016-01-14 Kyungpook National University Industry-Academic Cooperation Foundation Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and driving assistance system employing the same
US20160048973A1 (en) * 2014-08-12 2016-02-18 Hirokazu Takenaka Image processing system, image processing apparatus, and image capturing system
CN106384367A (zh) * 2016-08-26 2017-02-08 深圳拍乐科技有限公司 一种全景相机的自动稳定视角的方法
CN106846245A (zh) * 2017-01-17 2017-06-13 北京大学深圳研究生院 基于主视点的全景视频映射方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430806A (en) * 1993-09-07 1995-07-04 Loral Vought Systems Corporation System for changing perspective of 3-D images obtained from reflected energy signals
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US20080074489A1 (en) * 2006-09-27 2008-03-27 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating panoramic image
CN101673394A (zh) * 2008-08-08 2010-03-17 奥多比公司 内容感知的广角图像
US20140125774A1 (en) * 2011-06-21 2014-05-08 Vadas, Ltd. Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
CN103139580A (zh) * 2011-11-29 2013-06-05 长春理工大学 一种三维全景空间立体图像生成方法
CN103020354A (zh) * 2012-12-12 2013-04-03 哈尔滨飞羽科技有限公司 一种用于区域辨识的球幕投影系统设计方法
US20160012303A1 (en) * 2014-07-10 2016-01-14 Kyungpook National University Industry-Academic Cooperation Foundation Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and driving assistance system employing the same
US20160048973A1 (en) * 2014-08-12 2016-02-18 Hirokazu Takenaka Image processing system, image processing apparatus, and image capturing system
CN106384367A (zh) * 2016-08-26 2017-02-08 深圳拍乐科技有限公司 一种全景相机的自动稳定视角的方法
CN106846245A (zh) * 2017-01-17 2017-06-13 北京大学深圳研究生院 基于主视点的全景视频映射方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUAN H ET AL: "COMPOSING VIRTUAL ENVIRONMENT USING IMAGES OF DIGITAL CAMERA", VISUAL COMMUNICATIONS AND IMAGE PROCESSING, vol. 3639, pages 443 - 452, XP008022042, DOI: 10.1117/12.349410 *
LUCIA D’ACUNTO ET AL: "MPD sginalling of 360 content properties for VR applications", 115. MPEG MEETING, vol. 38605, pages 3 - 5 *
MARY-LUC CHAMPEL: "SRD extensions for VR", 115.MPEG MEETING, vol. 38689, pages 1 - 4 *
S.HEYMANN ET AL: "Representation, Coding and Interactive Rendering of High-Resolution Panoramic Images and Video using MPEG-4", PROC.PANORAMIC PHOTOGRAMMETRY WORKSHOP(PPW) *

Also Published As

Publication number Publication date
US20200273144A1 (en) 2020-08-27
WO2019063324A1 (en) 2019-04-04
EP3688727A1 (en) 2020-08-05
EP3460759A1 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
US20210337006A1 (en) Video data processing method and apparatus
JP2021103327A (ja) コンテンツを提供及び表示するための装置及び方法
US11381802B2 (en) Methods and apparatus for capturing images of an environment
CN107230180B (zh) 一种全景图像的映射方法、装置和设备
JP2019526178A (ja) 空間的にタイリングされた全方位ビデオのストリーミング
CN107924556B (zh) 图像生成装置和图像显示控制装置
JP2017536565A (ja) ステレオ視のための広視野カメラ装置
CN110956583B (zh) 球面图像处理方法、装置及服务器
US11270413B2 (en) Playback apparatus and method, and generation apparatus and method
EP3644619A1 (en) Method and apparatus for receiving a tile-based immersive video
CN111566704A (zh) 用于对表示球体多媒体内容的球体进行瓦片化的方法和网络装备
CN112533005A (zh) 一种vr视频慢直播的交互方法及系统
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
JP6140099B2 (ja) エンコード方法、エンコード装置及びエンコードプログラム
US10708631B2 (en) Method and terminal for tile selection amongst a set of tiles
US20210407214A1 (en) Method and network equipment for tiling a sphere representing a spherical multimedia content
CN112438051B (zh) 由终端执行的方法
CN110169057B (zh) 用于生成3d图像的元数据的方法和装置
CN112130667A (zh) 一种超高清vr视频的互动方法和系统
JP7556352B2 (ja) 画像特性画素構造の生成および処理
CN114866760A (zh) 一种虚拟现实显示方法、设备、系统和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200821

WD01 Invention patent application deemed withdrawn after publication