CN112088352A - 用于对表示球面多媒体内容的球体进行分块的方法和网络设备 - Google Patents

用于对表示球面多媒体内容的球体进行分块的方法和网络设备 Download PDF

Info

Publication number
CN112088352A
CN112088352A CN201980019935.5A CN201980019935A CN112088352A CN 112088352 A CN112088352 A CN 112088352A CN 201980019935 A CN201980019935 A CN 201980019935A CN 112088352 A CN112088352 A CN 112088352A
Authority
CN
China
Prior art keywords
tile
type
tiles
sphere
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980019935.5A
Other languages
English (en)
Inventor
让·勒卢克斯
伊冯·勒加拉斯
查尔斯·萨蒙-勒加尼厄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN112088352A publication Critical patent/CN112088352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种被配置用于利用一组图块来对一表示球面沉浸式内容的场景的球体进行分块的网络设备，所述网络设备包括至少一个存储器(305)和至少一个处理电路(304)，所述至少一个处理电路(304)被配置用于利用至少第一类型的图块和第二类型的图块，空间地分割所述球面多媒体内容的所述场景。

Description

用于对表示球面多媒体内容的球体进行分块的方法和网络 设备
技术领域
本公开主要涉及通过传递网络将球面视频(所谓的360°视频)流传送到终端设备。
背景技术
本部分旨在向读者介绍可能与下面描述和/或要求保护的本公开的各个方面相关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应当理解，这些陈述应就此而论来阅读，而不是作为对现有技术的承认。
球面视频内容以水平360°角(以及垂直180°)呈现场景，从而允许用户在球面场景内导航(即，摇摄)，其中捕获点沿着由操作者/景物专家决定的相机运动进行移动。球面内容通过多头相机而被获得，所述场景通过以下而被构建：拼接所述相机的视图、将它们投影到球体上、将球体内容映射到平面上(例如通过等边矩形投影)以及通过常规视频编码器对其进行压缩。
球面视频提供沉浸式体验，其中用户可以使用适配的终端设备(诸如头戴式显示器(HMD))进行环顾，或者可以通过利用控制装置(诸如鼠标、遥控器或触摸屏)控制视窗而在平板显示器上的场景内自由导航。
空间导航中的这种自由度要求将整个球面场景递送给播放器(该播放器被嵌入在HMD或电视机内)，该播放器被配置为根据所述视窗在所述场景内的位置来提取要被可视化的视频部分。因此，需要高带宽来传递整个球面视频(为了以4K分辨率提供无限制的球面视频服务，必须提供相当于十二个4K视频的视频流)。
大多数已知的流传输球面视频的解决方案向终端设备提供完整的球面场景，但是仅向用户呈现整个场景的不到10％。由于递送网络具有有限的带宽，所以降低了视频质量以满足带宽约束。
其它已知的解决方案通过降低360°场景的布置在终端设备的当前视窗外部的部分的分辨率来减轻视频质量的劣化(即，利用非均匀编码从服务器发送完整的球面场景)。特别地，可以要求30个不同的视窗来覆盖整个球面场景，使得在服务器侧生成并存储相同沉浸式视频的30个不同版本。然而，当终端设备的视窗在用户的动作下被移动到最高分辨率区域之外时，所显示的视频会遭受突然的降级。
本公开是考虑到前述内容而设计的。
发明内容
本公开涉及一种用于利用一组图块来对一表示球面(spherical)沉浸式内容的场景的球体进行分块(tiling)的方法，
所述方法包括：
-至少利用第一类型的图块(tile)和第二类型的图块，空间地分割所述球面多媒体内容的所述场景。
在一个实施例中，该组图块中的所述图块可以分布在所述球体的三个不同区域之间。
在一个实施例中，所述三个区域包括围绕所述球体的赤道的赤道区域和布置在所述球体的极点处的两个极点区域。
在一个实施例中，该方法可以包括：
-获得所述球体的每条平行线的高度，所述球体的每条平行线包括所述第一类型的所述图块的一个或若干质心，每个所述第一类型的所述图块被定义为所述球体的覆盖了一图块水平角幅度和一图块垂直角幅度的部分；
-获得布置在所述平行线上的所述第一类型的所述图块的每个质心的角位置；
-将第一旋转矩阵应用于第一类型的参考图块以获得所述第一类型的所述图块，所述第一旋转矩阵中的每一者取决于要获得的对应的第一类型的图块的质心的所获得的高度和角位置。
在一个实施例中，所述第一旋转矩阵中的每一者可以是由以下等式定义的两个旋转矩阵的第一矩阵乘积：
Figure BDA0002686621340000031
其中：
■Rotij是所述第一矩阵乘积，
■Rot(x,θj)是与围绕布置在所述球体中心的轴x、y、z的正交系统的轴x的角度旋转相关联的旋转矩阵，
■
Figure BDA0002686621340000032
是与围绕所述正交系统的所述轴y的角度旋转相关联的旋转矩阵。
在一个实施例中，所述赤道区域可以包括数条平行线，这取决于所述第一类型的所述图块的所述垂直角幅度。
在一个实施例中，所述赤道区域的平行线的数量L可以由下式给出：
L＝round(90°/θtile)+1
其中θtile是第一类型的图块的图块垂直角幅度。
在一个实施例中，该方法可以包括：
-获得所述球体的每条平行线的高度，所述球体的每条平行线包括所述第二类型的所述图块的一个或若干质心，每个所述第二类型的所述图块被定义为所述球体的覆盖了一图块水平角幅度和一图块垂直角幅度的部分；
-获得布置在所述平行线上的所述第二类型的所述图块的每个质心的角位置；
-将第二旋转矩阵应用于第二类型的参考图块以获得所述第二类型的所述图块，所述第二旋转矩阵中的每一者取决于要获得的对应的第二类型的图块的质心的所获得的高度和角位置。
在一个实施例中，所述第二旋转矩阵中的每一者可以是由以下等式定义的三个旋转矩阵的第二矩阵乘积：
Figure BDA0002686621340000041
其中：
■Rot’ij是第二矩阵乘积，
■Rot(x,θj)是与围绕布置在所述球体中心的轴x、y、z的正交系统的轴x的角度旋转相关联的旋转矩阵，
■
Figure BDA0002686621340000042
是与围绕所述正交系统的轴y的角度旋转相关联的旋转矩阵，
■Rot(x,ψi)是与围绕所述正交系统的所述轴x的角度等于+90°或-90°的旋转相关联的旋转矩阵。
在一个实施例中，所述极点区域中的极点区域可以包括数条平行线，这取决于所述第二类型的所述图块的所述垂直角幅度。
在一个实施例中，平行线的数量L可以由下式给出：
L＝round(P°/Ωtile)+1
其中P°是界定一极点区域的水平角幅度，且Ωtile是第二类型的图块的垂直幅度。
在一个实施例中，所述第一类型的图块可以具有矩形形状，并且所述第二类型的所述图块可以具有正方形形状。
本公开还涉及一种被配置用于利用一组图块对一表示球面沉浸式内容的场景的球体进行分块的网络设备，
所述网络设备包括至少一个存储器和至少一个处理电路，所述至少一个处理电路被配置为利用至少第一类型的图块和第二类型的图块来空间地分割所述球面多媒体内容的所述场景。
在一实施例中，所述组图块中的所述图块可分布在所述场景上的三个区域中。
在一个实施例中，所述三个区域可以包括围绕所述球体的赤道的赤道区域和布置在所述球体的极点处的两个极点区域。
本公开还针对一种在被配置为与网络设备通信的终端处实现的方法以接收具有由球体表示的场景的球面沉浸式内容，
其中，所述方法包括从所述网络设备接收关于利用一组图块对所述场景进行分块的信息，所述分块利用至少第一类型的图块和第二类型的图块在空间上分割所述球面多媒体内容的所述场景。
此外，本公开还涉及一种终端，其被配置为与网络设备通信以接收具有由球体表示的场景的球面沉浸式内容，
其中所述终端包括至少一个存储器和至少一个处理电路，所述至少一个处理电路被配置用于从所述网络设备接收关于利用一组图块对所述场景进行分块的信息，所述分块至少利用第一类型的图块和第二类型的图块在空间上分割所述球面多媒体内容的所述场景。
此外，本公开还涉及一种计算机可读的非暂时性程序存储设备，其有形地体现可由计算机执行的指令程序，以执行用于利用一组图块来对一表示球面沉浸式内容的场景的球体进行分块的方法，
所述方法包括：
-至少利用第一类型的图块和第二类型的图块，空间地分割所述球面多媒体内容的所述场景。
本公开还涉及一种计算机程序产品，其被存储在非暂时性计算机可读介质上并且包括可由处理器执行以实现用于利用一组图块对一表示球面沉浸式内容的场景的球体进行分块的方法的程序代码指令，
所述方法包括：
-至少利用第一类型的图块和第二类型的图块，空间地分割所述球面多媒体内容的所述场景。
根据本公开的方法可以在可编程装置上的软件中实现。它可以单独地以硬件或软件或其组合来实现。
由本公开的元件实现的一些过程可以是计算机实现的。因此，这样的元件可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合了软件和硬件方面的实施例的形式，其可以全部在本文中一般地被称为“电路”、“模块”或“系统”。此外，这样的元件可以采取在任何有形表达介质中体现的计算机程序产品的形式，该有形表达介质具有在该介质中体现的计算机可用程序代码。
由于本公开的元件可以以软件实现，因此本公开可以被实现为用于在任何合适的载体介质上提供给可编程装置的计算机可读代码。有形载体介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。
因此，本公开提供了一种包括计算机可执行指令的计算机可读程序，以使得计算机能够执行根据本公开的用于利用一组图块对一表示球面多媒体内容的球体进行分块的方法。
下面阐述与所公开的实施例的范围相当的某些方面。应当理解，这些方面仅被呈现以向读者提供本公开可能采取的某些形式的简要概述，并且这些方面不旨在限制本公开的范围。实际上，本公开可以涵盖可能未在下面阐述的各种方面。
附图说明
通过以下实施方案和实施例并参考附图，将更好地理解和说明本公开，但本公开不以任何方式限制，其中：
-图1是其中可以实现本发明原理的示例性网络架构的示意图；
-图2是其中可以实现本发明的示例性客户端终端的示意性框图；
-图3是其中可以实现本发明原理的示例性网络设备的示意性框图；
-图4是由本原理的一些实施例使用的用于对一球面沉浸式内容进行分块的示例性方法的流程图；
-图5示出了用于实现图4的方法的空间正交系统；
-图6示出了根据本发明原理的参考矩形图块；
-图7示出了通过图4所示的方法获得的示例性矩形图块；
-图8描绘了根据本原理的参考正方形图块；
-图9示出了通过图4所示的方法获得的示例性正方形图块；
-图10示出了根据本发明原理的布置在用图5的球体的空间正交系统定义的场景上的平行线的示例；
-图11和12示出了根据本发明原理的包括矩形图块的示例性赤道区的两个不同视图；
-图13示出了根据本发明原理的图5所示的空间正交系统的示例性旋转；
-图14示出了根据本原理的包括正方形图块的两个示例性极点区域；
-图15描绘了根据本原理的在向对应的极点施加旋转之前限定极点区域的正方形图块；
-图16示出了通过图4的方法获得的图块在平面上的示例性投影；
-图17和18示出了符合本发明原理的两种示例性的过度供应(overprovisioning)图块图案。
在可能的情况下，在所有附图中使用相同的附图标记来表示相同或相似的部件。
具体实施方式
以下描述示出了本公开的原理。因此，将理解，本领域技术人员将能够设计出虽然未在本文中明确描述或示出但体现本公开的原理并且包括在其范围内的各种布置。
本文所述的所有实例和条件语言旨在用于教育目的以帮助读者理解本公开的原理，并且应被解释为不限于此类具体所述的示例和条件。
此外，本文中叙述本公开的原理、方面和实施例的所有陈述及其具体示例旨在涵盖其结构和功能等效物两者。另外，这些等同物旨在包括当前已知的等同物以及将来开发的等同物，即，所开发的执行相同功能的任何元件，而不管结构如何。
因此，例如，本领域技术人员将理解，本文呈现的框图表示体现本公开的原理的说明性电路的概念视图。类似地，将理解，任何流程图、流图、状态转移图、伪代码等表示可基本上在计算机可读介质中表示并因此由计算机或处理器执行的各种过程，而不管是否明确示出了这样的计算机或处理器。
可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供图中所示的各种元件的功能。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为排他性地指代能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。
在其权利要求中，被表达为用于执行指定功能的装置和/或模块的任何元件旨在包括执行该功能的任何方式，这其中包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，这其中因此包括固件、微代码等，与用于执行该软件的适当电路组合以执行该功能。因此，认为可以提供那些功能的任何装置都等效于这里所示的那些装置。
另外，应理解，本公开的附图和描述已被简化以示出与清楚理解本公开相关的元件，同时为了清楚起见，省略了在典型的数字多媒体内容传送方法、设备和系统中存在的许多其他元件。然而，因为这些元件在本领域中是公知的，所以在此不提供对这些元件的详细讨论。本文的公开内容涉及本领域技术人员已知的所有这些变化和修改。
本公开是关于通过传递网络将球面多媒体内容(例如球面视频)传递到客户端终端的流传输环境来描述的。
如图1的说明性而非限制性示例中所示，其中可以实现本公开的网络架构包括客户端终端100、网关200和网络设备300。当然，在不脱离本原理的范围的情况下，可以操作其他网络架构。
通过第一网络N1(例如家庭网络或企业网络)连接到网关200的客户端终端100可能希望通过第二网络N2(例如因特网网络)请求存储在远程网络设备300上的球面视频。所述第一网络N1由于所述网关200而连接到所述第二网络N2。
所述网络设备300被配置为根据所述客户端请求，使用流传输协议(诸如HTTP自适应流协议，所谓的HAS)将片段流传输到所述客户端终端100。
如图2的示例中所示，所述客户端终端100可以至少包括：
-接口连接101(有线和/或无线，例如Wi-Fi、以太网等)，其连接到所述第一网络N1；
-通信电路102，其包含协议栈以与所述网络设备300通信。特别地，所述通信模块102包括本领域公知的TCP/IP栈。当然，它可以是使客户端终端100能够与网络设备300通信的任何其它类型的网络和/或通信装置；
-流传输控制器103，其从所述网络设备300接收所述球面视频；
-视频播放器104，适于解码和渲染所述球面视频；
-一个或多个处理器105，用于执行存储在所述客户端终端100的非易失性存储器中的应用和程序；
-存储装置106，例如易失性存储器，用于在将从网络设备300接收的片段传输到所述视频播放器104之前对其进行缓冲，或者对如下所述对附加参数信息进行缓冲；
-内部总线107，用于连接各种模块和本领域技术人员公知的所有装置，以执行通用客户端终端功能。
作为示例，所述客户端终端100是便携式媒体设备、移动电话、平板电脑或膝上型电脑、头戴式设备、或机顶盒等。自然地，所述客户端终端100可以不包括完整的视频播放器，而仅包括一些子元件，诸如用于对媒体内容进行解复用和解码的子元件，并且可以依赖于外部装置来向最终用户显示解码的内容。
如图3的示例所示，所述网络设备300可以至少包括：
-连接接口301，其连接到所述第二网络N2；
-通信电路302，用于将数据传递到一个或几个请求终端。特别地，该通信电路302可以包括本领域公知的TCP/IP栈。当然，它可以是使网络设备300能够与客户端终端100通信的任何其它类型的网络和/或通信装置；
-流传输控制器303，被配置为将所述球面视频递送到一个或多个客户端终端100；
-一个或多个处理器304，用于执行存储在所述网络设备300的非易失性存储器中的应用和程序；
-存储装置305；
-内容生成器306，被配置为生成要发送的球面视频。应当理解，该内容生成器可以被布置在与网络设备300不同的单独的装置中。在这种情况下，包括所述内容生成器的装置可以向所述网络设备发送所述球面视频；
-内部总线307，用于连接各种模块和本领域技术人员公知的用于执行通用网络设备功能的所有装置。
根据本原理，所述网络设备300(例如，经由其一个或多个处理器304和/或内容生成器306)可以被配置为实现用于利用一组图块对一球面视频进行分块的方法400(图4中所示)，该组图块包括在表示所述球面视频的球体500的中心O处布置的轴x、y、z的正交系统R(O,x,y,z)(如图5中所示)中的两种类型的图块。所述球体的中心O对应于已经用于获取所述球面视频的获取设备的位置。
具体地，在本原理的实施例中，利用在围绕赤道L0的赤道区域上的第一类型的图块(例如矩形形状)和利用在布置在球体500的极点处的两个极点区域上的第二类型的图块(例如正方形形状)空间地分割所述球面视频的场景500。所述矩形图块分布在所述赤道区域上，并且所述正方形图块布置在两个不同的极点区域中。所述第一类型和第二类型的图块彼此不同。自然地，在不脱离本原理的范围的情况下，可以考虑其他形状的图块。
如图6至9的示例中所示，在步骤401中，可以将所述组块中的每个图块定义为所述球体500的覆盖一图块水平角度幅度和图块垂直角度幅度的部分601、701。对于矩形图块(图6和7)，所述图块水平角幅度
Figure BDA0002686621340000111
与所述图块垂直角幅度θtile不同。对于正方形图块(图8和9)，所述图块水平角幅度Ωtile等于所述图块垂直角幅度Ωtile。
虽然它可能不同，但是在所考虑的实施例中，矩形图块600的水平角幅度
Figure BDA0002686621340000112
与正方形图块700的水平角幅度Ωtile不同。特别地，在本原理的说明性和非限制性示例中，正方形图块700的水平和垂直角幅度Ωtile可以被定义为：
Figure BDA0002686621340000121
其可设定为
Figure BDA0002686621340000122
度(其中round是被配置以返回最接近的整数的函数)。
可以通过考虑目标球面视频服务的一个或多个服务参数(例如，用于沿着客户端终端100和网络设备300之间的传输路径传递的网络可用带宽、所请求的球面视频的质量、与客户端终端100的视窗相关联的用户视野等)来确定所述图块水平角幅度
Figure BDA0002686621340000123
和图块垂直角幅度θtile。
赤道区域的图块确定
图5中描绘的参考矩形图块600R具有对应于正交系统R(O,x,y,z)的Oz轴(正部分)与表示球面视频的球体500的表面的交点的中心C。在系统R(O,x,y,z)中，点C的坐标是(0,0,1)，即，xc＝0,yc＝0且zc＝1。其球面坐标是(1,0,0)，即，ρc＝1,θc＝0且
Figure BDA0002686621340000124
然后，参考矩形图块600R可由包括在以下两者之间的场景区域来定义：
-子午线602，其指示
Figure BDA0002686621340000125
-子午线603，其指示
Figure BDA0002686621340000126
-平行线604，其指示θ＝+θtile/2；
-平行线605，其指示θ＝-θtile/2。
此外，属于赤道区域800(图11和12所示)的矩形图块600的中心点(所谓的质心)Cij可以用系统R(O,x,y,z)中的球面坐标
Figure BDA0002686621340000127
来定义。
为了确定赤道区域800的矩形图块600的质心Cij(图10中示出)，所述网络设备300可以在步骤402中获得球体500的每条平行线Lj的高度θj，所述球体包括矩形图块600的一个或几个质心Cij。两条连续平行线Lj之间的角度对应于θtile。
所述赤道区域800的平行线Lj的数量L取决于块垂直角幅度θtile，并且可以由下式给出：
L＝round(90°/θtile)+1
应当注意，场景内的大部分导航在赤道区域周围完成(其上铺有矩形图块以支持例如更好的16/9视窗匹配)，垂直赤道区域幅度E°可以被最大化(例如在说明性但非限制性示例中大于90°)。特别地，赤道区域800(例如，具有图11所示的环形形状)的垂直角幅度E°可以被定义如下：
E°＝(round(90°/θtile)+1)xθtile
然后可以获得关于平行线Lj的高度θj的以下列表，即，关于矩形图块600的质心Cij的可能高度值θj的列表：
-当L mod(L/2)＝1(mod是模函数)时，则可能的θj的列表由下式给出：
θj＝θtile x j
其中j属[-L/2,…,0,…,L/2]，其中在赤道L0处，j＝0，
-当L mod(L/2)＝0时，则可能的θj值的列表由下式给出：
θj＝k x(θtile/2+θtile x j)
其中k属于[1,-1]，且j属于[0,…,(L/2–1)]
每条平行线Lj上的矩形图块的数量取决于所考虑的平行线Lj的周长和所述图块的水平角度幅度
Figure BDA0002686621340000131
一旦定义了平行线Lj，网络设备300就可以在步骤403中确定所述赤道区域800的相应平行线Lj上的质心Cij的水平角位置。当移动通过极点P时，布置在平行线Lj上的矩形图块600的数量减少，因为它与平行线Lj的周长成比例。通过考虑赤道L0处的周长C0，通过以下公式给出了对于球面场景的北半球中的平行线Lj的矩形图块600的底部(即，最靠近赤道L0)处的周长Cj：
Cj＝C0 x cos(θj-θtile/2)
所述球面场景的南半球中的平行线在图块的顶部(即，最靠近赤道L0)处的周长Cj由下式给出：
Cj＝C0 x cos(θj+θtile/2)
值得注意的是，在北半球中，图块底部的周长比图块中心的周长更长，并且在南半球中，图块顶部的周长比图块中心的周长更长。
然后，如下定义了平行线Lj的矩形图块(例如，呈现最小重叠)的数量Tj：
-在赤道L0处，
Figure BDA0002686621340000141
-对于北半球，
Figure BDA0002686621340000142
以及
-对于南半球，
Figure BDA0002686621340000143
其中ceiling对应于被配置用于返回至少等于所考虑的表达式的最低整数的上限函数。
因此，对于平行线Lj，矩形图块600具有它们的质心Cij，它们被排列在下列经度
Figure BDA0002686621340000144
-在赤道L0处，
Figure BDA0002686621340000145
-在北半球中，
Figure BDA0002686621340000146
以及
-在南半球中，
Figure BDA0002686621340000147
其中i属于[0,…,Tj-1]。
Figure BDA0002686621340000148
表示相对于片段OC的围绕轴y的旋转角，θj表示相对于OC的围绕轴x的旋转角。图13中所示的片段OCij(即，质心Cij)可以通过应用于片段OC的旋转矩阵来获得(步骤404)，其被定义如下：
OCij＝Rotij(OC)
Rotij是所述旋转矩阵。
在本原理的实施例中，所述旋转矩阵Rotij可以是由以下等式定义的两个旋转矩阵的矩阵乘积：
Figure BDA0002686621340000149
其中：
-Rot(x,θj)是与围绕正交系统R(O,x,y,z)的x轴的角度θj的旋转相关联的旋转矩阵，以及
-
Figure BDA0002686621340000155
是与围绕正交系统R(O,x,y,z)的y轴的角度
Figure BDA0002686621340000151
的旋转相关联的旋转矩阵。
在本原理的实施例中，为了获得与质心Cij的矩形图块相关联的图块网格(矩形图块的网格中心被布置在所述图块的中心)，在步骤405中，旋转矩阵Rotij可以被应用于与质心C的参考矩形图块600R相关联的参考矩形图块网格。所述参考矩形图块600R可以用作针对所述赤道区域800的所有矩形图块600的模型。然后，将旋转矩阵Rotij应用于所述参考网格的所有顶点，以获得与以Cij为中心的矩形图块相关联的图块网格的顶点。
用于两个极点区域的图块确定
另外，对于图14中描绘的每个极点区域900，正方形图块700最初以与矩形图块600相同的方式布置在球体500的前方(即，定义平行线的数目和纬度，且接着定义图块的数目和其沿着相关联平行线的中心的经度)。然后，这些正方形图块由于围绕x轴的旋转(对于北/南半球为±90°)而移动到极点。
图8中所示的参考正方形图块700R具有中心C，其对应于正交系统R(O,x,y,z)的Oz轴(正部分)与表示球面视频的球体500的表面的交点。参考正方形图块700R可接着由包含于以下各者之间的场景的区域界定：
-子午线702，其指示
Figure BDA0002686621340000152
-子午线703，其指示
Figure BDA0002686621340000153
-平行线704，其指示θ＝+Ωtile/2；
-平行线705，其指示θ＝-Ωtile/2。
对于矩形图块600，可以首先用系统R(O,x,y,z)中的球面坐标
Figure BDA0002686621340000154
定义正方形图块700的质心Cij。
此外，界定极点区域900的水平角幅度P°(水平角幅度等于垂直角幅度)可以由对应于球体的一半的角度(即，场景垂直角幅度)和赤道区域800的垂直角幅度E°之间的差来定义：
P°＝180°-((round(90°/θtile)+1)xθtile)
为了确定正方形图块700的质心Cij，在步骤406中，网络设备300可以获得球体500的每条平行线Lj的高度θj，所述每条平行线Lj包括正方形图块700的一个或几个质心Cij。两条连续平行线Lj之间的角度对应于Ωtile。
极点区域900的平行线Lj的数量取决于图块垂直角幅度Ωtile，并且可以由下式给出：
L＝round(P°/Ωtile)+1
这导致了平行线Lj的高度θ的以下列表，即，正方形图块700的质心Cij的可能高度值θj的列表：
-当L mod(L/2)＝1时，则可能的θj值的列表由下式给出：
θj＝Ωtile x j
其中j属于[-L/2,…,0,…,L/2]，其中在赤道处，j＝0，
-当L mod(L/2)＝0时，则可能的θj值的列表由下式给出：
θj＝k x(Ωtile/2+Ωtile x j)
其中k属于[1,-1]，j属于[0,…,(L/2–1)]
在极点区域900处，每条线的正方形图块的数目T等于线的数目，使得对于平行线Lj，每条线的图块的数目(呈现最小重叠)由下式给出：
T＝L＝round(P°/Ωtile)+1
应当注意，极点区域是相同的，并且铺有分块式正方形区域。
这导致(步骤407)系统R(O,x,y,z)中的正方形图块700的经度
Figure BDA0002686621340000161
的列表：
-当T mod(T/2)＝1时，可能的
Figure BDA0002686621340000162
值列表由下式给出：
Figure BDA0002686621340000163
其中i属于[-T/2,…,0,…,T/2]，其中在赤道处，i＝0，
-当T mod(T/2)＝0时，可能的
Figure BDA0002686621340000171
值列表由下式给出：
Figure BDA0002686621340000172
其中k属于[1,-1]，i属于[0,…,(T/2–1)]。
Figure BDA0002686621340000173
表示相对于片段OC的围绕轴y的旋转角，θj表示相对于OC的围绕轴x的旋转角。
根据原理，如所限定的正方形图块700(图15中所示)然后由于围绕x轴(±90°北/南半球)的旋转而移动到极点P。
因此，片段OCij可以通过应用于如下定义的OC(步骤408)的旋转矩阵来获得：
Figure BDA0002686621340000174
其中：
-Rot’ij是矩阵乘积，
-Rot(x,θj)i是与围绕正交系统R(O,x,y,z)的轴x的角度θj的旋转相关联的旋转矩阵，
-
Figure BDA0002686621340000175
是与围绕所述正交系统的轴y的角度
Figure BDA0002686621340000176
的旋转相关联的旋转矩阵，
-Rot(x,ψi)是与围绕所述正交系统的轴x的等于90°或-90°的角度ψi的旋转相关联的旋转矩阵。
在本原理的实施例中，为了获得与质心Cij的正方形图块相关联的图块网格(正方形图块的网格中心被布置在所述图块的中心)，在步骤409中，旋转矩阵Rot’ij可以被应用于与质心C的参考正方形图块700R相关联的参考正方形图块网格。图8的参考正方形矩形图块700R可以用作针对所有矩形图块的模型。然后，将旋转矩阵Rot’ij应用于所述参考网格的所有顶点，以获得与以Cij为中心的正方形图块相关联的图块网格的顶点。
在步骤410中，所述网络设备300可以例如通过使用已知的射线跟踪技术来计算旋转的图块形状与投影在球体500上的球面视频的360°视频帧之间的射线相交，从而确定所述图块的像素内容。
如图16所示，当传递到客户端终端100的播放器104的内容是MPEG视频，即，2D像素阵列时，每个产生的图块(即，球体500的部分)可以通过将球面部分投影到平面上而被转换成这样的2D阵列。
此外，根据本原理，所述客户端终端100的流传输控制器103(其从网络设备300接收球面视频)可以进一步被配置为持续地选择与覆盖例如与所述终端100相关联的当前视窗的图块相关联的片段。在自适应流传输的示例中，从当前图块到下一图块的切换(两者都包括当前视窗)可以仅发生在视频片段的末尾和下一视频片段的开头。
为此，所述客户端终端100可以从网络设备300接收正方形图块和矩形图块的水平和垂直角幅度
Figure BDA0002686621340000181
的值，以便能够重新生成对应的图块参考网格。所述网络设备300还可以将所述参考正方形图块和矩形图块600R的所有顶点发送到终端100，并且将旋转矩阵Rotij的列表应用于图块参考网格以获得覆盖球体500的图块。在一种变型中，当终端100被配置为通过使用适当的数学库来动态地重新计算所述旋转矩阵时，所述网络设备仅可以与终端100共享质心Cij的球面坐标。
在本发明原理的说明性而非限制性的示例中，为了考虑由于从服务器恢复视频而导致的不可避免的延时，可以将比视窗VP大的场景递送到客户端终端的视频播放器。例如，为了确保HD格式(1920×1080像素)的视窗的可用性，将十六个1K视频块(即，16x(960x540)＝3840x2160像素)递送到所述客户端终端100，从而允许过度供应，如图17中所示。所述视窗具有等于4个图块的大小。自然地，在不背离诸如图18中所示的本发明原理的情况下，可以实施不同的过度供应方式。
应当注意，分块图案影响编码效率。即，较大的图块提供较好的编码效率，但是对于视窗选择的灵活性较小，而较小的图块提供与给定视窗的较好匹配，但是因此降低了编码效率。
在导航开始时，通过视窗来可视化球面视频的场景的中心。需要将16个图块传递到所述客户端终端。此时，用户可以在由该16个区块覆盖的场景的部分内自由地向上/向下或向左/向右改变他的视点，而没有视频中断。
当用户连续地将他的视点向右移动(分别向左)时，4个左图块(分别的右图块)将必须由4个右图块(分别的左图块)替换以适当地过度供应未来视窗。相同的规则可垂直地应用。
在本原理的另一方面，为了带来良好的用户体验，所述视窗的视场需要足够宽以不给予仅看到场景的狭窄部分的感觉并且向终端用户提供可接受的沉浸水平。相反，所述FOV不应太大以保持可接受的分辨率(所述FOV越大，每度的像素数量越少)。在说明性而非限制性示例中，在HD格式中，针对所述视窗的水平FOV可以等于60°，垂直FOV为36°(例如，相对于16:9的球面视频比率)，使得水平过度供应FOV(与16 1K图块图案相关联)在UHD格式中为大约120°，垂直FOV对应于72°。
由于上述方法，通过仅传送所述场景的一部分，可以控制视频质量与数据比特率的比率，并且即使具有网络带宽约束，亦可以获得客户端侧的高质量视频。此外，通过用分布在赤道区域和两个极点区域之间的两种不同类型的图块来对沉浸式视频的球面场景进行分块，提高了给予用户在任何方向上移动的自由度。具有矩形形状(即，具有与视窗相同的纵横比)的图块很好地适应于赤道区域，其中导航类似于视窗在平面上(更精确地在圆柱体上)的水平移动。相反，具有正方形形状的图块更适应于极点区域，其中视窗的水平平移变为围绕所述极点的旋转(没有优先权给予任何轴)。
在说明书、权利要求书和附图中公开的参考可以独立地或以任何适当的组合提供。在适当的情况下，特征可以以硬件、软件或两者的组合来实现。
本文对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可包括在所描述的方法和装置的至少一个实现中。在说明书中的各个地方出现的短语“在一个实施例中”不必都指相同的实施例，也不是必须与其它实施例互斥的单独的或替代的实施例。
权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围具有限制作用。
尽管本文仅描述了本公开的某些实施例，但是本领域的任何技术人员将理解，本公开的其他修改、变化和可能性是可能的。因此，这些修改、变化和可能性被认为落入本公开的精神和范围内，并因此形成如本文所述和/或例示的本公开的一部分。
附图中的流程图和/或框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的配置、操作和功能。在这点上，流程图或框图中的每个框可以表示代码的模块、片段或部分，其包括用于实现指定的一个或多个逻辑功能的一个或多个可执行指令。还应当注意，在一些备选实现中，框中所标注的功能可以不按图中所标注的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，或者这些框可以以替代的顺序执行，这取决于所涉及的功能。特别地，在图4中，步骤401至410可以以不同的顺序实现。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。虽然没有明确地描述，但是可以以任何组合或子组合来采用本实施例。

Claims (15)

1.一种用于利用一组图块(600、700)对一表示球面沉浸式内容的场景的球体(500)进行分块的方法，
所述方法(400)包括：
-至少利用第一类型的图块(600)和第二类型的图块(700)空间地分割所述球面多媒体内容的所述场景。
2.根据权利要求1所述的方法，包括：
-获得(402)所述球体(500)的每条平行线(Lj)的高度(θj)，所述每条平行线(Lj)包括所述第一类型的图块(600)的一个或若干质心(Cij)，所述第一类型的每个图块(600)被定义为所述球体(500)的覆盖了图块水平角幅度
Figure FDA0002686621330000011
和图块垂直角幅度(θtile)的部分(601)；
-获得(403)布置在所述平行线(Lj)上的所述第一类型的图块(600)的每个质心(Cij)的角位置
Figure FDA0002686621330000012
-将第一旋转矩阵应用(405)于第一类型的参考图块(600R)以获得所述第一类型的所述图块(600)，所述第一旋转矩阵中的每一者取决于待获得的对应第一类型的图块(600)的所述质心(Cij)的所获得的高度(θj)和角位置
Figure FDA0002686621330000013
3.根据权利要求2所述的方法，其中所述第一旋转矩阵中的每一者是由以下等式定义的两个旋转矩阵的第一矩阵乘积：
Figure FDA0002686621330000014
其中：
■Rotij是第一矩阵乘积，
■Rot(x,θj)是与围绕布置在所述球体(500)的中心(O)的轴x、y、z的正交系统(R(O,x,y,z))的轴x的角度(θj)的旋转相关联的旋转矩阵，
■
Figure FDA0002686621330000015
是与围绕所述正交系统的所述轴y的角度
Figure FDA0002686621330000016
的旋转相关联的旋转矩阵。
4.根据权利要求2或3所述的方法，其中所述赤道区域(800)包括取决于所述第一类型的所述图块(600)的所述垂直角幅度(θtile)的数条平行线(Lj)。
5.根据权利要求1至4中任一项所述的方法，包括：
-获得(406)所述球体(500)的每条平行线(Lj)的高度(θj)，所述每条平行线(Lj)包括所述第二类型的所述图块(700)的一个或若干质心(Cij)，所述第二类型的每个图块(700)被定义为所述球体(500)的覆盖了图块水平角幅度(Ωtile)和图块垂直角幅度(Ωtile)的部分(701)；
-获得(407)布置在所述平行线(Lj)上的所述第二类型的所述图块(700)的每个质心(Cij)的角位置
Figure FDA0002686621330000021
-将第二旋转矩阵应用(409)到第二类型的参考图块(700)以获得所述第二类型的所述图块(700)，所述第二旋转矩阵中的每一者取决于待获得的对应第二类型的图块(700)的所述质心(Cij)的所获得的高度(θj)和角位置
Figure FDA0002686621330000022
6.根据权利要求5所述的方法，其中所述第二旋转矩阵中的每一者是由以下等式定义的三个旋转矩阵的第二矩阵乘积：
Figure FDA0002686621330000023
其中：
■Rot’ij是所述第二矩阵乘积，
■Rot(x,θj)是与围绕布置在所述球体(500)的中心(O)的轴x、y、z的正交系统(R(O,x,y,z))的轴x的角度(θj)的旋转相关联的旋转矩阵，
■
Figure FDA0002686621330000024
是与围绕所述正交系统的所述轴y的角度
Figure FDA0002686621330000025
的旋转相关联的旋转矩阵，
■Rot(x,ψi)是与围绕所述正交系统的所述轴x的角度(ψi)等于+90°或-90°的旋转相关联的旋转矩阵。
7.根据权利要求6所述的方法，其中，极点区域(900)包括取决于所述第二类型的所述图块(700)的所述垂直角幅度(Ωtile)的数条平行线(Lj)。
8.根据权利要求1至7中的任一项所述的方法，其中，所述一组图块的所述图块(600、700)被分布在所述球体(500)的三个不同区域(800、900)之间。
9.根据权利要求8所述的方法，其中，所述三个区域(800、900)包括围绕所述球体(500)的所述赤道(L0)的赤道区域(800)和布置在所述球体的极点(P)处的两个极点区域(900)。
10.根据权利要求1至9中任一项所述的方法，其中，所述第一类型的所述图块(600)具有矩形形状，并且所述第二类型的所述图块(700)具有正方形形状。
11.一种网络设备，被配置为利用一组图块(600)对一表示球面沉浸式内容的场景的球体(500)进行分块，
所述网络设备(300)包括至少一个存储器(305)和至少一个处理电路(304)，所述至少一个处理电路(304)被配置为至少利用第一类型的图块(600)和第二类型的图块(700)空间地分割所述球面多媒体内容的所述场景。
12.根据权利要求11所述的网络设备，其中，所述一组图块中的所述图块分布在所述场景上的三个区域(800、900)之间。
13.根据权利要求12所述的网络设备，其中，所述三个区域包括围绕所述球体的赤道的赤道区域(800)和布置在所述球体(500)的极点处的两个极点区域(900)。
14.一种在终端(100)处实现的方法，所述终端被配置为与网络设备(300)通信以接收具有由球体(500)表示的场景的球面沉浸式内容，
其中，所述方法包括从所述网络设备接收关于利用一组图块对所述场景进行分块的信息，所述分块利用至少第一类型的图块(600)和第二类型的图块(700)来空间地分割所述球面多媒体内容的所述场景。
15.一种终端，被配置为与网络设备(300)通信以接收具有由球体(500)表示的场景的球面沉浸式内容，
其中，所述终端(100)包括至少一个存储器(106)和至少一个处理电路(105)，所述至少一个处理电路(105)被配置为从所述网络设备接收关于利用一组图块(600、700)对所述场景进行分块的信息，所述分块利用至少第一类型的图块(600)和第二类型的图块(700)在空间上分割所述球面多媒体内容的所述场景。
CN201980019935.5A 2018-01-29 2019-01-22 用于对表示球面多媒体内容的球体进行分块的方法和网络设备 Pending CN112088352A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305077.2A EP3518087A1 (en) 2018-01-29 2018-01-29 Method and network equipment for tiling a sphere representing a spherical multimedia content
EP18305077.2 2018-01-29
PCT/EP2019/051502 WO2019145296A1 (en) 2018-01-29 2019-01-22 Method and network equipment for tiling a sphere representing a spherical multimedia content

Publications (1)

Publication Number Publication Date
CN112088352A true CN112088352A (zh) 2020-12-15

Family

ID=61163635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019935.5A Pending CN112088352A (zh) 2018-01-29 2019-01-22 用于对表示球面多媒体内容的球体进行分块的方法和网络设备

Country Status (4)

Country Link
US (1) US20210407214A1 (zh)
EP (2) EP3518087A1 (zh)
CN (1) CN112088352A (zh)
WO (1) WO2019145296A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain
JP2017021430A (ja) * 2015-07-07 2017-01-26 Kddi株式会社 パノラマビデオデータの処理装置、処理方法及びプログラム
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
WO2017127816A1 (en) * 2016-01-22 2017-07-27 Ziyu Wen Omnidirectional video encoding and streaming

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain
JP2017021430A (ja) * 2015-07-07 2017-01-26 Kddi株式会社 パノラマビデオデータの処理装置、処理方法及びプログラム
WO2017127816A1 (en) * 2016-01-22 2017-07-27 Ziyu Wen Omnidirectional video encoding and streaming

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARY-LUC CHAMPEL: "SRD extensions for VR", 《TECHNICOLOR》, pages 1 - 5 *
MOHAMMAD HOSSEINI等: "Adaptive_360_VR_Video_Streaming_Divide_and_Conquer", 《2016 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA（ISM）》, pages 107 - 110 *
WIKIPEDIA: "Rotation_matrix", 《维基百科 HTTPS://EN.WIKIPEDIA.ORG/W/INDEX.PHP?TITLE=ROTATION_MATRIX&OLDID=816278453》 *

Also Published As

Publication number Publication date
EP3518087A1 (en) 2019-07-31
US20210407214A1 (en) 2021-12-30
WO2019145296A1 (en) 2019-08-01
EP3746872A1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
US11381801B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
CN109644279B (zh) 用于用信号通知360度视频信息的方法和系统
JP2021103327A (ja) コンテンツを提供及び表示するための装置及び方法
EP2490179B1 (en) Method and apparatus for transmitting and receiving a panoramic video stream
EP3596931B1 (en) Method and apparatus for packaging and streaming of virtual reality media content
JP2018525852A (ja) 球面ビデオのストリーミング
US11223813B2 (en) Method and apparatus for generating metadata for 3D images
EP3644619A1 (en) Method and apparatus for receiving a tile-based immersive video
CN112088352A (zh) 用于对表示球面多媒体内容的球体进行分块的方法和网络设备
CN110114759A (zh) 信息处理装置、其控制方法和计算机程序
JP6140099B2 (ja) エンコード方法、エンコード装置及びエンコードプログラム
US10708631B2 (en) Method and terminal for tile selection amongst a set of tiles
CN112438051B (zh) 由终端执行的方法
CN114208201A (zh) 用于传输和渲染3d场景的方法、用于生成补丁的方法以及对应的设备和计算机程序
US20200273144A1 (en) Method and network equipment for tiling a sphere representing a spherical multimedia content
US20210227227A1 (en) System and method for supporting progressive video bit stream switching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination