CN109716776B - 用于生成且编码全向内容视频的方法及设备 - Google Patents

Abstract

一种视频处理方法，其包括接收对应于球体的全向内容，根据该全向内容和金字塔投影布局生成基于投影的帧，以及透过视频编码器编码该基于投影的帧以便生成比特位流的一部分。该基于投影的帧具有由包装在该金字塔投影布内局的基底投影面和多个侧向投影面表现的360度内容。该基底投影面和该侧向投影面至少根据在金字塔和该球体之间的投影关系而获得。

Description

用于生成且编码全向内容视频的方法及设备

【交叉引用】

本申请要求申请日为2017年1月3日，美国临时申请号为62/441,607的美国临时申请案和申请日为2017年8月15日，美国临时申请号为62/545,596的专利申请案的优先权，上述临时申请案的内容一并并入本申请。

【技术领域】

本发明涉及对全向内容的处理(例如，图像内容或视频内容)，并且更具体地涉及一种用于生成且编码具有360度内容(例如，360度图像内容或360度视频内容)的基于投影的帧(projection-based frame)的方法及设备，该360度内容由包装(packed)在金字塔投影布局(例如，紧凑的基于视口的金字塔投影布局(compact viewport-based pyramidprojection layout))内的基底投影面和多个侧向投影面来表现。

【背景技术】

具有头盔式显示器(HMD)的虚拟现实(VR)与多种应用相关联。向用户展示查看内容的宽视场的能力可用来提供沉浸式视觉体验。现实世界环境必须在导致对应于球体的全向图像/视频内容的所有方向上进行捕捉。随着相机装置和HMD的发展，VR内容的传送会很快成为瓶颈，这是由于用来表现这种360度图像/视频内容所需的高比特位速率的缘故。当该全向视频的分辨率是4K或更高时，数据压缩/编码对比特位速率减少来说是关键的。

【发明内容】

所要求保护的发明的其中一个目的在于提供一种用于生成且编码具有360 度内容(例如，360度图像内容或360度视频内容)的基于投影的帧的方法及设备，该360度内容由包装在金字塔投影布局(例如，紧凑的基于视口(viewport )的金字塔投影布局)内的基底投影面和多个侧向投影面来表现。透过该金字塔投影布局的适当设计，该基于投影的帧可具有紧凑的形式，并且/或者用户的视口的图像内容(即，视口区域)可被保持在主投影面(例如，基底投影面) 内。

根据本发明的第一方面，揭露了一种示范性的视频处理方法。该示范性的视频处理方法包括：接收对应于球体(sphere)的全向内容；根据该全向内容和金字塔投影布局生成基于投影的帧，其中该基于投影的帧具有360度内容，该360 度内容由包装在该金字塔投影布局内的基底投影面和多个侧向投影面来表现，并且至少根据在金字塔和该球体之间的投影关系获得该基底投影面和该侧向投影面；并且透过视频编码器编码该基于投影的帧以便生成比特位流的一部分。

根据本发明的第二方面，揭露了一种示范性的视频处理设备。该示范性的视频处理设备包括转换电路和视频编码器。该转换电路布置成接收对应于球体的全向内容，并且根据该全向内容和金字塔投影布局生成基于投影的帧，其中该基于投影的帧具有360度内容，该360度内容由包装在该金字塔投影布局内的基底投影面和多个侧向投影面来表现，并且至少根据在金字塔和该球体之间的投影关系获得该基底投影面和该侧向投影面。该视频编码器布置成编码该基于投影的帧以便生成比特位流的一部分。

在阅读了在各种图表和图形中所图示的优选实施例的下述详细说明书之后，本发明的这些和其他目的对本领域普通技术人员来说无疑将变得明显。

【附图说明】

图1是图示了根据本发明的实施例的360度虚拟现实(360VR)系统的简图。

图2是图示了根据本发明的实施例的第一金字塔投影类型的简图。

图3是图2中所示的金字塔和球体的侧视图。

图4是图示了根据本发明的实施例的从球体的金字塔投影获得的金字塔投影布局的投影面的简图。

图5是图示了根据本发明的实施例的第二金字塔投影类型的简图。

图6是图5中所示的金字塔和球体的侧视图。

图7是图示了根据本发明的实施例的第三金字塔投影类型的简图。

图8是图7中所示的金字塔和球体的侧视图。

图9是图示了根据本发明的实施例的第四金字塔投影类型的简图。

图10是图9中所示的金字塔和球体的侧视图。

图11是图示了根据本发明的实施例的第一提议性基于视口的金字塔投影布局的简图。

图12是图示了根据本发明的实施例的第二提议性基于视口的金字塔投影布局的简图。

图13是图示了根据本发明的实施例的第三提议性基于视口的金字塔投影布局的简图。

图14是图示了透过均匀映射来重新取样三角形投影面的例子的简图。

图15是图示了根据本发明的实施例的均匀映射函数的曲线的简图。

图16是图示了透过非均匀映射来重新取样三角形投影面的例子的简图。

图17是图示了根据本发明的实施例的非均匀映射函数的曲线的简图。

图18是图示了根据本发明的实施例的第五金字塔投影类型的简图。

图19是图示了根据本发明的实施例的第六金字塔投影类型的简图。

图20是图示了根据本发明的实施例的第七金字塔投影类型的简图。

【具体实施方式】

贯穿下述的说明书和权利要求书而使用了某些术语，其涉及特定的元件。如本领域技术人员将理解的那样，电子装备制造商可能透过不同的名称提及元件。本说明书并不打算在那些名称不同但不是在功能上不同的元件之间进行区分。在下述的说明书中并且在权利要求书中，术语"包含"和"包括"以开放的方式进行使用，并且因此应被解释成意味着“包括，但不限于……”。同样，术语"结合"旨在意味着或者间接的或者直接的电连接。因此，如果一个装置结合至另一装置，则此连接可透过直接的电连接，或者透过藉由其他装置和连接的间接的电连接。

图1是图示了根据本发明的实施例的360度虚拟现实(360VR)系统的简图。该360VR系统100包括两个视频处理设备(例如，源电子装置102和目标电子装置104)。该源电子装置102包括视频捕获装置112、转换电路114和视频编码器116。例如，该视频捕获装置112可为用以提供对应于球体的全向图像/视频内容(例如，覆盖全部环境的多种图像)S_IN的一组摄像机。该转换电路114结合在该视频捕获装置112和该视频编码器116之间。该转换电路114根据该全向图像/视频内容 S_IN生成具有360度虚拟现实(360VR)投影布局的基于投影的帧IMG。例如，该基于投影的帧IMG可为包含在由该转换电路114生成的一系列的基于投影的帧内的一个帧。该视频编码器116是编码电路，其用以编码/压缩该基于投影的帧 IMG以便生成比特位流BS的一部分，并且藉由传送元件103将该比特位流BS输出至该目标电子装置104。例如，该一系列的基于投影的帧可被编码成该比特位流 BS，并且该传送元件103可为有线/无线通讯链路或存储介质。

该目标电子装置104可为头盔式显示器(HMD)装置。如图1中所示，该目标电子装置104包括视频解码器122、图形渲染电路124和显示萤幕126。该视频解码器122是解码电路，其用以接收来自该传送元件103(例如，有线/无线通讯链路或存储介质)的比特位流BS，并且将所接收的比特位流BS解码而生成经解码的帧IMG’。例如，该视频解码器122透过解码所接收的比特位流BS而生成一系列的经解码的帧，其中该经解码的帧IMG’是被包括在该一系列的经解码的帧内的的一个帧。在这一实施例中，待由该视频编码器116编码的该基于投影的帧 IMG包括具有投影布局的360VR投影格式。因此，在该比特位流BS由该视频解码器122解码之后，该经解码的帧IMG’具有相同的360VR投影格式和相同的投影布局。该图形渲染电路124被结合在该视频解码器122和该显示萤幕126之间。该图形渲染电路124根据经解码的帧IMG’在该显示萤幕126上渲染和显示输出图像数据。例如，与由经解码的帧IMG’携带的360度图像/视频内容的一部分相关联的视口区域(viewport area)可藉由该图形渲染电路124显示在该显示萤幕126上。

本发明提议一种创新的金字塔投影布局设计(例如，紧凑的基于视口的金字塔投影布局设计)，其可具有紧凑的形式并且/或者能将用户的视口的图像/视频内容保持在主投影面(例如，基底投影面)内。如上所述，该转换电路114根据该360VR投影布局和该全向图像/视频内容S_IN生成该基于投影的帧IMG。在这一实施例中，上述的360VR投影布局是透过包装一个基底投影面(其对应于金字塔的基底)和多个侧向投影面(其对应于该金字塔的多个侧向面)的金字塔投影布局(例如，紧凑的基于视口的金字塔投影布局)L_VP。具体而言，该基于投影的帧IMG具有360度图像/视频内容，其由包装在所提议的金字塔投影布局(例如，紧凑的基于视口的金字塔投影布局)L_VP内的一个基底投影面和多个侧向投影面来表现。所提议的金字塔投影布局(例如，紧凑的基于视口的金字塔投影布局)L_VP的进一步的细节在下文中提供。

请参见图2连同图3。图2是图示了根据本发明的实施例的第一金字塔投影类型的简图。图3是图2中所示的金字塔和球体的侧视图。根据该第一金字塔投影类型，球体202完全处在金字塔204的内部，该金字塔20由基底206和多个侧向面 208组成。在这一例子中，该基底206的形状是正方形，并且各个侧向面208的形状是三角形。进一步地，该球体202是该金字塔204的内切球体，使得该球体202 与该金字塔204的各个面相切。

该球体202的全向图像/视频内容被映射/投影(mapped/projected)到该金字塔204的基底206和侧向面208上。关于该金字塔204的基底206上的投影面，其可构造成为主投影面，该主投影面包含用户的视口的图像内容。如图3中所图示的那样，该主投影面可为θxθ正方形面，其中θ是主视点FOV(视场)角，其大于90°。假定该基底206的边长由L代表，并且该球体202的半径由R代表，那么该主视点FOV角θ应该满足以下方程式。

图4是图示了根据本发明的实施例的由球体的金字塔投影获得的金字塔投影布局的投影面的简图。在其中采用图2中所示的第一金字塔投影类型的情况下，该球体202的全向图像/视频内容被映射/投影到该金字塔204的一个基底206 和四个侧向面208上，从而得到包含一个基底投影面(由“BS”标示)和四个侧向投影面(由“U”、“L”、“B”与“R”标示)的五个投影面。如图4中所示，该基底投影面BS的形状是正方形，并且各个侧向投影面U、L、B与R的形状是三角形。另外，该基底投影面BS和该侧向投影面U、L、B与R布置在对应于展开的金字塔的金字塔投影布局400内，使得该侧向投影面U、L、B与R分别与基底投影面BS的四个边/边缘连接。应该指出的是，图像连续性边界(image continuity boundary) 存在于侧向投影面U和基底投影面BS之间，图像连续性边界存在于侧向投影面L 和基底投影面BS之间，图像连续性边界存在于侧向投影面B和基底投影面BS之间，并且图像连续性边界存在于侧向投影面R和基底投影面BS之间。

该基底投影面BS和该侧向投影面U、L、B与R藉由该球体202的金字塔投影获得。例如，该金字塔204的该基底投影面BS和该侧向投影面U、L、B与R可根据图2中所示的第一金字塔投影类型获得。然而，这只是出于说明性的目的，而不是意味着对本发明的限制。备选地，图4中所示的该基底投影面BS和该侧向投影面U、L、B与R可根据与图2中所示的第一金字塔投影类型不同的另一金字塔投影类型获得。其他金字塔投影类型的进一步细节介绍如下。

请参见图5连同图6。图5是图示了根据本发明的实施例的第二金字塔投影类型的简图。图6是图5中所示的金字塔和球体的侧视图。根据该第二金字塔投影类型，金字塔504全部处在该球体202内部，其中该金字塔504由基底506和多个侧向面508组成。在这一例子中，该基底506的形状是正方形，并且各个侧向面 508的形状是三角形。进一步地，该球体202接触该金字塔504的全部顶点 (vertices)，除了该金字塔504的尖端512。具体而言，该球体202接触位于该基底506的四个角落处的四个顶点514，但不接触该金字塔504的剩余顶点(即，尖端512)。如图6中所示，该金字塔504的在尖端512和基底506之间的高度H等于该基底506的各个边缘(边)510的边长L(即，H＝L)。

该球体202的全向图像/视频内容被映射/投影在该金字塔504的该基底506和该侧向面508上。这样，在图4中所示的该基底投影面BS和该侧向投影面U、L、 B与R可根据图5中所示的第二金字塔投影类型获得。关于该金字塔504的该基底 506上的投影面，其可构造成为主投影面，该主投影面包含用户的视口的图像内容。如图6中所显示的那样，该主投影面可为θxθ正方形面，其中θ是等于90°的主视点FOV角。

请参见图7连同图8。图7是图示了根据本发明的实施例的第三金字塔投影类型的简图。图8是图7中所示的金字塔和球体的侧视图。根据该第三金字塔投影类型，金字塔704全部处在该球体202内部，其中该金字塔704由基底706和多个侧向面708组成。在这一例子中，该基底706的形状是正方形，并且各个侧向面708的形状是三角形。进一步地，该球体202是该金字塔7014的外接球体，使得该球体202接触该金字塔704的全部顶点。具体而言，该球体202接触位于该基底 706的四个角落处的四个顶点714，并且还接触该金字塔704的剩余顶点(即，尖端712)。在该第二金字塔投影类型和该第三金字塔投影类型之间的主要差异在于金字塔高度。如图8中所示，在该尖端712和该基底706之间的该金字塔704的高度H大于该基底706的各个边缘(边)710的边长L(即，H>L)。

该球体202的全向图像/视频内容被映射/投影在该金字塔704的基底706和侧向面708上。这样，图4中所示的该基底投影面BS和该侧向投影面U、L、B与R 可根据图7中所示的第三金字塔投影类型获得。关于该金字塔704的基底706上的投影面，其可构造成为主投影面，该主投影面包含用户的视口的图像内容。如图8中所示的那样，该主投影面可为θxθ正方形面，其中θ是等于90°的主视点 FOV角。

请参见图9连同图10。图9是图示了根据本发明的实施例的第四金字塔投影类型的简图。图10是图9中所示的金字塔和球体的侧视图。根据该第四金字塔投影类型，金字塔904全部处在该球体202内部，其中该金字塔904由基底906和多个侧向面908组成。在这一例子中，该基底906的形状是正方形，其具有边910，并且各个侧向面908的形状是三角形。进一步地，该球体202接触该金字塔904的全部顶点，除了该金字塔904的尖端912。具体而言，该球体202接触位于该基底 906的四个角落处的四个顶点914，但是不接触该金字塔904的剩余顶点(即，尖端912)。在该第四金字塔投影类型和该第二金字塔投影类型之间的主要差异在于该第四金字塔投影类型的FOV角θ可设定成任意值。如图10中所示，各个侧向面908的形状是等腰三角形，并且该FOV角θ可取决于实际的设计考量而任意选择。

该球体202的全向图像/视频内容被映射/投影在该金字塔904的基底906和侧向面908上。这样，图4中所示的该基底投影面BS和该侧向投影面U、L、B与R 可根据图9中所示的第四金字塔投影类型获得。关于该金字塔904的基底906上的投影面，其可构造成为主投影面，该主投影面包含用户的视口的图像内容。如图10中所示的那样，该主投影面可为θxθ正方形面，其中θ是主视点FOV角，其可等于90°，或小于90°，或大于90°。应该指出的是，该尖端912和该基底906 应该在该球体202的中心的相对边上，以便确保该球体202的全部全向图像/视频内容可被适当地映射/投影在该金字塔904的基底906和侧向面908上。

待被编码的基于投影的帧IMG需要是矩形的(rectangular)。如果金字塔投影布局400直接用来生成基于投影的帧IMG，那么该基于投影的帧IMG必须用虚构区(例如，黑区或白区)填充，以便形成用于编码的矩形的帧。因此，需要紧凑的投影布局，其能够消除/减少虚构区(例如，黑区或白区)以便改善编码效率。本发明提议一种基于视口的金字塔投影布局设计，其具有紧凑的形式并且能将用户的视口的图像/视频内容(即，视口区)保持在主投影面(例如，基底投影面)内。

图11是图示了根据本发明的实施例的第一提议性基于视口的金字塔投影布局的简图。该第一提议性基于视口的金字塔投影布局1102可由该金字塔投影布局400透过投影面重新取样(例如，投影面缩小)而衍生出来(derived from)。如图11的顶部中所示，各个侧向投影面U、B、L和R的形状是三角形。各个侧向投影面U/B/L/R的宽度(即，三角形的底部的长度)是W，并且各个侧向投影面 U/B/L/R的高度(即，从三角形的顶部到三角形的底部的距离)是H。应该指出的是，各个侧向投影面U/B/L/R的宽度W等于基底投影面BS的边长。

如图11中的中部所示，侧向投影面U’是经重新取样的投影面，其透过对该侧向投影面U在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得，侧向投影面B’是经重新取样的投影面，其透过对该侧向投影面B在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得，侧向投影面L’是经重新取样的投影面，其透过对该侧向投影面L 在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小) 而获得，并且侧向投影面R’是经重新取样的投影面，其透过对该侧向投影面R在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得。

在这一例子中，该基础投影布局BS的形状是正方形，并且各个侧向投影面 U’、B’、L’与R’的形状是直角三角形。具体而言，该基础投影布局BS具有四个边S11、S12、S13和S14；该侧向投影面U’具有一个斜边S21和两个直角边(侧边) S22与S23；该侧向投影面L’具有一个斜边S31和两个直角边(侧边)S32与S33；该侧向投影面B’具有一个斜边S41和两个直角边(侧边)S42与S43；并且该侧向投影面R’具有一个斜边S51和两个直角边(侧边)S52与S53。

此外，在该金字塔投影布局400中的基底投影面BS对应于用户的视口，并且直接用作第一提议性基于视口的金字塔投影布局1102所需的基底投影面。该基底投影面BS(其是正方形投影面)和该四个侧向投影面U’、B’、L’与R’(其是直角三角形的投影面)被包装在第一提议性基于视口的金字塔投影布局1102内。如图11中的底部所示，该侧向投影面U’的斜边S21与该基底投影面BS的边S11连接，该侧向投影面L’的斜边S31与该基底投影面BS的边S12连接，该侧向投影面B’的斜边S41与该基底投影面BS的边S13连接，并且该侧向投影面R’的斜边S51与该基底投影面BS的边S14连接。

如上所述，该金字塔投影布局400对应于展开的金字塔，其中图像连续性边界存在于该侧向投影面U和该基底投影面BS之间，图像连续性边界存在于该侧向投影面L和该基底投影面BS之间，图像连续性边界存在于该侧向投影面B和该基底投影面BS之间，并且图像连续性边界存在于该侧向投影面R和该基底投影面 BS之间。由于该侧向投影面U’是邻近该基底投影面BS的侧向投影面U的经重新取样的版本，因此在该侧向投影面U’的斜边S21和该基底投影面BS的边S11之间存在图像连续性边界。由于该侧向投影面L’是邻近该基底投影面BS的侧向投影面L的经重新取样的版本，因此在该侧向投影面L’的斜边S31和该基底投影面BS 的边S12之间存在图像连续性边界。由于该侧向投影面B’是邻近该基底投影面BS 的侧向投影面B的经重新取样的版本，因此在该侧向投影面B’的斜边S41和该基底投影面BS的边S13之间存在图像连续性边界。由于该侧向投影面R’是邻近该基底投影面BS的侧向投影面R的经重新取样的版本，因此在该侧向投影面R’的斜边 S51和该基底投影面BS的边S14之间存在图像连续性边界。

相较于该金字塔投影布局400，该第一提议性基于视口的金字塔投影布局 1102是更加紧凑的，这是由于该第一提议性基于视口的金字塔投影布局1102的形状是正方形的事实。这样，实现了紧凑的基于视口的金字塔投影布局，并且其可被基于投影的帧IMG使用，以便减少填充在基于投影的帧IMG内的虚构区 (例如，黑区或白区)。进一步地，该360度图像/视频内容被连续地表现在该基底投影面BS和该侧向投影面U’、B’、L’与R’内，而没有图像内容中断。也就是说，没有由投影面的包装所造成的图像内容中断边界。这样，编码效率没有被第一提议性基于视口的金字塔投影布局1102降低。

图12是图示了根据本发明的实施例的第二提议性基于视口的金字塔投影布局的简图。该第二提议性基于视口的金字塔投影布局1202可由该金字塔投影布局400透过投影面重新取样(例如，投影面缩小)而衍生出来。如上所述，该侧向投影面U’是经重新取样的投影面，其透过对该侧向投影面U在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得，该侧向投影面B’是经重新取样的投影面，其透过对该侧向投影面B在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得，该侧向投影面 L’是经重新取样的投影面，其透过对该侧向投影面在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得，并且该侧向投影面R’是经重新取样的投影面，其透过对该侧向投影面R在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得。在获得该侧向投影面 U’、B’、L’与R’之后，该基底投影面BS(其是对应于用户的视口的正方形投影面)和该四个侧向投影面U’、B’、L’与R’(其是直角三角形的投影面)被包装在该第二提议性基于视口的金字塔投影布局1202内。

如图12中的底部所示，该侧向投影面R’的斜边S51与该基底投影面BS的边 S14连接，该侧向投影面R’的直角边S52与该侧向投影面U’的直角边S23连接，该侧向投影面R’的直角边S53与该侧向投影面B’的直角边S42连接，该侧向投影面 L’的直角边S33与该侧向投影面U’的直角边S22连接，并且该侧向投影面L’的直角边S32与该侧向投影面B’的直角边S43连接。

如上所述，该金字塔投影布局400对应于展开的金字塔，其中图像连续性边界存在于该侧向投影面U和该基底投影面BS之间，图像连续性边界存在于该侧向投影面L和该基底投影面BS之间，图像连续性边界存在于该侧向投影面B和该基底投影面BS之间，并且图像连续性边界存在于该侧向投影面R和该基底投影面BS之间。由于该侧向投影面U’是该侧向投影面U的经重新取样的版本，该侧向投影面B’是该侧向投影面B的经重新取样的版本，该侧向投影面L’是该侧向投影面L的经重新取样的版本，并且该侧向投影面R’是该侧向投影面R的经重新取样的版本，因此图像连续性边界存在于该侧向投影面R’的斜边S51和该基底投影面 BS的边S14之间，图像连续性边界存在于该侧向投影面R’的直角边S52和该侧向投影面U’的直角边S23之间，图像连续性边界存在于该侧向投影面R’的直角边 S53和该侧向投影面B’的直角边S42之间，图像连续性边界存在于该侧向投影面 L’的直角边S33和该侧向投影面U’的直角边S22之间，并且图像连续性边界存在于该侧向投影面L’的直角边S32和该侧向投影面B’的直角边S43之间。

相较于该金字塔投影布局400，该第二提议性基于视口的金字塔投影布局 1202是更加紧凑的，这是由于该第二提议性基于视口的金字塔投影布局1202的形状是矩形的事实。这样，实现了紧凑的基于视口的金字塔投影布局，并且其可被基于投影的帧IMG使用，以便避免使用在基于投影的帧IMG内的虚构区(例如，黑区或白区)。进一步地，该360度图像/视频内容被连续地表现在该基底投影面BS和该侧向投影面U’、B’、L’与R’内，而没有图像内容中断。也就是说，没有由投影面的包装所造成的图像内容中断边界。这样，编码效率没有被第二提议性基于视口的金字塔投影布局1202降低。

图13是图示了根据本发明的实施例的第三提议性基于视口的金字塔投影布局的简图。该第三提议性基于视口的金字塔投影布局1302可由该金字塔投影布局400透过投影面重新取样(例如，投影面缩小)和投影面分拆而衍生出来。如上所述，该侧向投影面U’是经重新取样的投影面，其透过对该侧向投影面U在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得，该侧向投影面B’是经重新取样的投影面，其透过对该侧向投影面B在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得，该侧向投影面L’是经重新取样的投影面，其透过对该侧向投影面L在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得，并且该侧向投影面R’是经重新取样的投影面，其透过对该侧向投影面R在其高度方向上用预定的重新取样系数s(s＝H/h)进行重新取样(例如，缩小)而获得。在获得该侧向投影面U’之后，该侧向投影面U’被相等地分成两个直角三角形的部分 (由“U1”和“U2”表示)，如图13中的中间部所示的那样。类似地，在获得该侧向投影面B’之后，该侧向投影面B’被相等地分成两个直角三角形的部分(由“B1”和“B2”表示)，如图13中的中间部所示的那样。

该直角三角形的部分U1具有一个斜边S61(其也是该侧向投影面U’的直角边S22)、一个直角边(侧边)S62和另一直角边(侧边)S63(其是该侧向投影面U’的斜边S21的第一半)。该直角三角形的部分U2具有一个斜边S71(其也是该侧向投影面U’的直角边S23)、一个直角边(侧边)S72(其是该侧向投影面U’的斜边 S21的第二半)和另一直角边(侧边)S73。该直角三角形的部分B1具有一个斜边S81(其也是该侧向投影面B’的直角边S43)、一个直角边(侧边)S82(其是该侧向投影面B’的斜边S41的第一半)和另一直角边(侧边)S83。该直角三角形的部分B2具有一个斜边S91(其也是该侧向投影面B’的直角边S42)、一个直角边(侧边)S92和另一直角边(侧边)S93(其是该侧向投影面B’的斜边S41的第二半)。

在获得该直角三角形的部分U1、U2、B1与B2和该侧向投影面L’与R’之后，该基底投影面BS(其是对应于用户的视口的正方形投影面)，该直角三角形的部分U1、U2、B1与B2以及该侧向投影面L’与R’被包装在该第三提议性基于视口的金字塔投影布局1302内。如图13中的底部所示，该侧向投影面L’的斜边S31与该基底投影面BS的边S12连接，该侧向投影面R’的斜边S51与该基底投影面BS的边 S14连接，该直角三角形的部分U1的斜边S61与该侧向投影面L’的直角边S33连接，该直角三角形的部分B1的斜边S81与该侧向投影面L’的直角边S32连接，该直角三角形的部分U2的斜边S71与该侧向投影面R’的直角边S52连接，并且该直角三角形的部分B2的斜边S91与该侧向投影面R’的直角边S53连接。

如上所述，该金字塔投影布局400对应于展开的金字塔，其中图像连续性边界存在于该侧向投影面U和该基底投影面BS之间，图像连续性边界存在于该侧向投影面L和该基底投影面BS之间，图像连续性边界存在于该侧向投影面B和该基底投影面BS之间，并且图像连续性边界存在于该侧向投影面R和该基底投影面 BS之间。由于该侧向投影面U’是该侧向投影面U的经重新取样的版本并且被进一步地分成两个直角三角形的部分U1和U2，该侧向投影面B’是该侧向投影面B 的经重新取样的版本并且被进一步地分成两个直角三角形的部分B1和B2，该侧向投影面L’是该侧向投影面L的经重新取样的版本，并且该侧向投影面R’是该侧向投影面R的经重新取样的版本，因此图像连续性边界存在于该侧向投影面L’的斜边S31和该基底投影面BS的边S12之间，图像连续性边界存在于该侧向投影面 R’的斜边S51和该基底投影面BS的边S14之间，图像连续性边界存在于该直角三角形的部分U1的斜边S61和该侧向投影面L’的直角边S33之间，图像连续性边界存在于该直角三角形的部分B1的斜边S81和该侧向投影面L’的直角边S32之间，图像连续性边界存在于该直角三角形的部分U2的斜边S71和该侧向投影面R’的直角边S52之间，并且图像连续性边界存在于该直角三角形的部分B2的斜边S91 和该侧向投影面R’的直角边S53之间。

相较于该金字塔投影布局400，该第三提议性基于视口的金字塔投影布局 1302是更加紧凑的，这是由于该第三提议性基于视口的金字塔投影布局1302的形状是矩形的事实。这样，实现了紧凑的基于视口的金字塔投影布局，并且其可被基于投影的帧IMG使用，以便避免使用在基于投影的帧IMG内的虚构区(例如，黑区或白区)。进一步地，该360度图像/视频内容被连续地表现在该基底投影面BS、该侧向投影面L’与R’和该直角三角形的部分U1、U2、B1与B2内，而没有图像内容中断。也就是说，没有由投影面的包装所造成的图像内容中断边界。这样，编码效率没有被第三提议性基于视口的金字塔投影布局1302降低。

该提议性基于视口的金字塔投影布局1102、1202与1302只是出于说明性的目的，而不是意味着对本发明的限制。在实践中，可透过将具体的操作(例如，面顺序调整，布局旋转，以及/或者布局镜像)应用到任一个所提议的基于视口的金字塔投影布局1102、1202与1302来获得备选的基于视口的金字塔投影布局。用该第二提议性基于视口的金字塔投影布局1202作为举例，其可透过用该基底投影面BS的不同边(例如，S12)与不同侧向投影面的斜边(例如，L’)相连接来进行变更。用该第三提议性基于视口的金字塔投影布局1302作为举例，其可透过下述来进行变更：将各个侧向投影面L’和R’分拆成两个直角三角形的部分，用该基底投影面BS的一个边S11来与该侧向投影面U’的斜边相连接，以及用该基底投影面BS的另一边S13来与该侧向投影面B’的斜边相连接。这些备选的布局设计全部落入在本发明的范围之内。

如上所述，各个侧向投影面U’、B’、L’与R’(其是直角三角形的投影面) 由对藉由该球体202的金字塔投影获得的相应的侧向投影面U/B/L/R(其是三角形投影面)进行重新取样而衍生出来。在本发明的一些实施例中，对相应的侧向投影面U/B/L/R进行重新取样可透过用均匀映射对相应的侧向投影面U/B/L/R 进行重新取样来实现。请参见图14连同图15。图14是图示了透过均匀映射对三角形投影面进行重新取样的例子的简图。图15是图示了根据本发明的实施例的均匀映射函数的曲线的简图。在这一例子中，三角形投影面1404透过对三角形投影面1402在其高度方向上进行重新取样(例如，缩小)来获得，其中该三角形投影面1402具有宽度(即，三角形的底部的长度)W和高度(即，三角形的高度)H，并且该三角形投影面1404具有宽度(即，三角形的底部的长度)W和高度(即，三角形的高度)h，其中h<H。以例子的方式，而非限制，该均匀映射函数可用以下方程式来表达。

因此，关于位于该三角形投影面1404内的y-轴的座标y’处的像素位置，位于该三角形投影面1402内的y-轴的座标Y处的相应的取样点可由表达在方程式(2) 中的均匀映射函数进行确定。在该三角形投影面1404内的位置P的像素值透过使用在该三角形投影面1402内的相应的取样位置p’的像素值来获得。由于在高度方向上的均匀映射，在该三角形投影面1402内的两个竖直相邻的取样点以恒定距离D均匀分布。

在该三角形投影面1402内的取样点(即，所获得的像素位置p’)可以不是整数位置。如果在该三角形投影面1402内的取样点的y-轴座标Y是非整数位置，那么在转换电路114中的插值滤波器(图未示)可被应用到在该三角形投影面1402 内的取样点周围的整数像素，以便衍生出该取样点的像素值。例如，该插值滤波器可为双线性滤波器、双三次滤波器或兰索斯滤波器(Lanczosfilter)。

为了保持主投影面(例如，对应于用户的视口的基底投影面BS)附近的更多细节，本发明进一步地提议透过非均匀映射来对相应的侧向投影面U/B/L/R进行重新取样。请参见图16连同图17。图16是图示了透过非均匀映射对三角形投影面进行重新取样的例子的简图。图17是图示了根据本发明的实施例的非均匀映射函数的曲线的简图。在这一例子中，三角形投影面1604透过对三角形投影面1602在其高度方向上进行重新取样(例如，缩小)来获得，其中该三角形投影面1602具有宽度(即，三角形的底部的长度)W和高度(即，三角形的高度) H，并且该三角形投影面1604具有宽度(即，三角形的底部的长度)W和高度(即，三角形的高度)h，其中h<H。该非均匀映射函数可由非递减曲线指定。例如，该非均匀映射函数可为分段线性函数或指数函数。在其中该非均匀映射函数是指数函数的情况下，该非均匀映射函数可用以下的方程式来表达。

其中n是正数并且n≠1 (3)

为了保持主投影面(例如，对应于用户的视口的基底投影面BS)附近的更多细节，在该方程式(3)中所用的n的值可大于1(即，n>1)。因此，其中n>1 的非均匀映射函数可透过图17中所示的示范性的曲线指定。

备选地，该非均匀映射函数可用以下的方程式来表达。

其中n是正数并且n≠1 (4)

为了保持主投影面(例如，对应于用户的视口基底投影面BS)附近的更多细节，在该方程式(4)中所用的n的值可小于1(即，0<n<1)。因此，其中0<n<1 的非均匀映射函数也可透过图17中所示的示范性的曲线指定。

关于位于该三角形投影面1604内的y-轴的座标y’处的像素位置，位于该三角形投影面1602内的y-轴的座标Y处的相应的取样点可由所采用的非均匀映射函数来确定。如图16中所示，在两个竖直相邻的取样点之间的间距不是常数。例如，在两个竖直相邻的取样点之间的间距可为D1、D2、D3中的一个，其中 D3>D2>D1。具体而言，这些取样点在该三角形投影面1602的高度方向上非均匀地分布。在该三角形投影面1604内的位置P的像素值透过用在该三角形投影面 1602内的相应的取样位置p’的像素值来获得。例如，在该三角形投影面1604内的第一经重新取样的区域1606中的像素透过对该三角形投影面1602的第一源区域1610进行重新取样来获得，并且在该三角形投影面1604内的第二经重新取样的区域1608中的像素透过对该三角形投影面1602的第二源区域1612进行重新取样来获得。由于在高度方向上的非均匀映射，从第一源区域1610获得的取样点的密度不同于从第二源区域1612获得的取样点的密度。换句话说，该第一经重新取样的区域1606透过用第一取样密度对第一源区域1610进行重新取样来获得，并且该第二经重新取样的区域1608透过用第二取样密度对第二源区域1612进行重新取样来获得，其中该第二取样密度不同于该第一取样密度。

为了保持主投影面(例如，对应于用户的视口基底投影面BS)附近的更多细节，该第一取样密度和该第二取样密度透过非均匀映射被适当地控制。假定该三角形投影面1602(例如，在图4中所示的金字塔投影布局400的侧向投影面U、 B、L和R中的一个)的第一源区域1610比第二区域1612更靠近用户的视口的中心(例如，在图4中所示的金字塔投影布局400的基底投影面BS的中心)，则该第一取样密度被具体地设置成高于该第二取样密度。这样，在该三角形投影面1604 中的大多数的像素透过对该三角形投影面1602内的第一源区域1610进行重新取样而获得。

在该三角形投影面1602中的取样点(即，所获得的像素位置p’)可以不是整数位置。如果在该三角形投影面1602内的取样点的y-轴座标Y是非整数位置，那么在该转换电路114中的插值滤波器(图未示)可被应用于在该三角形投影面 1602内的取样点周围的整数像素，以便得到该取样点的像素值。例如，该插值滤波器可为双线性滤波器、双三次滤波器或兰索斯滤波器。

应该指出的是，前述的非均匀映射函数是用于说明性的目的，而不是意味着对本发明的限制。在本发明的一些实施例中，该转换电路114可采用不同的非均匀映射函数来用于投影面重新取样。这也落入在本发明的范围之内。

关于被该第一提议性基于视口的金字塔投影布局1102，该第二提议性基于视口的金字塔投影布局1202和该第三提议性基于视口的金字塔投影布局1302中的任何一个所使用的经重新取样的投影面，在该主投影面(例如，该基底投影面BS)附近的更多细节可透过在重新取样操作中使用非均匀映射被保持。例如，该侧向投影面U’的大多数像素透过对靠近该基底投影面BS的边S11的该侧向投影面U的基底部分进行重新取样而获得，该侧向投影面L’的大多数像素透过对靠近该基底投影面BS的边S12的该侧向投影面L的基底部分进行重新取样而获得，该侧向投影面B’的大多数像素透过对靠近该基底投影面BS的边S13的该侧向投影面B的基底部分进行重新取样而获得，并且该侧向投影面R’的大多数像素透过对靠近该基底投影面BS的边S14的该三角形投影面R的基底部分进行重新取样而获得。由于该主投影面(例如，该基底投影面BS)附近的更多细节可透过非均匀映射而被保持在副投影面(例如，侧向投影基底U’、B’、L’与R’)内，因此该基于投影的图像IMG的编码效率可进一步地改进。例如，相较于具有透过用均匀映射进行重新取样而生成的侧向投影面U’、B’、L’与R’的基于投影的图像 IMG的编码效率，具有透过用非均匀映射进行重新取样而生成的侧向投影面U’、 B’、L’与R’的基于投影的图像IMG的编码效率更好。

在以上的实施例中，第一投影面(例如，基底投影面BS)和多个第二投影面(例如，四个侧向投影面U、B、L和R)首先透过根据所采用的金字塔投影类型将该球体202的全向内容映射/投影到金字塔204/504/704/904上来获得，并且然后经重新取样的投影面(例如，四个侧向投影面U’、B’、L’与R’)透过分别对第二投影面进行重新取样(例如，缩小)来获得。接下来，该第一投影面(例如，该基底投影面BS)和该经重新取样的投影面(例如，四个侧向投影面U’、B’、L’与R’)被包装在所采用的基于视口的金字塔投影布局1102/1202/1302内。然而，这些只是出于说明性的目的，而不是意味着对本发明的限制。备选地，将球体的全向内容映射/投影到金字塔上的步骤可省略。也就是说，对如图4中所示的金字塔的不同面的基底投影面BS的和侧向投影面U、B、L和R的生成可省略。

图18是图示了根据本发明的实施例的第五金字塔投影类型的简图。根据该第五金字塔投影类型，该球体202的全向内容根据在金字塔和该球体202之间的投影关系被划分成第一局部区域1801和多个第二局部区域1802。在这一例子中，该球体202的全向内容被划分成包含该第一局部区域1801和该第二局部区域 1802的五个局部区域，这是由于所采用的金字塔投影布局(例如，所提议的基于视口的金字塔投影布局1102、1202与1302中的一个)与具有一个正方形基底和四个三角形侧向面的金字塔相关联的事实。在这一例子中，在该球体202的表面上的分区布局由多个圆1803、1804、1805、1806和1807限定，其中的每一个具有为该球体202的中心的中心。简单地说，该第一局部区域1801和该第二局部区域1802的边界由圆1803-1807确定。

该第一局部区域1801等同于由透过将该金字塔(例如，金字塔204、504、 704和904中的一个)的正方形基底投影到该球体202的表面上所限定的图像面积，并且该第二局部区域1802等同于由透过将该金字塔(例如，金字塔204、504、 704和904中的一个)的三角形侧向面投影到该球体202的表面上所限定的图像面积。

在获得该第一局部区域1801和该第二局部区域1802之后，该第一局部区域1801直接转换为前述的基底投影面BS(其是正方形投影面)，并且该第二局部区域1802分别直接转换为前述的侧向投影面U’、B’、L’与R’(其是直角三角形的投影面)。例如，从该第一局部区域1801到该基底投影面BS的转换可透过使用三角函数来实现，并且/或者从该第二局部区域1802到该侧向投影面U’、B’、L’与R’的转换可透过使用三角函数来实现。在获得该基底投影面BS和该侧向投影面U’、 B’、L’与R’之后，该基底投影面BS和该侧向投影面U’、B’、L’与R’被包装在所采用的金字塔投影布局(例如，所提议的基于视口的金字塔投影布局1102、1202 与1302中的一个)内。

在本发明的一些实施例中，前述的非均匀映射特征可并入到应用于各个第二局部区域1802的转换函数中。例如，图16中所示的三角形投影面1602可视为该第二局部区域1802中的一个，并且图16中所示的三角形投影面1604可视为该侧向投影面U’、B’、L’与R’中的一个。因此，各个第二局部区域1802具有第一源区域(例如，1610)和第二源区域(例如，1612)，并且相应的侧向投影面U’/B’/L’/R’具有第一经转换区域(例如，1606)和第二经转换区域(例如，1608)。该第一经转换区域(例如，1606)透过用第一取样密度对第一源区域(例如，1610) 进行转换而衍生出来，并且该第二经转换区域(例如，1608)透过用第二取样密度对该第二源区域(例如，1612)进行转换而衍生出来，其中该第二取样密度不同于该第一取样密度。为了保持该主投影面(例如，对应于用户的视口的基底投影面BS)附近的更多细节，该第一取样密度和该第二取样密度透过转换函数被适当地控制。假定一个第二局部区域1802的第一源区域(例如，1610) 比该第二区域(例如，1612)更靠近该用户的视口的中心(例如，该第一局部区域1801的中心)，则该第一取样密度被具体地设置成高于该第二取样密度。这样，在相应的侧向投影面U’/B’/L’/R’中的大多数像素透过将第一源区域(例如，1610)转换到第二局部区域1802中而获得。

如上所述，该球体202的全向内容(即，该球体202的表面)需要被划分成五个局部区域，其可用以获得对应于具有一个正方形基底和四个三角形侧向面的金字塔的基底投影面BS和侧向投影面U’、B’、L’与R’。然而，在该球体202的表面上的分区布局可取决于实际的设计考量而调整。

图19是图示了根据本发明的实施例的第六金字塔投影类型的简图。根据该第六金字塔投影类型，该球体202的全向内容根据在金字塔和该球体202之间的投影关系被被划分成第一局部区域1901和多个第二局部区域1902。在图19中所示的球体202的表面上的分区布局不同于在图18中所示的分区布局。因此，该第一局部区域1901的形状可不同于该第一局部区域1801的形状，并且/或者该第二局部区域1902的形状可不同于该第二局部区域1802的形状。在这一例子中，在该球体202的表面上的分区布局可由多个圆1903、1904、1905、1906和1907限定。关于各个圆1903-1905，其具有位于经过该球体202的中心的一个中心轴处的中心。关于各个圆1906和1907，其具有为该球体202的中心的中心。简单地说，该第一局部区域1901和该第二局部区域1902的边界由圆1903-1907确定。

该第一局部区域1901被直接转换为前述的基底投影面BS(其是正方形投影面)，并且该第二局部区域1902分别被直接转换为前述的侧向投影面U’、B’、L’与R’(其是直角三角形的投影面)。例如，从该第一局部区域1901到该基底投影面BS的转换可透过使用三角函数来实现，并且/或者从该第二局部区域1902到该侧向投影面U’、B’、L’与R’的转换可透过使用三角函数来实现。像图18中所示的实施例，前述的非均匀映射特征可并入到应用于各个第二局部区域1902的转换函数中。该基底投影面BS和该侧向投影面U’、B’、L’与R’被包装在所采用的金字塔投影布局(例如，所提议的基于视口的金字塔投影布局1102、1202与1302中的一个)内。

图20是图示了根据本发明的实施例的第七金字塔投影类型的简图。根据该第七金字塔投影类型，该球体202的全向内容根据在金字塔和该球体202之间的投影关系被划分成第一局部区域2001和多个第二局部区域2002。在图20中所示的球体202的表面上的分区布局不同于图18/图19中所示的分区布局。因此，该第一局部区域2001的形状可不同于该第一局部区域1801/1901的形状，并且/或者该第二局部区域2002的形状可不同于该第二局部区域1802/1902的形状。在这一例子中，在该球体202的表面上的分区布局可由多个圆2003、2004、2005、2006和 2007限定，其中的各个具有位于经过该球体202的中心的一个中心轴处的中心。简单地说，该第一局部区域2001和该第二局部区域2002的边界由圆2003-2007确定。

该第一局部区域2001被直接转换为前述的基底投影面BS(其是正方形投影面)，并且该第二局部区域2002分别被直接转换为前述的侧向投影面U’、B’、L’与R’(其是直角三角形的投影面)。例如，从该第一局部区域2001到该基底投影面BS的转换可透过使用三角函数来实现，并且/或者从该第二局部区域2002到该侧向投影面U’、B’、L’与R’的转换可透过使用三角函数来实现。像图18中所示的实施例，前述的非均匀映射特征可并入到应用于各个第二局部区域2002的转换函数中。该基底投影面BS和该侧向投影面U’、B’、L’与R’被包装在所采用的金字塔投影布局(例如，所提议的基于视口的金字塔投影布局1102、1202与1302中的一个)内。

本领域的技术人员将易于注意的是，可做出装置和方法的多种修改和变更，同时保留本发明的教导。因此，以上揭露内容应该如仅由所附权利要求书的界限所限制的那样进行解释。

Claims (15)

1.一种视频处理方法，包括：

接收对应于球体的全向内容；

根据该全向内容和金字塔投影布局生成基于投影的帧，其中该基于投影的帧具有由包装在该金字塔投影布局内的基底投影面和多个侧向投影面表现的360度内容，并且该基底投影面和该侧向投影面至少根据在金字塔和该球体之间的投影关系来获得；以及

透过视频编码器编码该基于投影的帧，以便生成比特位流的一部分，

其中根据该全向内容和该金字塔投影布局生成该基于投影的帧包括：

将该球体的全向内容映射到该金字塔的基底和多个侧向面上，以便分别生成第一投影面和多个第二投影面；

从该第一投影面衍生出该基底投影面；以及

从该第二投影面分别衍生出该侧向投影面，其中各个侧向投影面透过对相应的第二投影面在其高度方向上进行重新取样而衍生出来，

其中对相应的第二投影面进行重新取样包括透过非均匀映射对相应的第二投影面进行重新取样，其中该相应的第二投影面具有第一源区域和第二源区域，所述的各个侧向投影面具有第一经重新取样的区域和第二经重新取样的区域，该第一经重新取样的区域透过用第一取样密度对该第一源区域进行重新取样而衍生出来，并且该第二经重新取样的区域透过用不同于该第一取样密度的第二取样密度对该第二源区域进行重新取样而衍生出来。

2.根据权利要求1所述的视频处理方法，其特征在于，该球体全部位于该金字塔内部。

3.根据权利要求2所述的视频处理方法，其特征在于，该球体是该金字塔的内切球体。

4.根据权利要求1所述的视频处理方法，其特征在于，该金字塔全部位于该球体内部。

5.根据权利要求4所述的视频处理方法，其特征在于，该球体是该金字塔的外接球体。

6.根据权利要求4所述的视频处理方法，其特征在于，该球体接触该金字塔的全部顶点，除了该金字塔的尖端。

7.根据权利要求6所述的视频处理方法，其特征在于，该金字塔的在该金字塔的尖端和该金字塔的基底之间的高度等于或小于该基底的边长。

8.根据权利要求1所述的视频处理方法，其特征在于，该第一投影面对应于用户的视口，该第一源区域更靠近该用户的视口的中心，并且该第一取样密度高于该第二取样密度。

9.根据权利要求1所述的视频处理方法，其特征在于，该金字塔投影布局的形状是正方形，该基底投影面的形状是正方形，各个侧向投影面的形状是直角三角形，该侧向投影面包括第一侧向投影面、第二侧向投影面、第三侧向投影面和第四侧向投影面，该第一侧向投影面的斜边与该基底投影面的第一边连接，该第二侧向投影面的斜边与该基底投影面的第二边连接，该第三侧向投影面的斜边与该基底投影面的第三边连接，并且该第四侧向投影面的斜边与该基底投影面的第四边连接。

10.根据权利要求9所述的视频处理方法，其特征在于，在该第一侧向投影面的斜边和该基底投影面的第一边之间具有图像连续性边界，在该第二侧向投影面的斜边和该基底投影面的第二边之间具有图像连续性边界，在该第三侧向投影面的斜边和该基底投影面的第三边之间具有图像连续性边界，并且在该第四侧向投影面的斜边和该基底投影面的第四边之间具有图像连续性边界。

11.根据权利要求1所述的视频处理方法，其特征在于，该金字塔投影布局的形状是矩形，该基底投影面的形状是正方形，各个侧向投影面的形状是直角三角形，该侧向投影面包括第一侧向投影面、第二侧向投影面、第三侧向投影面和第四侧向投影面，该第一侧向投影面的斜边与该基底投影面的一个边连接，该第一侧向投影面的一个直角边与该第二侧向投影面的一个直角边连接，该第一侧向投影面的另一直角边与该第三侧向投影面的一个直角边连接，该第四侧向投影面的一个直角边与该第二侧向投影面的另一直角边连接，并且该第四侧向投影面的另一直角边与该第三侧向投影面的另一直角边连接。

12.根据权利要求11所述的视频处理方法，其特征在于，在该第一侧向投影面的斜边和该基底投影面的所述的一个边之间具有图像连续性边界，在该第一侧向投影面的所述的一个直角边和该第二侧向投影面的所述的一个直角边之间具有图像连续性边界，在该第一侧向投影面的所述的另一直角边和该第三侧向投影面的所述的一个直角边之间具有图像连续性边界，在该第四侧向投影面的所述的一个直角边和该第二侧向投影面的所述的另一直角边之间具有图像连续性边界，并且在该第四侧向投影面的所述的另一直角边和该第三侧向投影面的所述的另一直角边之间具有图像连续性边界。

13.根据权利要求1所述的视频处理方法，其特征在于，该金字塔投影布局的形状是矩形，该基底投影面的形状是正方形，各个侧向投影面的形状是直角三角形，该侧向投影面包括第一侧向投影面、第二侧向投影面、第三侧向投影面和第四侧向投影面，该第一侧向投影面被分成第一直角三角形的部分和第二直角三角形的部分，该第二侧向投影面被分成第三直角三角形的部分和第四直角三角形的部分，该第三侧向投影面的斜边与该基底投影面的第一边连接，该第四侧向投影面的斜边与该基底投影面的与该基底投影面的第一边相对的第二边连接，该第一直角三角形的部分的斜边与该第三侧向投影面的一个直角边连接，该第三直角三角形的部分的斜边与该第三侧向投影面的另一直角边连接，该第二直角三角形的部分的斜边与该第四侧向投影面的一个直角边连接，并且该第四直角三角形的部分的斜边与该第四侧向投影面的另一直角边连接。

14.根据权利要求13所述的视频处理方法，其特征在于，在该第三侧向投影面的斜边和该基底投影面的第一边之间具有图像连续性边界，在该第四侧向投影面的斜边和该基底投影面的第二边之间具有图像连续性边界，在该第一直角三角形的部分的斜边和该第三侧向投影面的所述的一个直角边之间具有图像连续性边界，在该第三直角三角形的部分的斜边和该第三侧向投影面的所述的另一直角边之间具有图像连续性边界，在该第二直角三角形的部分的斜边和该第四侧向投影面的所述的一个直角边之间具有图像连续性边界，并且在该第四直角三角形的部分的斜边和该第四侧向投影面的所述的另一直角边之间具有图像连续性边界。

15.一种视频处理设备，包括：

转换电路，其布置成接收对应于球体的全向内容，并且根据该全向内容和金字塔投影布局生成基于投影的帧，其中该基于投影的帧具有由包装在该金字塔投影布局内的基底投影面和多个侧向投影面表现的360度内容，并且该基底投影面和该侧向投影面至少根据在金字塔和该球体之间投影关系而获得；以及

视频编码器，其布置成编码该基于投影的帧，以便生成比特位流的一部分，

其中根据该全向内容和该金字塔投影布局生成该基于投影的帧包括：

将该球体的全向内容映射到该金字塔的基底和多个侧向面上，以便分别生成第一投影面和多个第二投影面；

从该第一投影面衍生出该基底投影面；以及

从该第二投影面分别衍生出该侧向投影面，其中各个侧向投影面透过对相应的第二投影面在其高度方向上进行重新取样而衍生出来，

其中对相应的第二投影面进行重新取样包括透过非均匀映射对相应的第二投影面进行重新取样，其中该相应的第二投影面具有第一源区域和第二源区域，所述的各个侧向投影面具有第一经重新取样的区域和第二经重新取样的区域，该第一经重新取样的区域透过用第一取样密度对该第一源区域进行重新取样而衍生出来，并且该第二经重新取样的区域透过用不同于该第一取样密度的第二取样密度对该第二源区域进行重新取样而衍生出来。

Images