CN109691095A - 用于生成具有由组合在八面体投影布局的多个三角形投影面表示的360°图像内容的基于投影的帧的方法以及装置 - Google Patents

Abstract

根据全景视频帧以及八面体投影布局生成基于投影的帧，所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，观察球的360°图像内容通过所述观察球的八面体投影被映射到所述多个三角形投影面。第一三角形投影面的一边与第二三角形投影面的一边接触，第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的一边与所述第二三角形投影面的一边存在图像内容连续性边界，以及在所述第三三角形投影面的所述一边以及所述第二三角形投影面的所述另一边存在另一个图像内容连续性边界。

Description

用于生成具有由组合在八面体投影布局的多个三角形投影面 表示的360°图像内容的基于投影的帧的方法以及装置

相关引用

本发明要求递交于2016年10月7日，号码为62/405,290的美国临时申请，递交于2016年12月7日，号码为62/430,968的临时申请的优先权。相关申请的全部内容包括号码为62/405,290以及号码为62/430,968的美国临时申请，通过引用纳入本申请中。

背景技术

本发明涉及处理全景视频帧，尤其涉及用于生成具有360°图像/视频内容的基于投影的帧(projection-based frame)的方法及装置，其中所述360°图像/视频内容由组合在八面体投影(octahedron projection，简称OHP)布局中的多个三角形投影面表示。

具有多个头戴式显示器(head-mounted displays，简称HMDs)的虚拟现实(VR)与各种各样的应用相关联，其向使用者提供宽视场内容(wide field of view content)的能力可以用来提供沉浸式的视觉体验(immersive visual experiences)。必须在所有方向上捕获真实世界环境以生成对应于观察球(viewing sphere)的全景视频(omnidirectionalvideo)。随着多个相机平台(camera rig)和多个HMD的发展，由于展示如360°图像内容所需要的高比特率，VR内容的递送可能很快成为瓶颈。当全景视频的分辨率是4K或者更高的时候，数据压缩/编码对比特率的减小是关键的。

通常，对应于观察球的全景视频被转换成具有由排列在360°虚拟现实(360VR)投影布局的多个投影面所表示的360°图像内容的基于投影的帧，然后将基于投影的帧编码成比特流用于传输。然而，如果所采用的360VR投影布局设计不合理，基于投影的帧可能会具有因多个投影面的组合而产生图像内容不连续性边界(image content discontinuityboundary)，由于图像内容不连续性边界，编码/解码的质量可能会降低。

发明内容

本发明目的之一是提供一种用于生成具有360°图像/视频内容的基于投影的帧的方法及装置，实施360°图像/视频内容由组合在八面体投影布局中的多个三角形投影面表示。由于八面体投影布局的合理设计，可减少因组合多个三角形投影面而导致的图像内容不连续性边界的数量。

根据本发明的第一方面，公开了一种示例性生成基于投影的帧的方法，所述示例性方法包括：接收对应于观察球的全景视频帧，并且根据所述全景视频帧以及八面体投影布局生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面。组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的所述一边以及所述第二三角形投影面的所述一边之间有图像内容连续性边界，以及在所述第三三角形投影面的所述一边与所述第二三角形投影面的所述另一边之间有图像内容连续性边界。

根据本发明的第二方面，公开了一种用于生成基于投影的帧的示例性处理电路，所述示例性处理电路包括输入接口以及转换电路。所述输入接口用于接收对应于观察球的全景视频帧。所述转换电路用于根据所述全景视频帧以及八面体投影布局生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面。组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的一边以及所述第二三角形投影面的一边之间有图像内容连续性边界，以及在所述第三三角形投影面的一边与所述第二三角形投影面的另一边之间有图像内容连续性边界。

在阅读下面的附图及附图中所示的优选实施例的详细描述后，本发明的上述目的及其他目的对本领域普通技术人员毫无疑问是显而易见的。

附图说明

图1示出了根据本发明实施例的360°虚拟现实(360VR)系统。

图2示出了根据非旋转八面体(unrotated octahedron)从观察球的八面体投影获得的原始八面体投影布局的多个三角形投影面。

图3示出了根据本发明实施例的第一提出的八面体投影布局。

图4示出了根据本发明实施例的第二提出的八面体投影布局。

图5示出了根据本发明实施例的重塑的(reshaped)三角形的两种类型。

图6示出了根据本发明实施例的第一重塑的八面体投影布局。

图7示出了根据本发明实施例的第二重塑的八面体投影布局。

图8示出了根据本发明实施例的第三提出的八面体投影布局。

图9示出了根据本发明实施例的第四提出的八面体投影布局。

图10示出了根据旋转八面体从观察球的八面体投影获得原始八面体投影布局的多个三角形投影面。

图11示出了根据本发明实施例的第五提出的八面体投影布局。

图12示出了根据本发明实施例的第六提出的八面体投影布局。

图13示出了根据本发明实施例的第三重塑的八面体投影布局。

图14示出了根据本发明实施例的第四重塑的八面体投影布局。

图15示出了根据本发明实施例的第七提出的八面体投影布局。

图16示出了根据本发明实施例的第八提出的八面体投影布局。

图17示出了根据本发明实施例的提出的八面体投影布局与等矩形投影布局之间的单相映射(single-phase mapping)。

图18示出了根据本发明实施例的提出的八面体投影布局与等矩形投影布局之间的多相映射(multi-phase mapping)。

图19示出了根据本发明实施例的第一像素填充设计。

图20示出了根据本发明实施例的第二像素填充设计。

图21示出了根据本发明实施例的第三像素填充设计。

图22示出了根据本发明实施例的第四像素填充设计。

图23示出了根据本发明实施例的具有每一缺口(jag)是偶数像素宽的60°边界。

图24示出了根据本发明实施例的具有每一缺口是偶数像素宽的45°边界。

具体实施方式

以下的描述和权利要求中使用了某些术语，其指的是具体的元件，本领域技术人员能够理解的是，电子装置制造商可以用不同的名称指同一个元件。本发明不旨在区分名称不同但功能相同的元件。在下面的描述和权利要求中，以开放式的形式使用术语“包括”，因此应当解释为“包括但不限于”。同样地，术语“耦合”意思是间接或直接电性连接。因此，如果装置耦合到另一个装置，所述连接可以是直接电性连接或者通过其他装置和连接的间接电性连接。

图1是根据本发明实施例的360°虚拟现实(360VR)系统。所述360VR系统100包括源电子装置(source electronic device)102和目标装置104，所述源电子装置102包括视频捕获装置110，预处理电路112以及编码电路114，例如，所述视频捕获装置110可以是以全景相机。预处理电路112根据对应于观察球的全景视频帧S_IN，生成具有360°虚拟现实(360VR)投影布局的基于投影的帧IMG。编码电路114对所述基于投影的帧IMG进行编码以生成比特流BS，并通过传输方式103，如有线/无线通信连接或存储介质，将所述比特流BS输出至目标电子装置104。

目标装置104可以是头戴显示设备(head-mounted display device)，如图1所示，目标装置104包括解码电路120，后处理电路122，显示驱动电路124以及显示设备126。解码电路120从传输方式103(例如，有线/无线通信连接或存储介质)接收比特流BS，并且解码所接收到的比特流BS以生成解码帧IMG’。在这一实施例中，将由编码电路114编码的帧IMG具有360VR投影布局，因此，在解码电路120对所述比特流BS解码以后，解码帧(也就是重建帧)IMG’具有相同的360VR投影布局。后处理电路122可以处理所述解码帧IMG’以将具有所述360VR投影布局的所述解码帧IMG’转换成具有不同360VR投影布局的后处理帧IMG”以用于进一步处理。然而，这仅有用于说明性的目的，并不意味着对本发明的限制。与由预处理帧IMG’携带的部分360°图像内容有关的视口(viewport)区域可以通过显示驱动电路124在显示设备126上显示。

本发明提出了一种创新的八面体投影布局设计，其具有减少数量的因多个三角形投影面组合而导致的图像内容不连续性边界或不具有因多个三角形投影面组合而导致的图像内容不连续性边界。如图1所示，预处理电路112包括输入接口116以及转换电路118，输入接口116与视频捕获装置110通信，并且从所述视频捕获装置100接收对应于观察球的全景视频帧S_IN。将由视频编码器100进行编码的帧IMG具有由排列在360VR投影布局中的多个投影面表示的360°图像内容。在这一实施例中，上述提到的360VR投影布局是具有组合在其中的多个三角形投影面的八面体投影布局L_OHP。因此，转换电路118参考所述八面体投影布局L_OHP以及所述全景视频帧(例如，球面图像)S_IN以生成所述基于投影的帧IMG，特别地，观察球的360°图像内容通过观察球的八面体投影映射到多个三角形投影面。

图2示出了根据非旋转八面体从观察球的八面体投影获得原始八面体投影布局的多个三角形投影面。观察球202的360°图像内容被映射到非旋转八面体204的多个三角形投影面(标号为“1”,“2”,“3”,“4”,“5”,“6”,“7”及“8”)，如图2所示，所述多个三角形投影面“1”-“8”被组合到原始八面体投影布局206中。每一所述多个三角形投影面“1”-“8”的形状是等边三角形。三角形投影面“1”具有三个边S11，S12，S13，三角形投影面“2”有三个边S21，S22，S23，三角形投影面“3”有三个边S31，S32，S33，三角形投影面“4”有三个边S41，S42，S43，三角形投影面“5”有三个边S51，S52，S53，三角形投影面“6”有三个边S61，S62，S63，三角形投影面“7”有三个边S71，S72，S73，三角形投影面“8”有三个边S81，S82，S83。观察球202由上半球(top hemisphere)(例如，北半球)以及下半球(bottom hemisphere)(例如，南半球)组成。由于八面体投影基于非旋转的八面体204，观察球202的赤道(equator)208沿着多个三角形投影面“1”-“8”的边S13,S23,S33,S43,S53,S63,S73以及S83映射，其中三角形投影面“1”，“3”，“5”，“7”都来自于所述上半球，以及三角形投影面“2”，“4”，“6”，“8”都来自于所述下半球。

将要被编码的基于投影的帧IMG需要是矩形的，如果原始八面体投影布局206直接用于创造基于投影的帧IMG，由于许多虚拟的区域(dummy area)(例如黑色区域或白色区域)填充到所述基于投影的帧IMG，基于投影的帧IMG将不会有紧凑的尺寸。因此，需要能够减少/避免虚拟的区域(例如黑色区域或白色区域)以及能够减少/避免因多个三角形投影面组合导致的图像内容不连续性边界的紧凑的八面体投影布局。

结合图3参考图2，图3是根据本发明实施例的第一提出的八面体投影布局。如上所提到的，观察球202的赤道208沿着多个三角形投影面“1”-“8”的边S13,S23,S33,S43,S53,S63,S73以及S83映射，赤道208由图3中的虚线指示。第一提出的八面体投影布局可以从原始八面体投影布局300得到，其中三角形投影面“1”顺时针旋转60°，三角形投影面“2”逆时针旋转60°，三角形投影面“5”逆时针旋转60°，以及三角形投影面“6”顺时针旋转60°。因此，与第一提出的八面体投影布局300一致，三角形投影面“1”的边S12与三角形投影面“3”的边S31接触，三角形投影面“3”的边S32与三角形投影面“5”的边S51接触，三角形投影面“3”的边S33与三角形投影面“4”的边S43接触，三角形投影面“5”的边S53与三角形投影面“7”的边S71接触，三角形投影面“7”的边S73与三角形投影面“8”的边S83接触，三角形投影面“2”的边S21与三角形投影面“4”的边S42接触，三角形投影面“4”的边S41与三角形投影面“6”的边S62接触，以及三角形投影面“6”的边S63与三角形投影面“8”的边S82接触。

如可从图3看到的，在三角形投影面“1”的边S12与三角形投影面“3”的边S31之间存在图像内容连续性边界，在三角形投影面“3”的边S32与三角形投影面“5”的边S51之间存在图像内容连续性边界，在三角形投影面“3”的边S33与三角形投影面“4”的边S43之间存在图像内容连续性边界，在三角形投影面“2”的边S21与三角形投影面“4”的边S42之间存在图像内容连续性边界，在三角形投影面“4”的边S41与三角形投影面“6”的边S62之间存在图像内容连续性边界，以及在三角形投影面“7”的边S73与三角形投影面“8”的边S83之间存在图像内容连续性边界。

需要注意的是，在三角形投影面“5”的边S53与三角形投影面“7”的边S71之间存在图像内容不连续性边界，以及在三角形投影面“6”的边S63与三角形投影面“8”的边S82之间存在图像内容不连续性边界。进一步，由于多个虚拟区域(例如，黑色区域或白色区域)的填充，所述多个虚拟区域由多个阴影区域，沿着三角形投影面“5”的边S13存在的图像边界(其是不连续性边界)，沿着三角形投影面“2”的边S23存在的图像边界(其是不连续性边界)，沿着三角形投影面“7”的边S72存在的图像边界(其是不连续性边界)，以及沿着三角形投影面“8”的边S81存在的图像边界(其是不连续性边界)所指示。

当基于投影的图像IMG具有360°图像内容的时候，所述360°图像内容由组合在图3所示的所述第一提出的八面体投影布局300的多个三角形投影面“1”-“8”所表示，基于投影的图像IMG具有紧凑的尺寸以及减少数量的因所述多个三角形投影面“1”-“8”的组合而导致的图像内容不连续性边界。

当八面体投影布局L_OHP由图3所示的第一提出的八面体投影布局300所设置的时候，需要一些虚拟区域(例如黑色区域或白色区域)以使所述基于投影的图像IMG具有矩形形状。如果所述八面体投影布局L_OHP的形状是矩形，可以省略这些虚拟区域(例如黑色区域或白色区域)，这也就允许基于投影的图像IMG具有更紧凑的尺寸。

结合图3参考图4，图4示出了根据本发明实施例的第二提出的八面体投影布局，第二提出的八面体投影布局400可以从所述第一提出的三角形投影布局300得出，其中三角形投影面“7”拆分成以第一直角三角形部分402与一第二直角三角形部分404，三角形投影面“8”拆分成以第一直角三角形部分406与第二直角三角形部分408。如图4所示，三角形投影面“7”的第二直角三角形部分404以及三角形投影面“8”的第二直角三角形部分408被重新定位成与分别与三角形投影面“1”与“2”相邻。

三角形投影面“7”的第一直角三角形部分402具有三个边S711，S712，S73_1，其中边S711是三角形投影面“7”的边S71，以及边S73_1是三角形投影面“7”的边S73的第一部分，三角形投影面“7”的第二直角三角形部分404具有三个边S721，S722，S73_2，其中边S721是三角形投影面“7”的边S72，以及边S73_2是三角形投影面“7”的边S73的第二部分。三角形投影面“8”的第一直角三角形部分404具有三个边S821，S822，S83_1，其中边S821是三角形投影面“8”的边S82，以及边S83_1是三角形投影面“8”的边S83的第一部分，三角形投影面“8”的第二直角三角形部分406具有三个边S811，S812，S83_2，其中边S811是三角形投影面“8”的边S81，以及边S83_2是三角形投影面“8”的边S83的第二部分。

与第二提出的八面体投影布局400一致，三角形投影面“7”的第一直角三角形部分402的边S711与三角形投影面“5”的边S53接触，三角形投影面“7”的第一直角三角形部分402的边S73_1与三角形投影面“8”的第一直角三角形部分406的边S83_1接触，三角形投影面“8”的第一直角三角形部分406的边S821与三角形投影面“6”的边S63接触，三角形投影面“7”的第二直角三角形部分404的边S721与三角形投影面“1”的边S13接触，三角形投影面“7”的第二直角三角形部分404的边S73_2与三角形投影面“8”的第二直角三角形部分408的边S83_2接触，以及三角形投影面“8”的第二直角三角形部分408的边S811与三角形投影面“2”的边S23接触。

在三角形投影面“7”的第一直角三角形部分402的边S73_1与三角形投影面“8”的第一直角三角形部分406的边S83_1之间存在图像内容连续性边界，在三角形投影面“7”的第二直角三角形部分404的边S73_2与三角形投影面“8”的第二直角三角形部分408的边S83_2之间存在图像内容连续性边界。进一步地，在三角形投影面“7”的第一直角三角形部分402的边S711与三角形投影面“5”的边S53之间存在图像内容不连续性边界，在三角形投影面“8”的第一直角三角形部分406的边S821与三角形投影面“6”的边S63之间存在图像内容不连续性边界，在三角形投影面“7”的第二直角三角形部分404的边S721与三角形投影面“1”的边S13之间存在图像内容不连续性边界，以及在三角形投影面“8”的第二直角三角形部分408的边S811与三角形投影面“2”的边S23之间存在图像内容不连续性边界。需要注意的是，当基于投影的帧IMG是基于第二提出的八面体投影布局400生成的时候，多个虚拟区域不需要填充到所述基于投影的帧，因此，所述基于投影的帧IMG不具有由多个虚拟区域填充导致的多个图像边界(其是多个不连续性边界)。

如可以从图4看到的，第二提出的八面体投影布局400的形状是矩形。因此，当八面体投影布局L_OHP由第二提出的八面体投影布局400设置的时候，基于投影的帧IMG的尺寸和第二提出的八面体投影布局400的尺寸相同，这样，由于省略了多个虚拟区域(例如，黑色区域或白色区域)，基于投影的帧IMG可以具有更紧凑的尺寸。

在任何一个第一提出的八面体投影布局300以及第二提出的八面体投影布局400中，每一三角形投影面“1”-“8”的形状是等边三角形。因此，有可能组合三角形投影面“1”-“8”而不需要引入多个图像内容不连续性边界。如果每一三角形投影面的形状可以是等腰直角三角形(isosceles right triangle)，由在八面体投影布局中组合所述多个三角形而导致图像内容不连续性边界的数量可以进一步减小。

具有等边三角形形状的三角形投影面可以重塑为具有等腰直角三角形的形状。如图5所示，有两种重塑的三角形的形状，关于A型重塑的三角形的生成，等边三角形的高度保持不变，而所述多个边三角形底边的长度L延长为 因此导致每一底角变为45°。关于B型重塑的三角形的生成，所述多个边三角形的底边长度L保持不变，而所述多个边三角形的高度缩短为因此导致每一底角变为45°。

图6示出了根据本发明实施例的第一重塑的八面体投影布局。在原始八面体投影布局206的每一三角形投影面被重塑为A型重塑的三角形后，获得由多个三角形投影面(标记为“A”,“B”,“C”,“D”,“K”,“F”,“G”以及“H”)组成的606，其中每一所述多个三角形投影面“A”-“H”的形状是等腰直角三角形。三角形投影面“A”有三个边S11，S12，S13，三角形投影面“B”有三个边S21，S22，S23,三角形投影面“C”有三个边S31，S32，S33，三角形投影面“D”有三个边S41，S42，S43，三角形投影有“K”有三个边S51，S52，S53，三角形投影面“F”有三个边S61，S62，S63，三角形投影面“G”有三个边S71，S72，S73，以及三角形投影面“H”有三个边S81，S82，S83。需要注意的是，观察球202的赤道208沿着多个三角形投影面“A”-“H”的边S13，S23，S33，S43，S53，S63，S73以及S83映射，如图6中虚线所示。三角形投影面“A”，“C”，“K”，“G”来自于观察球202的上半球(例如，北半球)，以及三角形投影面“B”，“D”，“F”，“H”来自于观察球202的下半球(例如，南半球)。

图7示出了根据本发明一实施例的第二重塑的八面体投影布局。在原始八面体投影布局206的每一三角形投影面被重塑为B型重塑的三角形后，获得由多个三角形投影面(标记为“A”,“B”,“C”,“D”,“K”,“F”,“G”以及“H”)组成的重塑的八面体投影布局706，其中每一所述多个三角形投影面“A”-“H”的形状是等腰直角三角形。三角形投影面“A”有三个边S11，S12，S13，三角形投影面“B”有三个边S21，S22，S23,三角形投影面“C”有三个边S31，S32，S33，三角形投影面“D”有三个边S41，S42，S43，三角形投影有“K”有三个边S51，S52，S53，三角形投影面“F”有三个边S61，S62，S63，三角形投影面“G”有三个边S71，S72，S73，以及三角形投影面“G”有三个边S81，S82，S83。需要注意的是，观察球202的赤道208沿着多个三角形投影面“A”-“H”的边S13，S23，S33，S43，S53，S63，S73以及S83映射，如图7中虚线所示。三角形投影面“A”，“C”，“K”，“G”来自于观察球202的上半球(例如，北半球)，以及三角形投影面“B”，“D”，“F”，“H”来自于观察球202的下半球(例如，南半球)。

重塑的八面体投影布局606/706的多个三角形投影面“A”-“H”可以适当地重新排列以生成紧凑的八面体投影布局。

结合第6/图7参考图8，图8示出了根据本发明实施例的第三提出的八面体投影布局。所述第三提出的八面体投影布局800可以来自于重塑的八面体投影布局606/706，其中三角形投影面“A”拆分成第一直角三角形部分802以及第二直角三角形部分804(其以不同的方向组合在第三提出的八面体投影布局800中)，三角形投影面“B”拆分成第一直角三角形部分806以及第二直角三角形部分808(其以不同的方向组合在第三提出的八面体投影布局800中)，三角形投影面“K”拆分成第一直角三角形部分812以及第二直角三角形部分814(其以不同的方向组合在第三提出的八面体投影布局800中)，以及三角形投影面“F”拆分成第一直角三角形部分816以及第二直角三角形部分818(其分别以不同的方向组合在第三提出的八面体投影布局800中)。

三角形投影面“A”的第一直角三角形部分802有三个边S111，S112，S13_1，其中边S111是三角形投影面“A”的边S11，以及边S13_1是三角形投影面“A”的边S13的第一部分。三角形投影面“A”的第二直角三角形部分804有三个边S121，S122，S13_2，其中边S121是三角形投影面“A”的边S12，以及边S13_2是三角形投影面“A”的边S13的第二部分。

三角形投影面“B”的第一直角三角形部分806有三个边S221，S222，S23_1，其中边S221是三角形投影面“B”的边S22，以及边S23_1是三角形投影面“B”的边S23的第一部分。三角形投影面“B”的第二直角三角形部分808有三个边S211，S212，S23_2，其中边S211是三角形投影面“B”的边S21，以及边S23_2是三角形投影面“B”的边S23的第二部分。

三角形投影面“K”的第一直角三角形部分812有三个边S511，S512，S53_1，其中边S511是三角形投影面“K”的边S51，以及边S53_1是三角形投影面“K”的边S53的第一部分。三角形投影面“K”的第二直角三角形部分814有三个边S521，S522，S53_2，其中边S521是三角形投影面“K”的边S52，以及边S53_2是三角形投影面“K”的边S53的第二部分。

三角形投影面“F”的第一直角三角形部分816有三个边S621，S622，S63_1，其中边S621是三角形投影面“F”的边S62，以及边S63_1是三角形投影面“F”的边S63的第一部分。三角形投影面“F”的第二直角三角形部分816有三个边S611，S612，S63_2，其中边S611是三角形投影面“F”的边S61，以及边S63_2是三角形投影面“F”的边S23的第二部分。

与第三提出的八面体投影布局800一致，三角形投影面“A”的第一直角三角形部分802的边S111与三角形投影面“G”的边S72接触，三角形投影面“A”的第二直角三角形部分804的边S121与三角形投影面“C”的边S31接触，三角形投影面“B”的第一直角三角形部分806的边S221与三角形投影面“H”的边S81接触，三角形投影面“B”的第二直角三角形部分808的边S211与三角形投影面“D”的边S42接触，三角形投影面“K”的第一直角三角形部分812的边S511与三角形投影面“C”的边S32接触，三角形投影面“K”的第二直角三角形部分814的边S521与三角形投影面“G”的边S71接触，三角形投影面“F”的第一直角三角形部分816的边S621与三角形投影面“D”的边S41接触，三角形投影面“F”的第二直角三角形部分818的边S611与三角形投影面“H”的边S82接触。

在三角形投影面“A”的第一直角三角形部分802的边S111与三角形投影面“G”的边S72之间存在图像内容连续性边界，在三角形投影面“A”的第二直角三角形部分804的边S121与三角形投影面“C”之间存在图像内容连续性边界，在三角形投影面“B”的第一直角三角形部分806的边S221与三角形投影面“H”的边S81之间存在图像内容连续性边界，在三角形投影面“B”的第二直角三角形部分808的边S211与三角形投影面“D”的边S42之间存在图像内容连续性边界，在三角形投影面“K”的第一直角三角形部分812的边S511与三角形投影面“C”的边S32之间存在图像内容连续性边界，在三角形投影面“K”的第二直角三角形部分814的边S521与三角形投影面“G”的边S71之间存在图像内容连续性边界，在三角形投影面“F”的第一直角三角形部分816的边S621与三角形投影面“D”的边S41之间存在图像内容连续性边界，在三角形投影面“F”的第二直角三角形部分818的边S611与三角形投影面“H”的边S82之间存在图像内容连续性边界，在三角形投影面“C”的边S33与三角形投影面“D”的边S43之间存在图像内容连续性边界，在三角形投影面“G”的边S73与三角形投影面“H”的边S83之间存在图像内容连续性边界。

除了上述所提到的图像内容不连续性边界，在三角形投影面“K”的第一直角三角形部分812的边S53_1与三角形投影面“K”的第二直角三角形部分814的边S53_2之间有图像不连续性边界，以及在三角形投影面“F”的第一直角三角形部分816的边S63_1与三角形投影面“F”的第二直角三角形部分818的边S63_2之间有图像不连续性边界。

结合第6/图7参考图9，图9示出了根据本发明实施例的第四提出的八面体投影布局，第四提出的八面体投影布局900可以来自于重新排列多个三角形投影面“A”-“H”的重塑的八面体投影布局606/706。与第四提出的八面体投影布局900一致，三角形投影面“A”的边S12与三角形投影面“C”的边S31接触，三角形投影面“A”的边S11与三角形投影面“G”的边S72接触，三角形投影面“K”的边S51与三角形投影面“C”的边S32接触，三角形投影面“K”的边S52与三角形投影面“G”的边S71接触，三角形投影面“G”的边S73与三角形投影面“H”的边S83接触，三角形投影面“B”的边S22与三角形投影面“H”的边S81接触，三角形投影面“B”的边S21与三角形投影面“D”的边S42接触，三角形投影面“F”的边S61与三角形投影面“H”的边S82接触，三角形投影面“F”的边S62与三角形投影面“D”的边S41接触。

需要注意的是，邻近多个三角形投影面之间没有图像内容不连续性边界，特别地，观察球202的赤道208沿着三角形投影面“A”-“H”的边S13，S23，S33，S43，S53，S63，S73以及S83映射，其中三角形投影面“A”，“C”，“K”，“G”来自于观察球202的上半球(例如，北半球)，以及三角形投影面“B”，“D”，“F”，“H”来自于观察球202的下半球(例如，南半球)。因此，所述第四提出的八面体投影布局可以拆分成两个正方形部分，其分别表示观察球202的俯视图(top view)和仰视图(bottom view)。在一些实施例中，可以通过使用基于块的分割(tile-based segmentation)，基于切片的分割(slice-based segmentation)或者其他分割方法分别对这两个正方形部分进行编码/解码。

如上述所提到的八面体投影布局300,400,800,900，通过基于非旋转的八面体204的八面体投影，观察球202的赤道208沿着三角形投影面“1”-“8”/“A”-“H”的多个边映射。一般来说，多个运动客体主要位于观察球202的赤道208，如果观察球202的赤道208沿着多个三角形投影面的中间或任何其他位置而不是多个三角形投影面的边映射，可以提高编解码的效率。

图10示出了根据旋转八面体，从观察球的八面体投影获得原始八面体投影布局的多个三角形投影面。观察球202的360°图像内容被映射到旋转的八面体1004的多个三角形投影面(标记为“1”,“2”,“3”,“4”,“5”,“6”,“7”以及“8”)。图10所示的旋转的八面体1004可以通过将90°的旋转应用到图2所示的八面体202获得。如图10所示，多个三角形投影面“1”-“8”被组合到原始八面体投影布局1006中，每一所述多个三角形投影面“1”-“8”的形状是等边三角形。三角形投影面“1”有三个边S11，S12，S13，三角形投影面“2”有三个边S21，S22，S23，三角形投影面“3”有三个边S31，S32，S33，三角形投影面“4”有三个边S41，S42，S43，三角形投影面“5”有三个边S51，S52，S53，三角形投影面“6”有三个边S61，S62，S63，三角形投影面“7”有三个边S71，S72，S73，三角形投影面“8”有三个边S81，S82，S83，观察球202由左半球和右半球组成。三角形投影面“1”，“3”，“5”，“7”来自于所述右半球，三角形投影面“2”，“4”，“6”，“8”来自于所述左半球。由于八面体投影基于选择的八面体1004，观察球202的赤道208不沿着每一三角形投影面的任何一边映射。在这一实施例中，观察球202的赤道208沿着三角形投影面“1”，“2”，“5”，“6”的中间映射，如图10的虚线所示。

结合图10参考图11，图11示出了根据本发明实施例的第五提出的八面体投影布局。第五提出的八面体投影布局1100可以来自于原始八面体投影布局1006，其三角形投影面“3”顺时针旋转60°，三角形投影面“4”逆时针旋转60°，三角形投影面“7”逆时针旋转60°，以及三角形投影面“8”顺时针旋转60°，第五提出的八面体投影布局1100的多个三角形投影面的配置(arrangement)与第一提出的八面体投影布局300中的多个三角形投影面的配置相似。因为在阅读上述关于第一提出的八面体投影布局300的相关段落以后，本领域技术人员可以容易地理解第五提出的八面体投影布局1100，进一步的描述不再赘述。

当八面体投影布局L_OHP由图11示出的第五提出的八面体投影布局设置的时候，需要多个虚拟区域(例如，黑色区域或白色区域)使基于投影的图像IMG具有矩形形状，如果所述八面体投影布局L_OHP的形状是矩形，可以省略所述多个虚拟区域(例如，黑色区域或白色区域)，因此允许所述基于投影的图像IMG具有更紧凑的尺寸。

结合都10图参考图12。图12示出了根据本发明实施例的第六提出的八面体投影布局。第六提出的八面体投影布局1200可以来自于第五提出的八面体投影布局1100，其三角形投影面“1”被拆分成两个直角三角形部分以及三角形投影面“2”被拆分成两个直角三角形部分。三角形投影面“1”的一个直角三角形部分与三角形投影面“2”的一个直角三角形部分被重新定位以分别邻近三角形投影面“7”与“8”。第六提出的八面体投影布局1200的多个三角形投影面的配置与第二提出的八面体投影布局400中的多个三角形投影面的配置相似。因为在阅读上述关于第二提出的八面体投影布局400的相关段落以后，本领域技术人员可以容易地理解第六提出的八面体投影布局1200，进一步的描述不再赘述。

如可以从图12中看到的，第六提出的八面体投影布局1200的形状是矩形，因此，当八面体投影布局L_OHP由第六提出的八面体投影布局1200设置的时候，基于投影的帧IMG的尺寸和第六提出的八面体投影布局1200的尺寸相同，这样，由于省略了多个虚拟区域(例如，黑色区域或白色区域)，所述基于投影的帧IMG可以具有更紧凑的尺寸。

在任何一个第五提出的八面体投影布局1100以及第六提出的八面体投影布局1200中，每一三角形投影面“1”-“8”的形状是等边三角形。因此，有可能组合三角形投影面“1”-“8”而不需要引入多个图像内容不连续性边界。如果每一三角形投影面的形状可以是等腰直角三角形(isosceles right triangle)，由在八面体投影布局中组合所述多个三角形而导致图像内容不连续性边界的数量可以进一步减小。如图5所示，具有等边三角形形状的一个三角形投影面可以重塑为具有等腰直角三角形形状。

图13示出了根据本发明实施例的第三重塑的八面体投影布局。在原始八面体投影布局1006的每一三角形投影面被重塑为A型重塑的三角形后，获得由多个三角形投影面(标记为“A”,“B”,“C”,“D”,“K”,“F”,“G”以及“H”)组成的重塑的八面体投影布局1306，其中每一所述多个三角形投影面“A”-“H”的形状是等腰直角三角形。三角形投影面“A”有三个边S11，S12，S13，三角形投影面“B”有三个边S21，S22，S23,三角形投影面“C”有三个边S31，S32，S33，三角形投影面“D”有三个边S41，S42，S43，三角形投影有“K”有三个边S51，S52，S53，三角形投影面“F”有三个边S61，S62，S63，三角形投影面“G”有三个边S71，S72，S73，以及三角形投影面“H”有三个边S81，S82，S83。需要注意的是，三角形投影面“A”，“C”，“K”，“G”来自于观察球202的右半球，以及三角形投影面“B”，“D”，“F”，“H”来自于观察球202的左半球。观察球202的赤道208不沿着任一边S11-S12,S21-S23,S31-S33,S41-S43,S51-S52,S61-S63,S71-S73,S81-S83映射。在这一实施例中，观察球202的赤道208沿着三角形投影面“A”，“B”，“K”，“F”的中间映射，如图13的虚线所示。

图14示出了根据本发明实施例的第四重塑的八面体投影布局。在原始八面体投影布局1006的每一三角形投影面被重塑为B型重塑的三角形后，获得由多个三角形投影面(标记为“A”,“B”,“C”,“D”,“K”,“F”,“G”以及“H”)组成的重塑的八面体投影布局1406，其中每一所述多个三角形投影面“A”-“H”的形状是等腰直角三角形。三角形投影面“A”有三个边S11，S12，S13，三角形投影面“B”有三个边S21，S22，S23,三角形投影面“C”有三个边S31，S32，S33，三角形投影面“D”有三个边S41，S42，S43，三角形投影有“K”有三个边S51，S52，S53，三角形投影面“F”有三个边S61，S62，S63，三角形投影面“G”有三个边S71，S72，S73，以及三角形投影面“H”有三个边S81，S82，S83。需要注意的是，三角形投影面“A”，“C”，“K”，“G”来自于观察球202的右半球，以及三角形投影面“B”，“D”，“F”，“H”来自于观察球202的左半球。观察球202的赤道208不沿着任一边S11-S12,S21-S23,S31-S33,S41-S43,S51-S52,S61-S63,S71-S73,S81-S83映射。在这一实施例中，观察球202的赤道208沿着三角形投影面“A”，“B”，“K”，“F”的中间映射，如图14的虚线所示。

重塑的八面体投影布局1306/1406的多个三角形投影面“A”-“H”可以适当地重新排列以生成紧凑的八面体投影布局。

结合第13/图14参考图15，图15示出了根据本发明实施例的第七提出的八面体投影布局。所述第七提出的八面体投影布局1500可以来自于重塑的八面体投影布局1306/1406，其中三角形投影面“A”拆分成两个直角三角形部分(其以不同的方向组合在第七提出的八面体投影布局1500中)，三角形投影面“B”拆分成两个直角三角形部分(其以不同的方向组合在第七提出的八面体投影布局1500中)，三角形投影面“K”拆分成两个直角三角形部分(其以不同的方向组合在第七提出的八面体投影布局1500中)，以及三角形投影面“F”拆分成两个直角三角形部分(其以不同的方向组合在第七提出的八面体投影布局1500中)。

第七提出的八面体投影布局1500的多个三角形投影面的配置与第三提出的八面体投影布局800中的多个三角形投影面的配置相似。因为在阅读上述关于第一提出的八面体投影布局800的相关段落以后，本领域技术人员可以容易地理解第七提出的八面体投影布局1500，进一步的描述不再赘述。

结合第13/图14参考图16，图16示出了根据本发明实施例的第八提出的八面体投影布局。所述第八提出的八面体投影布局1600可以来自于重塑的八面体投影布局1306/1406，其重新排列个三角形投影面“A”-“H”。需要注意的是，邻近的多个三角形投影面之间没有图像内容不连续性边界，第八提出的八面体投影布局1600中的多个三角形投影面的配置与第四提出的八面体投影布局900的多个三角形投影面的配置相似，因为在阅读上述关于第四提出的八面体投影布局900的相关段落以后，本领域技术人员可以容易地理解第八提出的八面体投影布局1600，进一步的描述不再赘述。

具有由组合在任一提出的八面体投影布局中多个三角形投影面表示的360°图像内容的基于投影的帧可以被转换成具有由不同360VR投影布局(例如，等矩形投影布局)的多个投影面表示的360°图像内容的基于投影的帧，反之亦然。例如，八面体投影布局与等矩形投影布局之间的转换可以通过实现适当的映射函数(mapping function)实现。

图17示出了根据本发明实施例的一提出的八面体投影布局(OHP)与等矩形投影布局(ERP)之间的单相(single-phase)映射。在等矩形投影布局需要被转换成提出的八面体投影布局(例如，图4所示的第二提出的八面体投影布局400)的情况下，根据映射函数，所述多个矩形投影布局具有映射到提出的八面体投影布局的每一整数像素(x,y)的对应的点(p,q)，其中p和q可以由非整数值表示或者可以被截断(取整)为整数值。考虑到等矩形投影布局中对应的点(p,q)，可以将插值滤波器(interpolation filter)应用于点(p,q)周围的整数像素以获得所述八面体投影布局中整数像素(x,y)的值。

在提出的八面体投影布局(例如，图4所示的第二提出的八面体投影布局400)需要被转换成等矩形投影布局的另一情况下，根据映射函数，所述提出的八面体投影布局具有映射到所述多个矩形投影布局中每一整数像素(p,q)的对应的点(x,y)，其中x与y可以由非整数值表示或可以被截断为整数值。考虑到所述提出的八面体投影布局中对应的点(x,y)，可以将插值滤波器应用于点(x,y)周围的整数像素以获得等矩形投影布局中的整数像素(p,q)的值。

举例来说，但不是限制，插值滤波器(例如，用于后处理电路122中的插值滤波器128)可以是双线性滤波器(bilinear filter)，兰索斯滤波器(lanczos filter)，2D双三次滤波器(2-D bicubic filter)或者2D兰索斯滤波器。进一步地，在不连续性边界，可以进一步采用平均或平滑滤波器过滤边界像素。例如，来自于两个或多个投影面的多个像素的加权平均数被用于表示不连续性边界上的像素。

如图17所示，通过单相转换来实现提出的八面体投影布局与等矩形投影布局之间的映射，或者，通过多相转换(multi-phase conversion)来实现提出的八面体投影布局与等矩形投影布局之间的映射。

图18示出了根据本发明实施例的提出的八面体投影布局与等矩形投影布局之间的多相映射。在等矩形投影布局需要转换成提出的八面体投影布局(例如，图4所示的第二提出的八面体投影布局400)的情况下，所述多个矩形投影布局具有对应的点(p,q)，所述点(p,q)通过在原始八面体投影布局(例如，图2所示的原始八面体投影布局206)找到的参考像素(p’,q’)被映射到所述提出的八面体投影布局中的每一整数像素(x,y)。例如，使用映射函数可以找到映射到整数像素(x,y)的参考像素(p’,q’)，并且使用另一映射函数可以找到映射到参考像素(p’,q’)的点(p,q)。为了在原始八面体投影布局中获得参考像素(p’,q’)，可以根据对应的角度旋转位置(x,y)，可以针对每一三角形独立地执行旋转，并且所述旋转的中心可以定义为角(corner)、重心(center of gravity)或三角形的质心(centroidof a triangle)。类似地，考虑到等矩形投影布局中的对应的点(p,q)，可以将以插值滤波器应用于所述点(p,q)周围的整数像素以获得所述提出的八面体投影布局中的整数像素(x,y)的值。

在提出的八面体投影布局(例如，图4所示的第二提出的八面体投影布局400)需要转换成等矩形投影布局的另一情况下，所述提出的八面体投影布局具有对应的点(x,y)，所述点(x,y)通过在一原始八面体投影布局(例如，图2所示的原始八面体投影布局206)找到的参考点(p’,q’)被映射到等矩形投影布局中的每一整数像素(p,q)。例如，使用一映射函数可以找到映射到整数像素(x,y)的参考像素(p’,q’)，并且使用另一映射函数可以找到映射到参考像素(p’,q’)的点(p,q)。为了在原始八面体投影布局中获得参考像素(p’,q’)，可以根据对应的角度旋转位置(x,y)，可以针对每一三角形独立地执行所述旋转，并且所述旋转的中心可以定义为角、重心或三角形的质心。类似地，考虑到等矩形投影布局中的对应的点(p,q)，可以将以插值滤波器应用于所述点(p,q)周围的整数像素以获得所述提出的八面体投影布局中的整数像素(x,y)的值。

由转换电路118所采用的八面体投影布局L_OHP可以是任意提出的八面体投影布局300，400，800，900，1100，1200，1500，1600。因此，将要由编码电路114编码的基于投影的帧IMG具有以提出的八面体投影格式。在解码电路对120对比特流BS进行解码以后，解码帧(也就是重建帧)IMG’具有相同的提出的八面体投影布局。在本发明的一些实施例中，后处理电路122可以处理解码帧IMG’以将具有提出的八面体投影布局的解码帧IMG’转换成具有不同360VR投影布局(例如，等矩形投影布局)的后处理帧IMG”以用于进一步处理。例如，插值滤波器128可以是多抽头滤波器(multi-tap filter)，其用于通过在提出的八面体投影布局的对应的点(x,y)周围的整数像素中获得插值的像素值(interpolated pixel value)以决定整数像素(p,q)的值，其中点(x,y)被映射到整数像素(p,q)。如果由转换电路118所采用的八面体投影布局L_OHP是提出的多个八面体投影布局300，400，800，900，1100，1200，1500，1600中的一个，解码帧IMG’具有图像边界(其由多个虚拟区域的填充所导致)和/或图像内容不连续性边界(其由多个三角形投影面的组合所造成)。如果跨过图像边界/图像内容不连续性边界的多个整数像素由插值滤波器128处理以计算插值的值，所述插值的值将被用作等矩形投影布局中的整数像素(p,q)的值，整数像素(p,q)的图像质量将被降级。为了解决这一问题，本发明进一步提出了将像素填充(pixel padding)应用于图像边界(其由多个虚拟区域的填充所导致)和/或图像内容不连续性边界(其由多个三角形投影面的组合所造成)。

图19示出了根据本发明实施例的第一像素填充设计。在这一实施例中，由转换电路118所采用的八面体投影布局L_OHP由图3所示的第一提出八面体投影布局300所设置。因此，为多个图像边界添加填充区域1901，1902，1907，1908，并且为多个图像内容不连续性边界添加填充区域1903，1904，1905，1906，每一填充区域的宽度可以取决于插值滤波器128的长度(抽头数量(tap number))。

填充区域1901从三角形投影面“1”的边S13沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“1”的边S13的多个边界像素，如箭头符号所示。填充区域1902从三角形投影面“2”的边S23沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“2”的边S23的多个边界像素，如箭头符号所示。填充区域1903从三角形投影面“5”的边S53沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于三(例如，复制)角形投影面“5”的边S53的多个边界像素，如箭头符号所示。填充区域1904从三角形投影面“6”的边S63沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“6”的边S63的多个边界像素，如箭头符号所示。

填充区域1905从三角形投影面“7”的边S71沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“7”的边S71的多个边界像素，如箭头符号所示。填充区域1906从三角形投影面“8”的边S82沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“8”的边S82的多个边界像素，如箭头符号所示。填充区域1907从三角形投影面“7”的边S72沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“7”的边S72的多个边界像素，如箭头符号所示。填充区域1908从三角形投影面“8”的边S81沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“8”的边S81的多个边界像素，如箭头符号所示。

图20示出了根据本发明实施例的第二像素填充设计。在这一实施例中，由转换电路118所采用的八面体投影布局L_OHP由图4所示的第四提出八面体投影布局400所设置。因此，为多个图像内容不连续性边界添加填充区域2001，2002，2003，2004，2005，2006，2007，2008，每一填充区域的宽度可以取决于插值滤波器128的长度(抽头数量)。

填充区域2001从三角形投影面“7”的边S72沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“7”的边S72的多个边界像素，如箭头符号所示。填充区域2002从三角形投影面“8”的边S81沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“8”的边S81的多个边界像素，如箭头符号所示。填充区域2003从三角形投影面“1”的边S13沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“1”的边S13的多个边界像素，如箭头符号所示。填充区域2004从三角形投影面“2”的边S23沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“2”的边S23的多个边界像素，如箭头符号所示。

填充区域2005从三角形投影面“5”的边S53沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“5”的边S53的多个边界像素，如箭头符号所示。填充区域2006从三角形投影面“6”的边S63沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“6”的边S63的多个边界像素，如箭头符号所示。填充区域2007从三角形投影面“7”的边S71沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“7”的边S71的多个边界像素，如箭头符号所示。填充区域2008从三角形投影面“8”的边S82沿水平方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“8”的边S82的多个边界像素，如箭头符号所示。

图21示出了根据本发明实施例的第三像素填充设计。在这一实施例中，由转换电路118所采用的八面体投影布局L_OHP由图4所示的第五提出八面体投影布局1100所设置。因此，为多个图像边界添加填充区域2101，2102，2107，2108，并且为多个图像内容不连续性边界添加填充区域2103，2104，2105，2106，每一填充区域的宽度可以取决于插值滤波器128的长度(抽头数量)。

填充区域2101从三角形投影面“8”的边S83沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“8”的边S83的多个边界像素，如箭头符号所示。填充区域2102从三角形投影面“7”的边S73沿水垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“7”的边S73的多个边界像素，如箭头符号所示。填充区域2103从三角形投影面“4”的边S43沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“4”的边S43的多个边界像素，如箭头符号所示。填充区域2104从三角形投影面“3”的边S33沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“3”的边S33的多个边界像素，如箭头符号所示。

填充区域2105从三角形投影面“2”的边S21沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“2”的边S21的多个边界像素，如箭头符号所示。填充区域2106从三角形投影面“1”的边S12沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“1”的边S12的多个边界像素，如箭头符号所示。填充区域2107从三角形投影面“2”的边S22沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“2”的边S22的多个边界像素，如箭头符号所示。填充区域2108从三角形投影面“1”的边S11沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“1”的边S11的多个边界像素，如箭头符号所示。

图22示出了根据本发明实施例的第四像素填充设计。在这一实施例中，由转换电路118所采用的八面体投影布局L_OHP由图4所示的第六提出八面体投影布局1200所设置。因此，为多个图像内容不连续性边界添加填充区域2201，2202，2203，2204，2205，2206，2207，2208，每一填充区域的宽度可以取决于插值滤波器128的长度(抽头数量)。

填充区域2201从三角形投影面“2”的边S22沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“2”的边S22的多个边界像素，如箭头符号所示。填充区域2202从三角形投影面“1”的边S11沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“1”的边S11的多个边界像素，如箭头符号所示。填充区域2203从三角形投影面“8”的边S83沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“8”的边S83的多个边界像素，如箭头符号所示。填充区域2204从三角形投影面“7”的边S73沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“7”的边S73的多个边界像素，如箭头符号所示。

填充区域2205从三角形投影面“4”的边S43沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“4”的边S43的多个边界像素，如箭头符号所示。填充区域2206从三角形投影面“3”的边S33沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“3”的边S33的多个边界像素，如箭头符号所示。填充区域2207从三角形投影面“2”的边S21沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“2”的边S21的多个边界像素，如箭头符号所示。填充区域2208从三角形投影面“1”的边S12沿垂直方向延伸，并且由多个填充像素组成，所述多个填充像素来自于(例如，复制)三角形投影面“1”的边S12的多个边界像素，如箭头符号所示。

在一示例性实施方式中，预处理电路112(具体地，转换电路118)可以在编码器侧中执行像素填充操作，因此，将要被编码的基于投影的帧IMG具有包括在其中的上述多个填充区域，这样，从解码电路120生成的解码帧IMG’也具有包括在其中的所述多个填充区域。后处理电路122不需要对解码帧IMG’执行像素所述填充操作。

在另一示例性实施方式中，预处理电路112(具体地，转换电路118)不需要在编码器侧中执行像素填充操作，因此，将要被编码的基于投影的帧IMG不具有包括在其中的上述多个填充区域，从解码电路120生成的解码帧IMG’不具有包括在其中的所述多个填充区域。后处理电路122需要在解码器侧中执行像素所述填充操作，以在解码帧IMG’的多个像素由插值滤波器128处理之前将所需要的多个填充区域添加到所述解码帧IMG’。

既不是垂直边界又不是水平边界的不连续性边界的处理不是一简单的任务，因为提出的八面体投影布局300/400/1100/1200由多个等边三角形投影面组成，任一图像边界(其由多个虚拟区域的填充所导致)和/或图像内容不连续性边界(其由多个三角形投影面的组合所造成)是60°边界，因为提出的八面体投影布局800/1500/1600由多个等腰直角三角形投影面组成，任一图像内容不连续性边界(其由多个三角形投影面的组合所造成)是45°边界，可观察到所述45°边界/60°边界在缩放时的缺口形形状(jagged shape)。在编码电路114采用4:2:0色度二次抽样(chroma subsamling)以对基于投影的帧IMG进行编码的情况下，两个亮度样本共享色度样本。如果所述45°边界/60°边界具有每一缺口是奇数像素宽的缺口形形状，与所述45°边界/60°边界有关的两个亮度样本(例如，水平相邻的像素的亮度样本或垂直相邻的像素的亮度样本)有可能分别来自于虚拟区域以及三角形投影面(或分别来自于相邻的三角形投影面)，并且共享相同的色度样本，所述色度样本来自于虚拟区域与三角形投影面(或相邻的三角形投影面之一)中的一个。因此，解码帧IMG’中的45°边界/60°边界可能具有错误的色彩，为了解决这一问题，本发明进一步提出了将每一缺口的宽度设置为偶数像素宽度。

图23示出了根据本发明实施例的具有每一缺口是偶数像素宽的60°边界。当八面体投影布局L_OHP由任一提出的八面体投影布局300，400，1100，1200所设置的时候，每一图像边界(其由多个虚拟区域的填充所导致)和/或图像内容不连续性边界(其由多个三角形投影面的组合所造成)是60°边界，图23中的每一块表示一个像素。如果所述60°边界是图像边界，多个空白块(blank block)属于虚拟区域与三角形投影面之一，并且多个阴影块(shaded block)属于另一个虚拟区域与三角形投影面。如果所述60°边界是图像内容不连续性边界，多个空白块属于多个相邻的三角形投影面之一，并且多个阴影块属于所述相邻的多个三角形投影面的另一个。与提出的缺口宽度约束一致，将要被编码的基于投影的帧IMG中的每一多个图像边界和/或多个图像内容不连续性边界被配置为具有每一缺口为偶数像素宽度(例如，2像素宽度或4像素宽度)的缺口形状。这样，两个亮度样本以及共享的色度样本都来自于相同的虚拟区域或相同的三角形投影面，因此避免所述60°边界具有错误的色彩。

图24示出了根据本发明实施例的具有每一缺口是偶数像素宽的45°边界。八面体投影布局L_OHP由任一提出的八面体投影布局800以及1500所设置的时候，每一图像边界(其由多个虚拟区域的填充所导致)和/或图像内容不连续性边界(其由多个三角形投影面的组合所造成)是45°边界，图24中的每一块表示一个像素。多个空白块属于相邻的多个三角形投影面的其中一个，并且多个阴影块属于所述相邻的多个三角形投影面的另一个。与提出的缺口宽度约束一致，将要被编码的基于投影的帧IMG中的每一多个图像边界和/或多个图像内容不连续性边界被配置为具有每一缺口为偶数像素宽度(例如，2像素宽度)。这样，两个亮度样本以及共享的色度样本都来自于相同的三角形投影面，因此避免所述45°边界具有错误的色彩。

提出的八面体投影布局300，400，800，900，1100，1200，1500，1600仅用于说明性的目的，并不意味着对本发明的限制。实际上，可选的八面体投影布局可以从将特定操作(例如，面顺序调整，布局旋转和/或布局镜像(layout mirroring))应用于任意提出的八面体投影布局300，400，800，900，1100，1200，1500，1600中获得。这些可选的布局设计都落入本发明的范围内。

本领域技术人员将容易观察到，在保持本发明教导的同时，可以对装置以及方法进行许多修改和变化，因此，以上公开的范围仅有所附权利要求涵盖的范围确定。

Claims (20)

1.一种用于生成基于投影的帧的方法，其特征在于，包括：

接收对应于观察球的全景视频帧；以及

根据所述全景视频帧以及八面体投影布局，由转换电路生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面；

其中组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的所述一边以及所述第二三角形投影面的所述一边之间有图像内容连续性边界，以及在所述第三三角形投影面的所述一边与所述第二三角形投影面的所述另一边之间有图像内容连续性边界。

2.如权利要求1所述的生成基于投影的帧的方法，其特征在于，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四三角形投影面，所述第四三角形投影面的一边与所述第二三角形投影面的又一边接触，并且在所述第四三角形投影面的所述一边与所述第二三角形投影面的所述又一边之间有图像内容连续性边界。

3.如权利要求1所述的生成基于投影的帧的方法，其特征在于，每一所述多个三角形投影面的形状是等边三角形。

4.如权利要求3所述的生成基于投影的帧的方法，其特征在于，每一所述多个三角形投影面具有第一边，第二边以及第三边，并且所述观察球的赤道沿着所述多个三角形投影面的多个第一边映射。

5.如权利要求3所述的生成基于投影的帧的方法，其特征在于，所述观察球的赤道不沿着每一所述多个三角形投影面的任一边映射。

6.如权利要求3所述的生成基于投影的帧的方法，其特征在于，所述观察球由第一半球以及第二半球组成；以及通过所述观察球的所述八面体投影，所述第一三角形投影面，所述第二三角形投影面以及所述第三三角形投影面都来自于所述第一半球。

7.如权利要求6所述的生成基于投影的帧的方法，其特征在于，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四投影面，所述第四投影面通过所述观察球的所述八面体投影来自于所述第一半球，所述第四三角形投影面的一边与所述第三三角形投影面的另一边接触，并且在所述第四三角形投影面的所述一边与所述第三三角形投影面的所述另一边之间有图像内容不连续性边界。

8.如权利要求6所述的生成基于投影的帧的方法，其特征在于，所述八面体投影布局的形状是矩形，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四投影面，所述第四投影面通过所述观察球的所述八面体投影来自于所述第一半球，所述第四三角形投影面被拆分成第一直角三角形部分与第二直角三角形部分，所述第一直角三角形部分具有是所述第四投影面的一边的第一边以及是所述第四投影面的另一边的第一部分的第二边，所述第二直角三角形部分具有是所述第四投影面又一边的第一边以及是所述第四投影面的所述另一边的第二部分的第二边，所述第二直角三角形部分的所述第一边与所述第一三角形投影面的另一边接触，所述第一直角三角形部分的所述第一边与所述第三三角形投影面的另一边接触，在所述第二直角三角形部分的所述第一边与所述第一三角形投影面的所述另一边之间有图像内容不连续性边界，以及在所述第一直角三角形部分的所述第一边与所述第三三角形投影面的所述另一边之间有图像内容不连续性边界。

9.如权利要求6所述的生成基于投影的帧的方法，其特征在于，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四投影面，所述第四投影面通过所述观察球的所述八面体投影来自于所述第一半球，从所述第四三角形投影面的一边延伸的第一填充区域与从所述第三三角形投影面的另一边延伸的第二填充区域接触，所述第一填充区域包括来自于所述第四三角形投影面的所述一边的边界像素的多个填充像素，所述第二填充区域包括来自于所述第三三角形投影面的所述另一边的多个边界像素的多个填充像素，并且在所述第一填充区域与所述第二填充区域之间有图像内容不连续性边界。

10.如权利要求6所述的生成基于投影的帧的方法，其特征在于，所述八面体投影布局的形状是矩形，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四投影面，所述第四投影面通过所述观察球的所述八面体投影来自于所述第一半球，所述第四投影面被拆分成第一直角三角形部分与第二直角三角形部分，所述第一直角三角形部分具有是所述第四投影面的一边的第一边以及是所述第四投影面的另一边的第一部分的第二边，所述第二直角三角形部分具有是所述第四投影面又一边的第一边以及是所述第四投影面的所述另一边的第二部分的第二边，从所述第二直角三角形部分的所述第一边延伸的第一填充区域与从所述第一三角形投影面的另一边延伸的第二填充区域接触，从所述第一直角三角形部分的所述第一边延伸的第三填充区域与所述第三三角形投影面的另一边延伸的第四填充区域接触，所述第一填充区域包括来自于所述第二直角三角形部分的所述第一边的多个边界像素的多个填充像素，所述第二填充区域包括来自于所述第一三角形投影面的所述另一边的多个边界像素的多个填充像素，所述第三填充区域包括来自于所述第一直角三角形部分的所述第一边的多个边界像素的多个填充像素，所述第四填充区域包括来自于所述第三三角形投影面的所述另一边的多个边界像素的多个填充像素，在所述第一填充区域与所述第二填充区域之间有图像内容不连续性边界，以及在所述第三填充区域与所述第四填充区域之间有图像内容不连续性区域。

11.如权利要求3所述的生成基于投影的帧的方法，其特征在于，所述观察球由第一半球以及第二半球组成；所述第一三角形投影面与所述第二三角形投影面两者都通过所述观察球的所述八面体投影来自于所述第一半球，以及所述第三三角形投影面通过所述观察球的所述八面体投影来自于所述第二半球。

12.如权利要求1所述的生成基于投影的帧的方法，其特征在于，每一所述多个三角形投影面的形状是等腰直角三角形。

13.如权利要求12所述的生成基于投影的帧的方法，其特征在于，每一所述多个三角形投影面具有第一边，第二边以及第三边，并且所述观察球的赤道沿着所述多个三角形投影面的多个第一边映射。

14.如权利要求12所述的生成基于投影的帧的方法，其特征在于，所述观察球的一赤道不沿着每一所述多个三角形投影面的任一边映射。

15.如权利要求12所述的生成基于投影的帧的方法，其特征在于，所述观察球由一第一半球和一第二半球组成；并且所述第一三角投影面，所述第二三角形投影面以及所述第三三角形投影面都通过所述观察球的所述八面体投影来自于所述第一半球中。

16.如权利要求15所述的生成基于投影的帧的方法，其特征在于，所述八面体投影布局的形状是矩形，所述第一三角形投影面被拆分成第一直角三角形部分以及第二直角三角形部分，其分别以不同方向组合在所述八面体投影布局中，所述第一直角三角形部分具有是所述第一投影面的所述一边的第一边以及是所述第一投影面的所述另一边的第一部分的第二边，所述第二直角三角形部分具有是所述第一投影面又一边的第一边以及是所述第一投影面的所述另一边的第二部分的第二边，所述第三三角形投影面被拆分成第三直角三角形部分与第四直角三角形部分，其分别以不同方向组合在所述八面体投影布局中，所述第三直角三角形部分具有是所述第三投影面的所述一边的第一边以及是所述第三投影面另一边的第一部分的第二边，以及所述第四直角三角形部分具有是第三投影面的又一边的第一边以及是所述第三投影面的所述另一边的第二部分的一第二边。

17.如权利要求15所述的生成基于投影的帧的方法，其特征在于，所述八面体投影布局的形状是矩形，组合在所述八面体投影布局中的所述多个三角形投影面进一步包括第四三角形投影面，所述第四三角形投影面通过所述观察球的所述八面体投影来自于所述第一半球，所述第四三角形投影面的一边与所述第一三角形投影面的另一边接触，所述第四三角形投影面的另一边与所述第三三角形投影面的另一边接触，在所述第四三角形投影面的所述一边与所述第一三角形投影面的所述另一边之间有图像内容连续性边界，在第四三角形投影面的所述另一边与所述第三三角形投影面的所述另一边之间有图像内容不连续性边界。

18.如权利要求1所述的生成基于投影的帧的方法，其特征在于，至少一个图像边界由多个虚拟区域的填充所导致或者至少一个图像内容不连续性边界由所述八面体投影布局中的所述多个三角形投影面的组合所导致，所述至少一个图像边界或所述至少一个图像内容不连续性边界具有每一缺口是偶数像素宽的缺口形状。

19.如权利要求12所述的生成基于投影的帧的方法，其特征在于，所述观察球由第一半球以及第二半球组成；所述第一三角形投影面以及所述第二三角形投影面两者都通过所述观察球的所述八面体投影来自于所述第一半球，并且所述第三三角形投影面通过所述观察球的所述八面体投影来自于所述第二半球。

20.一种用于生成基于投影的帧的处理电路，其特征在于，包括：

输入接口，用于接收对应于观察球的全景视频帧；以及

转换电路，用于根据所述全景视频帧以及八面体投影布局，由所述转换电路生成所述基于投影的帧，其中所述基于投影的帧具有由组合在所述八面体投影布局中的多个三角形投影面表示的360°图像内容，并且所述观察球的360°图像内容通过所述观察球的八面体投影映射到所述多个三角形投影面；

其中组合在所述八面体投影布局中的所述多个三角形投影面包括：第一三角形投影面，第二三角形投影面以及第三三角形投影面，所述第一三角形投影面的一边与所述第二三角形投影面的一边接触，所述第三三角形投影面的一边与所述第二三角形投影面的另一边接触，在所述第一三角形投影面的一边以及所述第二三角形投影面的一边之间有图像内容连续性边界，以及在所述第三三角形投影面的一边与所述第二三角形投影面的另一边之间有图像内容连续性边界。