CN110521204B - 视频处理方法及相关装置 - Google Patents

Abstract

一种视频处理方法，包括，接收对应于球体的全方位内容，根据至少所述全方位内容以及分段球体投影(SSP)格式生成基于投影的帧，以及由视频编码器对所述基于投影的帧进行编码来生成比特流的一部分。所述基于投影的帧具有由被封包于SSP布局中的第一圆形投影面、第二圆形投影面以及至少一个矩形投影面表示的360°内容。所述球体的北极区被映射到所述第一圆形投影面。所述球体的南极区被映射到所述第二圆形投影面。所述球体的所述南极区与所述北极区之间的至少一个非极区环形区段被映射到所述至少一个矩形投影面。

Description

视频处理方法及相关装置

相关引用

本申请案主张于2017年3月22日提交的美国临时申请号62/474,704、于2017年6月9日提交的美国临时申请号62/517,217、以及于2017年7月10日提交的美国临时申请号62/530,367的优先权，且上述申请整体以引用方式并入本文中。

技术领域

本发明涉及处理全方位图像/视频内容。且更具体而言，本发明涉及用于生成以及编码具有以封包(packed)于分段球体投影(segment sphere projection，SSP)布局中的投影面表示的360度内容的基于投影帧的方法以及装置。

背景技术

使用头戴式显示(HMD)的虚拟现实(VR)有各种应用方式。其中，将广阔的视野内容呈现给使用者的能力可用于提供身临其境的视觉体验。若要取得对应到一个球体的全方位图像/视频内容，必须捕捉真实世界环境的所有图像/视频信息。随着相机及头戴式显示设备的进步，由于重现此种360度图像/视频内容需要高比特率(bitrate)，虚拟现实内容的传送可能即将成为技术发展的瓶颈。当全方位视频的分辨率大于或等于4K时，数据的编码及压缩对于降低比特率而言就显得极其重要。

一般而言，对应球体的全方位图像/视频内容会被转换为一系列的图像，而每一个图像皆为具有360度图像/视频内容的基于投影的帧(projection-based frame)，基于投影的帧由以360度虚拟现实(360VR)投影布局排列的一或多个投影面表示。而后，将这一系列的基于投影的帧编码至比特流(bitstream)以进行传输。

然而，所采用的360度虚拟现实投影布局可能会有不紧凑的情形、或者有许多由多个投影面的封包而造成图像内容的不连续边缘。将具有这种360虚拟现实投影布局的基于投影的帧进行编码可能会具有较差的编解码效率，及/或可能在压缩之后造成图像质量低落。

发明内容

本发明的目的之一是提供一种生成以及编码具有360度内容的基于投影的帧的方法以及装置，360°内容由封包于分段球体投影(SSP)布局中的多个投影面表示。此外，可以在球体的全方位图像/视频内容使用SSP格式投影前在球体上执行球体旋转，从而提高编解码效率。更进一步地，某些特征(如保护带(guard band)或填充(padding))可以由所提出的SSP布局采用，从容改善压缩后的图像质量。

根据本发明的第一方面，公开了一个示范性的视频处理方法。所述示范性视频处理方法包括：接收与球体相对应的全方位内容；至少根据所述全方位内容以及分段球体投影(SSP)格式生成基于投影的帧，并由视频编码器对所述基于投影的帧进行编码来生成比特流的一部分。基于投影的帧具有由封包于SSP布局的第一圆形投影面、第二圆形投影面以及至少一个矩形投影面所表示的360度内容。球体的北极区域被映射至第一圆形投影面，球体的南极区域被映射至第二圆形投影面，以及在球体的南极与北及区域之间的至少一个非极区环形区段被映射到至少一个矩形的投影面上。

根据本发明的第二方面，公开了一个示范性的视频处理装置。此示范性视频处理装置包括转换电路和视频编码器。转换电路用于接收对应至球体的全方位内容，并且根据所述全方位内容和SSP格式生成基于投影的帧。其中，基于投影的帧具有由封包于SSP布局的第一圆形投影面、第二圆形投影面和至少一个矩形投影面所表示的360度内容。球体的北极区被映射到第一圆形投影面上，球体的南极区域则被映射到第二圆形投影面上，以及球体的北极区和南极区之间的至少一个非极区环形区段被映射到所述至少一个矩形投影面上。视频编码器用于对基于投影的帧进行编码来生成比特流的一部分。

在阅读以各种图示以及附图示出的优先实施例的详细描述后，本发明的这些以及其他目的对本领域普通技术人员而言无疑将是显而易见的。

附图说明

图1为根据本发明实施例的360度虚拟现实(360VR)系统的示意图。

图2为图1中在球体旋转电路所执行球体旋转的示意图。

图3为根据本发明实施例的第一分段球体投影(SSP)格式的示意图。

图4为根据本发明实施例的具有两个圆形与一个矩形的SSP布局的多个示例的示意图，其中两个圆形的圆心和矩形的中心在基于投影的帧的高度方向上垂直对齐排列。

图5为根据本发明实施例的具有两个圆形与一个矩形的SSP布局的多个示例的示意图，其中两个圆形的圆心和矩形的中心在基于投影的帧的宽度方向上水平对齐排列。

图6为根据本发明实施例具有两个圆形的SSP布局的多个示例的示意图，其中两个圆形的圆心在基于投影的帧的宽度方向上水平对齐排列并且位于一个矩形的同一侧。

图7为根据本发明实施例的具有两个圆形的SSP布局的多个示例的示意图，其中两个圆形的圆心在基于投影的帧的高度方向上垂直对齐排列并且位于一个矩形的同一侧。

图8为根据本发明实施例的具有保护带的SSP布局的示意图。

图9为根据本发明实施例的具有填充的SSP布局的示意图。

图10为由图1所示的填充电路执行插值(interpolation)的第一示例的示意图。

图11为由图1所示的填充电路执行插值的第二示例的示意图。

图12为由图1所示的填充电路执行复制(duplication)以生成矩形投影面的填充区域的示意图。

图13为根据本发明实施例的具有填充以及保护带的第一SSP布局的示意图。

图14为根据本发明实施例的具有填充以及保护带的第二SSP布局的示意图。

图15为根据本发明实施例的设定被包含于重叠区域内的重叠像素的像素值的第一示例的示意图。

图16为根据本发明实施例的设定被包含于重叠区域内的重叠像素的像素值的第二示例的示意图。

图17为根据本发明实施例的设定被包含于重叠区域内的重叠像素的像素值的第三示例的示意图。

图18为根据本发明实施例的设定被包含于重叠区域内的重叠像素的像素值的第四示例的示意图。

图19为根据本发明实施例的设定被包含于重叠区域内的重叠像素的像素值的第五示例的示意图。

图20为根据本发明实施例的计算在两个圆形投影面的重叠区域中插值采样点(即重叠像素)的像素值所涉及的采样点的不同选择的示意图。

图21为根据本发明实施例的设定被包含于重叠区域内的重叠像素的像素值的第六示例的示意图。

图22为根据本发明实施例的计算在一个圆形投影面和一个矩形投影面中的重叠区域的插值采样点(即重叠像素)的像素值所涉及的采样点的不同选择的示意图。

图23为根据本发明实施例的具有填充的SSP布局的多个示例的示意图。

图24为根据本发明实施例的第二分段球体投影(SSP)格式的示意图。

图25为根据本发明实施例的具有填充的SSP布局的多个示例的示意图，其中填充具有堆叠于基于投影帧的中间上方的两个圆形。

图26为根据本发明实施例的具有填充的SSP布局的多个示例的示意图，其中填充具有并排放置于基于投影的帧中间上方的两个圆形。

图27为根据本发明的实施例具有填充的SSP布局的多个示例的示意图，其中填充具有分别放置于基于投影的帧中间上方的左右两侧的两个圆形。

具体实施方式

贯穿以下说明及权利要求所使用的某些术语，其指某个具体的组件。如本领域普通技术人员所熟知地，电子设备制造者可能使用不同的名称来指同一个组件。此份文件无意区别那些在名称上有所差别、但在功能上并无差异的组件。在后文描述及权利要求中，以开放式的方式使用术语“包含”、“包括”，并因此应被解读为意味着“包括但不限于”。此外，术语“耦合”旨在意味着直接或间接的电性连接。因此，如果一个装置耦合到另一装置，其连接可能是通过直接的电性连接，或者是经由其他装置和连接的间接电性连接。

图1为依据本发明实施例的360度虚拟现实(360VR)系统的示意图。360VR系统100包含两个视频处理装置(如来源电子装置102及目标电子装置104)。来源电子装置102包含视频捕获设备112、球体旋转电路113、转换电路114、及视频编码器116。其中，转换电路114具有填充电路115。举例而言，视频捕获设备112可为一组相机，用于提供对应于一个球体的全方位图像/视频内容(如多个涵盖所有环境的图像)S_IN。转换电路114耦合到视频编码器116。转换电路114根据全方位图像/视频内容S_IN'产生具有分段球体投影(SSP)布局L_SSP的基于投影的帧IMG，所述全方位图像/视频内容S_IN'可以与全方位图像/视频内容S_IN相同、或者可以为全方位图像/视频内容S_IN的旋转版本。基于投影的帧IMG可以为包括在从转换电路114生成的基于投影的帧序列中的一个帧。视频编码器116是用于编码/压缩基于投影的帧IMG来生成部分比特流BS的编码电路。此外，视频编码器116经由传输方法103将比特流BS输出到目标电子装置104。举例而言，基于投影的帧的序列可被编码到比特流BS中，而传输方法103可以是有线/无线通信链路或储存介质。

球体旋转电路113是可选的。在省略球体旋转电路113的情况下，传送至转换电路114中的全方位图像/视频内容S_IN'与从视频捕获设备112生成的全方位图像/视频内容S_IN是相同的。在使用球体旋转电路113的情况下，球体旋转电路113被用于向全方位图像/视频内容S_IN施加内容旋转。因此，传送至转换电路114中的全方位图像/视频内容S_IN'是已旋转全方位图像/视频内容。

图2为在图1示出的球体旋转电路113执行球体旋转的示意图。球体200可以沿着一个或多个不同的旋转轴旋转。如图2所示，球体200的球体旋转可具有沿x轴的侧倾角(rollangle)，沿y轴的偏转角(yaw angle)、和/或沿z轴的俯仰角(pitch angle)。举例而言，旋转角度可以由用户指定、或者通过算法计算而得。换句话说，球体旋转电路113可以参考用户输入来对全方位图像/视频内容S_IN执行球体旋转，或者也可以在没有用户的介入下对全方位图像/视频内容S_IN执行球体旋转。在完成球体200的球体旋转之后，已选择球体200的全方位图像/视频内容(即全方位图像/视频内容S_IN')经由所提出的分段球体投影(SSP)投影/映射到投影面上，而封包在分段球体投影布局中的投影面则由视频编码器116进行编码。通过适当地控制球旋转，可以适当地设置投影面中的内容，从而提高基于投影的帧IMG的编解码效率。

目标电子装置104可以是头戴式显示(HMD)装置。如图1所示，目标电子装置104包含：解码电路122、图形渲染电路124和显示屏幕126。解码电路122从传输方法103(如有线/无线通信链接或储存媒介等)接收比特流BS，并且执行视频解码器功能来将所收到的一部分比特流BS进行解码，以生成解码帧IMG'。举例而言，通过将接收到的比特流BS进行解码，解码电路122会生成一系列的解码帧，其中解码帧IMG'即是该系列解码帧中的一个帧。在此实施例中，将由视频编码器116在编码器端(即来源电子装置102)处来进行编码的基于投影的帧IMG会具有被选定的投影布局的SSP格式。因此，在解码电路122(即目标电子装置104)在解码器端解码比特流BS后，解码帧IMG'会具有与所选择的投影布局相同的SSP格式。图形渲染电路124耦合在解码电路122和显示屏幕126之间。图形渲染电路124会根据解码帧IMG'在显示屏幕126上渲染和显示输出图像数据。举例而言，与由解码帧IMG'携带的360度图像/视频内容的一部分相关联的视区(viewport area)，可经由图形渲染电路124显示在显示屏幕126上。

当在编码器端(即来源电子装置102)执行球旋转时，指示球体旋转的旋转信息的语法元素将经由编码器端生成的比特流BS，被发送到解码器端(即目标电子装置104)。透过这种方式，可以使具有视频解码器的目标电子装置104根据所发送的语法元素可得知编码器端球体旋转的细节，以及，举例而言，也可以执行解码端逆球体旋转来获得渲染或显示时所需的视频数据。

如上所述，转换电路114根据全方位图像/视频内容S_IN'以及具有所选投影布局(即L_SSP)的SSP格式设计，来生成基于投影的帧IMG。图3为依据本发明实施例的分段球体投影(SSP)格式的示意图。球体200的表面被划分为以北极302为中心的北极区306、以南极304为中心的南极区310、以及在北极区306和南极区310之间的单个非极区环形区段(如赤道区段)308。球体200的赤道的纬度为0度。如图3所示，北极区306的最低纬度为+θ，而南极区310的最高纬度为-Φ。需注意的是，根据实际的设计考虑，θ可能会与Φ相同或相异，如θ＝Φ＝45°。根据所提出的SSP格式，球体200的北极区306会被投影/映射到第一圆形投影面R_NP上，南极区310会被投影/映射到第二圆形投影面R_SP上，而非极区环形区段308则会被投影/映射到单个矩形投影面SEG_EQ上。

在一个示范性设计中，经由等角投影将北极区306平坦化为第一圆形投影面R_NP、经由等角投影将南极区310平坦化为第二圆形投影面R_SP、以及经由等面积投影将非极区环形区段308映射到矩形投影面SEG_EQ上。然而，这些仅用于说明的目的，而非用于对本发明做出限制。在本发明的其他实施例中，第一圆形投影面R_NP和第二圆形投影面R_SP当中的一者或两者可具有等角投影格式或等面积投影格式，而矩形投影面SEG_EQ可具有等距柱状投影格式或等面积投影格式。此外，在应用于球200的全方位图像/视频内容S_IN'的分段球体投影中可能涉及非均匀映射。

在转换电路114取得第一圆形投影面R_NP、第二圆形投影面R_SP及矩形投影面SEG_EQ后，转换电路114采用所选择的SSP布局L_SSP来封包(pack)第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ。换言之，从转换电路114生成的基于投影的帧IMG会具有由封包于所选择的SSP布局L_SSP中的第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ所表示的360度图像/视频内容。SSP布局L_SSP可以是两个圆形(即第一圆形投影面R_NP和第二圆形投影面R_SP)和一个矩形(即矩形投影面SEG_EQ)的任何排列。

图4为依据本发明实施例的以两个圆形的圆心及一个矩形的中心在基于投影的帧的高度方向为垂直对齐排列的SSP布局的多个示例的示意图。基于投影的帧IMG可以采用图4中所示的任一示范性SSP布局。在第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ被封包为垂直排列的情况下，第一圆形投影面R_NP和第二圆形投影面R_SP可以都位于矩形投影面SEG_EQ的第一侧，也可以分别位于矩形投影面SEG_EQ的相对侧上，或者也可以都位于矩形投影面SEG_EQ的第二侧上。

图5为根据本发明实施例的具有两个圆形与一个矩形的SSP布局的多个示例的示意图，其中两个圆形的圆心及一个矩形的中心在基于投影的帧的宽度方向上水平对齐排列。基于投影的帧IMG可以采用图5中所示的任一示范性SSP布局。在第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ被封包为水平排列的情况下，第一圆形投影面R_NP和第二圆形投影面R_SP可以都位于矩形投影面SEG_EQ的第一侧，也可以分别位于矩形投影面SEG_EQ的相对侧上，或者也可以都位于矩形投影面SEG_EQ的第二侧上。

在本发明的一些实施例中，矩形投影面SEG_EQ可以被延展或收缩以具有不同的宽度和高度比。图6为依据本发明实施例的具有两个圆形的SSP布局的多个示例的示意图，其中两个圆形的圆心在基于投影的帧在宽度方向上水平对齐排列并且位于一个矩形的同一侧。图3中所示的矩形投影面SEG_EQ可以被缩放，从而允许第一圆形投影面R_NP和第二圆形投影面R_SP(其在基于投影的帧IMG的宽度方向上水平相邻)位于被缩放的矩形投影面SEG_EQ的同一侧上。

图7为依据本发明实施例的具有两个圆形的SSP布局的多个示例的示意图，其中两个圆形的圆心在基于投影的帧的高度方向上垂直对齐排列并位于一个矩形的同一侧。图3中所示的矩形投影面SEG_EQ可以被缩放，从而允许第一圆形投影面R_NP和第二圆形投影面R_SP(其在基于投影的帧IMG的宽度方向上垂直相邻)位于被缩放的矩形投影面SEG_EQ的同一侧上。

将被编码的基于投影的帧IMG需要为矩形。如果为了产生基于投影的帧IMG而将SSP布局L_SSP设定为图4至图7所示的示范性SSP布局之一，就会需要有虚拟区域R_DUMMY(如黑色区、灰色区、或白色区)来填满基于投影的帧IMG。举例而言，由图4至图7中的圆点区域表示的每一个虚拟区域R_DUMMY皆由不可显示的非有效像素组成。值得注意的是，封包于图4至图7所示的每个示范性SSP布局中的第一圆形投影面R_NP和第二圆形投影面R_SP的位置可以被交换，和/或矩形投影面SEG_EQ也可以被旋转/翻转。这些可选择的SSP布局也落入本发明的范围内。

当两个圆(如第一圆形投影面R_NP和第二圆形投影面R_SP)被紧密地放置在SSP布局中时，在投影面边界处彼此连接的相邻圆之间可能存在图像内容的不连续边缘。类似地，当一个圆(如第一圆形投影面R_NP或第二圆形投影面R_SP)和一个矩形(如矩形投影面SEG_EQ)紧密地放置在SSP布局中时，图像内容的不连续边缘也可能存在于在投影面边界相互连接的相邻的圆形和矩形之间。因为两个圆形和一个矩形的排列形状并非一矩形的事实，当虚拟区域R_DUMMY(如黑色区、灰色区、或白色区)被填充于基于投影的帧IMG时，图像内容的不连续边缘也可能存在于投影面及相邻的虚拟区域R_DUMMY之间。假设SSP布局L_SSP系依照图4至图7所示的示范性SSP布局之一来设定。对基于投影的帧IMG进行编码可能引入由不连续相邻面产生的伪影(artifact)。为了解决这个问题，本发明提出将保护带引入SSP布局的投影面中，以减少或消除由不连续的相邻投影面引起的伪影。

图8为根据本发明实施例的具有保护带的SSP布局的示意图。在此实施例中，每个投影面具有尺寸为S_GB的保护带。举例而言，保护带尺寸S_GB可以是8个像素的宽度。值得注意的是，保护带尺寸S_GB可以是可调节的。当第一圆形投影面R_NP和第二圆形投影面R_SP被封包在具有防护带的SSP布局中时，在第一圆形投影面R_NP和第二圆形投影面R_SP之间直接留有空间，使得第一圆形投影面R_NP不与第二圆形投影面R_SP相连。如图8所示，第一圆形投影面R_NP与第二圆形投影面R_SP之间的空间的宽度(即第一圆形投影面R_NP与第二圆形投影面R_SP的边界之间的最短距离)等于2*S_GB。

类似地，当一个圆形投影面(如第二圆形投影面R_SP)和矩形投影面SEG_EQ被封包在具有防护带的SSP布局中时，在圆形投影面(如第二圆形投影面R_SP)和矩形投影面SEG_EQ之间直接留有空间，使得圆形投影面(如第二圆形投影面R_SP)不与矩形投影面SEG_EQ相连。如图8所示，圆形投影面(如第二圆形投影面R_SP)与矩形投影面SEG_EQ之间的空间的宽度(即圆形投影面(如第二圆形投影面R_SP)与矩形投影面SEG_EQ的边界之间的最短距离)等于2*S_GB。

由于防护带能够提供第一圆形投影面R_NP和第二圆形投影面R_SP之间的隔离、以及第二圆形投影面R_SP和矩形投影面SEG_EQ之间的隔离，因此可以避免或减少由不连续投影面的编码所引起的伪影。

如上所述，图像内容的不连续边缘可能存在于紧密排列在SSP布局中的圆形(如第一圆形投影面R_NP和第二圆形投影面R_SP)之间，并且也可能存在于紧密排列在SSP布局中的圆形(如第一圆形投影面R_NP或第二圆形投影面R_SP)与矩形(矩形投影面SEF_EQ)之间。因为两个圆形和一个矩形的排列并非一矩形的事实，当虚拟区域R_DUMMY(如黑色区、灰色区、或白色区)被填充于基于投影的帧IMG时，图像内容的不连续边缘也可能存在于投影面及相邻的虚拟区域R_DUMMY之间。对基于投影的帧IMG进行编码可能形成由不连续相邻面和/或非有效像素导致的伪影。本发明进一步提出将一个或多个填充区域导入SSP布局，藉以减少或消除由不连续相邻面和/或非有效像素引起的伪影。如图1所示，转换电路114具有填充电路115，用于生成至少一个填充区域。因此，转换电路114通过将所提出的分段球体投影所获得的投影面R_NP、R_SP和SEG_EQ、以及将所提出的填充技术在SSP布局L_SSP中所获得的至少一个填充区域进行封包，用以产生基于投影的帧IMG。

图9为根据本发明实施例的具有填充的SSP布局的示意图。在此实施例中，每个投影面具有填充尺寸S_PD的填充区域。举例而言，填充区域区域的尺寸S_PD可以是8个像素的高度。值得注意的是，保护带尺寸S_PD可以调节。如图9所示，第一填充区域PR_1连接第一圆形投影面R_NP的边界，第二填充区域PR_2连接第二圆形投影面R_SP的边界，第三填充区域PR_3连接矩形投影面SEG_EQ的一侧/边界。每个第一填充区域PR_1和第二填充区域PR_2皆为环状，并且具有由填充尺寸S_PD所设定的指定填充半径。第三填充区域PR_3为矩形，并且具有由填充尺寸S_PD所设定的指定填充高度。在此实施例中，填充尺寸S_PD可以等于防护带大小S_GB。然而，以上叙述仅用于说明的目的，而非用于对本发明做出限制。

在第一示范性填充实施方式中，填充电路115将几何填充应用于投影面以决定包含在投影面的填充区域中像素的像素值。举例而言，应用于第一圆形投影面R_NP的几何填充决定了第一填充区域PR_1的几何映射结果，该结果用于设置包含在第一填充区域PR_1中像素的像素值。几何映射结果是通过将球体(如图3所示的球体200)上一区域的内容映射到第一填充区域PR_1上而获得的，其中球体上的该区域与第一圆形投影面R_NP的区域相邻。因此，在第一圆形投影面R_NP和第一填充区域PR_1的几何映射结果之间就会形成图像内容的连续性边缘。

举另一例而言，应用于第二圆形投影面R_SP的几何填充决定了第二填充区域PR_2的几何映射结果，用于设置包含在第二填充区域PR_2中像素的像素值。通过将球体(例如，图3所示的球体200)上一区域的内容映射到第二填充区域PR_2上，来获得几何映射结果。其中，球体上的该区域与第二圆形投影面R_NP的区域是相邻的。因此，在第二圆形投影面R_SP和第二填充区域PR_2的几何映射结果之间存在图像内容连续性边缘。

再举一例，应用于矩形投影面SEG_EQ的几何填充会决定第三填充区域PR_3的几何映射结果，用于设置包含在第三填充区域PR_3中的像素的像素值。通过将球体(如图3所示的球体200)上一区域的内容映射到第三填充区域PR_3上，来获得几何映射结果，其中，球体上的区域与矩形投影面SEG_EQ所获得的区域相邻。因此，在矩形投影面SEG_EQ和第三填充区域PR_3的几何映射结果之间存在图像内容连续性边缘。

在第二示范性填充实施方式中，填充电路115从投影面中复制的像素的像素值中，导出包括在填充区域中像素的像素值。举例而言，复制投影面的边界像素，以产生投影面的填充像素。即，投影面的填充区域系透过将投影面的边界像素向外扩展来产生。

关于环状的第一填充区域PR_1，包含在第一填充区域PR_1中的部分像素的像素值，可以从复制第一圆形投影面R_NP的边界像素的像素值来直接设置，以及包含在第一填充区域PR_1中的部分像素的像素值，可以从重复像素值的插值来导出。其中，每一像素值通过复制第一圆形投影面R_NP的边界像素的值来设置。

关于环状的第二填充区域PR_2，包括在第二填充区域PR_2中的部分像素的像素值，可以通过复制第二圆形投影面R_SP的边界像素的像素值来直接设置，以及包含在第二填充区域PR_2中的部分像素的像素值，可以通过复制像素值的插值来导出，每一像素值通过复制第二圆形投影面R_SP的边界像素的值来设置。

关于矩形的第三填充区域PR_3，第三填充区域PR_3中包含的所有像素的像素值可以通过复制矩形投影面SEG_EQ的边界像素的像素值来直接进行设置。

在第三填充实施方式中，填充电路115通过基于投影面和相邻虚拟区中包括的像素的像素值的插值，来设置填充区域中所包含的像素的像素值。关于第一圆形投影面R_NP，通过基于包含在第一圆形投影面R_NP和相邻虚拟区域R_DUMMY中像素的像素值的插值来获取包含在第一填充区域PR_1中像素的像素值。关于第二圆形投影面R_SP，基于包含在第二圆形投影面R_SP和相邻虚拟区域R_DUMMY中像素的像素值的插值来获取包含在第二填充区域PR_2中像素的像素值。所采用的插值可以是最近邻插值、线性插值、双线性插值或其他插值算法。此外，所采用的插值使用的采样点可以从单个方向或不同的方向来获得。

图10为由图1所示的填充电路115执行插值的第一示例的示意图。填充区域(如PR_1或PR_2)需被创造并与投影面(如R_NP或R_SP)连接用于将投影面与虚拟区域(如R_DUMMY)隔离。如图10所示，对从投影面和虚拟区域获得的采样点(即像素)P1和P2执行插值。举例而言，采样点P1是投影面的边界像素，而采样点P2是虚拟区域的非有效像素。因此，插值采样点(即填充像素)P点可根据采样点P1和P2的样本值、采样点P1和插值采样点P之间的距离d1、以及采样点P2和插值采样点P样本之间的距离d2来决定。举例而言(但本发明不限制于此)，插值采样点P(即为填充区域PR_1/PR_2中的填充像素之一)的采样值可以使用基于距离的加权函数来做计算。插值可以使用以下等式来表示。

关于矩形投影面SEG_EQ，通过基于包含在矩形投影面SEG_EQ和相邻虚拟区域R_DUMMY中像素的像素值的插值来获得包括在第三填充区域PR_3中像素的像素值。所采用的插值可以是最近邻插值、线性插值、双线性插值或其他插值算法。此外，所采用的插值使用的采样点可以从单个方向或不同的方向来获得。

图11为由图1所示的填充电路115执行插值的第二示例的示意图。填充区域(如PR_3)需被创造并与投影面(如SEG_EQ)连接用于将投影面与虚拟区域(如R_DUMMY)隔离。如图11所示，对从投影面和虚拟区域获得的采样点(即像素)P1和P2执行插值。举例而言，采样点P1是投影面的边界像素，而采样点P2是虚拟区域的非有效像素。因此，插值采样点(即填充像素)P点可根据采样点P1和P2的样本值、采样点P1和插值采样点P之间的距离d1、以及采样点P2和插值采样点P样本之间的距离d2来决定。举例而言(但本发明不限制于此)，上述等式(1)可用于计算插值采样点P(亦为填充区域PR_3中的填充像素之一)的样本值。

在第四填充实施方式中，填充电路115通过应用于包括在相邻投影面中、但不与填充区域连接的像素的像素值的复制，来设置填充区域中包含的像素的像素值。举例而言，填充区域是相邻投影面的部分区域的复制，其中相邻投影面的部分区域并不与填充区域相连。

图12为由图1所示的填充电路执行的复制，用以生成矩形投影面的填充区域的示意图。具有顶侧S_T、底侧S_B、左侧S_L和右侧S_R的矩形投影面SEG_EQ，可以以等距柱状投影(ERP)格式或等面积投影(EAP)格式进行排列。此外，矩形投影面SEG_EQ具有包含在右侧S_R的边界像素的部分区域P_R。第三填充区域PR_3需要被添加到矩形投影面SEG_EQ的左侧S_L。

在此实施例中，第三填充区域PR_3是矩形投影面SEG_EQ的部分区域P_R的复制品。因此，第三填充区域PR_3的像素包含了投影面A的右侧S_R处的边界像素，但是不包含投影面A的左侧S_L处的边界像素。由于矩形投影面SEG_EQ的左侧S_L和右侧S_R是对侧，第三填充区域PR_3具有在投影面A的右侧S_R的边界像素，并不与矩形投影面SEG_EQ的右侧S_R相连接。由于等距柱状投影/等面积投影的固有特性，通过填充在第三填充区域PR_3与封包于SSP布局的矩形投影面SEG_EQ之间，会存在图像内容连续性边界(即内容会被连续地重现在矩形投影面SEG_EQ和第三填充区域PR_3上)。

关于矩形投影面SEG_EQ，填充可以应用于边界上。在上述由图11和图12所示的示例中，一个填充区域被生成并且与矩形投影面SEG_EQ的左侧连接。然而，这仅用于说明的目的，并不意味着对本发明的限制。举例而言，单个填充区域可被生成并且与矩形投影面SEG_EQ的任何一侧连接。举另一例而言，多个填充区域可被生成并分别与矩形投影面SEG_EQ的多个侧面(或所有侧面)连接。这些替代的填充设计皆落入本发明的范围内。

如上所述，将一个保护带引入SSP布局中的投影面，用于减少或消除由不连续的相邻投影面所造成的伪影。考虑到填充被应用于两个投影面之间的保护带的情况。当填充尺寸S_PD不大于保护带尺寸S_GB(即，S_PD≤S_GB)时，相邻投影面的填充区域以不重叠的方式置于SSP布局中。图13为根据本发明实施例的具有填充及保护带的第一SSP布局的示意图。在此例中，填充尺寸S_PD等于保护带尺寸S_GB(即S_PD＝S_GB)。因此，第一填充区域PR_1和第二填充区域PR_2会被紧密地放置在一起，以具有彼此连接的边界填充像素；以及第二填充区域PR_2和第三填充区域PR_3也会被紧密地放置在一起，以具有彼此连接的边界填充像素。

然而，当填充尺寸S_PD大于保护带尺寸S_GB(即S_PD>S_GB)时，相邻投影面的填充区域以重叠的方式置于SSP布局中。图14为根据本发明实施例的具有填充及保护带的第二SSP布局的示意图。由于填充尺寸S_PD大于保护带尺寸S_GB(即S_PD>_SGB)，相邻投影面之间留下的空间，无法使产生的用于相邻投影面的填充区域彼此分离。如图14所示，无法避免地，在第一填充区域PR_1与第二填充区域PR_2之间存在重叠区域R12；以及无法避免地，在第二填充区域PR_2和第三填充区域PR_3之间存在重叠区域R23。具体而言，通过填充将第一填充区域PR_1、第二填充区域PR_2和第三填充区域PR_3封包于SSP布局的情况下，第一填充区域PR_1可以被视为具有非重叠区域R1和重叠区域R12，第二填充区域PR_2可被视为具有非重叠区域R2和两个重叠区域R12和R23，而第三填充区域PR_3则可被视为具有非重叠区域R3和重叠区域R23。

由于重叠区域R12可以被视为是第一填充区域PR_1的一部分，且亦可被视为是第二填充区域PR_2的一部分，因此转换电路114(具体地，转换电路114中的填充电路115)应该适当地处理重叠区域R12中所包含的重叠像素的像素值。类似地，由于重叠区域R23可被视为第二填充区域PR_2的一部分，且亦可被视为第三填充区域PR_3的一部分，因此转换电路114(具体地，转换电路114中的填充电路115)应该适当地处理重叠区域R23中所包含的的重叠像素的像素值。

在第一示范性重叠设计中，包含于由两个相邻填充区域的封包所生成重叠区域中的重叠像素的像素值，直接由原始包含在从两个填充区域所选出的填充区域的填充像素的像素值所设置。

请结合图14参考图15。图15为根据本发明实施例的设定在重叠区域内的重叠像素的像素值的第一示例的示意图。当包含在重叠区域R12中的重叠像素比第二填充区域PR_2的非重叠区域R2更接近第一填充区域PR_1的非重叠区域R1时，包含在重叠区域R12中的重叠像素的像素值直接由包含在第一填充区域PR_1中的同位填充像素的像素值直接设置；以及当包括在重叠区域R12中的重叠像素比第一填充区域PR_1的非重叠区域R1更接近第二填充区域PR_2的非重叠区域R2时，包含在重叠区域R12中的重叠像素的像素值直接由包含在第二填充区域PR_2中的同位填充像素的像素值直接设置。如图15所示，重叠区域R12的左侧部分由包含在第一填充区域PR_1中的填充像素来设置，而重叠区域R12的右侧部分则由包含在第二填充区域PR_2中的填充像素来设置。换言之，当为第一圆形投影面R_NP完全生成的第一填充区域PR_1、和为第二圆形投影面R_SP完全生成的第二填充区域PR_2用填充区域和保护带被封包在SSP布局中时，位于重叠区域R12的左侧部分中的第二填充区域PR_2的一部分填充像素可以被丢弃，以及位于重叠区域R12的右侧部分中的第一填充区域PR_1的一部分填充像素亦可以被丢弃。

当包含在重叠区域R23中的重叠像素比第三填充区域PR_3的非重叠区域R3更接近第二填充区域PR_2的非重叠区域R2时，包括在重叠区域R23中的重叠像素的像素值直接由包含在第二填充区域PR_2中的同位填充像素的像素值进行设置；而当包含在重叠区域R23中的重叠像素比第二填充区域PR_2的非重叠区域R2更接近第三填充区域PR_3的非重叠区域R3时，包含在重叠区域R23中的重叠像素的像素直接由包含在第三填充区域PR_3中的同位填充像素的像素值进行设置。如图15所示，重叠区域R23的左侧部分由包含在第二填充区域PR_2中的填充像素所设置，而重叠区域R23的右侧部分由包含在第三填充区域PR_3中的填充像素所设置。换言之，当为了第二圆形投影面R_SP完全生成的第二填充区域PR_2以及为了矩形投影面SEG_EQ完全生成的第三填充区域PR_3被用填充和保护带封包在SSP布局中时，可以丢弃位于重叠区域R23的左侧部分的第三填充区域PR_3的一部分填充像素，以及可以丢弃位于重叠区域R23的右侧部分中的第二填充区域PR_2的一部分填充像素。

在第二示范性重叠设计中，包含在由两个相邻填充区域的填充生成的重叠区域中的重叠像素的像素值，通过混合分别属于两个填充区域的同位填充像素的像素值来设置。

请结合图14参考图16。图16为根据本发明实施例的设定在重叠区域内的重叠像素的像素值的第二示例的示意图。当为第一圆形投影面R_NP完全生成的第一填充区域PR_1和为第二圆形投影面R_SP完全生成的第二填充区域PR_2，被用填充区域和保护带封包在SSP布局中时，包含在重叠区域R12中的重叠像素的像素值由第一填充区域PR_1中的同位填充像素的像素值与第二填充区域PR_2中的同位填充像素的像素值进行混合(如平均)来设置。此外，为第二圆形投影面R_SP完全生成的第二填充区域PR_2和为矩形投影面SEF_EQ完全生成的第三填充区域PR_3被用填充和保护带封包在SSP布局中时，包含在重叠区域R23中的重叠像素的像素值由第二填充区域PR_2中的同位填充像素的像素值与第三填充区域PR_3中的同位填充像素的像素值进行混合(如平均)来设置。换言之，重叠区域R12中所包含的每个重叠像素的像素值，可以透过从第一填充区域PR_1获得的同位填充像素的像素值以及从第二填充区域PR_2获得的同位填充像素的像素值的平均值来设置；重叠区域R23中包含的每个重叠像素的像素值，可以透过从第二填充区域PR_2获得的同位填充像素的像素值以及从第三填充区域PR_3获得的同位填充像素的像素值的平均值来设置。

在第三示范性重叠设计中，通过分别包含在相同填充区域的同位填充像素的像素值直接设置包含在从两个相邻填充区域的封包生成的重叠区域中的所有重叠像素的像素值。

请结合图14参考图17。图17为根据本发明实施例的设定在重叠区域内的重叠像素的像素值的第三示例的示意图。在本示例中，仅由第一填充区域PR_1中的同位填充像素的像素值直接设置重叠区域R12中包含的所有重叠像素的像素值，以及仅由第二填充区域PR_2中的同位填充像素的像素值直接设置重叠区域R23中包含的所有重叠像素的像素值。换言之，当为第一圆形投影面R_NP所完全生成的第一填充区域PR_1以及为了第二圆形投影面R_SP所完全生成的第二填充区域PR_2被用填充和保护带封包在SSP布局中时，可以丢弃位于重叠区域R12的第二填充区域PR_2的填充像素(即第二填充区域PR_2中的同位填充像素的像素值)的一部分；以及当为第二圆形投影面R_SP完全生成的第二填充区域PR_2以及为矩形投影面SEG_EQ完全生成的第三填充区域PR_3被封包在具有填充和保护带的SSP布局中时，则可以丢弃位于重叠区域R23的第三填充区域PR_3的填充像素(即第三填充区域PR_3中的同位填充像素的像素值)的一部分。

请结合图14参考图18。图18为根据本发明实施例的设定在重叠区域内的重叠像素的像素值的第四示例的示意图。在本示例中，仅由第二填充区域PR_2中的同位填充像素的像素值直接设置重叠区域R12中包含的所有重叠像素的像素值，以及仅由第三填充区域PR_3中的同位填充像素的像素值直接设置重叠区域R23中包含的所有重叠像素的像素值。换言之，当为第一圆形投影面R_NP所完全生成的第一填充区域PR_1以及为第二圆形投影面R_SP所完全生成的第二填充区域PR_2被封包在具有填充和保护带的SSP布局中时，可以丢弃位于重叠区域R12的第一填充区域PR_1的填充像素(即第一填充区域PR_1中的同位填充像素的像素值)的一部分；以及当为第二圆形投影面R_SP所完全生成的第二填充区域PR_2以及为矩形投影面SEG_EQ所完全生成的第三填充区域PR_3被封包在具有填充和保护带的SSP布局中时，则可以丢弃位于重叠区域R23的第二填充区域PR_2的填充像素(即第二填充区域PR_2中的同位填充像素的像素值)的一部分。

在第四示范性重叠设计中，通过混合不同像素的像素值设置从两个相邻填充区域的封包而生成的重叠区域中所包含的重叠像素的像素值，其中，不同的像素之一可以是选取自第一投影面和填充区域(插入在第一投影面与第二投影面之间)中的一个的边界像素，而另一个不同的像素可以是选取自第二投影面和填充区域中的一个的边界像素。

请结合图14参考图19。图19为根据本发明实施例的设定在重叠区域内的重叠像素的像素值的第五示例的示意图。在本示例中，填充电路115通过基于包含在第一圆形投影面R_NP中像素的像素值以及包含在第二圆形投影面R_SP中像素的像素值的插值，设定包含在重叠区域R12的重叠像素的像素值。所采用的插值可以是最邻近插值、线性插值、双线性插值或其他插值算法。此外，所采用的插值使用的采样点可以从单个方向或不同的方向获得。

如图19所示，对从第一圆形投影面R_NP和第二圆形投影面R_SP所获得的采样点(即像素)P1和P2执行水平插值。举例而言，采样点P1是第一圆形投影面R_NP的边界像素，而采样点P2则是第二圆形投影面R_SP的边界像素。因此，重叠区域R12中的插值采样点(即重叠像素)P根据采样点P1和P2的采样值、采样点P1和插值采样点P之间的距离d1、以及采样点P2和插值采样点P之间的距离d2决定。根据此例，插值采样点P(亦即重叠区域R12中的重叠像素之一)的样本值，可以通过使用上面的公式(1)来计算。

图19所示出的插值仅用于说明的目的，并不意味着对本发明的限制。在本发明的一些实施例中，插值区域可以在不同的位置开始/结束。因此，插值使用的采样点，可以为圆形投影面R_NP/R_SP的边界像素、填充区域PR_1/PR_2的边界像素、或是填充区域PR_1/PR_2中的任意点。图20为根据本发明实施例的用于计算在重叠区域R12插值值采样点(即重叠像素)的像素值的插值计算所涉及的采样点的不同选择的示意图。如图20的子图(A)所示，在一个采样点为第一圆形投影面R_NP的边界像素以及另一个采样点为第二圆形投影面R_SP的边界像素时执行每个水平插值。如图20的子图(B)所示，在一个采样点为第二填充区域PR_2内且位于第一填充区域PR_1的边界上的像素以及另一个采样点为第一填充区域PR_1内且位于第二填充区域PR_2的边界上的像素时执行每个水平插值。如图20的子图(C)所示，在一个采样点为第一填充区域PR_1内且位于第二填充区域PR_2的边界上的像素以及另一个采样点为第二圆形投影面R_SP上的边界像素时执行每个水平插值。如图20的子图(D)所示，在一个采样点为位于第一圆形投影面R_NP的边界像素以及另一个采样点为第二填充区域PR_2内且位于第一填充区域PR_1的边界上的像素时执行每个水平插值。

请结合图14参考图21。图21为根据本发明实施例的设定在重叠区域内的重叠像素的像素值的第六示例的示意图。在本示例中，填充电路115通过基于包含在第二圆形投影面R_SP中像素的像素值以及包含在矩形投影面SEG_EQ中像素的像素值的插值来设定包含在重叠区域R23的重叠像素的像素值。所采用的插值可以是最邻近插值、线性插值、双线性插值或其他插值算法。此外，所采用的插值使用的采样点，可以从单个方向或不同的方向获得。

如图21所示，对从第二圆形投影面R_SP和矩形投影面SEG_EQ所获得的采样点(即像素)P1和P2执行水平插值。举例而言，采样点P1是第二圆形投影面R_SP的边界像素，而采样点P2则是矩形投影面SEG_EQ的边界像素。因此，重叠区域R23中的插值采样点(即重叠像素)P根据采样点P1和P2的采样值、采样点P1和插值采样点P之间的距离d1、以及采样点P2和插值采样点P之间的距离d2决定。根据此例，插值采样点P(亦即重叠区域R23中的重叠像素之一)的样本值，可以通过使用上面的公式(1)来计算。

图21所示出的插值仅用于说明的目的，并不意味着对本发明的限制。在本发明的一些实施例中，插值区域可以在不同的位置开始/结束。因此，插值使用的采样点可以为投影面R_SP/SEG_EQ的边界像素、填充区域PR_2/PR_3的边界像素或者填充区域PR_2/PR_3中的任意点。图22为根据本发明实施例的用于计算重叠区域R23中插值采样点(即重叠像素)的像素值的插值计算中所涉及的采样点的不同选择的示意图。如图22的子图(A)所示，在一个采样点为第二填充区域PR_2内且位于第三填充区域PR_3的边界上的像素以及另一个采样点为矩形投影面SEG_EQ的边界像素时执行每个水平插值。如图22的子图(B)所示，在一个采样点为第二填充区域PR_2内且位于第一填充区域PR_3的边界上的像素一另一个采样点为第一填充区域PR_3内且位于第二填充区域PR_2的边界上的像素时执行每个水平插值。如图22的子图(C)所示，在一个采样点为第二圆形投影面R_SP的边界像素以及另一个采样点则为矩形投影面SEG_EQ上的边界像素时执行每个水平插值。如图22的子图(D)所示，在一个采样点为位于第二圆形投影面R_SP的边界像素以及另一个采样点为第三填充区域PR_3内且位于第二填充区域PR_2的边界上的像素时执行每个水平插值。

在前述提到的SSP布局中，每一个第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ具有填充区域。在一个替代的SSP布局设计中，仅第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ中的一者具有填充区域。在另一个替代的SSP布局设计中，第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ中仅有两者具有填充区域。此外，基于实际的设计考虑，填充尺寸S_PD不限定于等于或大于保护带尺寸S_GB。此外，靠近基于投影的帧IMG的边界的填充可能为不必要的。因此，圆形投影面可能会被相关的填充区域完全包围、或者可以被相关的填充区域部分地包围。基于上述观察结果，在图23中示出了多个具有填充的SSP布局的示例。

如图3所示，球体200的表面被划分为以北极302为中心的北极区306、以南极304为中心的南极区310以及北极区306与南极区310之间的单个非极区环形区段(如赤道区段)308。可替代地，球体200的表面可被划分成两个极区和多个非极区环形区段。

图24为根据本发明实施例的第二分段球体投影(SSP)格式的示意图。球体200的表面被划分为以北极302为中心的北极区306、以南极304为中心的南极区310以及在北极区306和南极区310之间的多个非极区环形区段(如赤道区段)2408。球体200的赤道纬度为0度。如图24所示，北极区306的最低纬度为+αi，而南极区310的最高纬度为-βj。关于北半球，一个非极区环形区段2408由纬度0度和+α0所定义，另一个非极区环形区段2408则由纬度+α0和+α1所定义…以此类推。关于南半球，一个非极区环形区段2408由纬度0°和-β0所定义，另一个非极区环形区段2408由纬度-β0和-β1所定义…以此类推。根据所提出的SSP格式，将球体200的北极区306投影/映射到第一圆形投影面R_NP，南极区310投影/映射到第二圆形投影面R_SP，而非极区环形区段2408则分别投影/映射到多个矩形投影面SEG_EQ(αi、...、SEG_EQ(0°)、...SEG_EQ(-βj)上。

在一个示范性设计中，经由等角投影将北极区域306平面化至第一圆形投影面R_NP，经由等角投影将南极区域310平面化至第二圆形投影面R_SP，并经由等面积投影将非极区环形区段2408映射到矩形投影面SEG_EQ(αi、...、SEG_EQ(0°)、...SEG_EQ(-βj)上。然而，这些仅是说明的目的，并不意味着对本发明的限制。在本发明的一些实施例中，第一圆形投影面R_NP和第二圆形投影面R_SP中的一者或两者，可以为等角投影格式或等面积投影格式，而每个矩形投影面SEG_EQ(αi、...、SEG_EQ(0°)、...SEG_EQ(-βj)则可以为等距柱状投影格式或等面积投影格式。此外，非均匀映射可能涉及应用于球200的全方位图像/视频内容S_IN'的分段球体投影。

在通过转换电路114获得第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ(αi、...、SEG_EQ(0°)、...SEG_EQ(-βj)后，转换电路114会采用所选的SSP布局L_SSP来封包第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影SEG_EQ(αi、...、SEG_EQ(0°)、...SEG_EQ(-βj)。

SSP布局L_SSP可以为两个圆(即第一圆形投影面R_NP和第二圆形投影面R_SP)和多个矩形(即矩形投影面SEG_EQ(αi、...、SEG_EQ(0°)、...SEG_EQ(-βj))的任何排列。前述的填充和/或保护带可应用于第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ(αi、...、SEG_EQ(0°)、...SEG_EQ(-βj)中的至少一个。此外，靠近基于投影的帧IMG的边界的填充可能是不必要的。由于相关领域的技术人员在阅读上述段落后，可以容易地理解填充和保护带的细节，因此为了简洁起见，在此省略了进一步的描述。

图25为多个根据本发明实施例的具有填充的SSP布局的多个示例的示意图，其中两个圆形堆叠于基于投影的帧中间上方。中间的矩形投影面为SEG_EQ(0°)，而第一圆形投影面R_NP、第二圆形投影面R_SP和矩形投影面SEG_EQ(0°)的中心，在基于投影的帧IMG的高度方向上为垂直排列。

图26为多个根据本发明实施例的具有填充的SSP布局的多个示例的示意图，其中两个圆形分别放置于基于投影的帧中间上方。中间的矩形投影面为SEG_EQ(0°)，第一圆形投影面R_NP和第二圆形投影面R_SP放置于矩形投影面SEG_EQ(0°)的同一侧上，且第一圆形投影面R_NP和第二圆形投影面R_SP在基于投影的帧IMG的宽度方向上则为水平排列。

图27为多个根据本发明实施例的具有填充的SSP布局的多个示例的示意图，其中两个圆形分别放置于基于投影的帧中间上方的左右两侧。中间的矩形投影面为SEG_EQ(0°)，第一圆形投影面R_NP和第二圆形投影面R_SP被放置在矩形投影面SEG_EQ(0°)的相对侧上，且第一圆形投影面R_NP和第二圆形投影面R_SP在基于投影的帧IMG的宽度方向上则为水平排列。

要被编码的基于投影的帧IMG须为矩形。如果SSP布局L_SSP是由为了创建基于投影的帧IMG的图25至图27所示的示范性SSP布局之一设置，则基于投影的帧IMG须具有填充于基于投影的帧IMG中的虚拟区域(如黑色区、灰色区或白色区)。举例而言，图25至图27中由圆点区域表示的每个虚拟区域，皆由不被显示的非有效像素组成。

本领域普通技术人员将可轻易观察到在保留本发明的教导的同时，仍可对于此装置及方法进行各种修改及变更。据此，上述揭露的内容应被解释为仅受所附权利要求的界限的限制。

Claims (18)

1.一种视频处理方法，其特征在于，包括：

生成至少一个填充区域；

接收对应于球体的全方位内容；

根据至少所述全方位内容和分段球体投影格式生成基于投影的帧，其中所述基于投影的帧具有由封包于分段球体投影布局的第一圆形投影面、第二圆形投影面和至少一个矩形投影面所表示的360度内容；所述球体的北极区被映射至所述第一圆形投影面上，所述球体的南极区被映射至所述第二圆形投影面上，所述球体的所述北极区和所述南极区之间的至少一个非极区环形区段被映射到所述至少一个矩形投影面上；以及

由视频编码器对于所述基于投影的帧进行编码来生成比特流的一部分；

其中所述分段球体投影布局进一步包括所述至少一个填充区域，所述至少一个填充区域包括第一填充区域，所述第一填充区域与第一投影面的边界相连接，其中所述第一投影面是所述第一圆形投影面、所述第二圆形投影面和所述至少一个矩形投影面中的一个；以及

其中生成所述至少一个填充区域包含：从包含于所述第一投影面中像素的像素值的复制推导包含于所述第一填充区域中像素的像素值。

2.如权利要求1所述的视频处理方法，其特征在于，其中所述北极区的最低纬度为+45°，以及所述南极区的最高纬度为-45°。

3.如权利要求1所述的视频处理方法，其特征在于，其中所述球体的所述北极区经由等角投影映射到所述第一圆形投影面上，所述球体的所述南极区经由等角投影映射到所述第二圆形投影面上，以及所述球体的至少一个所述非极区环形区段经由等面积投影被映射到所述至少一个矩形投影面上。

4.如权利要求1所述的视频处理方法，其特征在于，并进一步包括：

对所述球体的所述全方位内容应用内容旋转；

其中在所述球体的所述全方位内容由所述内容旋转进行旋转之后执行根据所述全方位内容及所述分段球体投影格式来生成所述基于投影的帧。

5.如权利要求1所述的视频处理方法，其特征在于，其中当所述第一圆形投影面和所述第二圆形投影面被封包于所述分段球体投影布局时，在所述第一圆形投影面和所述第二圆形投影面之间会直接留有空间，以致所述第一圆形投影面不与所述第二圆形投影面相连接。

6.如权利要求1所述的视频处理方法，其特征在于，其中当所述至少一个矩形投影面以及所述第一圆形投影面和所述第二圆形投影面中的一个被封包于所述分段球体投影布局时，在所述至少一个矩形投影面与所述第一圆形投影面和所述第二圆形投影面中的一个之间会直接留有空间，以致所述至少一个矩形投影面不与所述第一圆形投影面和所述第二圆形投影面中的一个相连接。

7.如权利要求1所述的视频处理方法，其特征在于，其中所述第一投影面是所述至少一个矩形投影面中的一个，所述第一填充区域不与所述第一投影面的另一侧连接，所述第一投影面的一侧与所述第一投影面的另一侧为所述第一投影面的对侧，所述第一投影面包括部分区域，所述部分区域包括在所述第一投影面的所述另一侧处的边界像素，所述第一填充区域通过复制所述部分区域来生成，以及在封包于所述分段球体投影布局中的所述第一填充区域和所述第一投影面之间存在图像内容连续性边界。

8.如权利要求1所述的视频处理方法，其特征在于，其中所述至少一个填充区域进一步包括第二填充区域，所述第二填充区域与第二投影面的一个边界连接，所述第二投影面是所述第一圆形投影面、所述第二圆形投影面和所述至少一个矩形投影面中的另一个，且所述第一填充区域和所述第二填充区域没有重叠的被封包于所述分段球体投影布局中。

9.如权利要求1所述的视频处理方法，其特征在于，其中所述至少一个填充区域进一步包括第二填充区域，所述第二填充区域与第二投影面的边界连接，所述第二投影面是所述第一圆形投影面、所述第二圆形投影面和所述至少一个矩形投影面中的另一个，且所述第一填充区域和所述第二填充区域重叠地被封包于所述分段球体投影布局中。

10.如权利要求9所述的视频处理方法，其特征在于，其中通过包含于从所述第一填充区域以及所述第二填充区域选择的填充区域中填充像素的像素值直接设置包含于从所述第一填充区域以及所述第二填充区域的封包所生成的重叠区域中像素的像素值。

11.如权利要求10所述的视频处理方法，其特征在于，其中当包含于所述重叠区域中像素比所述第二填充区域中非重叠区域更接近于所述第一填充区域的非重叠区域，通过包含于所述第一填充区域的同位填充像素的像素值直接设置包含于所述填充区域的所述像素的所述像素值；以及当包含于所述填充区域的所述像素比所述第一填充区域的所述非重叠区域更接近于所述第二填充区域的所述非重叠区域，通过包含于所述第二填充区域的同位填充像素的像素值直接设置包含于所述填充区域的所述像素的所述像素值。

12.如权利要求10所述的视频处理方法，其特征在于，其中通过包含于相同填充区域的同位填充像素的像素值设置包含于所述重叠区域的所有像素的像素值。

13.如权利要求9所述的视频处理方法，其特征在于，其中通过混合不同像素的像素值设置包含于从所述第一填充区域以及所述第二填充区域的封包所生成的重叠区域的像素的像素值。

14.如权利要求13所述的视频处理方法，其特征在于，其中所述不同像素包括所述第一投影面和所述第二投影面中的一个的像素。

15.如权利要求13所述的视频处理方法，其特征在于，其中所述不同像素包括所述第一填充区域和所述第二填充区域中的一个的像素。

16.如权利要求1所述的视频处理方法，其特征在于，其中所述至少一个矩形投影面包括第一矩形投影面；以及所述第一圆形投影面和所述第二圆形投影面都位于所述第一矩形投影面的同一侧。

17.如权利要求1所述的视频处理方法，其特征在于，其中所述至少一个矩形投影面包括第一矩形投影面；以及所述第一圆形投影面和所述第二圆形投影面分别位于所述第一矩形投影面的对侧。

18.一种视频处理装置，其特征在于，包括：

转换电路，用于接收与球体相对应的全方位内容，并根据所述全方位内容和分段球体投影格式生成基于投影的帧，其中所述基于投影的帧具有360度内容，所述360度内容由封包于所述分段球体投影布局的第一圆形投影面、第二圆形投影面和至少一个矩形投影面来表示，所述球体的北极区被映射至所述第一圆形投影面上，所述球体的南极区被映射至所述第二圆形投影面上，以及所述球体的所述北极区和所述南极区之间的至少一非极区环形区段被映射到所述至少一个矩形投影面上；以及该转换电路包括：

填充电路，用于生成至少一个填充区域；以及

视频编码器，用于对所述基于投影的帧进行编码来产生比特流的一部分；

其中所述分段球体投影布局进一步包括所述至少一个填充区域，所述至少一个填充区域包括第一填充区域，所述第一填充区域与第一投影面的边界相连接，其中所述第一投影面是所述第一圆形投影面、所述第二圆形投影面和所述至少一个矩形投影面中的一个；以及

其中生成所述至少一个填充区域包含：从包含于所述第一投影面中像素的像素值的复制推导包含于所述第一填充区域中像素的像素值。

Images