CN109417632B

CN109417632B - 使用几何图形投影的360度视频编码

Info

Publication number: CN109417632B
Application number: CN201780042512.6A
Authority: CN
Inventors: 贺玉文; 叶艳; 菲利普·汉哈特; 修晓宇
Original assignee: Vid Scale Inc
Current assignee: Vid Scale Inc
Priority date: 2016-07-08
Filing date: 2017-07-07
Publication date: 2023-08-04
Anticipated expiration: 2037-07-07
Also published as: JP6983862B2; US20210136413A1; WO2018009746A1; TW201812708A; US20190215532A1; JP2019525563A; KR20230051319A; US11388438B2; KR102521272B1; JP2023105219A; TWI775760B; JP2022000954A; EP3482563A1; KR20190035678A; KR20220047402A; CN109417632A; US10887621B2; JP7295178B2; US20220368947A1; CN117135357A

Abstract

处理视频数据可以包括用多个摄像机来获取视频数据，并且通过将这些视频数据拼接在一起来获取360度视频。帧封装画面可以基于所获取和拼接的视频数据来提供。在帧封装画面中可以识别出当前采样位置。相邻采样位置可被确定是否处于帧封装画面的内容边界之外。如果相邻采样位置处于内容边界以外，则可以基于投影几何图形和360度视频内容的至少一个环形特性来推导填充采样位置。所述360度视频内容可以基于填充采样位置而被处理。

Description

使用几何图形投影的360度视频编码

相关申请的交叉引用

本申请要求享有以下申请的权益：2016年7月8日提交的美国临时申请62/360,112，2016年10月4日提交的美国临时申请62/404,017，2017年2月24日提交的美国临时申请62/463,242以及2017年5月3日提交的美国临时申请62/500,605，其中所述申请的内容在这里引入以作为参考，并且本申请要求享有这些优先权申请的提交日期的权益。

背景技术

虚拟现实(VR)正被应用在众多的应用领域中，其中包括但不局限于医疗保健、教育、社交网络、工业设计/培训、游戏、电影、购物和/或娱乐等等。作为示例，VR可以通过创建围绕观看者的虚拟环境以及为观看者产生“身临其境”的真实感觉来增强观看者的体验。VR系统可以通过姿态、手势、眼睛注视、语音等等来支持交互。该系统可以向用户提供触觉反馈，以使用户可以用自然的方式来与VR环境中的对象交互。

发明内容

处理视频数据可以包括用多个摄像机来获取视频数据，以及通过将视频数据拼接在一起来获取360度视频。这里使用的360度视频可以包括球形视频、全向视频、虚拟现实(VR)视频、全景视频、沉浸式视频(例如可以包含6个自由度的光场视频)和/或点云视频等等。在360度视频的编码和/或解码过程中可以应用几何图形填充。

360度视频内容是可以被编码的。帧画面可以基于使用一个或多个摄像机所获取的视频数据以及通过拼接所获取的视频数据来提供。在帧封装(frame-packed)画面中可以标识当前采样位置。所述帧封装画面可以包括与第一投影几何图形相关联的一个或多个表面。该当前采样位置可以与第一投影几何图形相关联。举例来说，第一投影几何图形可以包括等矩形投影、等面积投影、立方体贴图投影、八面体投影或是柱面投影等等中的至少一个。这里描述的用于编码360度视频内容的投影几何图形是作为例示方式使用的，并且本领域技术人员将会了解，其他投影格式也是可以交换使用的。

相邻采样位置(location)可被确定是否位于帧封装画面的内容边界以外。该内容边界可以包括帧封装画面边界和/或表面边界等等。如果相邻采样位置位于帧封装画面的内容边界之外，那么可以基于第一投影几何图形以及360度视频内容的一个或多个环形特性来推导填充采样位置。相邻采样位置的3D方位(position)可被计算。所述相邻采样位置可以以与包含当前采样位置的表面相关联的方式来计算。包含填充采样位置的第二表面可以基于相邻采样位置的3D方位来确定。所述第二表面可以不同于包含当前采样位置的第一表面。几何图形投影可以结合相邻采样位置的3D方位来应用，以便推导出第二表面中的2D平面方位。第二表面中的相邻采样位置的2D平面方位可以以相邻采样位置的3D方位的几何图形投影为基础并作为填充采样位置来推导。

如果相邻采样位置位于帧封装画面的内容边界以内，那么可以跳过推导填充采样位置的处理。所述360度视频内容可以用相邻采样位置(例如位于内容边界以内)来处理。

中间投影可以用于推导填充采样位置。举例来说，第一投影几何图形中的坐标可被转换成与第二投影几何图形相关联的中间坐标。第一投影几何图形可以处于单立方体投影(unicube projection)中，并且第二投影几何图形可以在立方体贴图投影中。可以在中间坐标中计算相邻采样位置的3D方位，并且可以在中间坐标中识别第二表面中的相邻采样位置的2D平面方位。所识别的与第二投影几何图形相关联的相邻采样位置的2D平面方位可以被反向转换成与第一投影几何图形相关联的坐标。

所述360度视频内容可以基于所推导的填充采样位置来处理。举例来说，填充采样值可以是在填充采样位置推导的。处于填充采样位置的填充采样值可以用插值过滤器来推导。作为示例，所使用的可以是双线性、双三次、兰索斯(Lanczos)、样条插值过滤器、和/或基于离散余弦变换的插值过滤器等等。举例来说，通过执行帧间预测、帧内预测、去块处理、环路滤波、采样自适应偏移和/或自适应环路滤波等等，可以推导出填充采样值。如果当前采样位置位于内容边界之上，那么可以应用基于填充采样位置的去块过滤器。

根据360度视频内容的环形特征，如果当前采样位置位于帧封装画面的最右侧内容边界附近，并且所确定的相邻采样位置位于帧封装画面之外且超出右侧内容边界，那么填充采样位置可以位于与帧封装画面的最右侧内容边界环形连接的帧封装画面的最左侧内容边界附近。如果当前采样位置位于帧封装画面的最左边内容边界附近并且所确定的相邻采样位置位于帧封装画面之外且超出左侧内容边界，那么填充采样位置可以位于与帧封装画面的最左侧内容边界环形连接的帧封装画面的最右侧内容边界附近。如果当前采样位置位于帧封装画面的最顶层内容边界的第一区域附近，并且所确定的相邻采样位置位于帧封装画面之外且超出最顶部内容边界的第一区域，那么填充采样位置可以最顶部内容边界的第二区域附近，所述第二区域则位于最顶部内容边界的第一区域的环形对端。如果当前采样位置位于帧封装画面的最底部内容边界的第一区域附近，并且所确定的相邻采样位置位于帧封装画面之外并且超出了最底部内容边界的第一区域，那么填充采样位置可以位于最底部内容边界的第二区域的附近，所述第二区域位于最底部内容边界的第一区域的环形对端。

为了编码360度视频内容，可以基于所推导或映射的参考块来预测当前块。与当前块相关联的初始参考块可被确定是否处于帧封装画面的内容边界之外。如果初始参考块处于内容边界之外，那么可以基于第一投影几何图形以及360度视频内容的一个或多个环形特性来推导所映射的参考块。与初始参考块相关联的位置的3D方位可被识别。与初始参考块相关联的位置可以以与包含当前块的表面相关联的方式来计算。包含所映射的参考块的第二表面可以基于与初始参考块相关联的位置的3D方位来识别。第一表面可以不同于第二表面。几何图形投影可以基于与初始参考块相关联的位置的3D方位来应用。基于几何投影，可以为所映射的参考块推导出第二表面中的初始参考块的2D平面方位。

如果初始参考块处于内容边界以内，那么可以跳过推导所映射的参考块的处理。当前块可以是基于初始参考块(例如位于内容边界内部)预测的。

所映射的参考块可以使用中间投影来推导。举例来说，第一投影几何图形中的坐标可被转换成与第二投影几何图形相关联的中间坐标。第一投影几何图形可以采用单立方体投影，并且第二投影几何图形可以采用立方体贴图投影。与初始参考块位置相关联的位置的3D方位可以在中间坐标中被计算。在中间坐标中可以识别出用于推导所映射的参考块的第二表面中的初始参考块的2D平面方位。所识别的与第二投影几何图形相关联的初始参考块的2D平面方位可被反向转换成与第一投影几何图形相关联的坐标。

如果当前块位于帧封装画面的最右侧内容边界附近，并且所确定的初始参考块位于帧封装画面之外且超出右侧内容边界，那么所映射的参考块可以位于与帧封装画面的最右侧内容边界环形连接的帧封装画面的最左侧内容边界附近。如果当前块位于帧封装画面的最左边内容边界附近，并且所确定的初始参考块位于帧封装画面之外且超出左侧内容边界，那么所映射的参考块可以位于与帧封装画面的最左侧内容边界环形连接的帧封装画面的最右侧内容边界附近。如果当前块位于帧封装画面的最顶层内容边界的第一区域附近，并且所确定的初始参考块位于帧封装画面之外且超出最顶部内容边界的第一区域，那么所映射的参考块可以最顶部内容边界的第二区域附近，所述第二区域位于最顶部内容边界的第一区域的环形对端。如果当前块位于帧封装画面的最底部内容边界的第一区域附近，并且所确定的初始参考块位于帧封装画面之外并且超出了最底部内容边界的第一区域，那么所映射的参考块可以位于最底部内容边界的第二区域的附近，所述第二区域位于最底部内容边界的第一区域的环形对端。

与所映射的参考块相关联的采样值可以用内插过滤器来推导。举例来说，所使用的可以是双线性、双三次、Lanczos、样条插值过滤器、和/或基于离散余弦变换的插值过滤器等等。

通过推导与所映射的参考块相关联的一个或多个属性，可以对当前块进行预测。作为示例，所述一个或多个属性可以包括所映射的块位置的帧内模式、帧间模式、合并模式和/或运动信息等等。当前块可以是基于一个或多个属性而被预测的。通过推导所映射的参考块中的采样值，可以处理360度视频内容。举例来说，通过使用帧间预测、帧内预测、去块处理、环路滤波、采样自适应偏移和/或自适应环路滤波等等，可以在所映射的参考块中推导出多个采样值，以便执行视频处理。

所映射的参考块可以通过展开与第一投影几何图形相关联的3D几何图形来推导。如果初始参考块不在与内容边界相对的斜对方位(diagonal positioin)，那么可以通过复制相对于内容边界以垂直或斜对的方式定位的最近的可用块来预测当前块。

通过基于表面大小来确定表面的有效填充区域，可以对当前块进行预测。初始参考块可被确定是否处于有效填充区域之中。如果初始参考块处于有效填充区域之外，那么可以以位于有效填充区域之中的最接近的可用块为基础来预测当前块。如果初始参考块位于有效填充区域内部，那么可以基于所映射的参考块来预测当前块。

初始参考块可以部分位于有效填充区域外部。举例来说，初始参考块可以包括处于有效填充区域内部的第一子块以及处于有效填充区域之外的第二子块。处于有效填充区域之外的第二子块的采样可以使用其位于有效填充区域中的相应的相邻采样值来填充。当前块可以基于第一子块中的采样以及第二子块中的填充采样来预测。

有效填充区域的范围至少可以基于与第一投影几何图形相关联的表面的方位和/或大小来确定。初始参考块可被确定是否至少部分位于有效填充区域的外部。如果初始参考块至少部分位于有效填充区域之外，那么可以从预测当前块的处理中排除掉所述初始参考块。

附图说明

关于这里公开的实施例的更详细的理解可以从结合附图举例给出的后续描述中得到。

图1(a)示出了处于等矩形投影(ERP)中的经度方向和纬度方向上的例示球面采样。

图1(b)示出了ERP中的例示2D平面。

图1(c)示出了使用ERP生成的例示画面。

图2(a)示出了立方体贴图投影(CMP)中的例示3D几何图形结构。

图2(b)示出了具有4×3帧封装以及六个表面的例示的2D平面。

图2(c)示出了使用立方体贴图投影产生的例示画面。

图3(a)示出了等面积预测(EAP)中的例示球面采样。

图3(b)示出了EAP中的例示的2D平面。

图3(c)示出了使用EAP生成的例示画面。

图4(a)示出了八面体投影中的例示的3D几何结构。

图4(b)示出了八面体投影中的例示的2D平面帧封装。

图4(c)示出了使用八面体投影产生的例示画面。

图5示出了例示的360度视频处理。

图6示出了例示的基于块的编码器的框图。

图7示出了例示的基于块的解码器的框图。

图8示出了在HEVC帧内预测中使用参考采样的处理的示例。

图9示出了HEVC中的帧内预测方向的例示指示。

图10示出可具有一个运动矢量的例示帧间预测

图11示出了用于HEVC/H.264中的处于图像边界之外的参考采样的填充处理。

图12示出了如何可以在HEVC合并处理中使用空间邻居来推导空间合并候选。

图13示出了用于使用立方体贴图投影的表面画面的不连续性和几何图形填充处理。

图14(a)示出了用于立方体贴图的填充处理的例示3D表示。

图14(b)示出了在用于立体方贴图的填充处理的前表面周围具有未折叠的表面的例示平面表示。

图15(a)示出了使用最近邻居技术的拐角区域中的例示的缺失采样插值处理。

图15(b)示出了使用斜对表面边界技术的拐角区域中的例示缺失采样插值处理。

图16示出了立方体贴图4×3帧封装画面的例示的运动补偿预测。

图17(a)是用于指示球面上的连续性的用于通过等矩形投影处理所投影的画面的例示填充处理的例图。

图17(b)是用于通过等矩形投影所投影的画面的例示填充处理的另一个例图。

图18示出了如何使用查找表来推导正弦函数。

图19(a)示出用于运动估计的填充表面缓冲器。

图19(b)示出了填充表面缓冲器中的运动估计。

图20(a)示出了当源画面大小不是最小编码单位(CU)大小的倍数的时候的水平方向上的填充处理。

图20(b)示出了当源画面大小不是最小CU大小的倍数的时候的垂直方向上的填充处理。

图20(c)示出了当源画面大小不是最小CU大小的倍数的时候的水平方向和垂直方向上的填充处理。

图21示出在对当前块执行去块处理时使用的相邻块。

图22示出了可以通过边缘偏移采样自适应偏移(SAO)过滤的像素。

图23(a)显示了正被执行的例示解码画面缓冲器(DPB)管理的例图。

图23(b)显示了正被执行的例示DPB管理的另一个例图。

图24(a)显示了用于立方体贴图的立方体表面的均匀采样处理的例图。

图24(b)显示了用于立方体贴图的非均匀球面采样处理的例图。

图24(c)显示了用于单一立方体的立方体表面的非均匀采样处理的例图。

图24(d)显示了用于单一立方体的均匀球面采样的例图。

图25(a)示出了从立方体表面的非均匀划分网格到单一立方体表面的均匀划分网格的例示映射。

图25(b)示出了从单一立方体表面的均匀划分网格到立方体表面的非均匀划分网格的例示映射。

图26(a)示出了立方体表面上的例示的非均匀分区。

图26(b)示出了球面上的例示的均匀分区。

图26(c)示出了立方体表面β的坐标与单一立方体表面β'的坐标之间的例示映射。

图27显示了用于一个单一立方体表面的填充采样的有效区域的例图。

图28显示了针对单一立方体格式的填充采样的有效区域剪切MV的例图。

图29示出了用于单一立方体投影的混合填充的例图。

图30示出了用于单一立方体投影的混合填充处理的示例图片。

图31示出了关于立方体贴图、单一立方体、ACP和EAC的映射函数的例示比较。

图32显示了将用于六个表面的查找用于单一立方体的几何图形填充处理的例图。

图33A是可以实施所公开的一个或多个实施例的例示通信系统的图示。

图33B是可以在图33A所示的通信系统内部使用的例示无线发射/接收单元(WTRU)的系统图示。

图33C是可以在图33A所示的通信系统内部使用的例示无线电接入网络和例示核心网络的系统图示。

图33D是可以在图33A所示的通信系统内部使用的另一个例示无线电接入网络和另一个例示核心网络的系统图示。

图33E是可以在图33A所示的通信系统内部使用的另一个例示无线电接入网络和另一个例示核心网络的系统图示。

具体实施方式

现在将参考不同附图来对说明性实施例的具体实施方式进行描述。虽然该描述提供了关于可能的实施方式的详细示例，然而应该指出的是，这些细节应该是例示性的，并且不会对本申请的范围构成限制。

VR系统可以使用一个或多个360度视频。360度视频可以从水平方向上的360度角以及垂直方向上的180度角查看。VR系统和360度视频可用于超越了超高清(UHD)服务的媒体消费。免费观看电视(FTV)可以对解决方案的性能进行测试。例如，FTV可以测试基于360度视频(作为示例，或者是全方位视频)的系统和/或基于多视图的系统的性能。

VR系统可以包括处理链。该处理链可以包括获取、处理、显示和/或应用。对于获取来说，VR系统可以使用一个或多个摄像机来获取源自不同发散视图(例如6到12个视图)的场景。这些视图可以拼接在一起，并且可以形成360度视频(例如以4K或8K的高分辨率)。VR系统的客户端和/或用户侧可以包括计算平台、头戴式显示器(HMD)和/或头部跟踪传感器。计算平台可以接收、解码(例如360度视频)和/或生成用于显示的视窗。对于所述视窗，所再现的画面可以是两个(作为示例，每一个画面对应一只眼睛)。在这两个画面可被显示在HMD中，以便进行立体观察。在HMD中显示的图形可以用镜头来放大。举例来说，在HMD中显示的图像可以用镜头来放大，以便更好的观看。头部跟踪传感器可以跟踪(例如持续跟踪)观看者的头部朝向。该朝向信息可被馈送到VR系统，以便显示关于该朝向的视窗画面。VR系统可以提供专门的触摸设备。例如，专门的触摸设备可以允许观看者与虚拟世界中的对象进行交互。VR系统可以由具有图形处理单元(GPU)支持的工作站来驱动。VR系统可以使用移动设备(例如智能电话)作为计算平台，作为HMD显示器和/或头部跟踪传感器。作为示例，空间HMD分辨率可以是2160×1200。并且作为示例，刷新率可以是90Hz。作为示例，视场(FOV)可以是大约110度。作为示例，头部跟踪传感器的采样率可以是1000Hz，以便捕获快速移动。VR系统可以包括镜头和纸板，并且可以由智能手机驱动。VR系统可用于游戏。所提供的360度视频流服务可以是一个或多个。

VR系统能够提供交互性和/或触觉反馈。较大的HMD可能不方便个人穿戴。用于立体视图(例如由某些HMD提供的)的分辨率为2160×1200有可能无法满足需要，并且有可能导致一些用户头晕和不适。分辨率提升可以是所期望的。VR体验可以通过将VR系统的视觉效果与现实世界的力反馈相结合来增强。VR过山车应用是将VR系统的视觉效果与现实世界的力反馈相结合的一个示例。

作为示例，360度视频可以用基于HTTP动态自适应流(DASH)的视频流技术来压缩和/或递送。360度视频内容可以用球面几何图形结构来表示。举例来说，同步的多个视图可以由多个摄像机来获取，并且可以拼接在球面上。所述同步的多个视图可以作为一个整体结构拼接在球体上。该球面信息可以借助几何图形转换过程而被投影到2D平面表面上。作为示例，该球面信息可可以借助几何图形转换处理并通过使用等矩阵投影(ERP)而被投影到2D平面表面上。图1(a)显示了采用经度和纬度(θ)的例示的球面采样。图1(b)显示了通过使用ERP而被投影到2D平面上的例示球面。处于范围[-π,π]的经度/>可被称为偏航(yaw)，处于范围[-π/2,π/2]的纬度θ在航空学中可被称为俯仰(pitch)。π可以是圆的圆周与其直径的比率。(x,y,z)可以代表3D空间中的点的坐标。(ue,ve)可以代表ERP之后的2D平面中的点的坐标。作为示例，如等式(1)和/或(2)所述，ERP可以用数学方式来表示。

ue＝(φ/(2*π)+0.5)*W (1)

ve＝(0.5-θ/π)*H (2)

W和H可以是2D平面画面的宽度和高度。如图1(a)所示，通过使用等式(1)和/或(2)，作为球面上的经度L4与纬度A1之间的交叉点的点P可被映射到图1(b)中的2D平面中的唯一的点q。图1(b)所示的2D平面中的点q可被反向投影到图1(a)所示的球面上的点P(例如借助逆向投影)。图1(b)中的视场(FOV)显示了这样一个示例，其中球面中的FOV被映射到2D平面，并且X轴上的查看角度大约是110度。

一个或多个360度视频可被映射到2D视频。举例来说，360度视频可以用ERP映射到2D视频。所述360度视频可以用编解码器(例如H.264或高效率视频编码(HEVC))编码，并且可以被递送到客户端。在客户端，所述视频可被解码(例如以等矩阵格式)，并且可以基于用户视窗而被再现(例如通过将属于等矩阵画面中的FOV的部分投影和显示在HMD上)。等矩阵2D画面的特征可以不同于2D画面(例如直线运行视频画面)。图1(c)显示了例示的等矩阵画面。该画面的顶部可以对应于北极，底部可以对应于南极。如图1(c)所示，所述顶部和/或底部是可以拉伸的。举例来说，与对应于赤道的画面的中间部分相比，所述顶部和/或底部可被拉伸。顶部和/或底部的拉伸可以表明2D空间域中的等矩阵采样有可能是不均匀的。2D等矩阵画面中的运动场有可能会很复杂。举例来说，在时间方向上，2D等矩阵画面中的运动场有可能会很复杂。

对于某些使用了平移模型来描述运动场的视频编解码器(例如MPEG-2、H.264和/或HEVC)来说，其有可能无法表示等矩阵投影的2D平面画面中的形状变化的运动。对于ERP来说，观看者和/或内容供应者对于靠近极点的区域的兴趣相对较低。例如，与靠近赤道的区域相比，观看者和/或内容供应者对于靠近极点的区域的兴趣相对较低，并且观看者不会长时间关注顶部和底部。在ERP之后，顶部和底部可被拉伸(例如由于翘曲效应)，由此成为2D平面中的很大一部分。用于拉伸部分的视频压缩可能会耗费大量比特。某些处理技术可以应用于等矩形画面编码。举例来说，诸如平滑化之类的预处理可被应用于极点区域，以便减少用于编码这些区域的比特成本。

360度视频可以用一个或多个不同的几何图形投影来表示，这其中包括但不局限于立方体贴图、等面积、柱体、金字塔形、和/或八面体等等。立方体贴图可以使用六个表面。立方体贴图中的一个表面可能是一个平面正方形。图2(a)显示了例示的立方体贴图投影(CMP)。该立方体贴图可以包括六个表面。举例来说，该立方体贴图可以包括六个方形表面。假设所显示的切球面的半径是1，那么该立方体贴图表面(例如方形表面)的横向长度可以是2。图。图2(b)显示了用于将六个表面置于可用于编码和递送的矩形区域中的例示封装处理。图2(c)显示了使用CMP产生的例示画面。没有画面的灰色部分201和203可以代表用于填充矩形画面的一个或多个填充区域。对于CMP中的表面来说，该画面看上去与2D画面相同。画面边界有可能是不连续的。举例来说，穿过两个相邻表面的直线可以在这两个表面的边界上弯曲。表面边界上的运动有可能是不连续的。

图3(a)示出了等面积投影(EAP)的例示的几何图形结构。等面积投影的球面上的垂直采样不会基于俯仰的均匀间隔。被采样的纬度(例如每一个被采样的纬度)在Y轴上的投影可以是均匀分布的，以使球面上的采样可以占用相同的面积。对于靠近极点区域的区域来说，垂直方向上的采样有可能会变得稀疏。如图3(a)所示，在赤道周围可以使用更多的采样。与靠近极点的区域相比，用户有可能会更频繁地查看靠近赤道的区域。图3(b)显示了EAP中的例示的2D平面。图3(c)显示了具有EAP的例示画面。如图3(c)所示，在赤道附近的区域(例如301)可以按比例放大，而围绕极点的区域则会被挤压(例如303)。

图4(a)显示了八面体投影的例示几何图形结构。八面体可以包括八个等边三角形表面。如果切球面半径是1，那么每一个三角形的边长可以是图4(b)显示了用于八个三角形排列成矩形区域的例示封装处理。图4(c)显示了具有八面体投影的例示画面。在两个相邻三角形(例如401)的共享边界的拐角可以观察到翘曲失真。

不同几何图形投影的编码效率可被比较。举例来说，用于所述比较的可以是基于纬度的峰值信噪比(L-PSNR)。一个或多个(例如两个)因素可被考虑：球面上的均匀采样和/或观看者的观看行为。在这里可以定义均匀分布在球面上的采样的特定数量。采样的加权可以基于其纬度来定义。通过考虑均匀分布的采样，可以用加权均方误差(MSE)来测量失真。加权可以通过跟踪观看者的视角来推导。举例来说，所述加权可以通过使用训练序列追踪观看者的视角来得到。

如果更频繁地观察采样，那么可以为其给予更大的加权。举例来说，与靠近极点的采样相比，由于感兴趣的内容有可能位于赤道周围，因此可以为赤道周围的采样给予较大的加权。通过在球面上使用均匀分布的采样，可以对不同投影的性能进行比较。这些球面采样可以是预先定义的，并且在应用不同投影的时候不会被投影到整数(integer)采样位置。如果应用了基于插值过滤器的重采样，那么有可能会引入附加的插值误差。如果应用了最接近的相邻采样，那么将不会保证均匀的采样。

等矩形格式可以用一个或多个360度摄像机以及拼接处理来支持。在使用立方体贴图几何图形来编码360度视频的过程中，等矩形格式可被转换成立方体贴图格式。在等矩形与立方体贴图之间存在某种关系。在图2(a)中，一个表面可以使用从球面中心到该表面中心的三条轴线中的每一条轴线来指代。如图2(a)所示，P可以代表正值，N可以代表负值。PX可以代表从球面中沿着正x轴的方向，并且NX可以代表PX的反方向。类似的符号也可用于PY、NY、PZ和/或NZ。六个表面(例如PX、NX、PY、NY、PZ和/或NZ)可以分别对应于前、后、顶、底、左和/或右表面。所述表面可以用0到5来编制索引。举例来说，所述表面可以依照如下方式来编制索引：PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)和/或NZ(5)。Ps(X_s,Y_s,Z_s)可以是半径为1的球面上的点。点Ps可以如下用偏航和俯仰θ来表示：

X_s＝cos(θ)cos(φ) (3)

Y_s＝sin(θ) (4)

Z_s＝-cos(θ)sin(φ) (5)

当线条是从球面中心延伸到Ps时，点Pf可以是立方体上的点。Pf可以是表面NZ上的点。Pf,(X_f,Y_f,Z_f)的坐标可以以如下方式来计算：

X_f＝X_s/|Z_s| (6)

Y_f＝Y_s/|Z_s| (7)

Z_f＝-1 (8)

其中|x|可以是变量x的绝对值。表面NZ的2D平面中的Pf(uc,vc)的坐标可以用如下方式来计算：

uc＝W*(1-X_f)/2 (9)

vc＝H*(1-Y_f)/2 (10)

通过使用一个或多个等式(3)到(10)，可以推导出特定表面上的立方体贴图中的坐标(uc，vc)与球面上的坐标(，θ)之间的关系。等矩形点(ue，ve)与球面上的点(/>，θ)之间的关系可以从等式(1)和/或(2)中获知。在等矩形几何图形与立方体贴图几何图形之间是存在某种关系的。

从立方体贴图到等矩形的几何图形映射可以用如下方式来表述。在给出了立方体贴图的一个表面上的点(uc，vc)的情况下，等矩形平面上的输出(ue，ve)可以依照以下的一项或多项来计算。具有(uc，vc)的表面上的3D点P_f的坐标可以依照等式(9)和/或(10)中的关系来计算。具有P_f的球面上3D点P_s的坐标可以依照等式(6)、(7)和/或(8)中的关系来计算。具有P_s的球面上的(，θ)可以依照等式(3)、(4)和/或(5)中的关系来计算。来自(/>，θ)的等矩形画面上的点(ue，ve)的坐标可以依照等式(1)和/或(2)中的关系来计算。

为了使用立方体贴图而在2D画面中表示360度视频，可以将立方体贴图的六个表面封装到一个矩形区域中。这种处理可被称为帧封装。帧封装画面可以作为2D画面来处理(例如编码)。不同的帧封装配置都是可以使用的(例如3×2和/或4×3)。在3x 2配置中，六个立方体贴图表面可被封装到两行中，其中每一行都具有三个表面。在4×3配置中，4个表面(例如PX、NZ、NX和PZ)可被分装到一行中(例如中心行)，而另外两个表面(例如PY和NY)则可以被单独封装到两个不同的行中(例如顶行和底行)。图2(c)显示了与图1(c)中的等矩形画面相对应的4×3帧封装示例。

等矩形格式的360度视频可被转换成立方体贴图格式。举例来说，等矩形格式的360度视频可以使用等矩形格式的360度视频作为输入而被转换成立方体贴图格式。对于立方体格式中的采样位置(uc，vc)来说，等矩形格式的相应坐标(ue，ve)可被计算。如果计算得到的等矩形格式的坐标(ue，ve)不在整数采样位置，那么可以使用插值过滤器。举例来说，通过使用插值过滤器，可以使用来自相邻整数位置的采样来获取处于这个部分位置的采样值。

立方体贴图格式可以是360度视频的表示格式。球面上的采样可以通过立方体贴图格式而被不均匀采样。举例来说，球面上的采样可能通过立方体贴图格式而被不均匀采样，其中靠近表面边界的采样率相对较高，和/或靠近表面中心的采样率相对较低。由于直线运动投影的限制，立方体贴图格式有可能会不均匀地对球面上的采样执行采样。在立方体贴图格式中有可能会存在某些球面采样特性。举例来说，在立方体贴图格式中有可能存在表面边界具有较高采样率和/或表面中心具有较低采样率的球面采样特性。立方体贴图投影可以放大表面边界周围的区域，和/或可以收缩表面中心周围的区域。

运动模型可以包括平移运动模型和/或仿射运动模型等等。立方体贴图投影有可能会减小投影表面中的所产生的运动区域的粒度。

单一立方体贴图投影格式同样是可以提供的。所述立方体贴图的采样网格可以变成球面上的均匀采样网格。在生成实际立方体表面之前，2D平面表面上的采样的坐标可以通过使用映射来进行修改。

图24(a)-(d)示出了立方体贴图与单一立方体之间的平面和球面采样图案的示例。作为示例，图24(a)示出了用于立方体贴图的立方体表面的例示均匀采样。如图24(a)所示，立方体贴图表面的采样网格可以包括两组平行线：即水平方向上的一条线和垂直方向上的另一条线。一组并行划分线可以以均匀的间隔分隔开来。在将立方体贴图表面投影球面体上时，采样网格有可能会失真。举例来说，如图24(b)所示，平面表面上的直线可能会变成曲线。图24(b)示出了用于立方体贴图的例示的非均匀球面采样。球面上的采样网格可能会变得不均匀。举例来说，如图24(b)所示，由于直线运动投影有可能不是保留距离的投影，因此，球面上的采样网格有可能会不均匀。为了保持与立方体贴图相似的采样结构，单一立方体格式中的表面可以基于一个或多个(例如两个)平行线集合来采样。集合中的平行线可以是非均匀分布的，由此，球面上的相应采样网格有可能是均匀的。图24(c)示出了用于单一立方体的立方体表面的例示非均匀采样。作为示例，如图24(c)所示，一个集合中的平行线可以是非均匀分布的。图24(d)示出了用于单一立方体的例示的均匀球面采样。如图24(d)所示，球面上的相应采样网格可以是均匀的。

如图24(c)的示例中所述，立方体表面上的非均匀划分可以与相邻采样之间的不同距离相关联。非均匀的平面采样网格可以通过使用映射而被转换成均匀的平面采样网格。图25显示了立方体表面与单一立方体表面之间的例示映射。作为示例，图25(a)示出了从立方体表面的不均匀划分网格到单一立方体表面的均匀划分网格的例示映射。图25(b)示出了从单一立方体表面的均匀划分网格到立方体表面的非均匀划分网格的例示映射。如果水平和垂直变换是可分离的，那么从(x，y)到(x'，y')的映射可以包括一个或多个(例如两个)分离的变换，例如x'＝f(x)和y'＝f(y)，其中在x和y上可以应用变换。举例来说，所述变换可以独立地应用在x和y上。逆变换也是可以计算的，其中所述逆变换可以将(x'，y')映射到(x，y)，例如x＝g(x')和y＝g(y')。关于x和y的两个变换可以是相同的。如果关于x和y的两个变换函数相同，那么可以推导y的变换函数。举例来说，如果β∈[-1,1]是立方体上的图案区域的y坐标，那么图26显示了用于计算立方体表面的坐标与单一立方体表面的坐标之间的映射函数的示例。图26(a)示出了在立方体表面上使用一个非均匀划分的单一立方体的例示映射函数。图26(b)示出了在球面上使用相应的均匀划分的单一立方体的例示映射函数。图26(c)示出了立方体表面β的坐标与单一立方体表面β'的坐标之间的映射函数。映射函数β′＝f(β)的目标是在球面上具有相等的直线运动结构划分的情况下将β转换为β'(作为示例，如图24(b)所示)，以及f(β)可以与对应于β的球面区域的面积成比例。举例来说，如图26(b)所示，f(β)的值可以等于图案球面区域与四分之一的球面的面积间的比值。作为示例，映射函数f(β)可以用如下方式来计算：

其中β′∈[-1,1]。图26(c)示出了β与β′之间的相应映射。

与立方体贴图相似的投影格式可以通过调整立方体贴图的坐标来提供一个或多个球面采样特征。举例来说，立方体贴图的坐标可以使用一个或多个映射函数来调整。经过调整的立方体贴图投影(ACP)可以提供球面采样均匀性。立方体域中的坐标可以基于以下的一个或多个映射函数来调整：

β′＝f(β)＝sgn(β)·(-0.36·β²+1.36·|β|) (13)

其中sgn(·)可以返回所述输入的符号。

等角度立方体贴图(EAC)投影可以通过在立方体域与EAC域之间转换坐标来执行。举例来说，立方体域和EAC域之间的坐标可以基于立方体采样网格上的球面采样的角度正切值来转换。用于EAC投影的映射函数可以以如下方式来计算：

图31示出了用于立方体贴图、单一立方体、ACP和EAC的映射函数g(β′)的例示比较。

图5示出了用于360度视频处理的例示工作流程。360度视频可以用一个或多个摄像机来获取。举例来说，覆盖了球面空间的360度视频可以用一个或多个摄像机来获取。这些视频可以拼接在一起。例如，这些视频可以用等矩形几何图形结构拼接在一起。所述等矩形几何图形结构可被转换成其他几何图形结构(例如立方体贴图几何图形)，以便进行编码(例如使用视频编解码器来编码)。经过编码的视频可以被递送至客户端(例如借助动态流传输和/或广播)。作为示例，在接收机上可以对所述视频进行解码。解压缩的帧可被解封装，以便进行显示，例如显示几何图形。举例来说，显示几何图形可以处于等矩形几何图形中。所述几何图形可以用于渲染。例如，所述几何图形可以依照用户视角以及借助视窗投影而被用于渲染处理。

色度分量可以被子采样成与亮度分量相比相对更小的分辨率。色度子采样处理可以减少用于编码的视频数据量，并且可以节约带宽和/或计算能力，以及可以在不影响(例如显着影响)视频质量的情况下执行上述处理。通过使用4:2:0色度格式，所有的两个色度分量都可以被子采样成亮度分辨率的1/4。举例来说，色度分量可以在亮度分辨率的水平方向上进行1/2的子采样处理，以及在亮度分辨率的垂直方向上进行1/2的子采样处理。在执行色度子采样处理之后，色度采样网格有可能不同于亮度采样网格。在图5中，在整个处理流程中，在一个或多个阶段处理的360度视频可以采用已经对色度分量执行了子采样的色度分量格式。

图6显示了例示的基于块的混合视频编码系统600的框图。输入视频信号602可以被逐块处理。高分辨率(例如1080p和/或更高)的视频信号可以用扩展块大小(例如将其称为编码单元或CU)来压缩(例如在HEVC中)。CU可以具有多达64X64个像素(例如在HEVC中)。CU可以分成可被应用单独预测的预测单元或PU。对于输入视频块(例如宏块(MB)或CU)来说，空间预测660或时间预测662都是可以执行的。空间预测(作为示例，或者是帧内预测)可以使用源自同一视频画面和/或切片的已编码的相邻块的像素来预测当前视频块。空间预测可以减少视频信号中固有的空间冗余度。时间预测(作为示例，其可被称为帧间预测或运动补偿预测)可以使用源自已编码的视频画面的像素来预测当前视频块。时间预测可以减小视频信号中固有的时间冗余度。用于指定视频块的时间预测信号可以由指示当前块与其参考块之间的运动量和/或方向的运动矢量来通告。如果支持多个参考画面(例如在H.264/AVC或HEVC中)，那么可以用信号向解码器通告视频块的参考图像索引。所述参考索引可以用于标识时间预测信号来自参考画面存储器664中的哪一个参考画面。

在空间和/或时间预测之后，编码器中的模式决定680可以选择预测模式，例如基于速率失真优化来选择。在616，从当前视频块中可以减去预测块。预测残差可以用变换模块604和量化模块606来去相关，以便实现目标比特率。在610，经过量化的残差系数可被逆量化，并且可以在612被逆变换，以便形成重建的残差。在626，所述重建残差可被反向添加到预测块中，以便形成重建视频块。在666，在将重建视频块置于参考画面存储器664之前，在所述重建视频块上可以应用环路过滤器，例如去块过滤器和/或自适应环路过滤器。参考画面存储器664中的参考画面可以用于编码以后的视频块。在这里可以形成输出视频比特流620。编码模式(例如帧内或帧间)、预测模式信息、运动信息和/或量化残差系数可被发送至熵编码单元608，以便经过压缩和封装而形成比特流620。

图7显示了示例的基于块的视频解码器的通用框图。在熵解码单元208上可以接收、解封装视频比特流202和/或对其执行熵解码。编码模式和/或预测信息可被发送至空间预测单元260(例如在帧内编码的情况下)和/或时间预测单元262(例如在帧间编码的情况下)。在空间预测单元260和/或时间预测单元262上可以形成预测块。残差变换系数可被发送至逆量化单元210和逆变换单元212，以便重建残差块。在226上可以将预测块与残差块相加。重构块可以经过环路过滤266并且可被保存在参考图片存储器264中。所述参考图片存储器264中的重建视频可以用于驱动显示设备和/或预测以后的视频块。

2D平面直线运动视频可以用H.264和/或HEVC之类的视频编解码器来编码。视频编码可以使用空间和/或时间相关性来消除信息冗余度。在视频编码过程中可以应用一种或多种预测技术，例如帧内预测和/或帧间预测。帧内预测可以用与之相邻的重建采样来预测采样值。图8显示了可用于对当前变换单元(TU)进行帧内预测的例示参考采样。所述参考采样可以包括位于当前TU上方和/或左侧的重建采样。

可供选择的帧内预测模式可以有很多种。图9示出了HEVC中的帧内预测方向的例示指示。作为示例，如图9所示，HEVC可以指定35种帧内预测模式，这其中包括平面(0)、DC(1)和/或角度预测(2-34)。适当的帧内预测模式可被选择。举例来说，在编码器端可以选择适当的帧内预测模式。多个候选帧内预测模式所产生的预测可被比较。在预测采样和原始采样之间产生最小失真的候选帧内预测模式可被选择。所选择的帧内预测模式可被编码到比特流中。

角度预测可用于预测定向纹理。图10显示了具有一个运动矢量(MV)的例示帧间预测。参考画面中的块B0'和B1'可以是当前画面中的块B0和B1的相应参考块。参考块B0'有可能局部处于参考画面的边界以外。处于画面边界以外的位置采样可以用填充处理来填充。图11显示了用于画面边界以外的参考采样的例示填充处理。作为示例，块B0'的填充示例可以具有四个部分P0、P1、P2和P3。部分P0、P1和P2可以处于图像边界之外，并且作为示例，所述部分可以通过填充处理而被填充。举例来说，部分P0可以用参考画面的左上方的采样来填充。部分P1可以通过使用了参考图片中的最顶行的垂直填充处理来填充。部分P2可以通过使用了画面的最左列的水平填充处理来填充。

运动矢量预测和/或合并模式可被用于帧间编码。在运动矢量

预测中，来自相邻PU和/或时间并置的PU的运动矢量可被用作当前MV的预测器。所选择的MV预测器的索引可被编码和/或用信号通告给解码器。解码器可以构造具有多个条目的MV预测器列表。具有用信号通告的索引的条目可以用于预测当前PU的MV。

对于合并模式来说，用于空间和/或时间上的相邻PU的MV信息可被重新使用，并且可以跳过关于当前PU的运动矢量编码处理。图12示出了可用于合并候选衍生物的例示的空间相邻块。作为示例，可以将左下(A0)、左侧(A1)、右上(B0)、顶部(B1)和/或左上(B2)用于合并候选衍生物。时间并置块可被用作合并候选。所选择的合并候选的索引可以被编码。在解码器端可以构建合并候选列表。举例来说，在解码器端构造的合并候选列表可以类似于在编码器端构造MV预测器列表。具有用信号通告的合并候选索引的条目可被用作当前PU的MV。

360度视频编码和2D平面视频编码在各个方面都有可能存在差异。例如，360度视频可以是帧封装的，并且可以包含围绕观看者的环境的360度信息。如此一来，360度视频可以具有2D视频所不具有的一个或多个固有的环形特征。适用于编码2D视频的某些编解码器(例如MPEG-2、H.264和/或HEVC)没有充分考虑360度视频的环形特征。举例来说，如果360度视频中的像素处于画面边界之外，那么可以应用重复填充处理。

360度视频的一个或多个表面可以用帧封装排列成矩形画面，以便进行编码。沿着表面边界的采样值有可能是不连续的。这种不连续性有可能降低空间预测的效率。如图8所示，通过使用相邻的重建采样，可以推导出用于对当前TU执行帧内预测的参考采样。所述相邻的重建采样可以位于与当前TU所属的表面不同的表面。举例来说，如果当前TU接近或处于立方体贴图中的表面的边界上，那么相应的帧封装2D画面中的最近的相邻采样可以处于相邻的表面，并且这些采样在帧封装画面中有可能是不连续的。

图13显示了立方体贴图的表面画面中的不连续采样及填充处理的示例。圆形可以代表球面的赤道。该正方形的四个侧面/侧边可以代表赤道所投影的立方体贴图的四个侧面上的四条线。P可以代表立方体贴图的表面，Q可以代表表表面P的相邻表面。Px(x∈[0,3])可以代表表面P上的采样点。Qx(x∈[0,3])可以代表相邻表面Q上的采样点。举例来说，如果相邻采样P4、P5和P6是处于表面边界之外的采样，并且如果P4、P5和P6将被填充在表面P上(例如具有均匀采样间隔)，那么填充采样K0、K1和K2可以分别代表P4、P5和P6从球面中心到表面Q上的投影。P4、P5和P6的点位置可被称为与初始参考块相关联的相邻采样位置或初始采样位置。如图13所示，K0和Q0不会相互重叠。K1与Q1以及K2与Q2不会重叠。扩展采样相对于表面边界越远，则发散度就越大。填充采样K0、K1和K2可以分别用于填充P4、P5和P6上的采样。K0、K1和K2可被称为参考采样、衍生采样位置、填充采样位置或是与位于相应参考采样位置的被映射的参考块相关联的多个采样值。如图13所示，K0和Q0不会相互重叠，并且K1与Q1以及K2与Q2同样也会如此。填充采样K0、K1和/或K2可用于填充P4、P5和/或P6上的采样。

帧间运动补偿预测可以具有不连续采样。举例来说，如果在编码期间应用立方体贴图4×3帧封装处理(举例来说，如图2(b)所示)，那么处于当前块的表面以外的参考块的像素有可能是不连续的。图16示出了用于立方体贴图4×3帧封装画面的例示的运动补偿预测。如图16所示，表面V可以是用于帧封装的虚拟表面。如果当前块B0属于当前画面的表面0，并且由运动矢量所指的时间参考块B0'局部位于参考画面的表面0的外部，那么在表面4上的子块1402(例如块B0'的子块)可以具有不同的纹理方向。当前块B0可被分成两个预测单元。

在帧封装画面中，沿着表面边界的运动有可能是不连续的。举例来说，图12中的当前PU 12可以处于表面边界。相邻块A0、A1、B0、B1和/或B2可以位于一个或多个不同的表面。与当前块的运动方向相比，相邻块(例如A0、A1、B0、B1和/或B2)的运动可以具有一个或多个不同的方向。

360度视频编码可以考虑所编码的视频的几何图形结构和/或特性。对于帧内和/或帧间预测来说，如果参考采样位于帧封装画面之外，那么可以通过考虑画面的一个或多个环形特征来应用几何图形填充处理。几何图形填充处理可以增加关于画面之外的参考采样的预测效率。举例来说，几何图形填充处理可以提升用于帧间运动补偿预测的画面之外的参考采样的预测效率。作为示例，如这里所述，图11所示的子块P0、P1和/或P2中的点p的值可以借助几何图形映射和/或插值来推导。

对于帧内预测和/或帧间预测来说，如果帧封装画面中的参考采样处于画面以内，但是处于当前块所属的表面以外，那么可以使用几何图形填充处理来推导参考采样值。举例来说，几何图形填处理充可用于处理不连续性。作为示例，通过使用几何图形映射处理，可以将处于当前块的表面之外的参考采样位置从其当前表面映射到其他表面，其中所述参考采样位置可被称为相邻采样位置和/或与初始参考块相关联的一个或多个初始采样位置。举例来说，图13中的参考采样位置P4可被映射到K0，并且位置K0的采样值可以从相邻表面上的采样值(例如Q0和/或Q1等等)来得到。作为示例，可用于帧间预测的图16中的子块1402可以通过几何图形填充处理来得到。举例来说，表面4上的采样值不会被用于(例如直接用于)图16中的帧间预测。

在运动矢量预测和/或帧间合并模式中，用于时间运动矢量预测的空间相邻块或时间并置块有可能处于当前块的表面之外。举例来说，用于时间运动矢量预测的时间并置块可以由HEVC来定义。相邻块位置可以借助几何图形映射处理来得到。作为示例，采样位置是可以被映射的。一个或多个采样值可以基于所映射的位置来得到。

360度视频可以用混合投影技术来编码。举例来说，混合投影技术可以基于视频和/或投影技术的特性。作为示例，帧内画面可以用一种投影来编码，而帧间画面则可以用其他投影来编码。作为示例，帧内画面可以用ERP或等面积投影来编码。帧间画面可以用立方体贴图投影来编码。

几何填充可被应用在360度视频编码中。图17(a)和17(b)示出了用于等矩形画面的例示几何图形填充处理。如图17(a)和17(b)所示，右边界和左边界可以是球面连续的。举例来说，图17(a)所示的箭头可以指示球面上的连续性。例如，具有相同参考数字(例如图17(a)中的02和02'，32和32'，42和42'，04和04'，34和34'以及44和44')的箭头可以指示右边界和左边界中的球面的连续性。顶部边界可以代表球面的北极，底部边界可以代表球面的南极。如这里所述，顶部边界和底部边界不会是以球面的方式连接的，并且有可能是球面上的最远的距离。顶部边界20和20'、22和22'、26和26'和/或28和28'可以指示北极的球面连续性。底部边界06和06'、08和08'、10和10'和/或12和12'可以指示南极的球面连续性。

在使用在这里描述以及在图17(a)和17(b)中显示的球面特性的情况下，如果相邻采样位置超出画面的右边界(例如02、32、42、D、E和/或F)，那么可以通过倒回到画面的左边界(作为示例，分别为02'、32'、42'、D'、E'和/或F')并通过使用填充采样位置来执行填充处理。填充处理可以通过以画面的一个或多个环形特性为基础的倒回处理来执行。如果相邻采样位置处于画面的右边界以内，那么可以从画面边界内部的最右侧的线条开始重复填充处理。如果相邻采样位置超出画面的底部边界(例如06、08、10、12、K、L、M和/或N)，那么可以沿着经度线进行填充处理，并且该填充处理将会前进到相对的半球(例如分别为06'、08'、10'、12'、K'、L'、M'和/或N')。图17(b)中的箭头以及相应的字母标签可以指示所要被填充的采样与可用于填充一个或多个相邻采样位置的填充采样之间的对应关系。举例来说，将在箭头A上进行填充的填充处理可以沿着箭头A'进行。将在箭头B上进行填充的填充处理可以沿着箭头B'进行，依此类推。

初始参考采样点(u，v)可以基于画面中的当前位置来提供。举例来说，点(u，v)可以位于等矩形画面之外。初始参考采样位置(u，v)可用于推导填充采样位置(up，vp)。点(up，vp)可被称为填充采样，或是与被映射的参考块相关联的一个或多个采样值。为等矩形画面推导得到的参考采样位置(up，vp)可以用如下方式来计算。

如果u<0或u≥W且0≤v<H，那么up＝u％W，vp＝v(17)

如果v<0，那么vp＝-v-1，up＝(u+W/2)％W(18)

如果v≥H，那么vp＝2*H-1-v，up＝(u+W/2)％W(19)

其中W和H可以是等矩形画面的宽度和高度。举例来说，填充采样位置(up，vp)可以基于点(u，v)的位置来计算。作为示例，如果点(u，v)超出右边界或左边界，那么可以基于等式(17)来计算填充采样(up，vp)。超出右或左边界的点(u，v)的填充采样(up，vp)可以分别对应于位于等矩形画面的左或右边界附近的点。其他填充采样可以基于与等式(18)和/或(19)相对应的点(u，v)的方位来计算。

如图13所示，在这里可以提供用于CMP的填充处理。填充处理可以应用于点(u，v)。点p(u，v)可以位于几何图形结构的视频内容之中。点p(u，v)可以是当前采样的相邻采样。采样值可以用以下的一项或多项来得到。

点p(u，v)可以基于当前采样位置的当前采样来识别。举例来说，处于当前采样位置的当前采样可以处于当前表面位置。当前采样可以与填充采样相关联。点p(u，v)可以位于当前表面边界之外。点p(u，v)可以位于不同的表面。所述点的3D方位Pf(X，Y，Z)可以根据点p(u，v)所属的表面来计算。举例来说，如果点p的表面是NZ，那么可以使用等式(6)、(7)和/或(8)来计算点p的3D方位(X，Y，Z)。用于填充处理的采样所属的新的表面可以基于3D方位(X，Y，Z)来确定。在使用(X，Y，Z)的情况下，可以使用以下方式来将所述采样用于填充处理

如果(|X|>＝|Y|且|X|>＝|Z|且X>0)，那么新表面可以是PX；

如果(|X|>＝|Y|且|X|>＝|Z|且X<0)，那么新表面可以是NX；

如果(|Y|>＝|X|且|Y|>＝|Z|且Y>0)，那么新表面可以是PY；

如果(|Y|>＝|X|且|Y|>＝|Z|且Y<0)，那么新表面可以是NY；

如果(|Z|>＝|X|且|Z|>＝|Y|且Z>0)，那么新表面可以是PZ；

如果(|Z|>＝|X|且|Z|>＝|Y|且Z<0)，那么新表面可以是NZ。

点p的2D位置(u'，v')可以使用Ps(X'，Y'，Z')来计算。举例来说，点p的2D位置(u'，v')可以基于新表面的位置来计算。如果新表面位于NZ，那么可以使用等式(9)和/或(10)来计算带有(X'，Y')的填充采样位置(u'，v')。处于(u'，v')的采样值可以使用插值过滤器和/或基于(u'，v')所属的新表面上的整数方位采样来确定。

用于几何图形结构中的点(u，v)的填充处理可以包括以下的一项或多项。处于与填充采样相关联的当前采样位置的当前采样可被确定。所要填充的表面上的3D方位Pf(X，Y，Z)可以基于点(u，v)来确定。点(u，v)可以代表位于图片边界或表面之外的点。填充采样位置可以基于所要填充的采样的位置来确定。举例来说，2D平面方位(u'，v')可以通过将填充采样的3D方位的几何投影应用于几何图形结构来识别。对处于填充采样位置、也就是2D平面方位(u'，v')的填充采样值来说，所述采样值可以通过推导得到。处于2D平面方位(u'，v')的采样值可以使用插值过滤器和/或基于整数方位处的采样来确定。所映射的采样和/或填充采样值可以通过推导得到。

在这里可以使用一个或多个插值过滤器。举例来说，在确定处于新表面上的(u'，v')的采样值的时候可以使用一个或多个插值过滤器。例如，所使用的可以是双线性、双三次、Lanczos、样条插值过滤器和/或基于离散余弦变换的插值过滤器(DCT-IF)。最近邻插值同样是可以使用的。如图13所示，如果使用了最近邻插值，那么可以使用Q0的值来填充P4和/或P5。作为示例，由于Q0是K0和K1的最近邻，因此可以使用Q0的值来填充P4和/或P5。Q1的值可用于填充P6。作为示例，由于Q1是K2的最近邻，因此可以使用Q1的值来填充P6。在图13中，这种近似有可能会很粗略。举例来说，由于采样有可能会很稀疏，因此，图13中的近似有可能会很粗略。考虑到立方体贴图几何图形有可能会过采样立方体边界附近的球面，该处理可以提供关于更密集的采样的近似。

最近邻插值可以推导被映射的采样位置。例如，被映射的采样位置可以包括以下的一个或多个。在所要填充的表面上可以基于点(u，v)来计算3D方位Pf(X，Y，Z)。位置Ps(X'，Y'，Z')可以通过将Pf(X，Y，Z)投影在几何图形结构上来计算。在新表面上可以计算2D平面方位(u'，v')。作为示例，最近邻插值可以推导出被映射的采样位置，这其可以包括非线性函数。填充处理也是可以使用的。举例来说，所使用的可以是基于表面的填充处理。通过基于表面的填充处理，可以使用一个或多个相邻表面来填满周围的被填充区域，这一点可以与展开立方体相对应。作为示例，用于基于表面填充处理的周围填充区域可以用(例如直接使用)四个相邻表面来填满。图14示出了用于立方体贴图的填充处理的示例。图14(a)示出了用于立方体贴图的填充处理的例示3D表示。图14(b)示出了具有围绕用于立方体贴图的填充处理的前表面的展开表面的例示平面表示。如图14所示，虚线包围的填充区域可以用来自相邻表面的采样填满。举例来说，如图14所示的虚线包围的填充区域可以直接用来自相邻表面的采样填满。如图13所示，如果使用基于表面的填充处理，那么可以分别使用Q0、Q1和/或Q2的值来填充P4、P5和/或P6。Q2可能属于与包含P个采样的表面所限定的半球面相对的半球面，和/或对于填充包含P个采样的表面来说没有意义。基于表面的填充处理对于填充某一个侧面的一半以上的表面大小以上的填充处理而言是没有意义的。如果被填充区域的大小很小(例如宽度是几个采样)，那么投影角度可以接近于将立方体边界连接到其中心的45度角，和/或基于表面的填充处理可以提供足够的近似度。如图14(b)所示，被填充区域的四个角是可以外推的。图14(b)所示的被填充区域的四个角可能具有无法从相邻表面直接得到的采样。在一个或多个拐角可以使用重复填充处理。举例来说，在四个拐角上可以使用重复填充处理。以下的一种或多种外推处理可被使用：镜像反射可用采样，复制最近的可用采样(例如像图15(a)显示的那样垂直于表面边界)，和/或如图15(b)显示的那样复制与表面边界斜对(diagonally relative to)的采样。作为示例，采样值可以用如下方式来得到：

如果|x|>＝|y|，那么v(x,y)＝v(sign(x)(|x|+|y|),0)；

如果|x|<|y|，那么v(x,y)＝v(0,sign(y)(|x|+|y|)。

对于方位与两个现有采样等距的外推采样来说，可以将这两个现有采样的平均值用于所述外推采样。举例来说，如图15(a)和图15(b)所示，外推采样在对角线上与两个现有采样等距(作为示例，如虚线所示)，并且所使用的可以是以与可用采样的距离为基础的加权总和。采样值是可以推导得到的。举例来说，依照图15(a)显示的例示原理，采样值可以依照以下方式来推导：

如果|x|>＝|y|，那么v(x,y)＝a*v(x,0)+b*v(0,x),a＝(2*|x|–|y|)/(2*|x|),b＝|y|/(2*|x|)；

如果|x|<|y|，那么v(x,y)＝a*v(y,0)+b*v(0,y),a＝|x|/(2*|y|),b＝(2*|y|–|x|)/(2*|y|)。

和/或依照图15(b)所示的例示原理，采样值可以采用如下方式来推导：

v(x,y)＝a*v(sign(x)(|x|+|y|),0)+b*v(0,sign(y)(|x|+|y|)，a＝|x|/(|x|+|y|)，b＝|y|/(|x|+|y|)。

包含了一个或多个表面的一个或多个投影几何图形可以使用一个处理(例如类似的过程)。举例来说，由一个或多个表面组成的投影几何图形可以包括但不限于八面体和/或二十面体。

几何图形填充处理可被应用在以下的一种或多种情况之中。举例来说，在帧内预测中可以执行几何图形填充处理。作为示例，当相邻采样处于画面边界之外时，这时可以执行几何图形填充处理。作为示例，当相邻采样与正被预测的当前采样不在相同表面以内时，这时可以执行几何图形填充处理。在帧间预测中可以执行几何图形填充处理。举例来说，当参考采样处于参考画面边界之外时，这时可以执行几何图形填充处理。作为示例，当参考采样与被预测的当前采样不在相同表面以内时，这时可以执行几何图形填充处理。被映射的采样位置推导处理可以包括以下的一个或多个。所要填充的表面上的3D方位Pf(X，Y，Z)可以基于点(u，v)来计算。方位Ps(X'，Y'，Z')可以通过将Pf(X，Y，Z)投影到几何图形结构上来计算。新表面上的2D平面方位(u'，v')可以被计算。被映射的采样方位推导可以用于推导处于图像边界之外的空间相邻块。被映射的采样方位推导可用于推导与正被预测的块不在相同表面以内的空间相邻块。映射块方位的属性可被用作块(例如当前块)的预测器。举例来说，映射块方位的属性可以包括以下的一项或多项：帧内模式、帧间模式、合并模式和/或运动信息(可以包括一个或多个运动矢量和/或一个或多个参考画面索引)等等。用作块的预测器的映射块方位可以包括以下的一项或多项：使用诸如计算p(u，v)的3D方位Pf(X，Y，Z)的技术来推导；计算Ps(X'，Y'，Z')；和/或计算2D位置(u'，v')。作为示例，对于帧间合并模式的运动矢量预测和/或运动矢量推导来说，以这里描述的方式推导的映射块方位的运动矢量可被用作运动矢量预测器和/或合并候选的运动矢量。相邻块的方位可被推导，和/或来自被映射的块的属性可被推测。作为示例，相邻块的方位可以在考虑了哪一个相邻块(例如，左、上等等)最接近于当前块的情况下作为最接近于当前块的相邻块的位置p(u，v)来计算。举例来说，如果(u_c，v_c)是当前块的左上角的位置，那么可以使用(u_c-1，v_c)来计算左侧的相邻块的位置，并且可以使用(u_c，v_c-1)等等来计算顶部相邻块的位置。相邻块的方位可以作为相邻块的中心来计算。举例来说，如果(u_c，v_c)是当前块的左上角的位置，那么可以将左侧相邻块的位置作为包含方位(u_c-1，v_c)的块的中心位置来计算，以及可以将顶部相邻块的位置作为包含了(u_c，v_c-1)等等的块的中心方位来计算。作为示例，相邻块的方位可以通过展开3D几何图形来确定。通过展开3D几何图形，可以确定相邻表面上的映射块方位。

如图14(b)所示，在使用重复填充处理的时候，用于所要填充的四个拐角区域的一个或多个采样的映射方位可以是该表面以内的最近的拐角采样方位。如果相邻块的方位处于对角线上(例如用图15(a)和/或图15(b)中的虚线来表示)，那么可以认为所述块是不可用的，这是因为其方位有可能被映射到不属于表面的立方体表面边界上。如果相邻块的方位不在对角线上，那么如图15(a)和/或15(b)所示，所述相邻块方位可被投影到与表面边界相对的最近的可用方位。举例来说，如图15(a)所示，相邻块方位可被投影到在垂直方向上与表面边界相对的最近的可用方位。作为示例，如图15(b)所示，相邻块的方位可被投影到与表面边界斜对的最近的可用方位。在视频编码过程中，几何图形填充技术可被应用于一个或多个过滤处理。作为示例，这些过滤处理可以包括环路过滤、采样自适应偏移(SAO)和/或自适应环路过滤(ALF)，其中在所述过滤中可以使用相邻采样。如果相邻采样处于图像边界之外或者与被过滤的采样不在相同表面上，那么可以使用几何图形填充处理来推导相邻采样值。

等式(3)、(4)和/或(5)使用了正弦和/或余弦函数。对于非线性函数、例如等式(3)、(4)和/或(5)中的正弦和/或余弦函数来说，其硬件实施方式可以使用查找表(LUT)和/或线性插值。由于这些函数都是三角函数，因此可以将LUT定义在范围[0,90]之中。近似精度可以基于应用需求和/或存储器大小限制来确定。图18示出了使用LUT的正弦函数的例示推导处理。sin(x)可以是变量x的正弦函数。一个或多个黑色实心圆1602可以为在范围[0,90]中均匀采样的函数sin(x)定义一个LUT。x可以是一个输入变量，并且在LUT中没有定义所述x的值。P和Q可以是输入x的第一和第二最近邻(作为示例，或是采样点)。一个或多个不同的插值可以用于推导sin(x)的值。举例来说，如果使用最近邻插值，那么sin(x)可以近似成sin(x)＝sin(P)。如果使用线性插值，那么sin(x)可以近似成:

sin(x)＝sin(P)+(sin(Q)–sin(P))*(Q–x)/(Q–P)

LUT可以是在具有不均匀采样的范围中定义的。举个例子，对于sin(x)来说，在接近0度的范围可以使用更多采样点，并且在接近90度的范围可以使用较少的采样点(作为示例，这是因为0度附近的渐变性要大于90度附近的渐变性)。

帧封装画面的表面可以用几何图形填充处理来填充，和/或可以被保存在解码画面缓冲器中。作为示例，如图19(a)所示，一个或多个(例如全部)表面可以用几何图形填充处理来填充，和/或可以被保存在解码画面缓冲器中，以便用于以后的图像编码处理的运动估计。在编码器端和/或解码器端，所述表面可以用几何图形填充处理来填充，和/或可被保存在解码画面缓冲器中。在重建了参考画面之后，这些表面可以用几何图形填充处理来填充，和/或可以保存在解码画面缓冲器中。一个或多个表面可以用几何图形填充处理来填充，和/或可以被保存在解码画面缓冲器中，以便用于以后的图像编码的运动估计。所述运动估计处理可以依照帧封装信息来确定当前块可以位于的表面和/或方位。

块(例如整个块)可以在未经编码的情况下被跳过。举例来说，如果块(例如整个块)处于图19中用“V”标记的空表面内部，可以跳过所述块而不对其进行编码。如果所述块(例如整个块)不在图19中用“V”标记的空表面内部，那么运动估计处理可以基于起始位置和/或预先定义的搜索范围来确定所述块的搜索窗口。举例来说，如图19(a)和图19(b)所示，块“B”可以位于表面“0”中。该起始方位可以是从空间和/或时间相邻块推导得到的运动矢量预测器。搜索窗口可被限制成处于被填充表面缓冲器内部。举例来说，该搜索窗口可被限制成完全处于被填充表面缓冲器内部。在这里可以使用运动搜索。举例来说，运动搜索可以包括全面搜索和/或快速搜索等等。作为示例，在确定了搜索窗口的时候可以使用运动搜索。

被填充区域的大小有可能会影响性能。举例来说，由于搜索窗口有可能被限制在填充表面缓冲器内部，因此，填充区域的大小有可能会影响性能。通过执行几何图形填充处理，可以获取用于参考画面的填充表面。在解码器端和/或编码器端可以执行几何图形填充处理。填充表面缓冲器可用于运动补偿。几何图形填充处理可以生成预测块。举例来说，几何图形填充处理可以即时生成预测块。借助几何图形填充来生成预测块的处理可以执行逐块填充处理。举例来说，通过借助几何图形填充处理来生成预测块，可以执行按需的填充处理。

为了解码帧间块，解码器可以确定预测块(或预测块的一部分)处于表面以外还是表面以内。举例来说，解码器可以确定预测块是否处于当前表面以外。该解码器可以确定预测块的一些部分是否处于当前表面以外。解码器可以基于解码块的方位和/或其运动矢量来确定预测块(作为示例，或是预测块的一部分)是否处于当前表面以外。解码器有可能不执行任何填充处理。举例来说，如果预测块处于表面以内，那么解码器可以跳过填充处理。解码器可以使用几何图形填充技术来产生(例如仅仅会产生)特定的块(作为示例，或是预测块的一些部分)。解码器不会填充表面边界(例如整个表面边界)。举例来说，如果预测块(和/或预测块的一些部分)处于该表面以外，那么解码器可以使用几何图形填充技术来产生所述特定块(作为示例，和/或所述预测块的一些部分)。

在这里可以使用存储了相应采样方位信息的查找表。查找表可以存储每一个表面的每一个填充方位的相应采样方位信息。对于填充区域来说，其尺寸可被限定一个或多个限制。举例来说，通过为填充区域尺寸定义最大尺寸和/或限制，可以减小对于供几何图形填充处理使用的LUT大小的需求。关于填充区域尺寸的一个或多个限制(例如最大尺寸)可以依照画面大小来定义，其中所述限制可以处于简档/等级限定之中，以便减小实施资源需求。作为示例，具有较大画面尺寸的视频可以使用较大的填充区域尺寸。该填充区域尺寸可以在序列级用信号通告，例如序列参数集合(SPS)和/或画面参数集合(PPS)等等。

解码器可以被初始化。举例来说，由于LUT可以是逐渐积累的，因此，通过在序列级用信号通告填充区域尺寸，可以对解码器进行初始化(例如更快被初始化)。LUT可以基于所述用信号通告的信息来逐渐积累。

在将几何填充技术用于运动补偿预测的时候，以及在时间参考采样处于当前块所属的表面以外的时候，当前块的运动矢量和/或当前块的相邻块的运动矢量有可能是不同的。举例来说，如果当前块及其相邻块属于不同的投影表面，那么当前块和/或当前块的相邻块的运动矢量有可能会有很大的差异。由于帧封装画面的两个相邻表面在3D空间中有可能是不相邻(例如紧邻)的，因此，当前块的运动矢量和/或当前块的相邻块的运动矢量有可能存在很大差异。由于在将3D空间中的两个相邻(例如紧邻)表面置于2D帧封装画面的时候可能会存在翘曲效应，而这有可能会导致表面边界上的采样值和/或运动矢量不连续，因此，当前块的运动矢量和/或当前块的相邻块的运动矢量有可能会存在很大差异。基于相邻块是否属于不同的表面，可以确定是否可以使用用于运动矢量预测器的相邻块的运动矢量来预测当前块。编码器和/或解码器可以检查是否可以在3D空间中连接一个或多个(例如两个)相邻的表面边界。其中一个表面边界可以是相邻块所属的表面的边界。另一个表面边界可以是当前块所属的表面的边界。如果在3D空间中连接所述一个或多个(例如两个)表面边界，那么可以使用相邻块的运动矢量作为当前块的运动矢量预测器。如果在3D空间中没有连接所述一个或多个(例如两个)表面边界，那么不会将相邻块的运动矢量用于当前块的运动矢量预测。所述一个或多个(例如两个)运动矢量预测限制可以适用于帧间合并模式。举例来说，如果相邻块属于不同表面，那么不会将所述相邻块用作帧间合并模式的合并候选。

用于单一立方体、ACP和EAC投影的几何图形填充处理都是可以执行的。

如这里所述，等式(11)和/或(12)可以提供单一立方体域中的坐标(x'，y')与立方体域中的坐标(x，y)之间的关系。立方体域中的坐标与球体上相应的3D点Ps之间的几何图形关系可以是已知的。在使用立方体贴图作为中间阶段的情况下，立方体贴图几何图形填充处理可被扩展，以便推导出用于单一立方体投影格式的填充区域中的参考采样。举例来所，为了推导单一立方体表面的填充区域中的坐标上的参考采样，在这里可以执行以下的一项或多项。与帧封装画面的输入投影相关联的坐标可被映射到中间坐标。作为示例，与单一立方体投影相关联的坐标可被映射到立方体表面中定义的中间坐标，例如基于等式(12)来映射。中间立方体坐标可被投影到相邻表面的一个或多个其他立方体坐标。举例来说，中间立方体坐标可以基于立方体贴图格式的几何图形投影函数而被映射到相邻表面的一个或多个其他立方体坐标。立方体坐标可被反向映射到单一立方体域中定义的参考坐标，例如基于等式(11)来映射。作为示例，处于单一立方体表面中的参考坐标上的采样可以使用插值过滤来推导。

在表面的填充区域中可以提供一个坐标(u，v)。用于单一立方体格式的几何图形填充处理可被执行。一个或多个坐标可被从单一立方体格式/几何图形转换成立方体格式/几何图形。举例来说，在单一立方体表面中可以定义输入坐标(u，v)。在立方体表面中定义的中间坐标(u_c，v_c)可以依照等式(12)来计算。参考坐标(u_c'，v_c')可以通过借助以下的一项或多项将(u_c，v_c)投影到相邻的立方体表面上来得到。从立方体到3D空间的2D到3D映射可被执行。依照(u_c，v_c)所属的表面，可以计算(X，Y，Z)的相应3D方位。举例来说，如果表面是NZ，那么可以使用等式(6)、(7)和/或(8)来计算(X，Y，Z)的3D方位。作为示例，参考采样所属的新的表面可以基于3D坐标(X，Y，Z)来确定。

如果(|X|>＝|Y|且|X|>＝|Z|且X>0)，那么新表面可以是PX；

如果(|X|>＝|Y|且|X|>＝|Z|且X<0)，那么新表面可以是NX；

如果(|Y|>＝|X|且|Y|>＝|Z|且Y>0)，那么新表面可以是PY；

如果(|Y|>＝|X|且|Y|>＝|Z|且Y<0)，那么新表面可以是NY；

如果(|Z|>＝|X|且|Z|>|Y|且|Z>0)，那么新表面可以是PZ；

如果(|Z|>＝|X|且|Z|>＝|Y|且Z<0)，那么新表面可以是NZ。

在这里可以执行从3D空间到立方体的3D到2D映射。在新的表面中可以使用(X，Y，Z)来计算被投影的2D坐标(u_c'，v_c')。举例来说，如果新表面是NZ，那么可以使用等式(9)和/或(10)并结合(X，Y，Z)来推导(u_c'，v_c')。一个或多个坐标可被从立方体格式/几何图形转换成单一立方体格式/几何图形。举例来说，在给出了在立方体表面中定义的参考坐标(u_c'，v_c')的情况下，可以计算出在单一立方体表面中定义的相应的参考坐标(u'，v')。处于用于填充的单一立方体表面中的参考坐标(u'，v')的采样可以通过对处于围绕单一立方体表面的(u'，v')的整数方位上的采样应用插值过滤来得到。

如等式(12)所示，变换函数β＝g(β′)可以将坐标从单一立方体表面映射到立方体表面。等式12中的变换函数β＝g(β′)可以包括在分母上包含了平方根的分数。通过执行以下等式，可以防止分母为零：

β′∈[-1,1]可以定义单一立方体表面内部的采样的坐标范围。如果β′∈[-1,1]可以限定单一立方体表面内部的采样的坐标范围，那么等式(20)可以规定，在将任意的3D点投影到单一立方体表面上的时候，该表面上的投影可以处于一区域内部，该区域可以以该表面的中心为中心和/或该区域可以在水平和/或垂直方向上是该表面的尺寸的1.5倍。在将几何图形填充处理应用于单一立方体格式时，用于单一立方体表面的填充区域的最大尺寸有可能会存在限制。举例来说，单一立方体表面的填充区域的最大尺寸不会超过表面尺寸的1.5倍。图27示出了用于单一立方体投影格式的表面中的填充采样的有效区域的示例。

当运动补偿预测涉及画面边界和/或表面边界之外的采样时，这时可以在考虑了编码投影格式所代表的3D几何图形结构的情况下，通过应用这里描述的几何图形填充处理来填充相应的参考采样。作为示例，预测块(或预测块的一部分)可以在单一立方体表面的填充采样的有效区域之外。

基于单一立方体投影，可以在360度视频编码处理上实施几何图形填充处理。

图28示出了用于单一立方体格式的填充采样的有效区域的例示MV剪辑处理。如图28所示，所述MV剪辑操作可以在编码器和/或解码器的运动补偿预测之前执行。作为示例，时间预测可以使用来自处于单一立方体表面的填充采样的有效区域之中的参考采样。如果MV指向有可能处于或局部处于单一立方体表面的有效填充区域以外的参考块，那么可以将MV剪辑成最接近的值，以使预测块的参考采样可以处于用于填充处理的有效区域以内。如图28所示，参考块A局部处于有效填充区域之外。与参考块A相关联的MV可被剪辑，以便产生指向参考块A'的MV'。所述参考块A'可以是处于有效填充区域内部的相邻块。

通过提供比特流一致性，可以确保经过编码的MV具有适当的值。举例来说，通过提供比特流一致性，可以确保经过编码的MV具有恰当的值，其中预测块的一个或多个(例如全部)参考采样来自单一立方体表面的有效填充区域。在给出了编码块的位置和/或大小的情况下，有效MV的范围可被确定。举例来说，有效MV的范围可以对应于未使用有效填充区域之外的参考采样的运动补偿预测信号。相一致的比特流中的MV值可以处于预定范围以内。

通过执行混合填充处理，可以填充用于单一立方体的运动补偿预测的参考采样。该混合填充可以联合应用几何图形填充处理和重复填充。如果参考采样的方位处于单一立方体表面中的被填充采样的有效区域内部，那么可以应用几何图形填充处理，以便基于360度视频所代表的3D几何图形结构来推导相应的采样值。如果参考采样的方位不在单一立方体表面中的填充采样的有效区域内部(例如，参考采样的方位处于单一立方体表面的有效填充区域之外)，那么可以通过在水平方向和/或竖直方向上将采样位置剪辑到有效填充区域的最接近的方位来应用重复填充处理，以便对采样进行填充。图29示出了用于单一立方体投影格式的例示混合填充处理。如图29所示，参考块B可以处于(例如局部处于)单一立方体表面的有效填充区域以外。子块B3中的采样可以处于有效填充区域以内，并且采样值可以是基于几何图形填充处理推导的。对于子块B0、B1和B2来说，相应的采样可以通过拷贝(例如重复拷贝)来自有效填充区域边界的采样值来填充。作为示例，B0可以用B3的左上采样来填满。B1可以用B3的顶行来填满。B2可以用B3的左列来填满。图30示出了使用混合填充处理的填充图像的示例。在混合填充处理中可以使用重复填充处理作为示例。在混合填充处理中还可以应用一种或多种其它填充方法(例如图14中的基于表面的填充处理，和/或图15中的基于垂直插值的和/或基于对角线插值的填充处理等等)来填充有可能处于用于单一立方体投影格式的被填充采样的有效区域以外的采样。

在序列级，如果单一立方体表面尺寸是已知的，那么可以预先计算以下的一项或多项和/或将其保存成LUT。举例来说，填充采样方位LUT可以指示立方体表面中定义的计算得到的中间坐标(uc，vc)、推导得到的参考坐标(uc'，vc')和/或在单一立方体表面中定义的计算得到的参考坐标(u'，v')之间的相互关系。LUT可以保存所推导的一个或多个采样方位，其中所述采样方位可以用于填充位于被填充采样方位的采样。在这里可以为画面计算(例如动态计算)所推导的处于单一立方体表面中的参考坐标(u'，v')的被映射采样。从3D空间到六个单一立方体表面上的投影可以是对称的。在这里可以为一个表面存储一个参考LUT，其中所述参考LUT可以被其他五个表面中的一个或多个重复使用。举例来说，在这里可以为一个表面存储单个参考LUT，其中所述LUT可以被其他的五个表面中的一个或多个表面重复使用。图32显示了将关于六个表面的LUT用于单一立方体的几何图形填充处理的例图。如图32所示，所应用的可以是3x2帧封装布置。在图32中，空白块3201可以代表表面区域。带图案的块3203可以代表填充区域。如图32所示，采样A和采样B可以分别位于表面#0和表面#5的填充区域中的相同方位的两个采样。采样A可被投影到表面#4中的2D坐标(u，v)。基于对称的3D投影结构，如图32所示，采样B可被投射到表面#5的相邻表面(例如表面#0)中的相同坐标(例如，(u，v))。举个例子，对处于不同表面的填充区域中的相同采样方位来说，投影表面中的相应坐标可以是相同的。在这里可以为表面存储包含了用于被填充采样方位的被投影坐标的LUT，其中所述LUT可被反复使用，以便计算其他表面中的被填充采样的被投影坐标。当在一个或多个(例如全部)表面中重复使用LUT时，被映射的采样的坐标可被映射在投影表面中。举例来说，如果在帧封装处理过程中基于一个或多个旋转而在一个或多个(例如全部)表面重复使用LUT(例如相同LUT)，那么可以将被映射的采样的坐标映射到投影表面之中。

虽然在这里可以在将几何图形填充处理应用于360度视频编码的时候使用单一立方体投影来描述有限的填充区域，然而对于其他类似于立方体的投影格式(例如ACP和/或EAC)来说，可应用的有限填充区域同样是存在的，并且这样做可以通过在产生实际的立方体贴图之前修改2D平面表面上的坐标来实现不同的球面采样网格。在将几何图形填充处理与一种或多种其他投影格式结合使用的时候，这里描述的一种或多种几何图形填充技术(例如MV剪辑、比特流一致性和/或混合填充)都可以是适用的。不同投影格式使用的映射函数可以是不同的。有效填充区域的大小可以依照投影格式来调整。举例来说，在使用ACP作为编码投影格式时，为了确保等式(14)中的平方根内部不小于零，可以使用-1.28≤β'≤1.28。举例来说，ACP表面的填充区域的最大尺寸可以是表面尺寸的1.28倍。在使用EAC作为编码投影格式时，填充区域的最大尺寸可以从等式(16)中得到，即-2<β'<2。

用于具有一致性窗口的参考画面的几何图形填充处理也是可以提供的。编码画面尺寸可以是水平和/或垂直方向上的最小CU尺寸的倍数。举例来说，由于画面可被分成编码单元以进行编码，因此，编码画面尺寸可以是水平和/或垂直方向上的最小CU尺寸的倍数。一致性窗口可被使用，和/或在序列参数集合中可以用信号通告窗口大小，以使填充画面尺寸是最小CU尺寸的倍数。举例来说，如果源画面尺寸不是最小CU尺寸的倍数，那么可以在序列参数集合中用信号通告窗口尺寸，以使填充画面尺寸是最小CU尺寸的倍数。参数W和H可以指示源画面的宽度和高度。参数mCU_width和mCU_height可以指示最小CU的宽度和高度。参数dW和dH可以指示一致窗口在水平和垂直方向上的填充尺寸。Ceil(x)可以是不小于变量x的最小整数值的向上舍入函数。

dW＝Ceil(W/mCU_width)*mCU_width–W

dH＝Ceil(H/mCU_height)*mCU_height–H

图20(a)、20(b)和20(c)显示的是在源画面尺寸在水平和/或垂直方向上不是最小CU尺寸的倍数的时候的填充处理的三个示例。图20(a)示出了在源画面尺寸不是最小CU尺寸的倍数的时候在水平方向上的例示填充处理。图20(b)示出了在源画面尺寸不是最小CU尺寸的倍数的时候在垂直方向上的例示填充处理。图20(c)示出了在源画面尺寸不是最小CU尺寸的倍数的时候在水平方向和垂直方向上的例示填充处理。在对参考画面的表面执行几何图形填充处理时，所述填充处理可以始于表面边界，并且可以向外移动，这其中并未包含能使填充表面连续的一致性窗口。举例来说，由于一致窗口中的填充处理可以由编码器来指示，因此在为参考画面的表面执行几何图形填充处理时，所述填充处理可以始于表面边界，并且可以向外移动。作为示例，参考画面的表面有可能不包含致使填充表面连续的一致性窗口。作为示例，参考画面的表面有可能会包含使得填充表面连续的一致性窗口。在执行几何图形填充处理时，所述一致性窗口可以保持不变，和/或在执行几何图形填充处理的时候，填充处理可以始于所述一致窗口。

在这里可以执行带有几何图形填充处理的去块处理。通过应用去块过滤器，可以移除块效应(blocking artifact)。举例来说，通过应用去块过滤器，可以移除一个或多个(例如两个)相邻预测单元之间的边界和/或一个或多个(例如两个)变换单元之间的边界上的编码过程所引入的块效应。对于边界来说，相邻块中的一个或多个采样可用于过滤当前块中的这些采样。作为示例，在图21中，块“p”可以是当前块“q”的相邻块。一个或多个参考采样(p₀、p₁、p₂和/或p₃)可以用于过滤一个或多个参考采样(q₀、q₁、q₂和/或q₃)。如果该边界是表面边界，那么块“p”和/或块“q”可以处于一个或多个(例如两个)不同的表面中。如果该边界是表面边界，那么在参考采样{p₀、p₁、p₂、p₃}与参考采样{q₀、q₁、q₂、q₃}之间有可能存在不连续性。举例来说，如果该边界是表面边界，那么在采样{p₀、p₁、p₂、p₃}与参考采样{q₀、q₁、q₂、q₃}之间有可能会因为几何图形翘曲而存在不连续性。在表面边界上应用去块过滤器不会消除块效应。如果在表面边界上应用去块过滤器，那么有可能会降低主观视觉质量。表面边界可被视为画面边界。举例来说，表面边界可被视为画面边界，由此不会再该表面边界上执行去块过滤。所推导的相邻采样值可以依照用于作为去块过滤器的输入使用的相邻采样的几何图形填充技术来使用的，而不是直接在别的表面中使用这些相邻采样。举例来说，在过滤采样q₀、q₁、q₂和/或q₃的时候，所推导的参考采样p₀、p₁、p₂和/或p₃可以根据需要通过使用几何图形填充技术来得到。表面边界可以依照帧封装信息来确定。

带有几何图形填充处理的采样自适应偏移(SAO)也是可以提供的。SAO可用于移除高频编码伪像。作为示例，SAO可用于去除HEVC中的高频编码伪像。SAO可以包括频带偏移和/或边缘偏移。对于编码树单元(CTU)来说，其SAO参数可以用信号通告。例如，CTU可以具有64x64的块大小。对于边缘偏移来说，SAO处理可以确定像素是否在沿着指定方向的边缘边界上。图22示出了可以通过边缘偏移SAO来处理像素的示例。S(x)可以是方位x的采样值。P可以是当前采样位置，n₀可以是其左侧/顶部相邻方位，并且n₁可以是其右侧/底部相邻方位。在图22所示的四个示例中，当前采样可以位于边缘边界。边缘边界可以由边缘偏移SAO来处理。所述边缘偏移SAO处理可以参考其相邻采样值。如果当前采样位于表面边界，那么当前采样的相邻采样有可能位于不同表面。一个示例可以使用所推导的采样。举例来说，所推导的采样可以取代一个或多个相邻采样。如果当前采样处于表面边界，那么一个或多个相邻采样可被取代。表面边界可以被视为画面边界，并且这些表面边界采样上的SAO过滤处理是可以跳过的。

基于CTU的位置，可以确定是否用信号通告SAO参数。举个例子，对于360度视频编码来说，如果CTU(例如整个CTU)处于空表面(在图19(a)中用“V”标记)内部，那么由于可以将采样用于帧封装并且不会将其再现给用户，因此不会用信号通告SAO参数。

不同的投影几何图形可以具有不同的特征。例如，ERP和/或等面积投影可以具有一个表面，并且即使在拉伸画面的时候，对于表面边界问题的关注度也相对较低。在封装画面中，立方体贴图可以具有六个表面以及众多的表面边界。如此一来，一个画面可以用不同的投影几何图形来编码。对于切片(例如每一个切片)来说，其投影几何图形索引(作为示例，如表1所列举的那样)可以用信号通告。表1提供了例示的投影几何图形索引。

表1：投影几何图形索引

索引	投影几何图形
		0	等矩形
1	立方体贴图
		2	等面积
3	八面体
		4	柱体

投影格式可以在切片级用信号通告。投影格式信令可以在画面级执行。举例来说，投影格式信令可以在画面级借助投影几何图形的索引来执行。在序列级，在整个序列中使用的投影格式总数和/或所述格式本身可以用信号通告。表2提供了序列级的例示的投影格式信令。

表2：序列级的投影格式信令

projection_format_table(){	描述符
		num_projection_format	ue(v)
for(i＝0；i<num_projection_format；i++){
		project_geometry_idx[i]	ue(v)
}
		}

参数“数量_投影_格式(num_projection_format)”可以指定序列中使用的投影格式的总数。参数“投影_几何图形_索引[i](project_geometry_idx[i])”可以指定由第i个索引(例如在画面/切片级用信号通告)所指示的映射索引(作为示例，如表1所示)。举例来说，如果在序列中使用了等矩形和等面积投影，并且如果在比特流中分别使用了索引“0”和“1”来表示等面积和等矩形，那么可以采用如下方式来定制project_geometry_idx并且可以依照表2来用信号通告所述project_geometry_idx。

project_geometry_idx[0]＝2

project_geometry_idx[1]＝0

用于画面的投影格式可以使用速率失真优化处理来确定。编码器可以用一个或多个可用的投影格式来编码当前画面。举例来说，编码器可以用一个或多个可用的投影格式来编码当前图片。编码器可以测量投影格式的速率-失真成本。具有最小速率-失真成本的投影格式可被选择。所述失真可以在原始格式域中测量。举例来说，O可以代表原始投影格式，X可以代表所要测量的投影格式，I可以代表原始画面，并且I'可以代表重建画面。原始画面I可被从原始投影格式O转换成编码投影格式X。画面可以被编码和重建。投影(I，F)可以代表用于将画面I转换成格式F的投影函数。I与从I’转换的画面之间的失真可以以如下方式来确定。||t||可以是变量t的平方误差(SSE)的总和。

失真＝||I–投影(I’,O)||

解码图像缓冲器(DPB)的管理可以采用如下方式来执行。所使用的可以是即时转换模式。重建画面可被保存在DPB中。如果参考画面和当前画面具有不同的投影格式，那么可以将参考画面转换为当前画面的格式。图23(a)和23(b)示出了如何执行DPB管理的示例。阴影块和空白块分别可以指示两种投影格式。虚线块可以指示虚拟画面，并且实体块可以指示实际画面。参考图像R0可以采用一种投影格式。参考图片R1和R2可以采用其他投影格式(例如与R0的投影格式不同的投影格式)。当前画面P与画面R1和R2可以具有相同的投影格式。带有虚线边框的块画面(例如来自图23(a)所示的参考画面列表的R1和R2)可以代表虚拟画面。带有实心框的块(例如来自图23(a)所示的参考画面列表的R0)可以代表存储在缓冲器中的实际画面。如图23(a)所示，参考图像R0可以在解码前被转换为画面P的投影格式。经过转换的版本可以置于参考画面列表中。参考画面R1和R2可被置于参考画面缓冲器中。作为示例，参考画面R1和R2可被直接置于参考画面缓冲器中，因为其与图像P具有相同的投影格式。

参考画面可被转换成不同的投影格式，与此同时，所述参考画面被保存在DPB中。如图23(b)所示，从DPB中可以基于当前画面P的投影格式来选择参考画面。参考画面可以用于构建参考画面列表。

一个或多个(例如全部)帧内切片以及一个或多个(例如全部)帧间切片可以使用相同的投影几何图形编码。一个或多个(例如全部)帧内切片可以使用一种投影几何图形编码处理，同时，一个或多个(例如全部)帧间切片可以使用其他的投影几何图形(例如与帧内切换使用的投影几何图形编码不同)。重建的帧内画面可被转换成帧间帧间切片使用的投影几何图形。举例来说，处于解码图像缓冲器中的重建的帧内画面可被转换成帧间切片使用的投影几何图形，由此可以直接应用运动补偿。作为示例，帧内切片可以使用ERP来执行编码，而帧间切片则可以使用立方体贴图投影来执行编码。这两种投影的分辨率有可能是不同的。例如，与帧间切片相比，帧内切片可以具有较大的分辨率。如果分辨率不同，那么可以将重建的帧内画面(例如保存在解码图像缓冲器中的画面)转换成帧间切片使用的几何图形投影。重建的帧内画面可被重新采样成与帧间切片相同的分辨率。

图33A是可在其内实施和/或使用一个或多个所公开的实施例的例示通信系统100的图示。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100通过共享包括无线带宽在内的系统资源来允许多个无线用户访问此类内容。作为示例，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等等。

如图33A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c和/或102d(其通常可被统称为WTRU 102)，无线电接入网络(RAN)103/104/105，核心网络106/107/109，公共交换电话网络(PSTN)108，因特网110以及其他网络112，但是应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c和/或102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。例如，WTRU 102a、102b、102c和/或102d可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器以及消费类电子设备等等。

通信系统100还可以包括基站114a和基站114b。每一个基站114a、114b可以是被配置成通过与WTRU 102a、102b、102c和/或102d中的至少一个无线对接来促使接入一个或多个通信网络的任何类型的设备，所述网络则可以是核心网络106/107/109、因特网110和/或网络112。作为示例，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然每一个基站114a、114b都被描述成是单个部件，但是应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。

基站114a可以是RAN 103/104/105的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可以被配置成在名为小区(未显示)的特定地理区域内部发射和/或接收无线信号。小区可被进一步划分成小区扇区。例如，与基站114a关联的小区可分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机对应于小区的一个扇区。在另一个实施例中，基站114a可以使用多输入多输出(MIMO)技术，由此可以为小区的每个扇区使用多个收发信机。

基站114a和/或114b可以经由空中接口115/116/117来与一个或多个WTRU 102a、102b、102c和/或102d进行通信，该空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、红外线(IR)、紫外线(UV)、可见光等等)。所述空中接口115/116/117可以用任何适当的无线电接入技术(RAT)来建立。

更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。举例来说，RAN103/104/105中的基站114a与WTRU 102a、102b和/或102c可以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，并且该技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA则可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。

基站114a与WTRU 102a、102b和/或102c可以实施演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)来建立空中接口115/116/117。

基站114a与WTRU 102a、102b和/或102c可以实施IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM增强数据速率演进(EDGE)、GSM EDGE(GERAN)等无线电接入技术。

作为示例，图33A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、交通工具、校园等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施诸如IEEE802.11之类的无线电技术来建立无线局域网(WLAN)。在另一个实施例中，基站114b与WTRU102c、102d可以通过实施诸如IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可以通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等等)来建立微微小区或毫微微小区。如图33A所示，基站114b可以直接连接到因特网110。由此，基站114b未必需要经由核心网络106/107/109来接入因特网110。

RAN 103/104/105可以与核心网络106/107/109通信，所述核心网络可以是被配置成向一个或多个WTRU 102a、102b、102c和/或102d提供语音、数据、应用和/或借助网际协议的语音(VoIP)服务的任何类型的网络。例如，核心网络106/107/109可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或执行用户验证之类的高级安全功能。虽然在图33A中没有显示，但是应该了解，RAN103/104/105和/或核心网络106/107/109可以直接或间接地和其他那些与RAN103/104/105使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用E-UTRA无线电技术的RAN103/104/105连接之外，核心网络106/107/109还可以与别的使用GSM无线电技术的RAN(未显示)通信。

核心网络106/107/109还可以充当供WTRU 102a、102b、102c和/或102d接入PSTN108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的全球性互联计算机网络设备系统，所述协议可以是TCP/IP互连网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络112可以包括由其他服务供应商拥有和/或运营的有线或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个核心网络，所述一个或多个RAN可以与RAN 103/104/105使用相同RAT或不同RAT。

通信系统100中一些或所有WTRU 102a、102b、102c和/或102d可以包括多模能力，换言之，WTRU 102a、102b、102c和/或102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机。例如，图33A所示的WTRU 102c可以被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。

图33B是例示WTRU 102的系统图示。如图33B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，WTRU 102还可以包括前述部件的任何子组合。这里的实施例还设想基站114a和114b和/或基站114a和114b所代表的节点可以包括在图33B中描绘以及在这里描述的一些或所有部件，特别地，基站114a和114b所代表的节点可以是收发信台(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB)、家庭演进型节点B网关以及代理节点，但其并不局限于此。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)、状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图33B将处理器118和收发信机120描述成是独立组件，但是应该了解，处理器118和收发信机120可以集成在一个电子组件或芯片中。

发射/接收部件122可以被配置成经由空中接口115/116/117来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。在另一个实施例中，作为示例，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可以被配置成发射和接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。

此外，虽然在图33B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。因此，在一个实施例中，WTRU 102可以包括两个或多个经由空中接口115/116/117来发射和接收无线电信号的发射/接收部件122(例如多个天线)。

收发信机120可以被配置成对发射/接收部件122将要发射的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助诸如UTRA和IEEE 802.11之类的多种RAT来进行通信的多个收发信机。

WTRU 102的处理器118可以耦合至扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从任何适当的存储器(例如不可移除存储器130和/或可移除存储器132)中存取信息，以及将信息存入这些存储器。所述不可移除存储器106可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器访问信息，以及将数据存入这些存储器，其中举例来说，所述存储器可以位于服务器或家庭计算机(未显示)。

处理器118可以接收来自电源134的电力，并且可以被配置分发和/或控制用于WTRU 102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当的设备。举例来说，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池、燃料电池等等。

处理器118还可以与GPS芯片组136耦合，该芯片组可以被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口115/116/117接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，WTRU102可以借助任何适当的定位方法来获取位置信息。

处理器118还可以耦合到其他周边设备138，这其中可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

图33C是根据一个实施例的RAN 103和核心网络106的系统图示。如上所述，RAN103可以使用E-UTRA无线电技术并经由空中接口115来与WTRU 102a、102b和/或102c进行通信。并且RAN 103还可以与核心网络106通信。如图33C所示，RAN 103可以包括节点B 140a、140b和/或140c，其中每一个节点B都可以包括经由空中接口115与WTRU 102a、102b和/或102c通信的一个或多个收发信机。节点B 140a、140b和/或140c中的每一个都可以关联于RAN 103内部的特定小区(未显示)。RAN 103还可以包括RNC 142a、142b。应该了解的是，在保持与实施例相一致的同时，RAN 103可以包括任何数量的节点B和RNC。

如图33C所示，节点B 140a和/或140b可以与RNC 142a进行通信。此外，节点B 140c还可以与RNC 142b进行通信。节点B 140a、140b和/或140c可以经由Iub接口来与相应的RNC142a、142b进行通信。RNC 142a、142b彼此则可以经由Iur接口来进行通信。每一个RNC142a、142b都可以被配置成控制与之相连的相应节点B 140a、140b和/或140c。另外，每一个RNC 142a、142b都可被配置成执行或支持其他功能，例如外环功率控制、负载控制、许可控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。

图33C所示的核心网络106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS节点交换中心(SGSN)148、和/或网关GPRS支持节点(GGSN)150。虽然前述每个部件都被描述成是核心网络106的一部分，但是应该了解，核心网络运营商之外的其他实体也可以拥有和/或运营这其中的任一部件。

RAN 103中的RNC 142a可以经由IuCS接口连接到核心网络106中的MSC 146。MSC146则可以连接到MGW 144。MSC 146和MGW 144可以为WTRU 102a、102b和/或102c提供针对PSTN 108之类的电路交换网络的接入，以便促成WTRU 102a、102b和/或102c与传统陆线通信设备间的通信。

RAN 103中的RNC 142a还可以经由IuPS接口连接到核心网络106中的SGSN 148。所述SGSN 148则可以连接到GGSN 150。SGSN 148和GGSN 150可以为WTRU 102a、102b和/或102c提供针对因特网110之类的分组交换网络的接入，以便促成WTRU 102a、102b和/或102c与启用IP的设备之间的通信。

如上所述，核心网络106还可以连接到网络112，该网络可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。

图33D是根据一个实施例的RAN 104以及核心网络107的系统图示。如上所述，RAN104可以使用E-UTRA无线电技术并经由空中接口116来与WTRU 102a、102b和/或102c进行通信。此外，RAN 104还可以与核心网络107通信。

RAN 104可以包括e节点B 160a、160b和/或160c，但是应该了解，在保持与实施例相一致的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b和/或160c可以包括一个或多个收发信机，以便经由空中接口116来与WTRU 102a、102b和/或102c通信。在一个实施例中，e节点B 160a、160b和/或160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，以及接收来自WTRU 102a的无线信号。

每一个e节点B 160a、160b和/或160c可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、上行链路和/或下行链路中的用户调度等等。如图33D所示，e节点B 160a、160b和/或160c彼此可以在X2接口上进行通信。

图33D所示的核心网络107可以包括移动性管理网关(MME)162、服务网关164以及分组数据网络(PDN)网关166。虽然上述每一个部件都被描述成是核心网络107的一部分，但是应该了解，核心网络运营商之外的其他实体同样可以拥有和/或运营这其中的任一部件。

MME 162可以经由S1接口来与RAN 104中的每一个e节点B 160a、160b和/或160c相连，并且可以充当控制节点。例如，MME 162可以负责验证WTRU 102a、102b和/或102c的用户，激活/去激活承载，在WTRU 102a、102b和/或102c的初始附着过程中选择特定服务网关等等。所述MME 162还可以提供控制平面功能，以便在RAN 104与使用了GSM或WCDMA之类的其他无线电技术的其他RAN(未显示)之间执行切换。

服务网关164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b和/或160c。该服务网关164通常可以路由和转发去往/来自WTRU 102a、102b和/或102c的用户数据分组。此外，服务网关164还可以执行其他功能，例如在e节点B间的切换过程中锚定用户面，在下行链路数据可供WTRU 102a、102b和/或102c使用时触发寻呼，管理和存储WTRU102a、102b和/或102c的上下文等等。

服务网关164还可以连接到PDN网关166，该PDN网关可以为WTRU 102a、102b和/或102c提供针对诸如因特网110之类的分组交换网络的接入，以便促成WTRU 102a、102b和/或102c与启用IP的设备之间的通信。

核心网络107可以促成与其他网络的通信。例如，核心网络107可以为WTRU 102a、102b和/或102c提供针对PSTN 108之类的电路交换网络的接入，以便促成WTRU 102a、102b和/或102c与传统陆线通信设备之间的通信。作为示例，核心网络107可以包括IP网关(例如IP多媒体子系统(IMS)服务器)或与之通信，其中所述IP网关充当了核心网络107与PSTN108之间的接口。此外，核心网络107还可以为WTRU 102a、102b和/或102c提供针对网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。

图33E是根据一个实施例的RAN 105和核心网络109的系统图示。RAN 105可以是通过使用IEEE 802.16无线电技术而在空中接口117上与WTRU 102a、102b和/或102c通信的接入服务网络(ASN)。如以下进一步论述的那样，WTRU 102a、102b和/或102c，RAN 105以及核心网络109的不同功能实体之间的通信链路可被定义成参考点。

如图33E所示，RAN 105可以包括基站180a、180b和/或180c以及ASN网关182，但是应该了解，RAN 105可以包括任何数量的基站及ASN网关。每一个基站180a、180b和/或180c都可以关联于RAN 105中的特定小区(未显示)，并且每个基站都可以包括一个或多个收发信机，以便经由空中接口117来与WTRU 102a、102b和/或102c进行通信。在一个实施例中，基站180a、180b和/或180c可以实施MIMO技术。由此，举例来说，基站180a可以使用多个天线来向WTRU 102a发射无线信号，以及接收来自WTRU 102a的无线信号。基站180a、180b和/或180c还可以提供移动性管理功能，例如切换触发、隧道建立、无线电资源管理、业务量分类、服务质量(QoS)策略实施等等。ASN网关182可以充当业务量聚集点，并且可以负责实施寻呼、订户简档缓存、针对核心网络109的路由等等。

WTRU 102a、102b和/或102c与RAN 105之间的空中接口117可被定义成是实施IEEE802.16规范的R1参考点。另外，每一个WTRU 102a、102b和/或102c都可以与核心网络109建立逻辑接口(未显示)。WTRU 102a、102b和/或102c与核心网络109之间的逻辑接口可被定义成R2参考点，该参考点可以用于验证、许可、IP主机配置管理和/或移动性管理。

每一个基站180a、180b和/或180c之间的通信链路可被定义成R8参考点，该参考点包含了用于促成WTRU切换以及基站之间的数据传送的协议。基站180a、180b和/或180c与ASN网关182之间的通信链路可被定义成R6参考点。所述R6参考点可以包括用于促成基于与每一个WTRU 102a、102b和/或102c相关联的移动性事件的移动性管理的协议。

如图33E所示，RAN 105可以连接到核心网络109。RAN 105与核心网络109之间的通信链路可以被定义成R3参考点，作为示例，该参考点包含了用于促成数据传送和移动性管理能力的协议。核心网络109可以包括移动IP家用代理(MIP-HA)184、验证许可记帐(AAA)服务器186以及网关188。虽然前述每个部件都被描述成是核心网络109的一部分，但是应该了解，核心网络运营商以外的实体也可以拥有和/或运营这其中的任一部件。

MIP-HA可以负责实施IP地址管理，并且可以允许WTRU 102a、102b和/或102c在不同的ASN和/或不同的核心网络之间漫游。MIP-HA 184可以为WTRU 102a、102b和/或102c提供针对因特网110之类的分组交换网络的接入，以便促成WTRU 102a、102b和/或102c与启用IP的设备之间的通信。AAA服务器186可以负责实施用户验证以及支持用户服务。网关188可以促成与其他网络的互通。例如，网关188可以为WTRU 102a、102b和/或102c提供对于PSTN108之类的电路交换网络的接入，以便促成WTRU 102a、102b和/或102c与传统陆线通信设备之间的通信。另外，网关188还可以为WTRU 102a、102b和/或102c提供针对网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。

虽然在图33E中没有显示，但是应该了解，RAN 105可以连接到其他ASN，并且核心网络109可以连接到其他核心网络。RAN 105与其他ASN之间的通信链路可被定义成R4参考点，该参考点可以包括用于协调WTRU 102a、102b和/或102c在RAN 105与其他ASN之间的移动的协议。核心网络109与其他核心网络之间的通信链路可以被定义成R5参考点，该参考点可以包括用于促成归属核心网络与被访核心网络之间互通的协议。

虽然在上文中描述了采用特定组合的特征和要素，但是本领域普通技术人员将会认识到，每一个特征或要素既可以单独使用，也可以与其他特征和要素进行任何组合。此外，这里描述的方法可以在引入计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。关于计算机可读媒体的示例包括电信号(经由有线或无线连接传送)以及计算机可读存储介质。关于计算机可读存储媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁介质(例如内部硬盘和可拆卸磁盘)、磁光介质、以及光介质(例如CD-ROM碟片和数字多用途碟片(DVD))。与软件关联的处理器可以用于实施用于WTRU、UE、终端、基站、RNC或任何计算机主机的射频收发信机。

Claims

1.一种用于视频解码的方法，所述方法包括：

获取帧封装画面中的当前采样位置，其中所述帧封装画面包括与投影几何图形相关联的多个表面，其中所述当前采样位置位于与所述帧封装画面相关联的第一表面中，且其中所述当前采样位置与视频内容的当前采样相关联；

获取相邻采样位置，其中所述当前采样将基于所述相邻采样位置而被预测；

确定所述相邻采样位置处于所述第一表面的边界之外；

基于确定所述相邻采样位置处于所述第一表面的所述边界之外，获取所述相邻采样位置的3D方位(X, Y, Z)，其中所述相邻采样位置的所述3D方位(X, Y, Z)与所述第一表面相关联；

基于所述相邻采样位置的所述3D方位(X, Y, Z)，获取包含填充采样位置的第二表面；

将几何图形投影应用于所述相邻采样位置的所述3D方位(X, Y, Z)，以导出所述相邻采样位置在所述第二表面内的2D平面方位(u’, v’)作为所述填充采样位置；以及

基于所述填充采样位置，预测与所述视频内容相关联的所述当前采样。

2.根据权利要求1所述的方法，其中所述方法包括：

确定所述当前采样被帧内预测；以及

基于确定所述当前采样被帧内预测且基于确定所述相邻采样位置处于所述第一表面外侧，基于与所述当前采样相关联的帧内预测模式，获取所述相邻采样位置。

3.根据权利要求1所述的方法，其中所述方法包括：

确定所述当前采样被帧间预测；以及

基于确定所述当前采样被帧间预测且基于确定所述相邻采样位置处于所述第一表面外侧，通过将与所述当前采样相关联的运动矢量应用至所述当前采样来获取所述相邻采样位置。

4.根据权利要求1所述的方法，其中所述投影几何图形包括等矩形投影、等面积投影、立方体贴图投影、八面体投影或柱形投影中的至少一个。

5.根据权利要求1所述的方法，其中所述投影几何图形是第一投影几何图形，且其中所述方法还包括：

将所述第一投影几何图形中的坐标转换成中间坐标，其中所述中间坐标与第二投影几何图形相关联，其中所述相邻采样位置的所述3D方位(X, Y, Z)是在所述中间坐标中被获取的，以及所述第二表面中的所述相邻采样位置的所述2D平面方位(u’, v’)是在所述中间坐标中被获取的；以及

将所导出的与所述第二投影几何图形相关联的所述相邻采样位置的2D平面方位(u’,v’)转换回与所述第一投影几何图形相关联的坐标。

6.根据权利要求1所述的方法，其中所述相邻采样位置包括空间相邻采样位置。

7.一种用于视频解码的设备，包括：

处理器，该处理器被配置成：

确定所述相邻采样位置处于所述第一表面的边界之外；

8.根据权利要求7所述的设备，其中所述处理器被配置为：

确定所述当前采样被帧内预测；以及

基于确定所述当前采样被帧内预测且基于确定所述相邻采样位置处于所述第一表面外侧，基于与所述当前采样相关联的帧内预测模式来获取所述相邻采样位置。

9.根据权利要求7所述的设备，其中所述处理器被配置为：

确定所述当前采样被帧间预测；以及

10.根据权利要求7所述的设备，其中所述投影几何图形包括等矩形投影、等面积投影、立方体贴图投影、八面体投影或柱形投影中的至少一个。

11.根据权利要求7所述的设备，其中所述投影几何图形是第一投影几何图形，且其中所述处理器被配置成：

12.根据权利要求7所述的设备，其中所述相邻采样位置包括空间相邻采样位置。

13.一种计算机可读存储介质，包括用于视频解码的指令，所述指令使得处理器执行根据权利要求1-6中任一项所述的方法。

14.一种用于视频编码的方法，包括：

获得包括帧封装画面的视频内容，其中所述帧封装画面包括与投影几何图形相关联的多个表面；

获得当前采样位置，其中所述当前采样位置位于与所述帧封装画面相关联的第一表面中，并且其中所述当前采样位置与所述视频内容的当前采样相关联；

获得相邻采样位置，其中所述当前采样将基于所述相邻采样位置来预测；

确定所述相邻采样位置位于所述第一表面的边界之外；

基于确定所述相邻采样位置在所述第一表面的所述边界之外，获得所述相邻采样位置的3D方位(X, Y, Z)，其中所述相邻采样位置的所述3D方位(X, Y, Z)与所述第一表面相关联；

基于所述相邻采样位置的所述3D方位(X, Y, Z)，获得包括填充采样位置的第二表面；

将几何图形投影应用于所述相邻采样位置的所述3D方位(X, Y, Z)，以导出所述第二表面中的所述相邻采样位置的2D平面方位(u’, v’)作为所述填充采样位置；以及

基于所述填充采样位置，预测所述当前采样。

15.根据权利要求14的方法，其中所述投影几何图形包括等矩形投影、等面积投影、立方体贴图投影、八面体投影或柱形投影中的至少一个。

16. 根据权利要求14所述的方法，包括：

确定所述当前采样是帧内预测的还是帧间预测的；以及

基于确定所述当前采样是帧内预测且基于确定所述相邻采样位置位于所述第一表面之外，基于与所述当前采样相关联的帧内预测模式来获得所述相邻采样位置，

或基于确定所述当前采样是帧间预测且基于确定所述相邻采样位置位于所述第一表面之外，通过将与所述当前采样相关联的运动矢量应用于所述当前采样来获得所述相邻采样位置。

17. 根据权利要求14所述的方法，其中，所述投影几何图形是第一投影几何图形，并且其中，所述方法还包括：

18.根据权利要求14所述的方法，其中所述相邻采样位置包括空间相邻采样位置。

19.一种用于编码的设备，包括：

处理器，其被配置为：

确定所述相邻采样位置位于所述第一表面的边界之外；

基于所述填充采样位置，预测所述当前采样。

20.根据权利要求19所述的设备，其中所述投影几何图形包括等矩形投影、等面积投影、立方体贴图投影、八面体投影或柱形投影中的至少一个。

21. 根据权利要求19所述的设备，其中所述处理器被配置为：

确定所述当前采样是帧内预测的还是帧间预测的；以及

22. 根据权利要求19所述的设备，其中，所述投影几何图形是第一投影几何图形，并且其中，所述处理器还被配置为：

23.根据权利要求19所述的设备，其中所述相邻采样位置包括空间相邻采样位置。

24.一种计算机可读存储介质，包括用于视频编码的指令，使得处理器执行根据权利要求14-18中任一项所述的方法。