CN117201816A

CN117201816A - 360度视频译码

Info

Publication number: CN117201816A
Application number: CN202311104986.2A
Authority: CN
Inventors: 修晓宇; 贺玉文; 叶艳
Original assignee: Vid Scale Inc
Current assignee: Vid Scale Inc
Priority date: 2017-05-25
Filing date: 2018-05-24
Publication date: 2023-12-08
Also published as: EP3632111A1; US11616981B2; WO2018218028A1; CN110915217B; US20210176497A1; WO2018218028A8; KR20200019861A; US20230199219A1; US20200092582A1; CN110915217A; US10904571B2

Abstract

可以提供一种用于译码360度视频的系统、方法和/或工具。可以接收360度视频的图像。该图像可以包括与一个或多个投影格式相关联的一个或多个面。可以接收第一投影格式指示，其指示第一投影格式可以与第一面相关联。可以接收第二投影格式指示，其指示第二投影格式可以与第二面相关联。基于第一投影格式，可以确定与第一面相关联的第一变换函数。基于第二投影格式，可以确定与第二面相关联的第二变换函数。可以使用第一变换函数对第一面执行至少一个解码过程和/或可以使用第二变换函数对第二面执行至少一个解码过程。

Description

360度视频译码

本申请是申请日为2018年05月24日、申请号为201880047119.0、发明名称为“360度视频译码方法、设备和可读介质”的中国发明专利申请的分案申请。

相关申请的交叉引用

本申请要求在2017年5月25日提交的美国临时申请序列号62/511,315的权益；以及在2017年6月29日提交的美国临时申请序列号62/526,781的权益。这两个美国临时专利申请的全部内容通过引用的方式合并于此。

技术领域

本申请涉及视频处理。特别地，本申请涉及与一个或多个投影格式相关联的图像的视频处理。

背景技术

虚拟现实(VR)正越来越多地进入我们的日常生活中。VR具有许多应用领域，包括保健、教育、社交网络、工业设计/训练、游戏、电影、购物、娱乐等。VR正受到工业和消费者的关注，因为VR可以带来身临其境的观看体验。VR创建围绕观看者的虚拟环境，并且为观看者产生真实的存在感知。在VR环境中提供完全真实的感觉对于用户的体验是重要的。例如，VR系统可以通过姿势、手势、眼睛注视、语音等来支持交互。为了允许用户以自然的方式与VR世界中的对象交互，VR可以向用户提供触觉反馈。

发明内容

可以提供一种用于处理视频数据的系统、方法和/或工具。处理视频数据可以包括为面(face)或方向定制变换函数。可以基于视频内容来定制该变换函数。立方体映射可以例如使用该变换函数被转换成另一球形映射。变换函数可以是多项式模型。变换函数可以应用于2D到3D映射。

360度视频可被译码(例如，解码)。可以接收360度视频的图像。该图像可以包括例如与一个或多个投影格式相关联的一个或多个面。可以接收第一投影格式指示，例如，其指示第一投影格式可以与第一面相关联。可以接收第二投影格式指示，例如，其指示第二投影格式可以与第二面相关联。基于第一投影格式，可以确定与第一面相关联的第一变换函数。基于第二投影格式，可以确定与第二面相关联的第二变换函数。例如，可以使用第一变换函数对第一面执行至少一个解码过程。例如，可以使用第二变换函数对第二面执行至少一个解码过程。

第一投影格式可以不同于第二投影格式。对第一面执行解码过程(例如，使用第一变换函数)可以包括基于第一变换函数将图像的第一面转换为目标几何形状和/或基于第一变换函数执行对面的参考样本的几何形状填充。

第一投影格式和/或第二投影格式可以包括立方体贴图(CMP)格式、单立方体贴图投影(UNICMP)格式、经调整的立方体贴图投影(ACP)格式或等角立方体贴图投影(EAC)格式中的一者或多者。投影格式指示(例如，第一投影格式指示)可以是与预配置的投影格式相关联的索引值。可以在序列级和/或图像级接收第一投影格式指示和/或第二投影格式指示。

可以执行第一面是否是用户定义的投影格式的确定。确定第一面是否是用户定义的投影格式可以基于第一投影格式指示。例如，基于确定第一面是用户定义的投影格式，可以接收针对第一面的水平方向的水平变换函数系数和/或可以接收针对第一面的垂直方向的垂直变换函数系数。

360度视频可被译码(例如，解码)。例如，可以接收360度视频的图像。图像可以包括面和/或与该面相对应的投影格式。例如，可以基于与该面相关联的投影格式指示来执行该面是否是用户定义的投影格式的确定。例如，基于所述面是用户定义的投影格式，可以确定针对面的水平方向的水平变换函数系数和/或确定针对面的垂直方向的垂直变换函数系数。例如，可基于水平变换函数系数确定与面相关联的水平变换函数。例如，可以基于垂直变换函数系数确定与面相关联的垂直变换函数。例如，可以使用水平变换函数和/或垂直变换函数对面执行一个或多个解码过程。解码过程可以包括执行面的参考样本的几何形状填充。

可以执行边界连续性约束是否与面相关联的确定。例如，基于与面相关联的边界连续性约束，可以减少面上的比特(bit)数量。可以通过共享针对该面和顶面行中的一个或多个其它面的垂直映射的变换函数系数中的一者或多者，和/或通过共享针对该面和例如帧打包布局中的底面行中的至少一个其它面的垂直映射的变换函数系数，来减少该面上的比特数量。边界连续性约束是否与面相关联的确定可以基于接收的信号。

可以识别内容。内容可以是360度视频内容。内容可以被表示为球形几何结构，例如，包括立方体贴图(CMP)格式和类CMP格式中的至少一者。可以从内容的一个或多个投影面中识别投影面。可以识别一个或多个投影格式。一个或多个(例如，每个)投影格式可以包括球形采样特性。

可以确定一投影格式(例如，从多个投影格式)，例如，用于在投影面上表示内容。可以基于在投影面上提供的内容的特性和/或投影格式的球形采样特性来确定投影格式。可以经由所确定的投影格式在投影面上表示内容。

可以从内容的投影面中识别一个或多个其他投影面。可以确定一个或多个其他投影格式以用于在其他投影面上表示内容。所确定的用于在其他投影面上表示内容的投影格式可以不同于所确定的用于在投影面上表示内容的投影格式。可以经由所确定的其他投影格式在其他投影面上表示内容。

用于在投影面上表示内容的投影格式可以包括CMP格式、单立方体贴图投影(UNICMP)格式、经调整的立方体贴图投影(ACP)格式和/或等角立方体贴图投影(EAC)格式。可以将用于在投影面上表示内容的投影格式确定为CMP格式，例如基于投影在投影面上的内容的特性，该投影面包括围绕投影面的边界具有复杂纹理的对象。

可以将用于在投影面上表示内容的投影格式确定为例如单立方体贴图投影(UNICMP)、经调整的立方体贴图投影(ACP)和/或等角立方体贴图投影(EAC)投影格式，例如基于投影在投影面上的内容的特性，该投影面包括在投影面中心区域处具有复杂纹理的对象。一个或多个(例如，每个)投影格式可以包括可以与一个或多个其他投影格式的球形采样特性不同的球形采样特性。

可以识别内容。内容可以是360度视频内容。内容可以被表示为包括立方体贴图(CMP)格式和类CMP格式中的一者或多者的球形几何结构。可以从内容的一个或多个投影面中识别投影面。可以识别一个或多个投影格式。投影格式(例如，每个投影格式)可以包括球形采样特性。可识别一个或多个变换函数。变换函数(例如，变换函数中的每一个)可以在投影面的边界附近分配第一球形采样密度并且在投影面的中心附近分配第二球形采样密度。

可以确定用于在投影面上表示内容的投影格式。可以基于在投影面上提供的内容的特性和/或投影格式的球形采样特性来确定投影格式。可以确定用于在投影面上表示内容的变换函数。可以基于在投影面上提供的内容的特性、在投影面的边界附近分配的第一球形采样密度和/或在投影面的中心附近分配的第二球形采样密度来确定变换函数。可以经由所确定的投影格式和所确定的变换函数中的至少一者在投影面上表示内容。

可以识别一个或多个其他投影面。例如，可以确定用于在另一投影面上表示内容的另一投影格式。所确定的用于在另一投影面上表示内容的投影格式可以不同于所确定的用于在投影面上表示内容的投影格式。可以经由所确定的其他投影格式在其他投影面上表示内容。

可以从内容的投影面中识别出另一投影面。另一变换函数可以是确定在其他投影面上表示内容。所确定的用于在其他投影面上表示内容的变换函数可以不同于所确定的用于在投影面上表示内容的变换函数。可以经由所确定的其他变换函数来表示在其他投影面上的内容。

用于在投影面上表示内容的变换函数可以被确定为这样的变换函数，其在投影面的边界处分配较低的球形采样密度和/或在投影面的中心处分配较高的球形采样密度，例如基于投影在投影面上的内容的特性，该投影面包括围绕投影面中心具有复杂纹理的对象。

第三变换函数可以确定用于在投影面上表示内容。可以基于在投影面的水平方向上提供的内容的特性来确定第三变换函数。可以确定第四变换函数以用于表示投影面上的内容。可以基于在投影面的垂直方向上提供的内容的特性来确定第四变换函数。可以经由第三变换函数和第四变换函数在投影面上表示内容。变换函数可以是多项式模型。变换函数可应用于2D到3D映射和3D到2D映射。

附图说明

从以下结合附图以示例方式给出的描述中可以获得更详细的理解，其中：

图1示出360度视频系统的示例工作流。

图2A示出了CMP示例3D几何结构。

图2B示出了6个面的CMP示例2D平面。

图2C示出了具有CMP的示例投影图像。

图3A示出了用于CMP的立方体面的示例均匀采样。

图3B示出了用于CMP的示例非均匀球形采样。

图3C示出了用于UNICMP的立方体面的示例非均匀采样。

图3D示出了用于UNICMP的示例均匀球形采样。

图4A示出了从立方体面的非均匀分区网格到单立方体面的均匀分区网格的示例映射。

图4B示出了从单立方体面的均匀分区网格到立方体面的非均匀分区网格的示例映射。

图5A示出了立方体面上的示例非均匀分区。

图5B示出了球体上对应于均匀分区的示例。

图5C示出了立方体面β的坐标和单立方体面β'的坐标之间的示例变换函数。

图6A示出了CMP的示例投影图像。

图6B示出了UNICMP的示例投影图像。

图7示出了用于索道升降椅(Chairlift)的示例CMP图像。

图8A示出了从立方体面域到混合立方体面域的示例映射。

图8B示出了从混合立方体面域到立方体面域的示例映射。

图9示出了来自CMP、UNICMP、ACP和EAC的分区网格的变换函数的示例比较。

图10A示出CMP的球形采样网格的示例比较。

图10B示出UNICMP的球形采样网格的示例比较。

图10C示出EAC的球形采样网格的示例比较。

图11显示了3×2帧打包的示例。

图12A示出了具有不带有面边界连续性约束的3×2帧打包的示例HCP。

图12B示出了具有带有面边界连续性约束的3×2帧打包的示例HCP。

图13A示出了由移动相机图像在POC 0捕获的示例视频。

图13B示出了由移动相机图像在POC 32捕获的示例视频。

图14示出了给定面行中的垂直映射的示例水平映射参数(a₂)搜索。

图15示出了给定面行中的水平映射的示例垂直映射参数(b₂)搜索。

图16A是示出了可以在其中实现一个或多个所公开的实施例的示例通信系统的系统图。

图16B是示出了可在图16A所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。

图16C是示出了可以在图16A所示的通信系统内使用的示例无线接入网(RAN)和示例性核心网络(CN)的系统图。

图16D是示出了可以在图16A中图示的通信系统内使用的另外的示例RAN和另外的示例CN的系统图。

具体实施方式

现在将参考各个附图来描述说明性实施例的详细描述。尽管本描述提供了可能实现方式的详细示例，但是应当注意，这些细节旨在是示例性的，而不以任何方式限制本申请的范围。

VR系统可以使用360度视频来向用户提供在水平方向上从360度角度观看场景和在垂直方向上从180度角度观看场景的能力。VR和360度视频可以是超高清(UHD)服务之外的媒体消费的方向。可以执行对全向媒体应用格式的要求和潜在技术的工作，以提高VR中360度视频的质量和/或标准化用于客户端互操作性的处理链。自由视图TV(FTV)可以测试以下各项中的一者或多者的性能：(1)基于360度视频(全向视频)的系统；(2)基于多视图的系统。

可以改善VR处理链中一个或多个方面的质量和/或体验。例如，可以改善在捕获、处理、显示等VR处理中一个或多个方面的质量和/或体验。在捕获侧，VR可以使用一个或多个相机来从一个或多个(例如，不同的)发散视图(例如，6-12个视图)捕获场景。视图可以被拼接在一起以形成高分辨率(例如，4K或8K)的360度视频。在客户端侧和/或用户侧，虚拟现实系统可以包括计算平台、头戴式显示器(HMD)和/或头部跟踪传感器。计算平台可以负责接收和/或解码360度视频，和/或生成视口以供显示。可以为视口呈现两个图像，每只眼睛一个图像。这两个图像可以在HMD中显示(例如，用于立体观看)。透镜可以用于放大HMD中显示的图像以便更好地观看。头部跟踪传感器可以保持(例如，恒定地保持)对观看者的头部取向的跟踪，和/或可以将取向信息馈送至系统以显示针对该取向的视口图像。

VR系统可以提供触摸设备以供观看者与虚拟世界中的对象交互。VR系统可以由具有良好GPU支持的强大工作站驱动。轻(light)的VR系统(例如，开发者版(Gear VR))可以使用智能电话作为计算平台、HMD显示器和/或头部跟踪传感器。空间HMD分辨率可以是2160×1200，刷新率可以是90Hz，和/或视场(FOV)可以是110度。头部跟踪传感器的采样密度可以是1000Hz，这可以捕获快速移动。VR系统可以包括透镜和/或纸板(cardboard)和/或可以由智能电话驱动。

360度视频系统的示例工作流可以在图1中示出。360度视频系统的示例工作流可以包括360度视频捕获实现，其可以使用一个或多个相机来捕获覆盖球体(例如，整个球体)的视频。视频可以以原生几何结构被拼接在一起。例如，视频可以以等边三角形投影(ERP)格式被拼接在一起。基于现有的视频编解码器，可以将原生几何结构转换为一个或多个投影格式以用于编码。在接收机处，视频可被解码和/或经解压缩的视频可被转换成几何形状以供显示。视频可以用于根据用户的视角经由视口投影进行呈现。

可以执行360度视频的立方体贴图投影。可以执行360度视频压缩和/或递送系统。360度视频递送可以使用球体几何结构来表示360度信息。例如，由一个或多个相机捕获的同步视图可以作为整体结构被拼接在球体上。可以利用给定的几何转换将球体信息投影到2D平面表面。球形映射格式可以是立方图投影(CMP)格式。图2A示出CMP格式的示例投影几何形状。

视频编解码器可能未被设计成处理球体视频。如果视频编解码器未被设计为处理球体视频，则CMP格式的6个面可被一起打包成图像(例如，单个图像)。为了最大化相邻面之间的连续性，可以将一个或多个面旋转预定的角度。图2B示出了可以将6个面放置到矩形图像中的示例打包。在图2B中，可以在与面的对应旋转对齐的方向上放置面索引(例如，为了更好的可视化)。例如，面#3和/或#1可以分别逆时针旋转270度和180度，而其它面中的一者或多者(例如，全部)可以不旋转。具有CMP的示例图像可以在图2C中示出。由CMP生成的结果运动场(其可以描述相邻2D投影图像之间的时间相关性)可以由视频编解码器的平移运动模型表示，例如，由于其直线结构。

可以执行用于360度视频译码的单立方体贴图投影。

CMP格式可以是优于用于360度视频表示的一个或多个球形映射格式的有利选择，例如，由于其计算效率。由于直线投影的限制，球体上的样本可能被CMP格式不均匀地采样，该CMP格式在接近面边界处具有较高的采样密度和/或在接近面中心处具有较低的采样密度。非均匀球形采样可能不利于360度视频表示的效率和/或可能降低360度视频译码的效率，例如，因为现有译码可能是基于平面图像上的一个或多个(例如，全部)样本可能是重要的(例如，同等重要)的假设而建立的。当通过现有视频编解码器对360度视频进行译码时，CMP的非均匀采样可能导致面边界周围的区域的质量比面中心周围的区域的质量高。球体上的样本对于观看者的视觉体验可能不具有相同的重要性。例如，观看者可能比观看面边界更可能观看面中心附近的内容。当对象在时域中从面中心移动到面边界(或反之亦然)时，具有不同的采样密度可能导致对象的缠绕和/或变形。对象缠绕可能降低运动补偿预测的有效性和/或可能降低360度视频的译码效率。

为了解决CMP的非均匀采样问题，可以执行单立方体贴图投影(UNICMP)格式。UNICMP可以将CMP的采样网格转换为球体上的均匀采样网格。UNICMP可以在生成实际的CMP面之前使用变换函数来修改2D平面上的样本的坐标。例如，由于均匀的球形采样，UNICMP可以实现比CMP更好的球形数据表示。UNICMP可以具有相对于CMP的增强的360度视频的译码效率。图3A、3B、3C和3D示出了CMP和UNICMP之间的平面和球形采样模式的示例比较。如图3A所示，CMP面的采样网格可以包括一组或多组(例如，两组)平行线。一组平行线可以在水平方向上和/或另一组平行线可以在垂直方向上。一组平行的分割线可以以均匀的间隔分开。如图3B所示，当CMP面被投影到球体上时，采样网格可能在平面中的直线变成曲线的地方失真。因为直线投影可能不是距离保持投影，所以球体上的对应采样网格可能变得不均匀，如图3B所示。为了维持与CMP类似的采样结构，可以基于一组或多组(例如，两组)平行线来采样UNICMP格式的面。为了提高球形采样均匀性，一组中的平行线可以以非均匀方式分布(如图3C的示例所示)，使得球体上的对应采样网格可以是均匀的(如图3D的示例所示)。

变换函数可以用于将非均匀平面采样网格变换为均匀平面采样网格。图4A、4B示出了示例映射。如果水平变换与垂直变换不相关，那么从(x，y)到(x'，y')的映射可包含两个单独变换，例如，x'＝f(x)及y'＝f(y)，其中可独立地对x及y应用相同变换函数。可以计算将(x'，y')映射到(x，y)的逆变换，例如，x＝g(x')和y＝g(y')。由于x及y的两个变换函数可相同，因此可导出本文讨论的y的变换函数。设β∈[-1,1]是立方体上的图案区域的y坐标。图5A、5B和5C示出了如何计算立方体面的坐标和单立方体面的坐标之间的变换函数的示例。由于变换函数β′＝f(β)的目标在于利用球体上的相等直线结构分割将β转换到β′(如图5B所示)，从而可以使f(β)与对应于β的球形区域的面积成比例。如图5B所示，f(β)的值可以等于图案球形区域的面积与对应于一个立方体面的球体的四分之一的面积之间的比率。变换函数f(β)可以计算为：

式中，β∈[-1,1]。对应的逆变换函数g(β′)(例如，从单立方体面到立方体面的映射)可以被计算为：

式中，β′∈[-1,1]。图5C示出了β与β′之间的示例性对应映射关系。图6A、6B示出了分别利用CMP和UNICMP格式生成的两个示例图像。如图6A、6B所示，UNICMP(例如，与CMP相比)可以扩大面中心周围的区域(例如，由椭圆包围的区域)，同时缩小面边界周围的区域(例如，由正方形包围的区域)。扩大面中心周围的区域同时缩小面边界周围的区域可以解决CMP的非均匀球形采样，该非均匀球形采样可以具有接近面边界的密集采样密度和/或接近面中心的稀疏采样密度，这可以导致球形数据的更好表示。

可以执行(例如，使用、应用等)用于360度视频译码的一个或多个CMP投影或类CMP投影。例如，可以执行一个或多个其他的类CMP投影格式，以通过使用一个或多个(例如，不同的)变换函数调整立方体面的坐标来实现一个或多个(例如，不同的)球形采样特征。例如，可以基于以下变换函数通过调整立方体域中的坐标来执行经调整的立方体贴图投影(ACP)以用于改善的球形采样均匀性：

β′＝f(β)＝sgn(β)·(-0.36·β²+1.36·|β|) (3)

式中，sgn(·)可以是返回输入值的符号的函数。等角立方体贴图(EAC)投影可以通过转换立方体域与EAC域之间的坐标来执行，例如基于立方体采样网格上的球形样本的角度的正切。例如，EAC投影的变换函数可以计算为：

由于计算的简单性和/或直线球形结构，图形设备可以支持立方体映射，这可以使CMP成为广泛部署的360度视频的表示格式。CMP可能不均匀地对球形表面进行采样(在面边界处具有较高的采样密度，而在面中心处具有较低的采样密度)，这可能导致球形数据的低效表示。UNICMP格式能够在球体上提供比CMP更均匀的采样网格。由于UNICMP格式维持与CMP格式的面结构类似的面结构(利用进一步调整面中的采样的坐标)，因此，可以将应用于CMP的帧打包方案和/或硬件实现中的一者或多者重新用于UNICMP。

图6A示出了CMP的示例投影图像。

在类CMP投影格式(例如CMP、UNICMP、ACP和EAC)中，相同的投影几何形状可以用于六个投影面中的一者或多者(例如全部)。假定投影格式可以具有固定的球形采样特性，则针对六个投影面中的一者或多者(例如，全部)使用相同的投影几何形状对于这些面中的一者或多者(例如，全部)可能不是最优的。例如，由于CMP面的球体采样密度在面边界处比在面中心处更高，因此使用CMP几何形状来投影在其边界周围包含更重要信息(例如，具有复杂纹理的对象)的面可能是有益的。UNICMP、ACP和/或EAC可以用于表示在面中心周围的区域处可能包含有用的球形信息的面。

给定投影格式的独特采样特征，取决于面内的内容，一个或多个(例如，不同的)投影格式可以具有不同的译码效率。例如，取决于对象位于面内的何处和/或什么投影格式可以被应用于面，对象可以具有一个或多个(例如，各种)变形度。这种变形可能导致复杂的运动和/或负面地影响视频编解码器中的运动补偿预测的效率，其中可以应用运动模型(诸如平移和仿射模型)。例如，如图6A、6B所示，CMP格式可以扩大边界周围的区域。CMP可能不是用在包含具有复杂运动(例如，从面中心到面边界的大运动，或反之亦然)的内容的面上的理想选择。允许根据立方体面中包含的其内容的特定特性灵活地选择立方体面的一个或多个(例如，不同的)投影格式可能是有益的。

可以使用一个或多个(例如，不同的)投影格式来投影360度视频。当使用不同的投影格式投影360度视频时，为了生成目标投影格式的样本，可以计算源投影格式中的对应样本的位置。这种计算可以涉及2D到3D映射和/或3D到2D映射。对于UNICMP的3D到2D映射(例如，将3D球形样本投影到一个UNICMP面上)，3D位置可以被投影到在CMP域的采样网格中定义的(例如，一个)2D坐标(x，y)中。通过分别在x和y方向上应用变换函数f(·)，2D坐标可被映射到UNICMP域中的相应坐标(x'，y')。当将(例如，一个)UNICMP面上的2D坐标(x'，y')投影到3D球形位置(例如，2D到3D映射)时，2D坐标可基于逆变换函数g(·)而被映射到在CMP域中定义的(例如，一个)中间2D坐标(x，y)，其可根据直线投影而被投影到3D空间上。如等式(1)和(2)所示，例如，相同的变换函数可以用于一个或多个(例如，所有)UNICMP面，以实现球体上的均匀采样。例如，假定投影到面上的3D内容可能表现出彼此不同的特性，则这样的变换函数可能不能最大化360度视频的整体译码效率。在这种情况下，可以对不同的面应用不同的正向/反向变换函数。图7示出了用于示出原始360度视频的索道升降椅(Chairlift)被沿着3D空间中的(滚动、俯仰、偏航(Roll，Pitch，Yaw))方向旋转(79，240，0)度和/或被投影到CMP面上的问题的示例。如图7所示，在面#5中的感兴趣的内容(例如，最感兴趣的内容)(如由面#5上的正方形包围的)可以位于面的底部边界和/或面的可由具有简单纹理的区域组成的其它部分。在这种情况下，优选地，设计一变换函数，该变换函数可以在面边界附近分配较高的球形采样密度和/或在面中心附近分配较低的球形采样密度。对于面#3，主要吸引观看者注意力的区域(如由面#3上的圆圈包围的)可以位于面的中心。如果将变换函数应用于面，则可以提高译码性能，该变换函数可以在面边界处分配较低的球形采样密度和/或在面中心处分配较高的球形采样密度。

当导出从(x，y)到(x'，y')和/或从(x'，y')到(x，y)的变换函数时，可以在x和y方向上执行相同的变换函数(例如，分别在x和y方向上执行)。尽管这种方法可以确保UNICMP面可以具有与CMP的对称分区结构类似的对称分区结构，但是这种对称属性对于一个或多个(例如，每个)UNICMP面可能不是最优的。面中的样本可以在x和y方向上示出不同的采样属性。如图7所示，面#1中的3D内容可以在水平方向(总是与天空区域和/或地面区域相对应)上示出稳定的特性。然而，沿着垂直方向，顶部部分可对应于天空区域(具有相对简单的纹理)且/或底部部分可对应于地面区域(具有更多纹理和方向边缘)。这可以指示内容特性可以沿着垂直方向改变。基于UNICMP设计，通过总是使用均匀采样点，可能无法实现最优采样效率。可以使用垂直方向上的非均匀球形采样密度(例如，随着我们从面的顶部移动到底部而逐渐增加采样密度)和/或可以使用水平方向上的均匀采样密度。例如，对于ACP和EAC格式，可能存在类似的问题，因为这些投影格式在一个或多个(例如，两个)方向上使用变换函数(例如，相同的变换函数)。允许在水平和垂直方向上使用一个或多个(例如，不同)变换函数可能是有益的。

UNICMP在球体上的采样均匀性方面可以胜过CMP。当考虑到360度视频的球形数据的特性时，UNICMP可能不是最佳的。为了实现表示和/或译码球形数据的更好效率，360度视频的最佳投影格式可以允许针对个别面调整投影格式(例如，变换函数)。为了维持与所部署的图形硬件的兼容性，可能希望利用新投影格式中可被实现用于现有投影格式的硬件操作和/或模块。可以执行360度视频表示的效率和/或360度视频译码的效率。

混合立方体投影格式(HYBCMP)可以允许自适应地选择用于面的最佳投影格式。例如，立方体面可以通过现有的类CMP投影格式(例如，CMP、UNICMP、ACP和EAC)来译码。不同的投影格式可以展现不同的球形采样特性。假定不同的投影格式可以展现不同的球形采样特性，则这样的灵活性可以允许以更高效的方式对360度视频进行译码。

可以执行增强的HYBCMP(ENH-HYBCMP)，例如，以推动由HYBCMP提供的译码增益。与HYBCMP相比，ENH-HYBCMP可以允许用于面的一个或多个(例如，不同的)投影格式和/或可以使用用于一个或多个(例如，多个)面中的x和y方向的一个或多个(例如，不同的)变换函数，以最大程度地将面的球形采样密度适应于对应的3D内容的特性。

高级语法元素可以在比特流中用信号通知用于HYBCMP和/或ENH-HYBCMP的几何信息。这种信息可以由低级别译码工具用于改进的译码效率和/或由后处理用于将360度视频从2D转换为3D以用于显示。

当应用HYBCMP时，可以执行多个编码器侧方法来选择用于面的投影格式，和/或当应用ENH-HYBCMP时，可以确定用于面的变换函数的参数。

可以执行混合立方体贴图投影(HYBCMP)。

]类CMP投影格式(例如CMP、UNICMP、ACP和EAC)可以在球体上具有一个或多个(例如不同的)采样特征。例如，对于一个CMP面，球形采样在面边界处比在面中心处更密集。UNICMP、ACP和/或EAC可通过将球形样本从面边界移动(例如，部分移动)到面中心来提供比CMP更均匀的球形采样。图6B示出了围绕面中心的示例放大区域和围绕面边界的收缩区域。给定一个或多个类CMP投影格式的一个或多个特性，HYBCMP格式可以自适应地选择CMP、UNICMP、ACP和/或EAC的变换函数中的一者来用于面的译码。例如，在以下讨论中可以索引投影格式。

表1投影格式定义

索引	投影格式
		0	CMP
1	UNICMP
		2	ACP
3	EAC

基于投影格式索引的定义，可被允许用于360度视频译码的投影格式可基于表2中的语法元素在序列级用信号通知，例如，在视频参数集(VPS)、序列参数集(SPS)用信号通知。

表2用于在序列级用信号通知投影格式的语法元素

诸如num_projection_format之类的参数可以指定可以被应用来对当前360度视频序列进行译码的投影格式的总数。

参数project_geometry_idx[i]可以指定用于对视频序列进行译码的第i个投影格式的投影格式索引(如表1中所定义的)。

例如，当允许CMP和UNICMP格式(例如，仅允许CMP和UNICMP格式)用于序列时，num_projection_format＝2，project_geometry_idx[0]＝0，并且project_geometry_idx[1]＝1。当允许CMP和ACP格式(例如，仅允许CMP和ACP格式)用于序列时，num_projection_format＝2，project_geometry_idx[0]＝0，并且project_geometry_idx[1]＝2。投影几何形状表SeqProjectionGeometry可由解码器建立，其包含num_projection_format条目，每个条目可列出相应的允许的投影格式。在第一示例中，SeqProjectionGeometry＝{0，1}，并且在第二示例中，SeqProjectionGeometry＝{0，2}。

给定在序列级可以允许的投影格式候选，可以引入另一语法元素集Hybrid_cube_parameter_set()，以指示哪个投影格式可以用于图像中的投影面。

表3HYBCMP的语法元素

诸如num_face_rows_minus1加一(例如，num_face_rows_minus1+1)之类的参数可以指定帧打包图像中的面行数。

诸如num_face_columns_minus1加一(例如，num_face_columns_minus1+1)之类的参数可以指定帧打包图像中的面列数。

诸如face_projection_geometry_idx[i][j]的参数可以指定用于位于帧打包图像中的第i行和第j列的面的投影几何形状的阵列SeqProjectionGeometry中的索引。

可在序列级和/或图像级用信号通知表3中所描述的语法元素。例如，当在序列级用信号通知时，可以在序列级固定用于面的投影格式的选择。可以在图像级用信号通知语法元素，这可以允许选择一个或多个(例如，不同的)面的投影格式以在视频序列中的图像与图像之间改变。当应用图像级信令时，假定帧打包格式可能不随图像而改变，则可以跳过用于图像的信令的语法元素num_face_row_minus1和num_face_columns_minus1。

尽管表3中未示出，但是可以在i和j循环之外用信号通知另一标志。该标志可以用于用信号通知一个或多个(例如，所有)面是否可以使用相同的face_projection_geometry_idx，并且如果是，则可以用信号通知一个(例如，仅一个)face_projection_geometry_idx。当在图像级用信号通知hybrid_cube_parameter_set()时，标志可以是有用的。当在图像级用信号通知hybrid_cube_parameter_set()时，使用标志对于当一个或多个图像选择将相同的face_projection_geometry_idx用于一个或多个(例如，所有)面时和/或当其它图像选择将不同的face_projection_geometry_idx用于不同面时的情况可以更有效。

可以执行增强的混合立方贴图投影(ENH-HYBCMP)。

在HYBCMP中，可以允许选择有限数量的预定义投影格式作为用于立方体面的译码投影格式。表1包含固定的投影格式和/或可以不允许用户指定定制的投影格式。为了提高译码性能，可以执行ENH-HYBCMP格式。类似于UNICMP、ACP和EAC，ENH-HYBCMP可以通过使用函数将立方体映射转换为另一球形映射，以在生成实际CMP面之前修改坐标。与可以针对一个或多个(例如，所有)面在x和y方向上执行相同变换函数的一个或多个(例如，所有)类CMP投影格式相比，ENH-HYBCMP中的变换函数可以基于视频内容针对面和/或方向进行定制。变换函数可以使用多项式模型来表示。变换函数可以应用于2D到3D映射。如图8A、8B所示，从(x'，y')到(x，y)的映射可以将分区坐标从混合立方体域变换到立方体域。例如，映射可以涉及两个变换函数，例如，x＝g₁(x')和y＝g₂(y')，其可以由多项式模型近似，例如，

其中(x′,y′)∈[-1,1]，并且a_i和b_j可以是多项式回归系数；N和M可以是多项式函数的阶数，其可以在等式(7)和(8)中进行假设。为了使得混合立方体采样网格中的坐标可以拟合立方体采样网格(例如，一个或多个(例如，所有)混合立方体面的球形采样网格可以覆盖球体，例如，整个球体)，可以满足以下约束，例如：

/>

变换函数的曲线可以经过(例如，总是经过)x轴和y轴的原点，约束可以被应用为a₀＝b₀＝0。基于等式(7)和(8)，可以如下计算用于从(x，y)到(x'，y')的逆映射的变换函数(例如，将分区坐标从立方体域变换到混合立方体域)：

根据等式(7)和(8)以及等式(13)和(14)，可以在混合立方体域中建立坐标(x'，y')之间的关系和/或在立方体域中建立坐标(x，y)之间的关系。对于立方体域中的坐标和球体上对应的3D点P_s，几何关系可以是已知的。例如，通过使用CMP作为中间阶段，可以实现ENH-HYBCMP格式和一个或多个其他投影格式的投影转换。例如，为了将ENH-HYBCMP格式中的坐标映射到另一投影格式，可以将坐标映射到中间坐标(例如，如基于(7)到(8)的CMP格式中所定义的)。可以使用CMP的现有2D到3D变换函数和目标投影格式的3D到2D变换函数将中间坐标投影到目标投影格式上。以ERP为例，给定ENH-HYBCMP中坐标(x_c'，y_c')处的样本，其在ERP中的对应的映射坐标可以如下计算：对于从ENH-HYBCMP到CMP的坐标转换，给定ENH-HYBCMP中的输入坐标(x_c'，y_c')，CMP中的中间坐标(x_c，y_c)可以根据等式(3)到(4)来计算；对于从CMP到球体的2D到3D映射，给定中间坐标(x_c，y_c)，可计算球体上对应的3D点P_s的坐标；对于从球体到ERP的3D到2D映射，给定3D点P_s的坐标，可以计算其在ERP域中的投影点的坐标(x_e，y_e)。

使用等式(13)和(14)中的映射，可以通过本文描述的步骤(例如，三个步骤)实现从ERP到ENH-HYBCMP的转换，但是与上面相反。例如，从ERP到HYBCMP的几何转换可以如下执行：对于从ERP到球体的2D到3D映射，给定ERP中的输入坐标(x_e，y_e)，可以计算球体上的对应3D点P_s；对于从球体到CMP的3D到2D映射，给定3D点P_s的坐标，可以计算其在CMP中的投影点的坐标(x_c，y_c)；对于从CMP到ENH-HYBCMP的坐标转换，给定CMP中的坐标(x_c，y_c)，HYBCMP中的输出坐标(x_c'，y_c')可以根据等式(13)和(14)来计算。

如等式(7)和(8)所示，变换函数x＝g₁(x')和y＝g₂(y')可分别由N阶和M阶的两个多项式函数近似。使用具有一个或多个(例如，不同)阶的多项式函数可导致近似变换函数的一个或多个(例如，不同)准确度。高阶多项式模型可能更有利，例如，因为高阶多项式模型可以更精确地表示真实变换函数。选择高阶多项式模型可能导致增加的转换复杂度，例如，因为在坐标转换中可能使用更多的乘法和/或加法。高阶多项式模型的信令开销可能更高。较高的信令开销可能比较高的计算复杂度问题更少。可以选择最佳多项式阶数。最佳多项式阶数可以足够大以确保足够的转换精度和/或不增加(例如压倒性地增加)转换复杂度(和信令开销)。相同的多项式阶数可以用于HYBCMP格式的面(例如，所有六个面)和/或在x和y方向上。例如，基于面的特定特性，可以对HYBCMP面应用(例如，自适应地应用)一个或多个(例如，不同的)多项式阶数。可以在面的x和/或y方向上应用的多项式函数的阶数可以不同。为了便于解释如何将HYBCMP格式应用于360度视频译码，可以使用二阶多项式模型。为了简化变换函数，可应用对称性约束(如图5C中的变换函数所示)，使得变换函数可相对于x轴和/或y轴的原点对称。由等式(7)和(8)给出的从(x'，y')到(x，y)的变换函数可以简化为：

x＝g₁(x′)＝sgn(x′)·(a₂·x′²+a₁·|x′|) (15)

y＝g₂(y′)＝sgn(y′)·(b₂·y′²+b₁·|y′|) (16)

其中sgn(·)可以是返回输入的符号的函数。逆变换函数可以被计算(如等式(13)和(14)所示)为：

基于等式(15)到(18)，可通过调整a₁、a₂、b₁和/或b₂的值来获取用于HYBCMP和CMP的各种变换函数。参数的配置可以暗示一些现有投影格式的变换函数，例如，a₁＝b₁＝1和a₂＝b₂＝0的设置可以对应于CMP的映射函数，和/或a₁＝b₁＝0.555和a₂＝b₂＝0.445的设置可以近似于UNICMP的变换函数。图9示出了一个或多个(例如，不同的)HYBCMP变换函数的示例，其可以被生成以近似现有的投影格式，例如，通过改变等式(11)和(12)中的参数a₁和a₂的值。在图9中，可针对一个或多个(例如，不同)设置来绘制变换函数的曲线。第一种情况可以对应于CMP(a₁＝1且a₂＝0)。第二种情况可对应于UNICMP(a₁＝0.555且a₂＝0.445)。第三种情况可以对应于具有a₁＝0.662和/或a₂＝0.326的设置的变换函数，其可以近似ACP的变换函数。第四种情况可以对应于当设置a₁＝0.689和/或a₂＝0.311时的变换函数，其可以近似EAC的变换函数。

图9示出了CMP、UNICMP和/或EAC的变换函数，CMP、UNICMP和/或EAC示出了不同的球形采样特征的示例，例如，取决于面内的位置，而ACP的变换函数可以接近于在面边界和/或中心周围的区域处的EAC的变换函数。例如，CMP的球形采样密度在面边界处可以是最高的，而CMP的球形采样密度在面中心处可以变为最低的。UNICMP的球形采样密度可以高于CMP和/或EAC在面中心处的球形采样密度。然而，UNICMP的球形采样密度可以低于CMP和/或EAC在面边界处的的球形采样密度。

图10A、10B、10C示出了比较CMP、UNICMP和/或EAC的相应球形采样网格的示例。ACP的采样网格可以类似于EAC。通过调整参数，ENH-HYBCMP格式可以允许在x和y方向上对面使用一个或多个(例如，不同的)变换函数。与CMP和UNICMP相比，其可以在x和y方向上对一个或多个(例如，所有)面应用相同的变换函数，这种灵活性可以提供译码360度视频的效率，例如，通过使面的球形采样特征适应(例如，最大程度地适应)球体上的对应内容的特性。如图7所示，如果应用HYBCMP，则UNICMP的变换函数可应用于在面中心处可能包含最感兴趣内容(如由圆圈包围的)的面#3，并且CMP的变换函数可应用于面#5，在面#5，具有复杂纹理(如由正方形包围的)的区域可能位于面边界处。

多项式模式可用于导出变换函数x＝g₁(x′)和/或y＝g₂(y′)，例如，可将坐标从混合立方体域变换到立方体域的变换函数。可以使用对应的逆变换函数x′＝f₁(x)和y′＝f₂(y)，例如，可以将坐标从立方体域变换到混合立方体域的变换函数可以被计算为g₁(x)和＝g₂(y)的逆函数。可以以相反的方式应用变换函数。举例来说，多项式模式可导出变换函数x′＝f₁(x)和/或y′＝f₂(y)。对应的逆映射x＝g₁(x′)和y＝g₂(y′)可以作为f₁(x′)和f₂(y′)的逆函数导出。多项式模型可用于模拟ENH-HYBCMP和/或CMP的变换函数。其他模型函数(例如，指数函数、对数函数等)可以应用于ENH-HYBCMP格式。

变换函数f₁(x)和/或f₂(x)可以用于将坐标从CMP映射到ENH-HYBCMP。变换函数f₁(x)和f₂(x)可以表示为二阶多项式等式：

x′＝f₁(x)＝sgn(x)·(a₂·x²+a₁·|x|) (19)

y′＝f₂(y)＝sgn(y)·(b₂·y²+b₁·|y|) (20)

变换函数f₁(x)和f₂(x)的逆函数可以是g₁(x′)和g₂(y′)。g₁(x′)和g₂(y′)可以用于将坐标从ENH-HYBCMP映射到CMP，并且可以表示为：

可以为ENH-HYBCMP中的一个或多个面定义的水平和/或垂直方向提供映射。例如，可以存在针对ENH-HYBCMP中的一个或多个面定义的水平和/或垂直方向的映射，诸如等式(15)和(16)中提供的那些。ENH-HYBCMP可以被帧打包为3×2布局，如图11所示。如果ENH-HYBCMP被帧打包为3×2布局，则面0可以在3D空间中与面4和/或面5连接。内容可以跨边界b0连续。内容可以跨边界b1连续。如果面4的垂直映射不同于面0的垂直映射，则跨边界b0的一个或多个(例如两个)侧的采样内容可能在垂直方向上未对齐。例如，如果存在跨边界b0的水平线，则该线可在边界b0处断开。面0的垂直映射可以不同于面5的垂直映射。如果面0的垂直映射不同于面5的垂直映射，则跨边界b1的各侧(例如两侧)上的采样内容可能未对齐。3×2布局中的边界b2和/或b3可具有连续性特性，其可与b0和/或b1的连续性特性相同或基本相同。可能应用于b0和/或b1的未对齐问题可能应用于边界b2和/或b3。

图12A示出了一示例，其中面0的垂直映射可以不同于面4和/或面5的垂直映射，并且面1的垂直映射可以不同于面2和/或面3的垂直映射。虚线椭圆中的面边界可以是连接相邻面(例如，两个3D相邻面)的边界。在b0、b1、b2、b3处可能发生未对齐。面边界处的不连续性可能导致帧内预测和/或帧间预测的译码丢失。例如，如果当前块位于面边界处，则参考样本可以不同于当前块。对于帧间预测，可以分隔预测单元。例如，如果预测单元跨面边界，则预测单元可以被分隔以保持预测单元(例如，所有预测单元)位于面中。在图11中，在边界b0、b1、b2、b3处的相邻面可以对齐。例如，如果应用连续性约束，则在图11中，在边界b0、b1、b2、b3处的相邻面可以对齐。用于保持在边界b0、b1、b2、b3处的连续性的约束可用于ENH-HYBCMP中的基于帧打包的编码。帧打包布局中的相邻面可以在3D空间中连接。例如，如果帧打包布局中的相邻面(例如，两个相邻面)在3D空间中连接，则相邻面可以共享垂直映射以保持连续性。对于一个或多个面的水平方向上的映射，可能不存在约束。一个或多个面可以具有用于水平和/或垂直映射的一组参数。例如，可以针对面(例如，所有6个面)用信号通知12组映射参数，并且约束可以不存在。可以在垂直方向上应用约束。如果在3×2帧打包布局(例如，如图11所示)的垂直方向上应用约束，则面4、面0和/或面5可共享垂直映射，和/或面3、面1和面2可共享垂直映射。可以用信号通知映射参数组(例如，8组)(例如，6组用于水平映射，2组用于垂直映射)。例如，可以提供8组映射参数。

可以导出用于采样的映射。例如，可以根据内容的特性来优化映射以用于采样。例如，如果区域包含变化(例如，边缘和/或纹理)，则采样密度可以增加(例如，更高)。如果该区域是平滑区域，则采样密度可以被减小(例如，更低)。对于由移动相机捕获的视频，内容(例如，面内的内容)可以改变(例如，可以频繁地改变)。图13A、13B示出了由相机(例如，快速移动相机)在两次捕获的示例视频。一个或多个面的外观可以改变。例如，一个或多个面的外观可以在时间差最小(例如，一秒)时改变。可以更新(例如，周期性地更新)优化的映射。映射函数可以从图像P更新。使用图像P作为帧间参考图像和/或具有与图像P的不同映射的图像的帧间预测可以被影响。例如，使用图像P作为帧间参考图像和/或具有与图像P的不同映射的图像的帧间预测可能被影响，因为图像中相同或基本相似的对象的外观可能不同于图像P中的外观。图像中相同或基本相似的对象的外观可能不同于图像P中的外观，由于不同映射被用于图像。使图像中的相同或基本相似的对象不同于图像P中的外观可以降低时间相关性。可以应用转换以将参考图像中使用的映射与当前图像对齐。可应用转换，使得参考图像映射可与当前图像对齐和/或当前图像映射可与参考图像对齐。

可基于用于ENH-HYBCMP的映射之间的关系来确定ENH-HYBCMP的一个或多个映射之间的转换。例如，如果第一组映射被定义为等式(15)、(16)、(17)、(18)和/或第二组映射可被定义为：

x＝g′₁(x′) (23)

y＝g′₂(y′) (24)

x′＝f′₁(x) (25)

y′＝f′₂(y) (26)

投影格式可以通过由等式(23)、(24)、(25)、(26)定义的第二组ENH-HYBCMP映射称为ENH-HYBCMP-2。投影格式可以通过由等式(15)、(16)、(17)、(18)定义的第一组ENH-HYBCMP映射称为ENH-HYBCMP-1。给定ENH-HYBCMP-2中的位置(x2′、y2′)，ENH-HYBCMP-1中的投影位置(x1′、y1′)可以用该映射来计算。例如，可以计算ENH-HYBCMP-1中的投影位置(x1′，y1′)，而不使(x2′，y2′)从ENH-HYBCMP-2中的2D位置转换为3D坐标和/或将3D坐标投影为ENH-HYBCMP-1中的2D投影位置。

x1′＝f₁(x)＝f₁(g′₁(x2′)) (27)

y1′＝f₂(y)＝f₂(g′₂(y2′)) (28)

并且f₁(g′₁())和f₂(g′₂())可以由给出由等式(15)、(16)、(17)、(18)和(23)、(24)、(25)、(26)定义的映射的查找表来实现。

可以执行用于用信号通知ENH-HYBCMP的信息的高级语法设计。

如图1所示，解压缩的360度视频可以被转换为显示几何形状，该显示几何形状可以用于根据用户的视角动态地呈现视口。当ENH-HYBCMP格式被应用为360度视频系统中的译码投影格式时，变换函数的信息可以被发送到解码器，以对360度视频应用处理以用于显示(在HMD或其他显示设备上)。这种信息可由低级别译码工具用于改进360度视频译码的效率。例如，几何形状填充可通过考虑以译码投影格式表示的3D几何结构来填充参考样本，从而改进360度视频的运动补偿预测。高级语法元素可以在比特流中用信号通知ENH-HYBCMP格式的必要几何信息。二阶多项式模型(如等式(15)到(18)所示)可以说明高级语法信令。该语法可以适用于一个或多个其它模型，和/或相同的多项式模型，但是具有不同的阶数。

如等式(7)和(8)所示，多项式系数可以是实值，并且可以在传输之前被量化。可将x方向上的多项式系数的量化扩展到y方向上的变换函数的系数。其中，实值系数a_i(其中i＝1，2)可以使用量化步长大小q_step来均匀地量化和/或可以由整数值(表示为)来近似，如以下所描述的：

假设量化步长q_step可以是实值，则它可以进一步通过乘以一整数因子M然后右移N位来近似，例如，

为了传送多项式系数a_i，量化的系数以及因子M和N可以在比特流中指定。当ENH-HYBCMP被应用于360度视频译码时，可以使用合适的量化步长大小。因为当ENH-HYBCMP被应用于360度视频译码时，可以使用合适的量化步长大小，所以由系数量化产生的误差可能对变换函数的精度产生不可忽略的影响。一个或多个(例如，不同的)量化步长大小(例如，不同的M和N)可以应用于x和y方向和/或不同的面。M和N的值可以针对方向和/或面来标记。相同的量化步长大小(例如，相同的M和N)可以应用于一个或多个(例如，所有)面中的x和/或y方向，并且将M和N的值用信号通知给解码器。M和N的固定值可在编码器和/或解码器处使用(例如，总是使用)。在此情况下，可不用信号通知比特流中的M和/或N的值。

语法元素集hybrid_cube_parameter_set()可以指示例如ENH-HYBCMP格式的比特流中的变换系数，以将变换函数的系数从编码器传递到解码器。假定可应用二阶多项式模型和/或可将相同的量化步长大小(相同的M和N)用于一个或多个(例如，所有)面中的x和/或y方向，表4示出用于用信号通知HYBCMP格式的映射系数的语法元素的示例结构。

表4所提出的用信号通知ENH-HYBCMP的变换函数的系数的语法元素

诸如use_identical_trans_funcs_for_all_faces之类的参数可以指示是否相同的变换函数用于帧打包图像中的所有面。例如，当use_identical_trans_funcs_for_all_faces标志等于1时，可以将用于位于帧打包图像中的第一行和/或第一列的面的变换函数重新用作其它面的变换函数。当use_identical_trans_funcs_for_all_faces标志等于0时，帧打包图像中的面可以使用不同的变换函数。

诸如UserDefinedCoeffSent,之类的参数可以指定是否正在使用用户定义的格式。

诸如horizontal_trans_func_type的参数可以指定在水平方向上的变换函数类型。映射函数的类型在表5中定义。

诸如trans_func_type_same_flag等于1的参数可以指定水平方向上的相同变换函数类型可以用于垂直方向。

诸如vertical_trans_func_type的参数可以指定在垂直方向上的变换函数类型。变换函数的类型在表5中定义。

表5变换函数类型定义

trans_func_type索引	描述符
		0	CMP
1	UNICMP
		2	ACP
3	EAC
		4	用户定义的(user_defined)

诸如horizontal_trans_coeff_abs[i][j][k]的参数可以指定位于帧打包图像中的第i行和第j列的面的水平变换函数的第k个系数的绝对值。

诸如horizontal_trans_coeff_sign[i][j][k]的参数可以指定位于帧打包图像中的第i行和第j列的面的水平变换函数的第k个系数的符号。

诸如horizontal_transform_coeff_abs[i][j][k]和/或horizontal_transform_coeff_sign[i][j][k]的参数可以将位于帧打包图像中的第i行和第j列的面的水平变换函数的第k个系数的值指定为：

HorTransCoeff[i][j][k]＝((1-2*horizontal_trans_coeff_sign[i][j][k])*horizontal_trans_coeff_abs[i][j][k]*(coeff_scaling_factor_minus1+1))>>coeff_bit_shift

诸如vertical_trans_coeff_abs[i][j][k]的参数可以指定位于帧打包图像中的第i行和第j列的面的垂直变换函数的第k个系数的绝对值。

诸如vertical_trans_coeff_sign[i][j][k]的参数可以指定位于帧打包图像中的第i行和第j列的面的垂直变换函数的第k个系数的符号。

诸如vertical_trans_coeff_abs[i][j][k]和/或vertical_trans_coeff_sign[i][j][k]的参数可以将位于帧打包图像中的第i行和第j列的面的垂直变换函数的第k个系数的值指定为：

VerTransCoeff[i][j][k]＝((1-2*vertical_trans_coeff_sign[i][j][k])*vertical_trans_coeff_abs[i][j][k]*(coeff_scaling_factor_minus1+1))>>coeff_bit_shift

例如coeff_scaling_factor_minus1加一(例如，coeff_scaling_factor_minus1+1)等参数可指定用以计算变换函数的系数的缩放因子的值。

例如coeff_bit_shift等参数可指定用以计算变换函数的系数的右移的数目。

当ENH-HYBCMP用于译码360度视频时，可在序列级和/或图像级用信号通知如表4中所描述的语法元素。例如，hybrid_cube_parameter_set()可以在诸如VPS和SPS的序列级参数集处被用信号通知。变换函数的选择可以(例如，可以仅)在序列级被允许，使得相同的变换函数集可以被用于相同视频序列中的一个或多个(例如，所有)图像。hybrid_cube_parameter_set()可以在图像级参数集处被信号通知，诸如PPS或片段报头。在图像可以具有选择其自己的变换函数的自由度的意义上，这可以允许在图像级适配变换函数。

本文描述了基于面的信令。可以执行基于区域的方法。例如，可以将面分割成多个矩形区域。该区域可以相等或不相等。对于区域，可用信号通知变换函数。用于两个相邻区域的变换函数在区域边界处可以具有相等的值。可以对面(例如，整个面)进行采样而没有任何重叠。

如表4所示，可以在没有预测的情况下用信号通知面的变换函数(在水平和/或垂直方向)。举例来说，当参数集hybrid_cube_parameter_set()被较频繁地用信号通知时，例如，基于图像的信令和/或基于区域的信令。给定相同视频序列中的图像的强时间相关性，面的变换函数可以类似于与其时间相邻图像中的并置面的变换函数。预测方法可以应用于对一个面的变换函数进行译码，例如，以减少信令开销。当可以用信号通知面的变换函数时(例如，horizontal_trans_func_type和/或vertical_trans_func_type可以等于user_defined)，可以用信号通知标志trans_coeff_pred_enable_flag。当trans_coeff_pred_enable_flag等于零时，可例如在不进行预测的情况下独立地译码面中的变换函数的参数。trans_coeff_pred_enable_flag等于一可指示可从按解码次序在当前图像之前的时间参考图像中的相同面的变换函数参数预测面中的变换函数的参数。当启用时间可缩放性时，可不从另一参考图像预测图像，所述另一参考图像可位于与所述图像的时间层相比的较高时间层处。当启用预测方法时，当前图像中的面的变换函数参数可以从具有相等或更少的时间层索引的先前图像中预测。直接在当前图像之前的参考图像可以用于预测当前图像中的变换函数参数。可在编码器和/或解码器处维持时间参考图像的变换函数参数的候选列表以用于预测当前图像的变换函数。为了选择变换函数预测符，可用信号通知变量trans_coeff_predictor_idx以指示参考图像的变换函数可用于预测当前图像的变换函数。

如果这里描述的面边界连续性约束被应用于ENH-HYBCMP，则可以减少用于系数信令的比特数量。映射系数可以在具有一个或多个约束的面之间共享。例如，可以为顶面行中的面共享垂直映射的系数。垂直映射的系数可以由帧打包布局中的底面行中的面共享。可以用信号通知指示是否应用约束的指示。例如，如果投影格式是ENH-HYBCMP，则可以用信号通知一个或多个标志以指示是否应用约束。当应用约束时，可以用信号通知(num_face_rows_minus1+1)×(num_face_columns_minus1+1)水平映射系数，和/或可以用信号通知(num_face_rows_minus1+1)垂直映射系数。

可以将约束应用于一个或多个(例如，所有)二阶系数(horizontal_trans_coeff_sign[i][j][2]和vertical_trans_coeff_sign[i][j][2])的符号。举例来说，如果用信号通知的系数是针对等式(15)和/或(16)和/或二阶系数在约束下为(例如，全部为)非负(例如，其可意味着horizontal_trans_coeff_sign[i][j][2]和/或vertical_trans_coeff_sign[i][j][2]可等于零)，那么可在应用符号(sign)约束时从用信号通知排除二阶系数的符号值。如果用信号通知的系数是针对等式(19)和/或(20)，且二阶系数在约束下(例如，其可意味着horizontal_trans_coeff_sign[i][j][2]和vertical_trans_coeff_sign[i][j][2]可等于一)为非正，那么当应用符号约束时，可从用信号通知排除二阶系数的符号值。

可以执行用于HYBCMP和ENH-HYBCMP投影格式的参数的导出。

对于HYBCMP，可以允许一个或多个(例如，不同的)投影格式用于一个或多个(例如，不同的)面。对于ENH-HYBCMP格式，可以允许使用一个或多个(例如，不同的)变换函数(例如，等式(7)和(8)中的g₁(x')和g₂(y'))来将360度视频投影到一个或多个(例如，不同的)面上。可以执行编码器侧方法来确定最优参数。当确定HYBCMP格式的变换函数的参数时，可考虑译码统计。

转换损失可能由一个或多个(例如，不同的)变换函数引起。可以实现360度视频的效率(例如，更好的表示效率)。例如，360度视频的更好的表示效率可以通过根据球体上的对应3D内容的特性将一个或多个(例如，不同的)投影格式(如在HYBCMP中)和/或一个或多个(例如，不同的)变换函数(如在ENH-HYBCMP中)分配给一个或多个面来实现。当一个或多个(例如，不同的)变换函数用于面时，在投影格式转换(例如，无压缩)之后，可以评估对重构的360度视频的质量的影响。

可以执行由一个或多个(例如，不同的)变换函数产生的运动场的规律性。当360度视频被投影到2D平面时，面中的投影图像可能看起来类似于常规2D视频。例如，由于直线投影，当3D空间中的连续结构被投影到2D平面上时，该连续结构可能是不连续的。例如，穿过一个或多个(例如，两个)相邻面的直线可以在面边界处变成一个或多个(例如，两个)方向上的一个或多个(例如，两个)线段。跨过面边界的运动可能变得不连续。因为变换函数可能不是形状保持变换，所以它可能降低投影图像的结果运动场的规律性。这两个因素可能导致运动向量预测和/或合并模式的效率损失。

当HYBCMP和/或ENH-HYBCMP被应用于360度视频译码时，多个编码器侧方法可以计算用于面的参数。

可以通过最小化例如由于可以用于在面上表示360度视频的变换函数而引起的转换损失来确定用于HYBCMP/ENH-HYBCMP面的参数。例如，可以使用一组参数将原生投影格式(例如，ERP)的地面实况360度视频转换为HYBCMP/ENH-HYBCMP格式，可以将该组参数转换回原生投影格式以用于质量度量计算。可以通过最小化原始360度视频和重构360度视频的失真来导出最优参数的集合，如下所示：

其中和/>可以指示第i个面内的360度视频的原始信号和重构信号；/>可以是可以应用一个或多个(例如，不同的)度量的失真测量，例如WS-PSNR、球形PSNR(SPSNR)等。可以通过忽略面之间的影响来逐面地进行优化。

约束可以用于映射参数推导。例如，如果投影格式是ENH_HYBCMP并且应用了面边界连续性约束，则可以在映射参数推导中使用约束。帧打包可以是3×2布局，如图11所示，当使用面边界连续性约束时，用于3×2帧打包方案的参数搜索可以被分成一个或多个步骤。第一步骤可以搜索用于顶面行(例如，面0、面4和/或面5)的参数。第二步骤可以搜索用于底面行(例如，面1、面2和/或面3)的参数。

对于一个或多个面行，可以使用以下参数搜索水平(第一方向)和/或垂直(第二方向)映射。在第一步骤中，可以搜索用于第一方向的参数和/或可以固定用于第二方向的参数。可以用在搜索中找到的参数(例如，最优参数)来更新第一方向的参数。如果没有更新，则搜索可以停止。如果存在更新，则可以使用第二步骤。在第二步骤中，可以搜索用于第二方向的参数和/或可以固定用于第一方向的参数。可以用在搜索中找到的参数(例如，最优参数)来更新第二方向的参数。如果没有更新，则搜索可以停止。如果存在更新，则可以使用第一步骤。

图14示出了示例水平映射参数(例如，a₂)搜索。例如，图14示出了给定面行中的垂直映射的示例水平映射参数(例如，a₂)搜索。可以搜索面行的水平映射(例如，映射函数)的参数(例如，参数a₂)。可以从面行接收(例如，检索)诸如面f的面。参数a₂可被设为a_min，和/或参数Dmin可被设为MAX_DIST。MAX_DIST可以是最大失真。搜索范围可以是[a_min，a_max]，STEP可以是搜索步长大小。

面可以从原始投影格式转换。面可以被转换(例如，转换回)为原始投影，例如，以得到面的重构投影。可以确定转换误差。例如，D可以被设置为D(S^f _org,S^f _rec)。

如果D小于Dmin，则a₂_best可被设置为a₂和/或Dmin可被设置为D。a2可被设置为a₂+Step。如果a₂小于或等于a_max，则面可以从原始投影格式转换并且转换回来，并且如本文所提供的那样继续进行。

参数a₂_best可以被设置为面(例如，面f)的水平映射(例如，映射函数)。可以确定是否针对面行中的一个或多个(例如，所有)面搜索了该参数。如果在该参数中搜索了该面行中的一个或多个(例如，所有)面，则移动到下一部分。如果没有在该参数中搜索面行中的一个或多个(例如，所有)面，则可以从面行接收(例如，检索)面(例如，面f)，并且如本文所提供的那样继续进行。

图15示出了示例搜索。例如，图15示出了给定面行中的水平映射的示例垂直映射参数(例如，b₂)搜索。可以搜索参数以查找面行的垂直映射(例如，映射函数)。参数b₂可被设为b_min和/或Dmin可被设为MAX_DIST。MAX_DIST可以是最大失真。搜索范围可以是[b_min，b_max]。Step可以是搜索步长大小。

属于一个面行的一个或多个(例如，所有)面可以从原始投影格式转换，并且可以被转换(例如，转换回)以得到重构投影。可以为例如属于该面行的一个或多个(例如，所有)面计算转换误差。例如，D可以被设置为ΣD(S^f _org,S^f _rec)。

如果D小于dmin，则b₂_best可以设置为等于b₂和/或Dmin可以设置为D。b₂可以设置为b₂+Step。

如果b₂大于b_max，则参数b₂_best可以被设置为属于该面行的一个或多个(例如，所有)面的垂直映射(例如，映射函数)，和/或移动到下一部分。如果b₂小于或等于b_max，则返回到将属于该面行的一个或多个(例如，所有)面从原始投影格式转换，并且如本文提供的那样继续进行。

对于两个或更多个(例如，两个)方向上的映射，搜索可以是不同的。例如，对于两个或更多个(例如，两个)方向上的映射，搜索可以是不同的，因为约束可以被应用于垂直方向的映射。对于面(例如，三个面)的水平映射的参数搜索，可以针对一个或多个面搜索(例如，单独地搜索)水平映射的参数。可以针对一个或多个面搜索(例如，单独地搜索)水平映射的参数，因为可能不存在对水平映射(例如，三个水平映射)的约束。要最小化的失真可以是一个或多个面的转换误差。对于垂直映射的参数搜索，参数搜索可以将三个面视为一部分，和/或失真(例如，要最小化的失真)可以是三个面的转换误差的和。例如，如果面的水平映射是二阶多项式和/或g₁(0)等于0且g₁(1)等于1(如图9所示)，则水平映射可由等式(32)定义。如图14所示，可以搜索属于一个面行的面中的参数a₂。如果面的垂直映射是二阶多项式和/或g₂(0)等于0而g₂(1)等于1(如图9所示)，则垂直映射被定义为等式(33)。如图15所示，可以搜索属于一个面行的一个或多个(例如，所有)面中的参数b₂。

x＝_g1(x′)＝sgn(x′)·(a₂·x′²+(1-a₂)·|x′|) (32)

y＝g₂(y′)＝sgn(y′)·(b₂·y′²+(1-b₂)·|y′|) (33)

函数f(x)可以表示为多项式等式，例如等式(19)和/或(20)中提供的。如果函数f(x)被表示为多项式等式(例如在等式(19)和/或(20)中提供的)，和/或f(0)等于0和/或f(1)等于1，则等式(19)和/或(20)可以被提供为：

x′＝f₁(x)＝sgn(x)·(a₂·x²+(1-a₂)·|x|) (34)

y′＝f₂(y)＝sgn(y)·(b₂·y²+(1-b₂)·|y|) (35)

在等式(34)和/或(35)中搜索参数a₂和b₂可以与例如图14和图15所示的搜索等式(32)和/或(33)相同或基本相似。

如等式(31)所示，可以考虑转换失真。一个或多个(例如，不同的)变换函数可以影响该面中所生成的运动场的规律性。可能不具有最佳转换失真的变换函数可产生平滑的运动场。这种平滑运动场对于译码可能是好的，但是使用可以考虑(例如，仅考虑)转换损失的等式(31)，编码器可以选择译码友好的变换函数。HYBCMP/ENH-HYBCMP的参数可以通过最小化拉格朗日目标函数来导出，拉格朗日目标函数可以联合地考虑对转换失真和/或运动场的规律性的影响。例如，问题可以被等式化为：

其中RMVⁱ可以表示第i个面中的运动场的规律性的测量，其可以被计算为面中的运动矢量的方差。λ可以是用于变换失真和运动场的规律性的折衷的加权因子。为了获得帧打包图像中的面的运动场，可以应用一种或多种(例如，不同的)方法。例如，基于块匹配的运动估计可以被应用来导出面的运动场。在该方法中，可以将面的投影图像分割为具有固定块大小(例如，32×32、64×64等)的一个或多个(例如，多个)块，对于块，可以应用基于块匹配的搜索，其可以将目标块与候选块的差(例如，绝对失真和(SAD)、变换后的绝对失真和(SATD))进行比较，其中，候选块可以在相邻图像中目标块的同位位置周围的搜索范围内。可以将块的运动矢量计算为目标块及其参考块的位移，其可以最小化匹配失真。可以应用基于梯度的运动估计，其可以基于著名的光流模型通过使用面部内的样本的时间和/或空间梯度信息来提供基于样本的运动场。

可以使用多步骤(multi-pass)编码来确定用于HYBCMP/ENH-HYBCMP面的参数。360度视频可以通过一个或多个步骤来编码，和/或一个或多个(例如，不同的)变换函数可以在一个或多个(例如，不同的)编码步骤中使用。可从编码步骤中选择可在R-D成本方面提供最佳性能的变换函数(例如，最佳变换函数)。为了降低复杂度，可以基于使用多步骤编码的图像(例如，第一GOP中的图像)的数量(例如，少量)来选择参数。所确定的参数可以被重新用于同一序列中的一个或多个(例如，其余)图像。为了降低多步骤编码复杂度，可以选择一组或多组参数作为候选。例如，如本文所述，可以选择一组或多组参数作为候选。可以选择一组(例如，最终一组)参数。例如，可以使用编码的R-D成本从有限数量的候选(如本文所述)和/或从一个或多个预定义的参数集(例如，CMP、UNICMP、ACP等)中选择一组参数(例如，最终一组)。

在多步骤编码中，先前的统计可以用于改变用于未来图像译码的参数。例如，在相同时间级的译码运动场可以用于测量运动场的规律性。可以计算转换失真。如果成本组合转换失真和/或运动场的规律性大于阈值，则可以改变参数。

图16A是示出了其中可以实现一个或多个所公开的实施例的示例通信系统100的图。通信系统100可以是向多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多接入系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如，通信系统100可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW-DTS-sOFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图16A所示，通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公共交换电话网(PSTN)108、因特网110和其他网络112，但是应当理解，所公开的实施例考虑了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d的每一者可为被配置以在无线环境中操作和/或通信的任何类型装置。举例来说，WTRU102a、102b、102c、102d(其中任何一个可以被称为“站”和/或“STA”)可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等等。WTRU102a、102b、102c及102d中的任何一个可互换地称为UE。

通信系统100还可以包括基站114a和/或基站114b。基站114a、114b的每一个可为被配置成与WTRU102a、102b、102c、102d的至少一者无线连接以促进对一个或多个通信网络的接入的任何类型的设备，所述通信网络例如CN106/115、因特网110和/或其他网络112。举例来说，基站114a、114b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但是将理解，基站114a、114b可以包括任何数目的互连基站和/或网络元件。

基站114a可以是RAN104/113的一部分，其还可以包括其它基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在一个或多个载波频率上发射和/或接收无线信号，该载波频率可以被称为小区(未示出)。这些频率可以在许可频谱、未许可频谱、或者许可频谱和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖，该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如，与基站114a相关联的小区可以被划分为三个扇区。因此，在一个实施例中，基站114a可以包括三个收发信机，即，小区的每个扇区一个收发信机。在实施例中，基站114a可以采用多输入多输出(MIMO)技术，并且可以针对小区的每个扇区利用多个收发信机。例如，波束成形可以用于在期望的空间方向上发射和/或接收信号。

基站114a、114b可通过空中接口116与WTRU102a、102b、102c、102d中的一者或多者通信，该空中接口可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等)。空中接口116可以使用任何合适的无线电接入技术(RAT)来建立。

更具体地说，如上所述，通信系统100可以是多接入系统，并且可以采用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN104/113中的基站114a和WTRU102a、102b、102c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在实施例中，基站114a和WTRU102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。

在实施例中，基站114a和WTRU102a、102b、102c可以实现诸如NR无线电接入的无线电技术，其可以使用新无线电(NR)来建立空中接口116。

在实施例中，基站114a和WTRU102a、102b、102c可以实现多种无线电接入技术。例如，基站114a和WTRU102a、102b、102c可以一起实现LTE无线电接入和NR无线电接入，例如使用双连接(DC)原理。因此，WTRU102a、102b、102c所利用的空中接口的特征可在于多种类型的无线电接入技术和/或发送到/发送自多种类型的基站(例如eNB和gNB)的传输。

在其它实施例中，基站114a及WTRU102a、102b、102c可实施无线电技术，例如IEEE802.11(即无线保真(WiFi)、IEEE802.16(即全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等。

图16A中的基站114b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何合适的RAT来促进局部区域中的无线连接，该局部区域诸如营业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等。在一实施例中，基站114b及WTRU102c、102d可实现例如IEEE802.11的无线电技术以建立无线局域网(WLAN)。在实施例中，基站114b和WTRU102c、102d可以实现诸如IEEE802.15的无线电技术以建立无线个域网(WPAN)。在又一实施例中，基站114b和WTRU102c、102d可利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图16A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可不需要经由CN106/115接入因特网110。

RAN104/113可与CN106/115通信，其可为被配置成向WTRU102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或网际协议语音(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求，例如不同吞吐量要求、时延要求、容错要求、可靠性要求、数据吞吐量要求、移动性要求等。CN106/115可提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行高级安全功能，例如用户认证。尽管在图16A中未示出，但是应当理解，RAN104/113和/或CN106/115可以与采用与RAN104/113相同的RAT或不同的RAT的其它RAN直接或间接通信。例如，除了连接到可以利用NR无线电技术的RAN104/113之外，CN106/115还可以与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。

CN106/115也可作为WTRU102a、102b、102c、102d的网关以接入PSTN108、因特网110、和/或其它网络112。PSTN108可以包括提供普通老式电话业务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的互连计算机网络和设备的全球系统，所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一个CN，所述RAN可以采用与RAN104/113相同的RAT或不同的RAT。

通信系统100中的一些或所有WTRU102a、102b、102c、102d可包括多模能力(例如WTRU102a、102b、102c、102d可包括多个收发信机，用于通过不同的无线链路与不同的无线网络通信)。例如，图16A所示的WTRU102c可以被配置成与可以采用基于蜂窝的无线电技术的基站114a通信，以及与可以采用IEEE802无线电技术的基站114b通信。

图16B是示出示例WTRU102的系统图。如图16B所示，WTRU102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。可以理解，WTRU102可以包括前述元件的任何子组合，同时保持与实施例一致。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理和/或任何其他使WTRU102能够在无线环境中操作的功能。处理器118可以耦合到收发信机120，其可以耦合到发射/接收元件122。虽然图16B将处理器118和收发信机120描绘为单独的组件，但将了解，处理器118和收发信机120可一起集成在电子封装或芯片中。

发射/接收元件122可以被配置为通过空中接口116向基站(例如，基站114a)发射信号或从其接收信号。例如，在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在实施例中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一实施例中，发射/接收元件122可以被配置成发射和/或接收RF和光信号两者。应当理解，发射/接收元件122可以被配置为发射和/或接收无线信号的任何组合。

虽然发射/接收元件122在图16B中被描述为单个元件，但是WTRU102可以包括任意数量的发射/接收元件122。更具体地，WTRU102可以使用MIMO技术。因此，在一个实施例中，WTRU102可以包括两个或更多个发射/接收元件122(例如多个天线)，用于通过空中接口116发射和接收无线信号。

收发信机120可以被配置为调制将由发射/接收元件122发射的信号，并且解调由发射/接收元件122接收的信号。如上所述，WTRU102可以具有多模能力。因此，收发信机120可以包括多个收发信机，用于使WTRU102能够经由多个RAT进行通信，例如NR和IEEE802.11。

WTRU102的处理器118可被连接到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并可从其接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。另外，处理器118可以从任何类型的适当存储器访问信息，并且将数据存储在任何类型的适当存储器中，所述存储器诸如不可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其它类型的存储器存储设备。可移除存储器132可以包括用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可以从物理上不位于WTRU102上的存储器访问信息，并将数据存储在该存储器中，例如在服务器或家用计算机(未示出)上。

处理器118可以从电源134接收电力，并且可以被配置成分配和/或控制电力给WTRU102中的其他组件。电源134可以是任何合适的用于为WTRU102供电的设备。例如，电源134可以包括一个或多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118也可以耦合到GPS芯片组136，其可以被配置成提供关于WTRU102的当前位置的位置信息(例如经度和纬度)。额外地或作为来自GPS芯片组136的信息的替代，WTRU102可以通过空中接口116从基站(例如基站114a、114b)接收位置信息，和/或基于从两个或更多邻近基站接收的信号的定时来确定其位置。应该理解，WTRU102可以通过任何合适的位置确定方法来获取位置信息，同时保持与实施例一致。

处理器118还可以耦合到其他外围设备138，其可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提头戴式耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可以包括一个或多个传感器，传感器可以是陀螺仪、加速度计、霍尔效应传感器、磁力计、方向传感器、接近传感器、温度传感器、时间传感器中的一者或多者；地理定位传感器；高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。

WTRU102可以包括全双工无线电，对于该全双工无线电，一些或所有信号(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联)的传输和接收可以是并发的和/或同步的。全双工无线电可以包括借助于硬件(例如扼流线圈)或是经由处理器(例如单独的处理器(未示出)或是经由处理器118)的信号处理来减小和/或基本消除自干扰的接口管理单元。在实施例中，WTRU102可以包括传输或接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联的信号)的半双工无线电。

图16C是示出根据实施例的RAN104和CN106的系统图。如上所述，RAN104可采用E-UTRA无线电技术以通过空中接口116与WTRU102a、102b、102c通信。RAN104还可以与CN106通信。

RAN104可包含e节点B160a、160b、160c，但应了解，RAN104可包含任何数量的e节点B，同时保持与一实施例一致。e节点B160a、160b、160c中的每一个可以包括一个或多个收发信机，用于通过空中接口116与WTRU102a、102b、102c进行通信。在一个实施例中，e节点B160a、160b、160c可实现MIMO技术。因此，例如e节点B160a可以使用多个天线来向WTRU102a发射无线信号和/或从其接收无线信号。

e节点B160a、160b、160c中的每一个可以与特定小区(未示出)相关联，并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中用户的调度等。如图16C中所示，e节点B160a、160b、160C可经由X2接口而彼此通信。

图16C中所示的CN106可以包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每一个被描绘为CN106的一部分，但是将理解，这些元件中的任何一个可以由除了CN运营商之外的实体拥有和/或操作。

MME162可经由S1接口连接到RAN104中的e节点B162a、162b、162c中的每一者且可充当控制节点。例如，MME162可负责认证WTRU102a、102b、102c的用户、承载激活/去激活、在WTRU102a、102b、102c的初始附着期间选择特定服务网关等。MME162可以提供控制平面功能，用于在RAN104和采用其它无线电技术(例如GSM和/或WCDMA)的其它RAN(未示出)之间进行切换。

SGW164可经由S1接口连接到RAN104中的e节点B160a、160b、160c中的每一者。SGW164通常可路由和转发去往/来自WTRU102a、102b、102c的用户数据分组。SGW164可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当DL数据可用于WTRU102a、102b、102c时触发寻呼、管理和存储WTRU102a、102b、102c的上下文等。

SGW164可以连接到PGW166，其可以为WTRU102a、102b、102c提供对诸如因特网110的分组交换网络的接入，以促进WTRU102a、102b、102c和IP使能设备之间的通信。

CN106可以促进与其他网络的通信。例如，CN106可提供WTRU102a、102b、102c接入电路交换网络，例如PSTN108，以促进WTRU102a、102b、102c与传统陆线通信装置之间的通信。例如，CN106可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)或者可以与IP网关通信，该IP网关充当CN106和PSTN108之间的接口。此外，CN106可向WTRU102a、102b、102c提供至其它网络112的接入，该其他网络112可包括由其它服务供应商拥有和/或运营的其它有线和/或无线网络。

虽然WTRU在图16A-16D中被描述为无线终端，但是可以预期在某些代表性实施例中，这样的终端可以使用(例如临时或永久)与通信网络的有线通信接口。

在代表性实施例中，其它网络112可以是WLAN。基础设施基本服务集(BSS)模式中的WLAN可以具有用于BSS的接入点(AP)和与AP相关联的一个或多个站(STA)。AP可以接入或对接到分布系统(DS)或承载进入和/或离开BSS的业务量的另一类型的有线/无线网络。从BSS外部发起的到STA的业务量可以通过AP到达，并且可以被递送到STA。从STA发起到BSS外部的目的地的业务量可以被发送到AP以被递送到相应的目的地。BSS内的STA之间的业务量可以通过AP来发送，例如，其中源STA可以向AP发送业务量，并且AP可以将业务量递送到目的地STA。BSS内的STA之间的业务量可以被认为和/或称为点对点业务量。点对点业务量可以利用直接链路建立(DLS)在源STA和目的STA之间(例如，直接在源STA和目的STA之间)发送。在某些代表性实施例中，DLS可使用802.11eDLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可能不具有AP，并且在IBSS内或使用IBSS的STA(例如，所有STA)可以彼此直接通信。IBSS通信模式在这里有时可以被称为自组织通信模式。

当使用802.11ac基础设施操作模式或类似的操作模式时，AP可以在固定信道上发送信标，例如主信道。主信道可以是固定宽度(例如，20MHz宽的带宽)或经由信令动态设置的宽度。主信道可以是BSS的操作信道，并且可以由STA用来建立与AP的连接。在某些代表性实施例中，例如在802.11系统中，可以实现具有冲突避免的载波侦听多路访问(CSMA/CA)。对于CSMA/CA，包括AP在内的STA(例如，每个STA)可以感测主信道。如果主信道被特定STA感测/检测和/或确定为忙，则该特定STA可以退避。一个STA(例如，仅一个站)可以在给定BSS中在任何给定时间进行发送。

高吞吐量(HT)STA可以使用40MHz宽信道进行通信，例如，通过将主20MHz信道与相邻或非相邻的20MHz信道组合以形成40MHz宽信道。

甚高吞吐量(VHT)STA可以支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道，或者通过组合两个非连续的80MHz信道来形成，这可以被称为80+80配置。对于80+80配置，在信道编码之后，数据可以通过分段解析器，该分段解析器可以将数据划分成两个流。可以对每个流分别进行快速傅立叶逆变换(IFFT)处理和时域处理。流可以被映射到两个80MHz信道上，并且数据可以由进行传送的STA传送。在进行接收的STA的接收机处，可以颠倒上述80+80配置的操作，并且可以将组合数据发送到媒体访问控制(MAC)。

低于1GHz的操作模式由802.11af和802.11ah支持。相对于802.11n和802.11ac中使用的信道操作带宽和载波，在802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持TV空白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽，而802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施例，802.11ah可以支持仪表类型控制/机器类型通信，例如宏覆盖区域中的MTC设备。MTC装置可具有某些能力，例如，包括对某些和/或有限带宽的支持(例如，仅对某些和/或有限带宽的支持)的受限能力。MTC设备可包括具有高于阈值的电池寿命的电池(例如，以维持非常长的电池寿命)。

WLAN系统可以支持多个信道和信道带宽，例如802.11n、802.11ac、802.11af和802.11ah，包括可以被指定为主信道的信道。主信道可以具有等于BSS中的所有STA所支持的最大公共操作带宽的带宽。主信道的带宽可以由在BSS中操作的所有STA之中的STA设置和/或限制，该STA支持最小带宽操作模式。在802.11ah的例子中，对于支持(例如，仅支持)1MHz模式的STA(例如，MTC型设备)，主信道可以是1MHz宽，即使AP和BSS中的其它STA支持2MHz、4MHz、8MHz、16MHz和/或其它信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙，例如，由于STA(其仅支持1MHz操作模式)向AP进行传送，则即使频带中的大多数保持空闲并且可用，也可以认为整个可用频带繁忙。

在美国，802.11ah可使用的可用频带是从902MHz到928MHz。在韩国，可用频带是从917.5MHz到923.5MHz。在日本，可用频带是从916.5MHz到927.5MHz。根据国家代码，可用于802.11ah的总带宽是6MHz到26MHz。

图16D是示出根据实施例的RAN113和CN115的系统图。如上所述，RAN113可以采用NR无线技术通过空中接口116与WTRU102a、102b、102c通信。RAN113还可以与CN115通信。

RAN113可以包括gNB180a、180b、180c，但是应当理解，RAN113可以包括任意数量的gNB，同时保持与实施例一致。gNB180a、180b、180c中的每一个可包括一个或多个收发信机，用于通过空中接口116与WTRU102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实现MIMO技术。例如，gNB180a、108b可以利用波束成形来向gNB180a、180b、180c发送信号和/或从其接收信号。因此，gNB180a例如可使用多个天线来向WTRU102a传送无线信号和/或从其接收无线信号。在实施例中，gNB180a、180b、180c可以实现载波聚合技术。例如，gNB180a可以向WTRU102a传送多个分量载波(未示出)。这些分量载波的子集可以在未许可频谱上，而剩余的分量载波可以在许可频谱上。在实施例中，gNB180a、180b、180c可以实现协作多点(CoMP)技术。例如，WTRU102a可以从gNB180a和gNB180b(和/或gNB180c)接收协调的传输。

WTRU102a、102b、102c可以使用与可扩缩参数配置(numerology)相关联的传输来与gNB180a、180b、180c通信。例如，OFDM符号间隔和/或OFDM子载波间隔可以针对不同的传输、不同的小区和/或无线传输频谱的不同部分而变化。WTRU102a、102b、102c可以使用子帧或具有不同或可扩缩长度(例如包含不同数量的OFDM符号和/或持续变化的绝对时间长度)的传输时间间隔(TTI)与gNB180a、180b、180c通信。

gNB180a、180b、180c可被配置成以独立配置和/或非独立配置与WTRU102a、102b、102c通信。在独立配置中，WTRU102a、102b、102c可以与gNB180a、180b、180c通信，而不需要也接入其他RAN(例如e节点B160a、160b、160c)。在独立配置中，WTRU102a、102b、102c可利用gNB180a、180b、180c中的一者或多者作为移动性锚点。在独立配置中，WTRU102a、102b、102c可以使用未许可频带中的信号与gNB180a、180b、180c通信。在非独立配置中，WTRU102a、102b、102c可与gNB180a、180b、180c通信/连接，同时还与例如e节点B160a、160b、160c等另一RAN通信/连接。举例来说，WTRU102a、102b、102c可以实施DC原理以便与一个或多个gNB180a、180b、180c以及一个或多个e节点B160a、160b、160c基本上同时地进行通信。在非独立配置中，e节点B160a、160b、160c可以用作WTRU102a、102b、102c的移动性锚点，并且gNB180a、180b、180c可以提供用于服务WTRU102a、102b、102c的附加覆盖和/或吞吐量。

gNB180a、180b、180c中的每一个可以与特定小区(未示出)相关联，并且可以被配置为处理无线电资源管理决定、切换决定、UL和/或DL中的用户调度、网络分片的支持、双连通性、NR和E-UTRA之间的互通、向用户平面功能(UPF)184a、184b路由用户平面数据、向接入和移动性管理功能(AMF)182a、182b路由控制平面信息等。如图16D所示，gNB180a、180b、180c可以通过Xn接口彼此通信。

图16D中所示的CN115可以包括至少一个AMF182a、182b、至少一个UPF184a、184b、至少一个会话管理功能(SMF)183a、183b以及可能的数据网络(DN)185a、185b。虽然前述元件中的每一个被描绘为CN115的一部分，但是将理解，这些元件中的任何一个可以由除了CN运营商之外的实体拥有和/或运营。

AMF182a、182b可以经由N2接口连接到RAN113中的gNB180a、180b、180c中的一者或多者，并且可以用作控制节点。例如，AMF182a、182b可负责验证WTRU102a、102b、102c的用户、支持网络切片(例如，处理具有不同需求的不同PDU会话)、选择特定的SMF183a、183b、注册区域的管理、NAS信令的终止、移动性管理等等。AMF182a、182b可使用网络切片，以便根据WTRU102a、102b、102c所使用的服务类型，定制WTRU102a、102b、102c的CN支持。例如，可以针对不同的用例建立不同的网络切片，所述用例诸如依赖于超可靠低延迟(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等。AMF162可以提供用于在RAN113和采用其他无线电技术(例如LTE、LTE-A Pro和/或诸如WiFi的非3GPP接入技术)的其他RAN(未示出)之间进行切换的控制平面功能。

SMF183a、183b可经由N11接口连接到CN115中的AMF182a、182b。SMF183a、183b也可以经由N4接口连接到CN115中的UPF184a、184b。SMF183a、183b可以选择和控制UPF184a、184b，并且配置通过UPF184a、184b的业务量的路由。SMF183a、183b可以执行其他功能，例如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等等。

UPF184a、184b可以经由N3接口连接到RAN113中的gNB180a、180b、180c中的一者或多者，这可以向WTRU102a、102b、102c提供对诸如因特网110的分组交换网络的接入，以促进WTRU102a、102b、102c与启用IP的设备之间的通信。UPF184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等等。

CN115可以促进与其他网络的通信。例如，CN115可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)或者可以与IP网关通信，该IP网关充当CN115与PSTN108之间的接口。此外，CN115可向WTRU102a、102b、102c提供至其它网络112的接入，该其他网络可包括由其它服务供应商拥有和/或运营的其它有线和/或无线网络。在一个实施例中，WTRU102a、102b、102c可经由至UPF184a、184b的N3接口及UPF184a、184b与DN185a、185b之间的N6接口，通过UPF184a、184b连接至本地数据网络(DN)185a、185b。

鉴于图16A-16D以及图16A-16D的相应描述，本文关于以下各项中的一者或多者描述的功能中的一者或多者或全部可以由一个或多个仿真设备(未示出)执行：WTRU102a-d、基站114a-b、e节点B160a-c、MME162、SGW164、PGW166、gNB180a-c、AMF182a-b、UPF184a-b、SMF183a-b、DN185a-b和/或本文所述的任何(一个或多个)其他设备。仿真设备可以是被配置为仿真本文描述的功能中的一者或多者或全部的一个或多个设备。例如，仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，一个或多个仿真设备可以执行一个或多个或全部功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。一个或多个仿真装置可执行一个或多个或所有功能，同时被临时实施/部署为有线和/或无线通信网络的一部分。仿真设备可出于测试目的而直接耦合到另一设备和/或可使用空中无线通信执行测试。

一个或多个仿真设备可以执行一个或多个功能，包括所有功能，而不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可以在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。一个或多个仿真设备可以是测试设备。仿真设备可以使用经由RF电路(例如，其可以包括一个或多个天线)的直接RF耦合和/或无线通信来发射和/或接收数据。

尽管本文描述的特征和元素考虑LTE、LTE-A、新无线电(NR)和/或5G特定协议，但是应当理解，本文描述的特征和元素不限于LTE、LTE-A、新无线电(NR)和/或5G特定协议，并且还可以适用于其它无线系统。

尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素以任何组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读介质的示例包括电子信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于：只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、诸如内部硬盘和可移动盘等磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)等光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims

1.一种解码全向视频的方法，包括：

获得所述全向视频的图片，所述图片包括与多个投影格式相关联的多个面；

获得与所述多个面中的第一面相关联的第一变换函数；

获得与所述多个面中的第二面相关联的第二变换函数；

使用所述第一变换函数对所述第一面执行至少一个解码过程；以及

使用所述第二变换函数对所述第二面执行所述至少一个解码过程。

2.根据权利要求1所述的方法，还包括：

获得指示第一投影格式与所述第一面相关联的第一投影格式指示和指示第二投影格式与所述第二面相关联的第二投影格式指示，其中所述第一投影格式不同于所述第二投影格式。

3.根据权利要求1所述的方法，其中使用所述第一变换函数对所述第一面执行所述至少一个解码过程包括：

基于所述第一变换函数执行所述第一面的参考样本的几何形状填充。

4.根据权利要求2所述的方法，其中所述第一投影格式和所述第二投影格式包括立方体贴图(CMP)格式、单立方体贴图投影(UNICMP)格式、经调整的立方体贴图投影(ACP)格式或等角立方体贴图投影(EAC)格式中的至少一者。

5.根据权利要求2所述的方法，其中所述第一投影格式指示包括与预配置的投影格式相关联的索引值。

6.根据权利要求2所述的方法，其中所述第一投影格式指示和所述第二投影格式指示在序列级被接收。

7.根据权利要求2所述的方法，还包括：

基于所述第一投影格式指示来确定所述第一面是用户定义的投影格式；以及

获得针对所述第一面的水平方向的水平变换函数系数和针对所述第一面的垂直方向的垂直变换函数系数。

8.根据权利要求1所述的方法，还包括：

获得变换函数类型指示，所述变换函数类型指示面的水平方向上的变换函数类型与面的垂直方向上的变换函数类型是否具有相同值。

9.一种解码设备，包括：

处理器，其被配置成：

获得全向视频的图片，所述图片包括与多个投影格式相关联的多个面；

获得与所述多个面中的第一面相关联的第一变换函数；

获得与所述多个面中的第二面相关联的第二变换函数；以及

使用所述第一变换函数对所述第一面执行至少一个解码过程，以及使用所述第二变换函数对所述第二面执行所述至少一个解码过程。

10.根据权利要求9所述的解码设备，其中所述处理器还被配置成：获得指示第一投影格式与所述第一面相关联的第一投影格式指示和指示第二投影格式与所述第二面相关联的第二投影格式指示，所述第一投影格式不同于所述第二投影格式。

11.根据权利要求9所述的解码设备，其中被配置成使用所述第一变换函数对所述第一面执行所述至少一个解码过程的所述处理器进一步被配置成：基于所述第一变换函数执行所述第一面的参考样本的几何形状填充。

12.根据权利要求9所述的解码设备，其中所述第一变换函数和所述第二变换函数在序列级被获得。

13.根据权利要求10所述的解码设备，所述处理器进一步被配置成：

确定所述第一面是用户定义的格式；以及

14.根据权利要求13所述的解码设备，其中针对所述第一面的所述水平变换函数系数和所述垂直变换函数系数在序列级被接收。

15.一种解码设备，包括：

处理器，其被配置成：

获取全向视频的图片，所述图片包括面和与所述面相对应的投影格式；

基于与所述面相关联的投影格式指示来确定所述面是否是用户定义的投影格式；

基于所述面是所述用户定义的投影格式，获得针对所述面的水平方向的水平变换函数系数和针对所述面的垂直方向的垂直变换函数系数；

基于所述水平变换函数系数确定与所述面相关联的水平变换函数；

基于所述垂直变换函数系数确定与所述面相关联的垂直变换函数；以及

使用所述水平变换函数和所述垂直变换函数对所述面执行至少一个解码过程。

16.根据权利要求15所述的解码设备，其中所述至少一个解码过程包括执行所述面的参考样本的几何形状填充。

17.根据权利要求15所述的解码设备，其中针对所述面的所述水平变换函数系数和所述垂直变换函数系数在序列级被接收。

18.根据权利要求15所述的解码设备，

其中被配置成使用所述水平变换函数和所述垂直变换函数对所述面执行所述至少一个解码过程的所述处理器进一步被配置成：使用所述水平变换函数和所述垂直变换函数将所述图片的所述面转换为目标几何形状。

19.一种非暂时性计算机可读介质，其上存储有由一个或多个处理器执行的用于执行操作的指令，所述操作包括：

获得与所述多个面中的第一面相关联的第一变换函数；

获得与所述多个面中的第二面相关联的第二变换函数；以及

20.根据权利要求19所述的非暂时性计算机可读介质，其上还存储有由所述一个或多个处理器执行的用于执行以下操作的指令：

获得指示第一投影格式与所述第一面相关联的第一投影格式指示和指示第二投影格式与所述第二面相关联的第二投影格式指示，所述第一投影格式不同于所述第二投影格式。

21.一种搜索水平映射参数的方法，包括：

接收来自360度视频的图片；

从所述图片中确定面行；

确定所述面行的第一面；

将水平映射参数设置为最小值；

将最小失真参数设置为最大失真值；

将所述第一面从原始投影格式转换为第二投影格式；

将所述第一面从所述第二投影格式转换为所述原始投影格式；

计算与在所述原始格式和所述第二投影格式之间转换所述第一面相关联的转换误差；以及

在所述转换误差小于所述最小失真参数的情况下，将所述最小失真参数设置为所述转换误差，并且将所述水平映射参数设置为所述第一面的水平映射函数。

22.根据权利要求21所述的方法，还包括：

在所述面行包括第二面的情况下，

计算与在所述原始投影格式和所述第二投影格式之间转换第二面相关联的第二转换误差，以及

在与在所述原始投影格式和所述第二投影格式之间转换所述第二面相关联的所述第二转换误差小于所述最小失真参数的情况下，将所述最小失真参数设置为所述第二转换误差，并且将所述水平映射参数设置为所述第二面的水平映射函数。