CN115699074A - 用于处理具有被打包在具有面打包约束的半球立方体贴图投影布局中的投影面的基于投影的帧的方法和装置 - Google Patents

Abstract

一种视频处理方法，包括接收比特流的步骤，以及解码部分比特流以生成解码帧的步骤，该步骤包括从比特流解析多个语法元素。解码帧是基于投影的帧，其包括多个投影面，所述多个投影面在半球立方体贴图投影布局中具有不同位置索引的多个面位置处被打包。球体的360度内容的一部分通过半球立方体贴图投影映射到多个投影面。多个语法元素的值分别指示在多个面位置处被打包的多个投影面的多个面索引，以及被约束以满足比特流一致性的要求。

Description

用于处理具有被打包在具有面打包约束的半球立方体贴图投 影布局中的投影面的基于投影的帧的方法和装置

相关交叉引用

本申请要求于2020年6月10日提交的，申请号为63/037,064的美国临时申请的优先权，并通过引用并入本文。

技术领域

本发明涉及视频处理，更具体地，涉及一种用于处理基于投影的帧的视频处理方法，该基于投影的帧具有被打包在具有面打包约束(例如，面索引约束和/或面旋转)和相关的视频处理装置。

背景技术

具有头戴式显示器(head-mounted display，简称HMD)的虚拟现实(virtualreality，简称VR)与多种应用相关联。向用户显示宽视场内容的能力可用于提供身临其境的视觉体验。必须从各个方向捕获真实世界环境，从而产生对应于视野范围的全向视频。随着摄像机设备和HMD的进步，由于表示这种360度内容所需的高比特率，VR内容的传送可能很快就会成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。

一般而言，球体对应的全向视频被转换为具有360度图像内容的帧，具有360度图像内容的帧以360度虚拟现实(360VR)投影布局排列的一个或多个投影面表示，然后生成的帧被编码成比特流进行传输。从编码器侧生成的比特流由解码器侧接收和解码。此外，所采用的360VR投影布局的配置也可以从编码器侧发送到解码器侧。当所采用的360VR投影布局为半球立方体贴图投影布局时，基于投影的帧中打包的投影面包括一个全面和四个半面，其中全面的形状为正方形，每个半面的形状不是正方形。为了确保采用半球立方体贴图投影布局的基于投影的帧的图像质量，需要一种创新设计来将面打包约束应用于半球立方体贴图投影布局。

发明内容

要求保护的发明的一个目的是提供一种视频处理方法，用于处理基于投影的帧，该基于投影的帧具有被打包在具有面打包约束(例如，面索引的约束和/或面旋转)的半球立方体贴图投影布局中的投影面，以及提供相关的视频处理装置。

根据本发明的第一方面，一种示例性视频处理方法被公开。该示例性视频处理方法包括接收比特流的步骤，以及由解码电路对比特流的一部分进行解码以生成解码帧的步骤，该步骤包括从比特流中解析多个语法元素。解码帧是基于投影的帧，其包括多个投影面，所述多个投影面在半球立方体贴图投影布局中具有不同位置索引的多个面位置处被打包。球体的360度内容的一部分通过半球立方体贴图投影映射到多个投影面。多个语法元素的值分别指示在多个面位置处打包的多个投影面的面索引，以及被约束以满足比特流一致性的要求。

根据本发明的第二方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括接收比特流的步骤，以及由解码电路对比特流的一部分进行解码以生成解码帧的步骤，该步骤包括从比特流中解析多个第一语法元素。解码帧是基于投影的帧，其包括多个投影面，所述多个投影面在半球立方体贴图投影布局中具有不同位置索引的多个面位置处被打包。球体的360度内容的一部分通过半球立方体贴图投影映射到多个投影面。多个第一语法元素的值分别指示在多个面位置处打包的多个投影面的旋转角度。多个第一语法元素的值的一部分被约束以满足比特流一致性的要求。

根据本发明的第三方面，公开了一种示例性视频处理装置。该示例性视频处理装置包括解码电路，该解码电路被布置为接收比特流并且对该比特流的一部分进行解码以生成解码帧。解码电路从比特流中解析多个第一语法元素和多个第二语法元素，其中解码帧是基于投影的帧，其包括多个投影面，所述多个投影面在半球立方体贴图投影布局中具有不同位置索引的多个面位置处被打包；球体的一部分360度内容通过半球立方体贴图投影映射到多个投影面；多个第二语法元素的值分别指示在多个面位置打包的多个投影面的面索引，以及被约束以满足比特流一致性的要求；多个第一语法元素的值分别指示在多个面位置处打包的多个投影面的旋转角度；多个第一语法元素的值的一部分被约束以满足比特流一致性的要求。

在阅读了在各种附图和附图中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的无疑将对于本领域普通技术人员变得显而易见。

附图说明

图1示出根据本发明实施例的360度虚拟现实(360VR)系统的图。

图2示出根据本发明实施例的半球立方体贴图投影的图。

图3示出根据本发明实施例的水平打包的半球立方体贴图投影布局的图。

图4示出根据本发明实施例的垂直打包的半球立方体贴图投影布局的图。

图5示出根据本发明实施例的语法元素gcmp_face_rotation[i]的一种规范的图。

图6示出根据本发明实施例的语法元素gcmp_face_rotation[i]的另一规范的图。

图7示出根据本发明实施例的坐标定义的图。

图8示出在正面被选为全面的情况下四个半面被选择用于半球立方体贴图投影布局的示例的图。

图9示出在背面被选为全面的情况下四个半面被选择用于半球立方体贴图投影布局的示例的图。

图10示出在左面被选为全面的情况下四个半面被选择用于半球立方体贴图投影布局的示例的图。

图11示出在右面被选为全面的情况下四个半面被选择用于半球立方体贴图投影布局的示例的图。

图12示出在顶面被选为全面的情况下四个半面被选择用于半球立方体贴图投影布局的示例的图。

图13示出在底面被选为全面的情况下四个半面被选择用于半球立方体贴图投影布局的示例的图。

图14示出根据本发明实施例的在水平打包的半球布局中打包的半面的一个旋转角约束的图。

图15示出根据本发明实施例的在水平打包的半球布局中打包的半面的另一旋转角约束的图。

图16示出根据本发明实施例的在垂直打包的半球布局中打包的半面的一个旋转角约束的图。

图17示出示出根据本发明实施例的在垂直打包的半球布局中打包的半面的另一旋转角约束的图。

具体实施方式

特定术语在以下描述和权利要求中使用，它们指代特定元件。如本领域技术人员将理解的，电子设备制造商可以用不同的名称来指代一个元件。本文档无意区分名称不同但功能相同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为意味着“包括但不限于……”。此外，术语“耦合”旨在表示间接或直接电连接。因此，如果一个设备耦合到另一个设备，则该连接可以是通过直接电连接，或通过经由其他设备和连接的间接电连接。

图1示出根据本发明实施例的360度虚拟现实(360VR)系统的图。360VR系统100包括两个视频处理装置(例如，源电子设备102和目标电子设备104)。源电子设备102包括视频获取设备112、转换电路114和视频编码器116。例如，视频获取设备112可以是全向相机。转换电路114根据对应于球体的全向视频帧S_IN产生具有360度虚拟现实(360VR)投影布局L_VR的基于投影的帧IMG，其中全向视频帧S_IN包含球体的360度内容。视频编码器116是编码电路，用于编码基于投影的帧IMG(其具有打包在360VR投影布局L_VR中的投影面)以生成比特流BS的一部分，以及经由诸如有线/无线通信链路或存储介质的传输装置103将比特流BS输出到目标电子设备104。

目标电子设备104可以是头戴式显示器(head-mounted display，简称HMD)设备。如图1所示，目标电子设备104包括视频解码器122、图形渲染电路124和显示设备126。视频解码器122是从传输装置103(例如，有线/无线通信链接或存储介质)接收比特流BS的解码电路，以及解码接收到的比特流BS的一部分以生成解码帧IMG'。在本实施例中，待视频编码器116编码的基于投影的帧IMG具有360VR投影布局L_VR。因此，在比特流BS的一部分被视频解码器122解码之后，解码帧(即，重构帧)IMG'具有相同的360VR投影布局L_VR。换句话说，解码帧IMG'也是一个基于投影的帧，其具备被打包在360VR投影布局L_VR中的一个或多个投影面。在下文中，术语“解码帧”和“基于投影的帧”可以互换。图形渲染电路124用于驱动显示设备126显示用户选择的视口区域的图像内容。

在本实施例中，360VR投影布局L_VR可以是半球立方体贴图投影布局。具体而言，具有表示180°x180°全向视频(即，仅球体的360度内容的一部分)的五个投影面(包括一个全面和四个半面)的基于立方体的投影可被采用。关于源电子设备102的转换电路114，半球立方体贴图投影用于在三维(3D)空间中生成立方体的一个全面和四个半面。图2示出根据本发明实施例的半球立方体贴图投影的图。球体200上只有一半的360度内容被投影到立方体201的多个面上，包括顶部半面(标记为“Top_H”)、底部半面(标记为“Bottom_H”)、左半面(标记为“Left_H”)、正全面(标记为“Front”)和右半面(标记为“Right_H”)。在该示例中，立方体201的一半用于半球立方体贴图投影，其中半球(例如，球体200的一半)内接在立方体201的一半中。参照图2，球体200的北极区域的一半的图像内容被投影到顶部半面“Top_H”(即立方体201的顶面的一半)上，球体200的南极区域的一半的图像内容被投影到底部半面“Bottom_H”(即立方体201的底面的一半)上，以及球体200的赤道区域的一半的图像内容被投影到左半面“Left_H”(立方体201的左面的一半)，正全面“Front”(立方体201的正面)和右半面“Right_H”(它是立方体201右面的一半)上。

在由x轴、y轴和z轴定义的3D空间中，五个投影面上的每个点位于(x,y,z)，其中x,y,z∈[-1,1]。在图2所示的例子中，正全面“Front”在x＝1的x平面上，顶部半面“Top_H”在z＝1的z平面上，底部半面“Bottom_H”在z＝-1的z平面上，左半面“Left_H”在y＝1的y平面上，右半面“Right_H”在y＝-1的y平面上。在另一设计中，正全面“Front”可以在x＝1的x平面上，顶部半面“Top_H”可以在y＝1的y平面上，底部半面“Bottom_H”可以在y＝-1的y平面上，右半面“Right_H”可以在z＝1的z平面上，左半面“Left_H”可以在z＝-1的z平面上。

前向变换可用于从3D空间(x,y,z)变换到2D平面(u,v)。因此，立方体201在3D空间中的顶部半面“Top_H”、底部半面“Bottom_H”、左半面“Left_H”、正全面“Front”和右半面“Right_H”可被变换为二维(2D)平面上的顶部半面(标记为“2”)，底部半面(标记为“3”)，左半面(标记为“5”)，正全面(标记为“0”)和右半面(用“4”标记)。每个面位于一个2D平面上，该平面由水平方向的u轴和垂直方向的v轴定义，以及每个点位于(u,v)。另外，正全面(标记为“0”)的大小是顶部半面(标记为“2”)，底部半面(标记为“3”)，左半面(标记为“5”)和右半面(标记为“4”)中每个面的大小的两倍。

逆变换可用于从2D平面(u,v)变换到3D空间(x,y,z)。因此，2D平面上的顶部半面(标记为“2”)，底部半面(标记为“3”)，左半面(标记为“5”)，正全面(标记为“0”)，右半面(用“4”标记)可以被转换为3D空间中立方体201的顶部半面“Top_H”，底部半面“Bottom_H”，左半面“Left_H”，正全面“Front”，以及右半面“Right_H”。

源电子装置102的转换电路114可以采用逆变换来产生顶部半面“2”、底部半面“3”、左半面“5”、正全面“0”,和右半面“4”。二维平面上的顶部半面“2”、底部半面“3”、左半面“5”、正全面“0”以及右半面“4”被打包以形成基于投影的帧IMG，该基于投影的帧IMG将由视频编码器116进行编码。视频解码器122从传输装置103接收比特流BS，以及对接收的比特流BS的一部分进行解码，以生成在编码器端采用的相同投影布局L_VR(例如，半球立方体贴图布局)的解码帧IMG'。

如上所述，顶部半面“2”、底部半面“3”、左半面“5”、正全面“0”和右半面“4”被打包以形成基于投影的帧IMG。例如，转换电路114可以选择一种打包类型，使得基于投影的帧IMG可以具有投影图像数据，该投影图像数据被布置在一个基于立方体的投影布局(半球立方体贴图布局)202中。再例如，转换电路114可以选择另一种打包类型，使得基于投影的帧IMG可以具有布置在另一种基于立方体的投影布局(半球立方体贴图布局)204中的投影图像数据，该基于立方体的投影布局204与基于立方体的投影布局(半球立方体贴图布局)202不同。在这个实施例中，正面被选为打包在基于立方体的投影布局202/204中的全面(fullface)。实际上，打包在基于立方体的投影布局202/204中的该全面可以是顶面、底面、正面、背面、左面和右面中的任一，以及被打包在基于立方体的投影布局202/204中四个半面取决于对全面的选择。

基于立方体的投影布局202也被称为水平打包的半球立方体贴图投影布局，其中所有投影面被水平打包。基于立方体的投影布局204也被称为垂直打包的半球立方体贴图投影布局，其中所有投影面被垂直打包。图3示出根据本发明实施例的水平打包的半球立方体贴图投影布局的图。水平打包的半球立方体贴图投影布局300包括具有不同位置索引“0”、“1”、“2”、“3”、“4”的五个面位置，其中全面被打包在位置索引“2”的面位置处，四个半面分别被打包在位置索引为“0”、“1”、“3”、“4”的面位置。图4示出根据本发明实施例的垂直打包的半球立方体贴图投影布局的图。垂直打包的半球立方体贴图投影布局400包括具有不同位置索引“0”、“1”、“2”、“3”、“4”的五个面位置，其中全面被打包在具有位置索引“2”的面位置处，四个半面分别被打包在位置索引为“0”、“1”、“3”、“4”的面位置。

转换电路114可以決定基于投影的帧IMG的配置，该基于投影的帧IMG由从基于立方体的投影(例如，图2中所示的半球立方体贴图投影)导出的多个投影面组成，以及视频编码器116可以通过比特流BS发送一个或多个语法元素SE。例如，一个或多个语法元素SE可以与基于投影的帧IMG中的投影面的打包相关联。因此，视频解码器122可以从比特流BS解析与基于投影的帧IMG中的投影面的打包配置相关联的一个或多个语法元素SE'，以及可以向图形渲染电路124提供解析的一个或多个语法元素SE'，以便图形渲染电路124被告知面打包的配置信息。需要注意的是，基于投影的帧IMG和解码帧IMG'具有相同的面打包配置。如此一来，在确定用户选择的视口区域的图像内容时，图形渲染电路124可以参考面打包的配置信息来正确地決定选择的视口区域的像素值。理想地，由视频编码器116编码到比特流BS中的一个或多个语法元素SE与由视频解码器122从比特流BS解析的一个或多个语法元素SE'相同。例如，一个或多个语法元素SE/SE'表示面打包配置可以包括gcmp_packing_type，gcmp_face_rotation，gcmp_face_index等。

语法元素gcmp_packing_type指定基于立方体的投影布局中的投影面的打包类型，以及进一步指定分配给所选打包类型下的面位置的位置索引的预定义布置。当gcmp_packing_type的值为4或5时，具有一个全面和四个半面的半球立方体贴图打包被使用，其中每种打包类型与分别分配有位置索引{0,1,2,3,4}的五个面位置相关联。具体来说，当如图3所示水平打包的半球立方体贴图投影布局300被采用，gcmp_packing_type的值等于4；以及当如图4中所示的垂直打包的半球立方体贴图投影布局400被采用，gcmp_packing_type的值等于5。

语法元素gcmp_face_index[i]可以在由语法元素gcmp_packing_type指定的打包类型下对位置索引i指定面索引。以半球立方体贴图投影为例，正全面/半面可被分配面索引gcmp_face_index[i]＝＝0，背全面/半面可被分配面索引gcmp_face_index[i]＝1，顶部全面/半面可被分配面索引gcmp_face_index[i]＝2，底部全面/半面可被分配面索引gcmp_face_index[i]＝3，右全面/半面可被分配面索引gcmp_face_index[i]＝4，以及左全面/半面可被分配面索引gcmp_face_index[i]＝5。因此，当语法元素gcmp_packing_type被设置为4或5时，语法元素gcmp_face_index[i]指定投影面的面索引(例如，图2所示的正面“0”，背面“1”，顶面“2”，底面“3”、右面“4”或左面“5”)，其中具有由语法元素gcmp_face_index[i]指定的面索引的投影面被打包在所选打包类型下具有的位置索引i的面位置。

语法元素gcmp_face_rotation[i]指定具有旋转角的旋转，该旋转角应用于在由语法元素gcmp_packing_type指定的打包类型下的具有位置索引i的面位置处打包的投影面。图5示出根据本发明实施例的语法元素gcmp_face_rotation[i]的一种规范的图。因此，当应用于在位置索引为i的面位置处要打包的投影面的旋转的旋转角度为0°时，语法元素gcmp_face_rotation[i]被设置为0；当应用于位置索引为i的面位置处要打包的投影面的旋转的旋转角度为逆时针90°时，语法元素gcmp_face_rotation[i]被设置为1；当应用于位置索引为i的面位置处要打包的投影面的旋转的旋转角度为逆时针180°时，语法元素gcmp_face_rotation[i]被设置为2；当应用于位置索引为i的面位置处要打包的投影面的旋转的旋转角度为逆时针270°时，语法元素gcmp_face_rotation[i]被设置为3。

在本发明的一些实施例中，旋转过程的输入可以包括投影面(全面)的宽度faceWidth和高度faceHeight，以及还可以包括2D平面上的投影面内的样本位置(hPosFace，vPosFace)。宽度faceWidth可以与高度faceHeight相同。旋转过程的输出可以包括在2D平面上的投影面内的旋转样本位置(hPosRot、vPosRot)。输出可以如下推导：

在以上示例中，施加到一个投影面的旋转由沿逆时针方向的旋转角定义。然而，这仅用于说明目的，并不意味着对本发明的限制。在另一种设计中，施加到一个投影面的旋转可以由沿顺时针方向的旋转角来定义。图6示出根据本发明实施例的语法元素gcmp_face_rotation[i]的另一规范的图。

如上所述，一个全面和四个半面被打包在半球立方体贴图投影布局中，例如水平打包的半球立方体贴图投影布局300(gcmp_packing_type＝＝4)或垂直打包的半球立方体贴图投影布局400(gcmp_packing_type＝＝5)。为了表示连续的180°x180°全向视频内容，2D平面上打包在半球立方体贴图投影布局中的四个半面应源自与3D空间中的全面(fullface)连接(相邻)的半面。本发明实施例提出将约束应用于打包在半球立方体贴图投影布局中的半面的选择。也就是说，转换电路114被设置为对在具有位置索引{0、1、3、4}的面位置处打包的半面的面索引施加约束，以满足比特流一致性的要求。指示打包在半球立方体贴图投影布局中的半面的面索引的语法元素gcmp_face_index[i]，通过比特流BS发出。通过所提出的对面索引的约束，满足比特流一致性要求的比特流BS被产生，以及从源电子设备102被传输到目标电子设备104。在目标电子设备104，满足比特流一致性的要求的比特流BS不包含无效语法值并可在视频解码器122处解码。视频解码器122可以解析一个或多个语法元素SE'，该一个或多个语法元素SE'与来自比特流BS中基于投影的帧IMG中的投影面的打包配置相关联，并可以向图形渲染电路124提供解析的一个或多个语法元素SE'，让图形渲染电路124正确地处理具有相同的半球立方体映射投影布局的解码帧IMG'的后处理(post-processing)。

关于对打包在半球立方体贴图投影布局中的半面的面索引应用约束，所使用的坐标定义在图7中示出，其中观察视角是从球体200的原点向外看向球体200的内部。分别从3D空间中立方体的正方形面导出的每个投影面位于由u-轴和v-轴定义的2D平面上，以及具有位于投影面内的(u，v)处的每个局部样本位置，其坐标原点如图7所示。

如上所述，在半球立方体贴图投影布局中打包的全面可以是顶面、底面、正面、背面、左面和右面中的任一，以及被打包在半球立方体贴图投影布局中的四个半面取决于全面(full face)的选择。半球立方体贴图投影布局中要打包的半面可以是正面的一半、背面的一半、左面的一半、右面的一半、顶面的一半，或底面的一半，取决于要填充在半球立方体贴图投影布局中的全面(full face)的选择以及全面(full face)和半面之间的空间关系。

图8示出在正面被选择为全面的情况下被选择用于半球立方体贴图投影布局的四个半面的示例的图。根据图7所示的坐标定义，半球立方体贴图投影布局中的四个半面包括左面的右半部分、右面的左半部分、顶面的右半部分、底面的左半部分。

图9示出在背面被选择为全面的情况下被选择用于半球立方体贴图投影布局的四个半面的示例的图。根据图7所示的坐标定义，半球立方体贴图投影布局中的四个半面包括左面的左半部分、右面的右半部分、顶面的左半部分和底面的右半部分。

图10示出在选择左面作为全面的情况下被选择用于半球立方体贴图投影布局的四个半面的示例的图。根据图7所示的坐标定义，半球立方体贴图投影布局中的四个半面包括背面的下半部分、正面的左半部分、顶面的下半部分和底面的下半部分。

图11示出在选择右面作为全面的情况下被选择用于半球立方体贴图投影布局的四个半面的示例的图。根据图7所示的坐标定义，半球立方体贴图投影布局中的四个半面包括背面的上半部分、正面的右半部分、顶面的上半部分和底面的上半部分。

图12示出在顶面被选择为全面的情况下被选择用于半球立方体贴图投影布局的四个半面的示例的图。根据图7所示的坐标定义，半球立方体贴图投影布局中的四个半面包括左面的上半部分、正面的上半部分、背面的右半部分和右面的上半部分。

图13示出在底面被选择作为全面的情况下被选择用于半球立方体贴图投影布局的四个半面的示例的图。根据图7所示的坐标定义，半球立方体贴图投影布局中的四个半面包括左面的下半部分、正面的下半部分、背面的左半部分和右面的下半部分。

当gcmp_packing_type的值被设置为4或5时，对面索引值的约束可以保证所选择的打包类型下的基于投影的帧IMG/IMG'包含球体200的连续180°x180°全向视频内容。根据对于由gcmp_face_index[2]指定的全面的选择，四个半面可以被决定并由i＝{0,1,3,4}的gcmp_face_index[i]指定，以实现具有基于投影的帧IMG/IMG'中的连续180°x 180°全向视频内容的目标。例如，当gcmp_packing_type等于4或5时，以下约束适用于比特流一致性要求：

-如果gcmp_face_index[2]等于0或1，则对于i等于0、1、3或4，gcmp_face_index[i]的值应在2到5的范围内，包括2及5。

-否则，如果gcmp_face_index[2]等于2或3，则对于i等于0、1、3或4，gcmp_face_index[i]的值应为0、1、4或5。

-否则，当i等于0、1、3或4时，gcmp_face_index[i]的值应在0到3的范围内，包括0及3。

在第一种情况下，在位置索引2的面位置处打包的全面由正面或背面设置，在位置索引0、1、3、4的面位置处打包的四个面被约束为左面的半面，右面的半面，顶面的半面，和底面的半面，如图8-9所示。在第二种情况下，在位置索引2的面位置处打包的全面由顶面或底面设置，在位置索引0、1、3、4的面位置处打包的四个面被约束为正面的半面，背面的半面，右面的半面和左面的半面，如图12-13所示。在第三种情况下，在位置索引2的面位置处打包的全面由右面或左面设置，在位置索引0、1、3、4的面位置处打包的四个面被约束为正面的半面、背面的半面、顶面的半面和底面的半面，如图10-11所示。

如上所述，具有旋转角度的旋转被应用于在所选打包类型下在具有位置索引的面位置处被打包的投影面。也就是说，旋转后的面被打包在半球立方体贴图投影布局中，其中旋转信息由语法元素gcmp_face_rotation指定。半面的旋转角度应被约束以确保旋转后的半面能够容纳于由语法元素gcmp_packing_type指定的半球立方体贴图投影布局。

例如，当水平打包的半球布局300(gcmp_packing_type＝4)被使用时，半面的旋转受到约束。如果在位置索引i不等于2(即i＝0、1、3或4)的面位置处打包的半面是从3D空间中的正方形面的上半部或下半部导出，分配给位置索引i的语法元素gcmp_face_rotation[i]的值指示从由90°和270°组成的组合中选择的旋转角度。即，旋转角度应为顺时针/逆时针90°或270°，以确保旋转后的半面可以容纳于水平打包的半球布局300，如图14所示。如果在位置索引i不等于2(即i＝0、1、3或4)的面位置被打包的半面从3D空间中的立方体的正方形面的左半边或右半边推导出，分配给位置索引i的语法元素gcmp_face_rotation[i]的值指示从由0°和180°组成的组合中选择的旋转角度。即，旋转角度应为顺时针/逆时针0°或180°，以确保旋转后的半面可以容纳于水平打包的半球布局300，如图15所示。

对于另一个示例，当使用垂直打包的半球布局400(gcmp_packing_type＝5)时，半面的旋转受到约束。如果在位置索引i不等于2(即i＝0、1、3或4)的面位置处被打包的半面从3D空间中的立方体正方形面的上半部或下半部导出，分配给位置索引i的语法元素gcmp_face_rotation[i]的值指示从由0°和180°组成的组合中选择的旋转角度。也就是说，旋转角度应为顺时针/逆时针0°或180°，以确保旋转后的半面可以容纳于垂直打包的半球布局400，如图16所示。如果在位置索引i不等于2(即i＝0、1、3或4)的面位置处被打包的半面从3D空间中的立方体的正方形面的左半边或右半边导出，分配给位置索引i的语法元素gcmp_face_rotation[i]的值指示从由90°和270°组成的组合中选择的旋转角度。也就是说，旋转角度应为顺时针/逆时针90°或270°，以确保旋转后的半面可以容纳于垂直打包的半球布局400，如图17所示。

总之，当gcmp_packing_type等于4时，比特流一致性的要求是应用以下约束：

—如果gcmp_face_index[2]等于0或1，则对于i等于0、1、3或4，gcmp_face_rotation[i]的值应为0或2。

–否则，如果gcmp_face_index[2]等于2或3，当gcmp_face_index[i]等于1时，gcmp_face_rotation[i]的值应为0或2，当gcmp_face_index[i]等于0，4或5时，gcmp_face_rotation[i]的值应为1或3。

–否则，当gcmp_face_index[i]等于0时，gcmp_face_rotation[i]的值应为0或2，当gcmp_face_index[i]等于1、2或3时，gcmp_face_rotation[i]的值应为1或3。

当gcmp_packing_type等于5时，比特流一致性的要求是应用以下约束：

–如果gcmp_face_index[2]等于0或1，则gcmp_face_rotation[i]的值对于i等于0、1、3或4应为1或3。

–否则，如果gcmp_face_index[2]等于2或3，当gcmp_face_index[i]等于1时，gcmp_face_rotation[i]的值应为1或3，并且当gcmp_face_index[i]等于0，4或5，gcmp_face_rotation[i]的值应为0或2。

–否则，当gcmp_face_index[i]等于0时，gcmp_face_rotation[i]的值应为1或3，当gcmp_face_index[i]等于1、2或3时，gcmp_face_rotation[i]的值应为0或2。

本领域技术人员将容易地观察到，可以在保留本发明的教导的同时对装置和方法进行许多修改和改变。因此，上述公开应被解释为仅受所附权利要求的界限和限制。

Claims (20)

1.一种视频处理方法，包括：

接收比特流；以及

由解码电路对比特流的一部分进行解码以生成解码帧，包括：

从所述比特流中解析多个语法元素；

其中，所述解码帧是基于投影的帧，所述基于投影的帧包括在半球立方体贴图投影布局中具有不同位置索引的多个面位置处打包的多个投影面；球体的360度内容的一部分通过半球立方体贴图投影映射到所述多个投影面；所述多个语法元素的多个值分别表示在多个面位置打包的所述多个投影面的多个面索引，以及被约束以满足比特流一致性的要求。

2.如权利要求1所述的视频处理方法，其特征在于，所述多个投影面包括在具有位置索引的面位置处被打包的全面，被分配给所述位置索引的语法元素的值指示正面的面索引，以及被分配给任一其他位置索引的语法元素的值指示从由左面的面索引、右面的面索引、顶面的面索引和底面的面索引组成的组中选择的面索引。

3.如权利要求1所述的视频处理方法，其特征在于，所述多个投影面包括在具有位置索引的面位置处被打包的全面，被分配给所述位置索引的语法元素的值指示背面的面索引，以及被分配给任一其他位置索引的语法元素的值指示从由左面的面索引、右面的面索引、顶面的面索引和底面的面索引组成的组中选择的面索引。

4.如权利要求1所述的视频处理方法，其特征在于，所述多个投影面包括在具有位置索引的面位置处被打包的全面，被分配给所述位置索引的语法元素的值指示顶面的面索引，以及被分配给任一其他位置索引的语法元素的值指示从由左面的面索引、正面的面索引、背面的面索引和右面的面索引组成的组中选择的面索引。

5.如权利要求1所述的视频处理方法，其特征在于，所述多个投影面包括在具有位置索引的面位置处被打包的全面，被分配给所述位置索引的语法元素的值指示底面的面索引，以及被分配给任一其他位置索引的语法元素的值指示从由左面的面索引、正面的面索引、背面的面索引和右脸的面索引组成的组中选择的面索引。

6.如权利要求1所述的视频处理方法，其特征在于，所述多个投影面包括在具有位置索引的面位置处被打包的全面，被分配给所述位置索引的语法元素的值指示右面的面索引，以及被分配给任一其他位置索引的语法元素的值指示从由背面的面索引、正面的面索引、顶面的面索引和底面的面索引组成的组中选择的面索引。

7.如权利要求1所述的视频处理方法，其特征在于，所述多个投影面包括在具有位置索引的面位置处被打包的全面，被分配给所述位置索引的语法元素的值指示左面的面索引，以及被分配给任一其他位置索引的语法元素的值指示从由背面的面索引、正面的面索引、顶面的面索引和底面的面索引组成的组中选择的面索引。

8.如权利要求1所述的视频处理方法，其特征在于，所述球体的所述360度内容的所述部分被投影到一立方体的一个正方形面和其他四个正方形面的一半上，在所述半球立方体贴图投影布局中被打包的所述多个投影面包括一个全面和四个半面，所述全面从所述正方形面导出，所述四个半面分别从与所述正方形面相连的其他四个正方形面的一半导出。

9.一种视频处理方法，包括：

接收比特流；以及

由解码电路对所述比特流的一部分进行解码以生成解码帧，包括：

从所述比特流中解析出多个第一语法元素；

其中，所述解码帧是基于投影的帧，所述基于投影的帧包括在半球立方体贴图投影布局中具有不同位置索引的多个面位置处打包的多个投影面；球体的360度内容的一部分通过半球立方体贴图投影映射到多个投影面；所述多个第一语法元素的多个值分别指示在所述多个面位置处打包的多个投影面的多个旋转角度；以及所述多个第一语法元素的的所述多个值的一部分被约束以满足比特流一致性的要求。

10.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局为水平打包的半球立方体贴图布局，所述多个投影面包括在具有位置索引的面位置处被打包的半面，所述半面从立方体的正方形面的上半部分或下半部分导出，以及被分配给所述位置索引的第一语法元素的值指示从由90°和270°组成的组中选择的旋转角度。

11.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局为水平打包的半球立方体贴图布局，所述多个投影面包括在具有位置索引的面位置处被打包的半面，所述半面从立方体的正方形面的左半部分或右半部分导出，以及被分配给所述位置索引的第一语法元素的值指示从由0°和180°组成的组中选择的旋转角度。

12.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局为垂直打包的半球立方体贴图布局，所述多个投影面包括在具有位置索引的面位置处被打包的半面，所述半面从立方体的正方形面的左半部分或右半部分导出，以及被分配给所述位置索引的第一语法元素的值指示从由90°和270°组成的组中选择的旋转角度。

13.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局为垂直打包的半球立方体贴图布局，所述多个投影面包括在具有位置索引的面位置处被打包的半面，所述半面从立方体的正方形面的上半部分或下半部分导出，以及被分配给所述位置索引的第一语法元素的值指示从由0°和180°组成的组中选择的旋转角度。

14.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局是水平打包的半球立方体贴图布局；解码所述比特流的该部分以生成所述解码帧进一步包括：

从所述比特流中解析出多个第二语法元素；

其中，所述多个第二语法元素的值分别指示在所述多个面位置处打包的所述多个投影面的面索引；所述多个投影面包括在具有第一位置索引的面位置处被打包的全面和在具有多个不同的第二位置索引的面位置处被打包的多个半面，被分配给所述第一位置索引的第二语法元素的值指示从由正面的面索引和背面的面索引组成的组中选择的面索引；以及被分配给任一第二位置索引的第一语法元素的值指示从由0°和180°组成的组中选择的旋转角度。

15.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局是水平打包的半球立方体贴图布局；解码所述比特流的所述部分生成所述解码帧进一步包括：

从所述比特流中解析出多个第二语法元素；

其中，所述多个第二语法元素的值分别指示在所述多个面位置处被打包的所述多个投影面的面索引；所述多个投影面包括：在具有第一位置索引的面位置处被打包的全面、在具有第二位置索引的面位置处被打包的半面以及在多个不同的第三位置索引的多个面位置处被打包的多个其他半面；被分配给所述第一位置索引的第二语法元素的值指示从由顶面的面索引和底面的面索引组成的组中选择的面索引；被分配给所述第二位置索引的第二语法元素的值指示背面的面索引；被分配给所述第二位置索引的第一语法元素的值指示从由0°和180°组成的组中选择的旋转角度；以及被分配给任一第三位置索引的第一语法元素的值指示从由90°和270°组成的组中选择的旋转角度。

16.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局是水平打包的半球立方体贴图布局；解码所述比特流的所述部分以生成所述解码帧进一步包括：

从所述比特流中解析出多个第二语法元素；

其中，所述多个第二语法元素的值分别指示在所述多个面位置处被打包的所述多个投影面的面索引；所述多个投影面包括：在具有第一位置索引的面位置处被打包的全面、在具有第二位置索引的面位置处被打包的半面、以及在具有多个不同的第三位置索引的多个面位置处被打包的多个其他半面；被分配给所述第一位置索引的第二语法元素的值指示从由右面的面索引和左面的面索引组成的组中选择的面索引；被分配给所述第二位置索引的第二语法元素的值指示正面的面索引；被分配给所述第二位置索引的第一语法元素的值指示从由0°和180°组成的组中选择的旋转角度；以及被分配给任一第三位置索引的第一语法元素的值指示从由90°和270°组成的组中选择的旋转角度。

17.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局是垂直打包的半球立方体贴图布局；解码所述比特流的所述一部分以生成所述解码帧进一步包括：

从所述比特流中解析出多个第二语法元素；

其中，所述多个第二语法元素的值分别指示在所述多个面位置处打包的所述多个投影面的面索引；所述多个投影面包括：在具有第一位置索引的面位置处被打包的全面，以及在具有多个不同的第二位置索引的面位置处被打包的多个半面；被分配给所述第一位置索引的第二语法元素的值指示从由正面的面索引和背面的面索引组成的组中选择的面索引；以及被分配给任一第二位置索引的第一语法元素的值指示从由90°和270°组成的组中选择的旋转角度。

18.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局是垂直打包的半球立方体贴图布局；解码所述比特流的所述一部分以生成所述解码帧进一步包括：

从所述比特流中解析出多个第二语法元素；

其中，所述多个第二语法元素的值分别指示在所述多个面位置处打包的所述多个投影面的面索引；所述多个投影面包括：在具有第一位置索引的面位置处被打包的全面，在具有第二位置索引的面位置处被打包的半面，以及在具有多个不同的第三位置索引的多个面位置处被打包的多个其他半面；被分配给所述第一位置索引的第二语法元素的值指示从由顶面的面索引和底面的面索引组成的组中选择的面索引；被分配给第二位置索引的第二语法元素的值指示背面的面索引；被分配给所述第二位置索引的第一语法元素的值指示从由90°和270°组成的组中选择的旋转角度；以及被分配给任一第三位置索引的第一语法元素的值指示从由0°和180°组成的组中选择的旋转角度。

19.如权利要求9所述的视频处理方法，其特征在于，所述半球立方体贴图投影布局是垂直打包的半球立方体贴图布局；解码所述比特流的所述一部分以生成所述解码帧进一步包括：

从所述比特流中解析出多个第二语法元素；

其中，所述多个第二语法元素的值分别指示在所述多个面位置处打包的所述多个投影面的面索引；所述多个投影面包括：在具有第一位置索引的面位置处被打包的全面、在具有第二位置索引的面位置处被打包的半面、以及在多个不同的第三位置索引的多个面位置处被打包的多个其他半面，被分配给所述第一位置索引的第二语法元素的值指示从由右面的面索引和左面的面索引组成的组中选择的面索引；被分配给所述第二位置索引的第二语法元素的值指示正面的面索引；被分配给所述第二位置索引的第一语法元素的值指示从由90°和270°组成的组中选择的旋转角度；以及被分配给任一第三位置索引的第一语法元素的值指示从由0°和180°组成的组中选择的旋转角度。

20.一种视频处理装置，包括：

解码电路，用于接收比特流，以及解码所述比特流的一部分以生成解码帧，其中所述解码电路从所述比特流中解析多个第一语法元素和多个第二语法元素；

其中，所述解码帧是基于投影的帧，所述基于投影的帧包括在半球立方体贴图投影布局中具有多个不同的位置索引的多个面位置处被打包的多个投影面；球体的360度内容的一部分通过所述半球立方体贴图投影映射到所述多个投影面；所述多个第二语法元素的值分别指示在所述多个面位置处被打包的所述多个投影面的面索引，以及被约束以满足比特流一致性的要求；所述多个第一语法元素的值分别指示在所述多个面位置处被打包的所述多个投影面的旋转角度；以及所述多个第一语法元素的一部分被约束以满足比特流一致性的要求。

Images