CN109889831A - 基于cu尺寸的360度视频帧内模式选择 - Google Patents

Abstract

本发明涉及基于CU尺寸的360度视频帧内模式选择，针对PU大小与纹理特性之间的关系，重新设计了粗略模式决策(RMD)中确定候选模式列表的两步确定过程。对于大尺寸的PU，帧内预测模式2、10、18、26、34、Planar和DC可用于第一步RMD。对于小尺寸的PU，帧内预测模式2、6、10、14、18、22、26、30、34、Planar和DC可用于第一阶段RMD。在第二阶段RMD中，分析候选模式列表中的前两个模式。如果前两个模式是DC和Planar，则跳过第二阶段RMD，并且仅保留前两个模式以用于后续工作。如果前两种模式中的一种是角度模式，则在第二阶段RMD中检查该角度模式的相邻模式，并且更新候选模式列表，在后续工作中选择前两种模式。如果前两种模式都是角度模式，则在第二阶段RMD中检查第一个角度模式的相邻角度模式，并且在后续工作中选择前两种模式。

Description

基于CU尺寸的360度视频帧内模式选择

技术领域

本发明涉及图像与视频处理领域，更具体而言，涉及在高效视频编码 (HEVC)中基于CU尺寸的虚拟现实360度视频帧内模式选择。

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(Highefficiency video coding)标准，其也称为H.265。 HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR) 下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架，如图1所示。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。

HEVC标准[4]的第一版已经在2013年的一月份完成。并于2013年4 月、2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本发明的背景技术。

如图1所示，在HEVC中，可以进行帧内预测模式和帧间预测模式的切换。帧内预测是消除视频空间冗余的主要技术之一。在HEVC中，仍然继续使用H.264/AVC的拉格朗日率失真优化(RDO)进行模式选择，为每一个帧内模式计算其RDO：

J＝D+λR

其中，J为拉格朗日代价，D表示当前帧内模式的失真，R表示编码当前预测模式下所有信息所需的比特数，λ为拉格朗日因子。其中D通常使用绝对哈达玛变换差之和(SATD)来实现。

在HEVC中，每帧图像可以被分成几个编码条带。一个编码条带包括多个小条带。每个小条带包含整数个编码树单元(CTU)，大小为64*64、 32*32或16*16。一个CTU包含一个亮度编码树块(CTB)和两个色度CTB。 HEVC还提出了全新的语法单元：编码单元(CU)是进行预测、变换、量化和熵编码的基本单元，预测单元(PU)是进行帧内帧间预测的基本单元，变换单元(TU)是进行变换和量化的基本单元。

图3显示了CTU划分实例。CU划分过程基于率失真代价(RD-cost) 进行。在帧内预测过程中，CU可以被划分为预测单元(PU)，HEVC亮度分量帧内预测模式支持5种大小的PU：4*4、8*8、16*16、32*32、64*64，其中每一种大小的PU都对应35种预测模式，包括Planar模式(模式0)、 DC模式(模式1)以及33种角度模式(如图2所示)。HEVC色度分量帧内预测模式一共有5种模式：Planar模式、垂直模式、水平模式、DC模式以及对应亮度分量的预测模式。如果对应亮度分量的预测模式为前4种模式中的一种，则将其替换为角度预测模式中的模式34。

在HEVC编码器中，通常使用粗略模式决策(RMD)和最可能模式 (MPM)阶段来确定最终要使用的帧内预测模式。在一个实例中，主要包括如下步骤：

首先，在RMD中，对于尺寸为64x64、32x32和16x16的PU，在候选列表中选择3种模式，为尺寸8x8和4x4的PU选择8种模式；

然后，在RMD之后，将从相邻块导出的最可能模式添加到候选列表中；

最后，在MPM中，使用RDO计算候选模式列表中所有候选模式的率失真代价(RD-cost)，以最低的RD-cost选择最佳帧内预测模式。

虚拟现实(VR)360度视频具有超高分辨率、沉浸式和互动性的特点。然而，不能有效地编码这种球形视频使得VR 360度视频很难在更大范围内使用。为了有效地编码VR 360度视频，联合视频研究小组(JVET)提出了一种将360度球面视频投影到2D平面的编码方案，然后将传统的视频编码框架用于投影后的视频的编码。

JVET提出了几种投影格式来实现视频投影步骤，如矩形投影(ERP)，立方体投影(CMP)，八面体投影(OHP)等。到目前为止，VR 360度视频编码中使用的最流行的投影格式是ERP格式。然而，ERP格式在球体的高纬度区域具有严重的拉伸问题，这将严重降低编码效率。与试图将球体扩展为矩形的ERP相比，CMP格式将360度视频投影到球体的外接立方体(如图4所示)，并将立方体的六个平面缝合成矩形。这种投影格式几乎不会对视频内容产生拉伸，同时在拼接过程中仅带来很少的不连续问题。因此，本次研究采用CMP格式。

虚拟现实360度视频具有超高分辨率，达到4K，6K甚至8K。这意味着VR 360度视频与传统视频相比具有更大的数据量和更大的空间冗余度，因此在VR 360度视频帧内编码中时间耗费是很大的。

在HEVC中，尽管RMD的计算复杂度远低于RDO的计算复杂度，但 RMD本身的复杂性会在VR 360度视频巨大的数据量中导致帧内预测过程十分耗时的。

发明内容

本发明针对虚拟现实360度视频提出了相应的亮度帧内预测模式选择方法、装置、编解码器以及处理器可读存储介质。

根据本发明的一个方面，发明人注意到VR 360度视频具有更多简单的纹理区域，具有简单纹理的区域在HEVC编码树结构中往往被分成具有大尺寸(64x64和32x32)的PU，并且这些PU具有单一的方向预测模式。因此，对于这些区域，在RMD期间不需要遍历所有35种预测模式。另外，对于VR 360度视频具有复杂纹理的区域，这些区域在HEVC中被分成小尺寸(8*8和4*4)的PU。

因此，在本发明的一个方面中，针对PU大小与纹理特性之间的关系，重新设计了粗略模式决策(RMD)中确定候选模式列表的两步确定过程。对于大尺寸的PU，帧内预测模式2、10、18、26、34、Planar和DC可用于第一步RMD。对于小尺寸的PU，帧内预测模式2、6、10、14、18、22、 26、30、34、Planar和DC可用于第一阶段RMD，换言之，对于复杂纹理区域，要使用更多预测模式确保准确性。在第二阶段RMD中，分析候选模式列表中的前两个模式。如果前两个模式是DC和Planar，则跳过第二阶段 RMD，并且仅保留前两个模式以用于后续工作。如果前两种模式中的一种是角度模式，则在第二阶段RMD中检查该角度模式的相邻模式，并且更新候选模式列表，在后续工作中选择前两种模式。如果前两种模式都是角度模式，则在第二阶段RMD中检查第一个角度模式的相邻角度模式，并且在后续工作中选择前两种模式。

该算法特别适用于针对虚拟现实360度视频帧进行编码的情况。根据实验编码，与常规HEVC编码算法相比，在全帧内模式下平均编码时间节省27.70％，仅有0.8％的码率增加。

根据本发明的一个方面，提出了一种在针对虚拟现实360度视频进行编码时进行帧内模式的选择的方法，并且所述方法包括：

针对当前CTU(编码树单元)进行粗略模式决策(RMD)，以获得候选模式列表，其中，所述粗略模式决策不考虑相邻块的最可能模式，所述粗略模式决策包括：

判断当前PU(预测单元)是否是属于一特定尺寸；

如果所述当前PU属于该特定尺寸时，使用所有帧内预测模式中与该特定尺寸相关联的子集来确定候选模式并按顺序添加到候选模式列表中；

如果所述候选模式列表中前两个模式是DC模式或Planar模式，则直接使用所述候选模式列表进行最可能模式决策(MPM)；

如果所述候选模式列表中前两个模式包括一个角度模式，则使用所述一个角度模式的相邻模式来更新所述候选模式列表；以及

如果所述候选模式列表中前两个模式包括两个角度模式，则使用所述候选模式列表中的第一个角度模式的相邻模式来更新所述候选模式列表；以及

基于所述候选模式列表来进行最可能模式决策(MPM)，以确定最佳帧内模式预测。

根据另一方面，所述特定尺寸属于第一组尺寸或第二组尺寸，所述第一组尺寸包括64*64和32*32，并且所述第二组尺寸包括8*8和4*4。

根据再另一方面，所述第一组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、10、18、26和34，并且其中，所述第二组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、6、10、14、18、22、26、30、34。

根据另一方面，本发明提出了一种用于实现上述方法的HEVC编码器。

根据另一方面，本发明提出了一种对使用如所述的方法或如所述的编码器进行编码的360视频流进行解码的解码器。

根据另一方面，本发明提出了一种用于执行上述方法的计算机程序产品。

根据另一方面，本发明提出了一种可用于视频编解码的设备，该设备包括：一个或多个处理器；存储器，其中存储有计算机代码，所述计算机代码当由所述处理器执行时，实现上述方法。根据另一方面，其中，所述计算机代码当由所述处理器执行时，还能够对使用所述计算机代码进行编码的360视频流进行解码。

附图说明

图1示出了HEVC的编码器框图的一个实施例。

图2示出HEVC中的用于帧内预测的33种角度模式。

图3示出了HEVC中的编码树的示意图。

图4示出了CMP格式将360度视频投影到球体的外接立方体。

图5示出了根据本发明的一个实施例的用于在针对虚拟现实360度视频进行编码时进行帧内模式的选择的方法的流程图。

图6示出了用于实现本发明的一个实施例的编码方法的设备的示意图。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/ 或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。

本发明针对HEVC中在虚拟现实360度视频进行编码时进行帧内模式 (参见图1中的帧内预测)的选择提出了新颖的算法。

很容易理解，本发明是主要针对亮度分量的，而不用于色度分量。

在一个方面，本发明充分考虑了PU大小与纹理特性之间的关系，重新设计了HEVC中帧内预测模式选择过程中的使用粗略模式决策(RMD)中确定候选模式列表的两步确定过程。

根据本发明的一个实施例，对于大尺寸的PU，并非考虑HEVC中规定的所有35种帧内预测模式，而是仅考虑将一部分帧内预测模式(例如，模式2、10、18、26、34、Planar和DC)用于第一步RMD。

根据本发明的一个实施例，所述大尺寸可以包括64*64或32*32。

根据本发明的另一实例，对于小尺寸的PU，并非考虑HEVC中规定的所有35种帧内预测模式，而是仅考虑将一部分帧内预测模式(例如，2、6、 10、14、18、22、26、30、34、Planar和DC)用于第一阶段RMD，换言之，对于复杂纹理区域，要使用更多预测模式确保准确性。

根据本发明的一个实施例，所述小尺寸可以包括8*8和4*4。

本领域技术人员容易理解，在实际中，可以同时考虑大尺寸和小尺寸的情况，也可以仅考虑其中一者。

在第二阶段RMD中，分析候选模式列表中的前两个模式。如果前两个模式是DC和Planar，则跳过第二阶段RMD，并且仅保留前两个模式以用于后续工作。如果前两种模式中的一种是角度模式，则在第二阶段RMD中检查该角度模式的相邻模式，并且更新候选模式列表，在后续工作中选择前两种模式。如果前两种模式都是角度模式，则在第二阶段RMD中检查第一个角度模式的相邻角度模式，并且在后续工作中选择前两种模式。

现在转到图5，其示出了根据本发明的一个具体实施例的在针对虚拟现实360度视频进行编码时进行帧内模式的选择的方法。该方法仍然包括粗略模式决策(RMD)和最可能模式决策(MPM)两个大步骤。

在步骤501中，针对当前CTU(编码树单元)进行粗略模式决策(RMD)，以获得候选模式列表。在本发明中的RMD不考虑相邻PU的最可能模式，所述粗略模式决策包括如下步骤。

在步骤502中，判断当前PU(预测单元)是否是属于一特定尺寸。

在一个具体实施例中，该特定尺寸可以属于第一组尺寸(即大尺寸) 或第二组尺寸(即小尺寸)，第一组尺寸包括64*64和32*32，并且所述第二组尺寸包括8*8和4*4。

在步骤503中，如果所述当前PU属于该特定尺寸(即大尺寸或小尺寸) 时，使用所有帧内预测模式中与该特定尺寸相关联的子集来确定候选模式并按顺序添加到候选模式列表中。

在一个具体实施例中，“所有帧内预测模式”即表示HEVC标准中使用的35种帧内预测模式，包括Planar模式(模式0)、DC模式(模式1)以及33种角度模式(如图2所示)。

在一个具体实施例中，第一组尺寸的相关联的子集包括Planar模式、 DC模式和角度模式2、10、18、26和34，并且其中，所述第二组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、6、 10、14、18、22、26、30、34。

本领域技术人员容易理解，当在使用除了HEVC之外的其他视频编解码标准时，也可以使用其他尺寸分组和其他帧内预测模式集合和子集。

在步骤504中，如果候选模式列表中前两个模式是DC模式或Planar 模式，则直接使用候选模式列表进行最可能模式决策(MPM)。

值得注意的是，本发明在编码中并不考虑相邻PU的最可能预测模式。其中“不考虑”并非是如HEVC中那样将相邻PU的最可能预测模式加入候选模式列表最后再不采用，而是至始至终不考虑相邻PU的最可能预测模式。实验表明，这种方式简化了计算过程，并不不会造成过大的失真。

在步骤505中，如果候选模式列表中前两个模式包括一个角度模式，则使用所述一个角度模式的相邻模式来更新所述候选模式列表。

在步骤506中，如果候选模式列表中前两个模式包括两个角度模式，则使用候选模式列表中的第一个角度模式的相邻模式来更新所述候选模式列表。

在一个实施例中，角度模式的相邻模式表示如图2中所示的特定角度模式的相应相邻模式，例如模式10的相邻模式是9和11。

在MPM步骤510中，基于候选模式列表来进行最可能模式决策(MPM)，以确定最佳帧内模式预测。

图6中示出了一种可用于视频编解码的设备，该设备包括：处理器和存储器，在所述存储器中包括用于实现本发明的各种方法的处理器可执行代码。

根据另一方面，本公开内容还可以涉及用于实现上述编码方法的编码器。该编码器可以是专用硬件。

根据另一方面，本公开内容还可以涉及对应的对编码后的360视频流进行解码的解码器。

根据另一方面，本公开内容还可以涉及执行本文所述方法的计算机程序产品。

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器 (DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims (10)

1.一种在针对虚拟现实360度视频进行编码时进行帧内模式的选择的方法，并且所述方法包括：

针对当前CTU(编码树单元)进行粗略模式决策(RMD)，以获得候选模式列表，其中，所述粗略模式决策不考虑相邻块的最可能模式，所述粗略模式决策包括：

判断当前PU(预测单元)是否是属于一特定尺寸；

如果所述当前PU属于该特定尺寸时，使用所有帧内预测模式中与该特定尺寸相关联的子集来确定候选模式并按顺序添加到候选模式列表中；

如果所述候选模式列表中前两个模式是DC模式或Planar模式，则直接使用所述候选模式列表进行最可能模式决策(MPM)；

如果所述候选模式列表中前两个模式包括一个角度模式，则使用所述一个角度模式的相邻模式来更新所述候选模式列表；以及

如果所述候选模式列表中前两个模式包括两个角度模式，则使用所述候选模式列表中的第一个角度模式的相邻模式来更新所述候选模式列表；以及

基于所述候选模式列表来进行最可能模式决策(MPM)，以确定最佳帧内模式预测。

2.如权利要求1所述的方法，其中，所述特定尺寸属于第一组尺寸或第二组尺寸，所述第一组尺寸包括64*64和32*32，并且所述第二组尺寸包括8*8和4*4。

3.如权利要求2所述的方法，其中，所述第一组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、10、18、26和34，并且其中，所述第二组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、6、10、14、18、22、26、30、34。

4.一种高效视频编码(HEVC)硬件编码器，所述编码器被配置为针对虚拟现实360度视频进行编码时进行帧内模式的选择，并且所述通过如下进行所述帧内模式的选择：

针对当前CTU(编码树单元)进行粗略模式决策(RMD)，以获得候选模式列表，其中，所述粗略模式决策不考虑相邻块的最可能模式，所述粗略模式决策包括：

判断当前PU(预测单元)是否是属于一特定尺寸；

如果所述当前PU属于该特定尺寸时，使用所有帧内预测模式中与该特定尺寸相关联的子集来确定候选模式并按顺序添加到候选模式列表中；

如果所述候选模式列表中前两个模式是DC模式或Planar模式，则直接使用所述候选模式列表进行最可能模式决策(MPM)；

如果所述候选模式列表中前两个模式包括一个角度模式，则使用所述一个角度模式的相邻模式来更新所述候选模式列表；以及

如果所述候选模式列表中前两个模式包括两个角度模式，则使用所述候选模式列表中的第一个角度模式的相邻模式来更新所述候选模式列表；以及

基于所述候选模式列表来进行最可能模式决策(MPM)，以确定最佳帧内模式预测。

5.如权利要求4所述的编码器，其中，

所述特定尺寸属于第一组尺寸或第二组尺寸，所述第一组尺寸包括64*64和32*32，并且所述第二组尺寸包括8*8和4*4，

并且其中，所述第一组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、10、18、26和34，并且其中，所述第二组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、6、10、14、18、22、26、30、34。

6.一种对使用如权利要求1-3中任一项所述的方法或如权利要求4-5所述的编码器进行编码的360视频流进行解码的解码器。

7.一种用于执行权利要求1-3中任一项所述的方法的计算机程序产品。

8.一种可用于视频编解码的设备，该设备包括：

一个或多个处理器；

存储器，其中存储有计算机代码，所述计算机代码当由所述处理器执行时，实现一种在针对虚拟现实360度视频进行编码时进行帧内模式的选择的方法，并且所述方法包括：

针对当前CTU(编码树单元)进行粗略模式决策(RMD)，以获得候选模式列表，其中，所述粗略模式决策不考虑相邻块的最可能模式，所述粗略模式决策包括：

判断当前PU(预测单元)是否是属于一特定尺寸；

如果所述当前PU属于该特定尺寸时，使用所有帧内预测模式中与该特定尺寸相关联的子集来确定候选模式并按顺序添加到候选模式列表中；

如果所述候选模式列表中前两个模式是DC模式或Planar模式，则直接使用所述候选模式列表进行最可能模式决策(MPM)；

如果所述候选模式列表中前两个模式包括一个角度模式，则使用所述一个角度模式的相邻模式来更新所述候选模式列表；以及

如果所述候选模式列表中前两个模式包括两个角度模式，则使用所述候选模式列表中的第一个角度模式的相邻模式来更新所述候选模式列表；以及

基于所述候选模式列表来进行最可能模式决策(MPM)，以确定最佳帧内模式预测。

9.如权利要求8所述的设备，其中，所述计算机代码当由所述处理器执行时，还能够对使用所述计算机代码进行编码的360视频流进行解码。

10.如权利要求8所述的设备，其中，

所述特定尺寸属于第一组尺寸或第二组尺寸，所述第一组尺寸包括64*64和32*32，并且所述第二组尺寸包括8*8和4*4，

并且其中，所述第一组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、10、18、26和34，并且其中，所述第二组尺寸中的所述特定尺寸的相关联的子集包括Planar模式、DC模式和角度模式2、6、10、14、18、22、26、30、34。