CN110868593B - 基于区域决策树的视频cu快速划分 - Google Patents

Abstract

用于在高效视频编码(HEVC)中的方法和产品。针对虚拟现实360度视频帧，采用剪枝决策树和提前划分决策树来进行CU划分。针对不同的区域，分别为剪枝决策树和提前划分决策树设计不同的属性。剪枝决策树属性以不同的方式考虑不同相邻区域与当前CTU区域的RDcost的差异。提前划分决策树以不同的方式考虑不同相邻区域与当前CTU区域的深度值。

Description

基于区域决策树的视频CU快速划分

技术领域

本发明涉及图像与视频处理领域，更具体而言，涉及在高效视频编码 (HEVC)中对虚拟现实360度视频帧进行编码单元(CU)划分的方法、装置和计算机程序产品。

背景技术

虚拟现实视频是用专业摄像机捕捉整个场景的图像信息，视频由软件拼接，由专用设备播放。它还为观看者提供了各种操作图像的功能，可以放大、缩小和向各个方向移动来观看场景，从而模拟和再现场景的真实环境。在虚拟现实系统中，多个摄像机捕获360度场景并将所有场景拼接成球形视频，从而创建360度视频。当我们对360度视频进行编码时，我们必须将球形视频投影到平面视频中以适应广泛使用的编码标准，例如H.264 /AVC和H.265/高效视频编码(HEVC)。多种投影格式，如等矩形投影(ERP)，调整的等面积(AEP)，立方体贴图(CMP)，等角立方图(EAC)，截断方形金字塔(TSP)，紧凑八面体(COHP)，紧凑二十面体(CISP)已被提议。在这些格式中，ERP是一种简单且广泛使用的格式。它将经线映射到恒定间距的垂直线，将纬线映射到恒定间距的水平线，进而将球形视频转换为平面视频。然而，ERP投影格式导致拉伸和失真，并且两极区域特别严重，导致冗余度增加和编码效率降低。在本研究中，我们使用ERP投影格式来说明我们提出的算法。

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(Highefficiency video coding)标准，其也称为H.265。 HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR) 下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架，如图1所示。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。

HEVC标准的第一版已经在2013年的一月份完成。并于2013年4月、 2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本发明的背景技术。

HEVC提出了全新的语法单元：编码单元(CU)是进行预测、变换、量化和熵编码的基本单元，预测单元(PU)是进行帧内帧间预测的基本单元，变换单元(TU)是进行变换和量化的基本单元。

如图1所示，在HEVC中，可以进行帧内预测模式和帧间预测模式的切换。在帧内预测模式和帧间预测模式中，HEVC都采用编码树单元(CTU) 的编码结构，CTU是HEVC编解码的基本处理单元。CTU由1个亮度CTB、 2个色度CTB和相应的语法元素组成。图2显示了在一个LCU(最大编码单元)编码后的CTU结构。在HEVC中，LCU可以只包含一个编码单元 (CU)，也可以使用CTU四叉树结构划分出为不同大小的CU。

HEVC中有四种大小CU，大小分别为：64x64、32x32、16x16和8x8。 CU块越小，其在CTU树中位置越深。当CU为64x64、32x32和16x16时称为2Nx2N模式(表示可以划分为更小的CU)，当CU为8x8时称为NxN 模式(表示不可以进行进一步划分)。对于帧内预测，CU被分成两个 PartMode(2Nx2N和NxN)，这取决于它是否可以被分成更小的CU。尺寸为64x64、32x32和16x16的CU属于2N×2N，尺寸为8×8的CU属于N×N。

在HEVC中，PU进行帧内帧间预测的基本单元，PU的划分是以CU 为基础的，具有五种规则大小64x64、32x32、16x16、8x8和4x4。更具体地，PU尺寸基于PartMode：对于2N×2N的PartMode PU尺寸与CU相同，对于N×N的PartMode CU可以被划分为四个4×4子PU。对于2N*2N的CU模式，帧内预测PU的可选模式包括2N*2N和N*N，帧间预测PU的可选模式有8种，包括4种对称模式(2N*2N，N*2N，2N*N，N*N)和4 种非对称模式(2N*nU，2N*nD，nL*2N，nR*2N)，其中，2N*nU和2N*nD 分别以上下1∶3、3∶1的比例划分，nL*2N和nR*2N分别以左右1∶3、3∶1的比例划分。

在HEVC中，仍然继续使用H.264/AVC的拉格朗日率失真优化(RDO) 进行模式选择，为每一个帧内模式计算其RDO：

J＝D+λR

其中，J为拉格朗日代价(亦即RD-cost)，D表示当前帧内模式的失真， R表示编码当前预测模式下所有信息所需的比特数，λ为拉格朗日因子。其中D通常使用绝对哈达玛变换差之和(SATD)来实现。

处理一帧视频图像需要首先将其划分成多个LCU(64x64)，然后依次编码每个LCU。每个LCU依次递归划分，其通过计算当前深度的RD-cost 判定是否继续划分。一个LCU最小可划分至8x8大小的单元，如图2所示。编码器通过比较深度的RD-cost值判定是否继续划分，如果当前深度内的4 个子CU的编码代价总和大于当前CU，则不继续划分；反之则继续划分，直至划分结束。

本领域技术人员容易理解，由于CTU是对LCU进行CU划分的树状编码结构，CTU中的CU划分方式是以LCU开始的，因此在本领域中这两个名词经常可交换地使用。

在帧内预测中，每个PU使用总共35种预测模式。使用粗略模式决策 (RMD)，我们可以获得64x64、32x32和16x16块的三种候选模式以及8x8 和4x4块的八种候选模式。通过合并来自相邻块的最可能模式(MPM)来获得每个PU大小的最佳候选列表。然后，通过RDO来选择当前PU的最佳帧内预测模式。当完成当前CU中包括的所有PU的帧内预测时，完成当前CU的帧内预测。通过当前CU的RD-cost与当前CU及其4个子CU的四个子CU的总RD-cost之间的比较来选择具有较小RD-cost的次优CU内部预测完成。当完成所有CU分区时，完成当前CTU帧内预测。对于HEVC，当对LCU进行编码时，应当执行85个CU(一个64×64CU，四个32×32CU，十六个16×16CU和六十四个8×8CU)的帧内预测。当CU被编码时，应当执行一个PU或四个子PU的帧内预测。大量CU和PU导致帧内预测的高复杂性。

WMSE是为评价360度视频质量而提出的一种质量评估指标。360度视频是一种球形视频，是360度视频和传统视频之间的最大差异。必须将 360度视频投影到平面视频中，以根据HEVC标准对360度视频进行编码。虽然投影和传统视频是平面视频，但投影视频会导致失真并延伸到球形视频。因此，传统视频的客观质量评估度量(PSNR)不适合于投影视频。加权球面(WS)-PSNR被提出作为投影视频的客观质量评估度量。WS-PSNR 的好处是改进了用于360度视频的PSNR计算失真方法，用WMSE取代了 MSE：

WMSE＝weight(i，j)×MSE(i，j) (2)

其中height和width是视频的尺寸；y(i，j)和y′(i，j)分别是原始和重建的像素；weight(i，j)是360度视频投影视频的权重；并且各种投影格式的权重是不同的。公式3显示了ERP投影的权重的计算方法。对于360度视频，WMSE 比MSE更合理。WMSE为投影视频设计权重，投影视频在失真和拉伸区域的权重较小，反之亦然。WS-PSNR被联合视频探索团队(JVET)认可为360度视频质量的客观质量评估指标。

图3显示了ERP权重分布。颜色越深，越接近0；颜色越浅，越接近1。 Region0定义为两极附近区域，权重小；Region1定义为赤道附近的区域，权重大。

根据权重，可以发现WMSE不仅可以表示像MSE这样的某个区域的失真，还可以表示360度视频某个区域失真的重要程度。例如，如果Region0 和Region1中的CU具有相同的尺寸和MSE，则Region1中的CU对视频质量的影响大于Region0中的CU。

常规的基于RDO的CU分割存在进一步改进的空间。因此，存在针对 360度视频的ERP的不同区域进行不同处理的需求，以能够充分利用不同区域的不同特性来进行有区别的CU分割。

发明内容

本发明提出了用于在高效视频编码(HEVC)中的方法、装置、编解码器以及处理器可读存储介质。更具体而言，本发明用于在高效视频编码 (HEVC)中对虚拟现实360度视频帧进行编码单元(CU)划分的方法。

本发明考虑到ERP投影格式下的360度视频不同区域的水平拉伸程度不同这一特性。

在本发明的一个方面中，提出了针对不同的区域分别采用剪枝决策树和提前划分决策树来进行CU划分，这种特定于单个目的结果的决策树使用的决策更为准确。

在本发明的一方面中，针对虚拟现实360度视频帧，针对不同的区域，分别为剪枝决策树和提前划分决策树设计不同的属性。这种专用于不同区域的不同属性充分考虑到了如上所述的虚拟现实360度视频帧的赤道区域与两极区域的明显特征差异，使得决策更为准确和快速。

在本发明的一个方面，针对两极区域，剪枝决策树属性针对不同相邻方向(例如左侧和上方)，考虑不同的相邻范围内的RDcost，这种方式充分考虑到了两极区域的失真和拉伸严重的特性。并且针对赤道区域，剪枝决策树属性针对不同相邻方向(例如左侧和上方)，考虑相同相邻范围内的 RDcost，这种方式充分考虑到了两极区域的失真和拉伸轻微的特性。

在本发明的一个方面，针对两极区域，提前划分决策树针对不同相邻区域的不同深度度量进行分别考虑，这种方式充分考虑到了两极区域的失真和拉伸严重的特性。。

换言之，本文针对虚拟现实360度视频帧ERP格式进行了与现有技术不同的CU划分方法。该方法包含多个创新点，包括但不限于：使用剪枝决策树和提前划分决策树进行单一决策、这些决策树的属性设计等等。特别地，对于复杂的、可测量度量众多的场景，决策树的决策性能直接决定于所设计的属性。

在一个方面，一种在高效视频编码(HEVC)中对虚拟现实360度视频帧进行编码单元(CU)划分的方法，所述方法包括：

判断当前编码树单元(CTU)的区域是两极区域还是赤道区域；

从当前最大编码单元(LTU)开始，通过以下方式进行CU划分：

基于当前CTU所属的区域，获得与所述CTU的所属区域相关联的剪枝决策树和提前划分决策树，其中，所述剪枝决策树用于判断当前CU 是否提前终止划分，所述提前划分决策树用于判断当前CU是否提前划分；

提取当前CU的提前划分决策树的属性集合，并且根据所述提前划分决策树，使用所计算的属性来判断当前CU是否提前划分；

提取当前CU的剪枝决策树的属性集合，并且根据所述剪枝决策树判断当前CU是否提前终止划分。

在进一步的方面，所述提取当前CU的提前划分决策树的属性集合包括：

如果当前CTU所属的区域是两极区域，则获得当前CTU左侧相邻区域中的深度为2和3的单元的第一数量(N_L2)和第二数量(N_L3)，以及当前 CTU上方相邻区域中的深度为2和3的单元的第三数量(N_A2)和第四数量 (N_A3)，并按如下构建四个两极区域提取划分决策树属性(A、B、C和D)；

如果当前CTU所属的区域是赤道区域，则获得当前CTU左侧相邻CTU 区域以及当前CTU上方相邻CTU区域中的深度为2和3的单元的第五数量(N₂)和第六数量(N₃)，并按如下构建两个赤道区域提取划分决策树属性(A和B)；

在进一步的方面，所述提取当前CU的剪枝决策树的属性集合包括：

如果当前CTU所属的区域是两极区域，则计算所述当前CU的RD-cost (RD_Cur)与以下三者的比较结果：当前CTU区域的最小RD-cost(RD_CurCTU)，左侧CTU区域的最小RD-cost(RD_left)，以及上方相邻区域的最小RD-cost (RD_above)，并按如下构建三个两极区域剪枝决策树属性(A、B和C)：

和

如果当前CTU所属的区域是赤道区域，则计算所述当前CU的RD-cost (RD_Cur)与以下二者的比较结果：当前CTU的左侧CTU区域以及当前CTU 的上方CTU区域二者中的最小RD-cost(RD_AJCN)，以及当前CTU区域的最小RD-cost(RD_CurCTU)，并按如下构建两个赤道区域剪枝决策树属性(A和B)：

在进一步的方面，当前CTU左侧相邻区域是当前CTU左侧相邻64x4 区域，并且当前CTU上方相邻区域是当前CTU上方相邻4x64区域。

在进一步的方面，对于两极区域，所述上方相邻区域是所述当前CTU 的上方相邻CTU的下半部分，并且

其中，对于赤道区域，所述上方相邻区域是所述当前CTU的上方相邻 CTU区域。

在进一步的方面，所述最小RD-cost是相关区域中的全部CU的最小 RD-cost。

在进一步的方面，所述建剪枝决策树和所述提前划分决策树是基于 CART算法根据从序列中提取的样本的集合生成的。

根据另一方面，提出了一种高效视频编码(HEVC)硬件编码器，所述编码器被配置为通过如上所述的方法的步骤来对虚拟现实360度视频帧进行编码单元(CU)划分。

根据另一方面，提出了一种对使用所述的方法或所述的编码器进行编码的360视频流进行解码的解码器。

根据另一方面，提出了一种用于执行所述的方法的计算机程序产品。根据进一步的方面，该计算机程序产品具有非暂时性存储介质，其上存储有计算机代码/指令，当其被处理器执行时，可以实现本文所述的各种操作。

根据另一方面，提出了一种可用于视频编解码的设备，该设备包括：

一个或多个处理器；

存储器，其中存储有计算机代码，所述计算机代码当由所述处理器执行时，实现所述的方法。

附图说明

图1示出了HEVC的编码器框图的一个实施例。

图2示出了HEVC中的编码树(CTU)的示意图。

图3示出了根据本发明的一个实施例的ERP投影的权重分布图。

图4示出了根据本发明的一个实施例的对ERP格式图像进行区域划分的非限定性实例。

图5示出了根据本发明的一个实施例的一种在高效视频编码(HEVC) 中对虚拟现实360度视频帧进行编码单元(CU)划分的方法的流程图。

图6示出了用于实现本发明的一个实施例的编码方法的设备的示意图。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/ 或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。

本发明针对HEVC中在虚拟现实视频进行编码时进行CU划分提出了新颖的算法。但是，本领域技术人员容易理解，本发明同样适用于对其他类型的视频帧进行编码。另外，本领域技术人员很容易理解，本发明是主要针对亮度分量的，而不用于色度分量。

在CU划分中，某些深度上的划分判断是可以直接跳过的，例如，直接决定进行到下一深度，或者直接决定不再进行下一深度划分。决策树能够有效地对CU的划分决策进行分类。于是本文提出了一种基于区域决策树的 CU快速划分算法。该算法根据统计数据将整个图像分为两个区域，然后建立用于加速CU划分过程的区域决策树。样本的属性是根据深度的相关性和 RD-cost的特性构造的，并且样本在不同区域具有不同的属性。根据实验结果表明，该算法可以在保证图像质量的同时节省编码时间。

在360度视频编码中，球形视频被投影为二维矩形格式。因为ERP这种投影方式映射关系简单，大多数测试序列都是以ERP格式存储并进行视频编码压缩的。对于这种投影方式而言，从赤道区域到两极区域水平拉伸的程度越来越严重。根据这一特性，我们可以针对ERP格式的360度视频进行区域划分，即划分为赤道区域和两极区域，如图4所示。

在一个简单的实施方式中，可以根据CTU的w_CTU是否小于0.5，整个编码区域被分为两极区域和赤道区域。在一个实施例中，可以通过如下方式来计算w_CTU。采用如下公式来计算w(i，j)

其中，N为LCU高度，i和j为像素坐标。以LCU为单元，计算每个LCU 内所有权重w(i，j)的和并取平均，来得到w_CTU。

为了加快CU的划分过程，两类决策树被构建了出来，它们是剪枝决策树和提前划分决策树。这两种决策树分别用于判断当前CU是否剪枝和是否提前划分。被判定为剪枝的CU不会继续向下划分，被判定为提前划分的决策树会直接划分为4个子CU，而不计算当前深度的RD-cost。这两种决策将会简化CU的递归划分过程。

建立决策树的关键是属性的选择，好的属性可以提高样本的分类准确率。属性必须是具有小计算量的，并且对分类是有效的。在HEVC中，BD-rate 是一个平衡比特率与图像是失真的指数。对于两个相同大小的CU来说，一般具有复杂纹理的CU拥有较大的RD-cost。

剪枝决策树的属性设计

当构建剪枝决策树的属性时，周围与当前CU具有相同深度的CU被记录了下来，我们把他们的RD-cost与当前CU的RD-cost作比较，比较结果用来构建属性。至此，剪枝决策树将展示当前CU是否剪枝与RD-cost的比较结果之间的关系。

在一个实施例中，在两极区域，水平拉伸带来了强大的空间相关性。左边相邻的CTU与上边相邻CTU相比，与当前CTU有更大的空间相关性。上方相邻CTU的上方区域与当前CTU空间相关性很小，所以参考整个上方相邻CTU是没有必要的。于是，只有与当前CTU相邻的上方64×32的区域被参考了。左上方相邻的CTU与当前CTU空间相关性很小，所以我们不参考该CTU。

在一个实施例中，根据空间相关性的不同，CTU周围区域被分为了3 个区域，他们分别为：左侧CTU区域，上方相邻64×32区域，和当前CTU 区域。之后，每个被参考CU的RD-cost被统计出来，并把每个区域中的 RD-cost中的最小值记录下来，三个最小值被分别记作RD_left，RD_above和 RD_CurCTU。当前CU的RD-cost被记作RD_Cur。然后，RD_Cur将与RD_left，RD_above和RD_CurCTU分别作比较，三个比较结果分别作为三个属性，三个属性的值如公式1到3所示。

在一个实施例中，当属性的值为2时，表明没有参考CU在对应的区域。当属性值为0时，表明RD_Cur比对应区域的参考RD-cost要小，所以当前CU 有小概率向下划分。当属性值为1时，说明RD_Cur比参考RD-cost大，向下划分的概率变大。当三个属性值都为0时，当前CU有最小的概率向下划分。由于空间相关性的不同，当C的值为2时，当前CU将失去最重要的RD-cost 参考值。

在一个实施例中，在赤道区域，视频内容有相对小的拉伸，左边相邻的CTU与上方相邻的CTU具有相同的空间相关性。因此，周围CU周围的区域被分为两个区域，他们分别为：相邻的CTU区域和当前CTU区域。之后，每个参考CU的RD-cost被提取出来，每个区域中的最小值被记作 RD_AJCN和RD_CurCTU。这两个值与RD_Cur进行比较，比较结果作为属性A和 B，两个属性的值如公式4和5所示。要理解的是，与两极区域不同，在赤道区域是将当前CTU和左侧相邻CTU区域和上方相邻CTU区域视为一个区域即相邻CTU区域的。在公式4和5中“not existRD_AJCN”表示不存在 RD_AJCN。作为一个非限定性示例，当当前CTU是视频帧中的要编码的第一个CTU时会得到该结果。“not exist RD_CurCTU”表示不存在RD_CurCTU”。作为一个非限定性示例，当当前CU是CTU中所考虑的第一个CU时会得到该结果。

提前划分决策树的属性设计

不同于CU的剪枝，被判定为提前划分的CU将跳过RD-cost的计算过程。因此，周围相邻区域的深度信息将替代RD-cost作为构建属性的基础。

在编码中，CTU周围的CU的深度能在一定程度上反映当前CTU的纹理复杂度。当相邻CU的深度都为3时，当前CTU有大概率是纹理复杂的， CTU中的CU一般都是深度为2和3的CU。因此相邻CU的深度被统计出来，并作为提前划分决策树的属性。提前划分决策树将展示CU是否提前划分与相邻CU的深度之间的关系。

在一个实施例中，当统计相邻CU的深度时，没有必要检查整个CU的深度信息，只需要检查左侧相邻64x4区域和上方相邻的4x64区域即可。之后，深度为2和3的相邻单元(4x4)的数量被统计出来，统计结果用来构建属性。

在一个实施例中，在两极区域，我们设定N_L2和N_L3为左侧相邻的深度为2和3的单元数量。N_A2和N_A3为上方相邻的深度为2和3的单元数量。之后，上述的4个数量用于构建属性A，B，C和D。4个属性的值如公式6到9所示。

当4个属性的值都为0时，当前CTU的纹理是不复杂的，其中的大部分CU都不用提前划分，当4个属性值都为1时，表明当前CTU的纹理是相对复杂的，大尺寸的CU有很大概率划分为更小尺寸的CU。

在一个实施例中，在赤道区域，我们设定N₂和N₃为左侧和上方相邻 CTU区域中深度为2和3的单元数量。这些数量被用于构建属性A和B。因为这些数量比在两极区域的时候多，所以属性的值与在两极区域时也是不同的。属性的值如公式10和11所示，当两个属性的值都为2时，当前 CU有最大概率划分为4个子CU。这里，由于赤道区域的失真和拉伸低的特性，我们考虑上方和左侧相邻的整个CTU区域，而不是针对两极区域的左侧相邻64x4区域和上方相邻的4x64区域的方式。

样本的分类与决策树的建立

对于样本而言，不仅需要属性，而且需要样本的分类信息。决策树会根据属性来进行对样本进行分类。

在本发明中，HEVC提出的6个典型序列被选择出来。每个QP的各三帧用于收集样本。不同区域的每个CU都具有两种决策树。每个决策树都有对应的样本集。各样本集的数量如表1 所示。

表1 各样本集的数量

在样本集建立完成后，每个决策树以此建立。分类器的选择也是十分重要的，在本发明中，使用传统的CART算法建立决策树，CART算法与其他决策树算法的不同在于，CART决策树使用基尼系数来每个节点的划分属性，而且它是一个二叉树。

决策树的具体建立并非是本发明的关注点，因此在此不再赘述。

图5示出了根据本发明的一个实施例的一种在高效视频编码(HEVC) 中对虚拟现实360度视频帧进行编码单元(CU)划分的方法的流程图。

在步骤501中，可以确定当前CTU。这里的确定可以表示确定当前CTU 的位置以及各种编码参数。由于CTU的格式是在HEVC标准中明确规定的，因此在此不再赘述。容易理解，HEVC的编码方法通常是以CTU为单位进行的。

在步骤503中，可以判断当前CTU的区域是两极区域还是赤道区域。

在确定了当前CTU所属的区域之后，可以从当前最大编码单元(LTU) 开始，通过以下方式进行CU划分。

针对当前CU(容易理解，当深度＝0时即为LCU)进行如下操作(步骤505)。

在步骤507中，可以基于当前CTU所属的区域，获得与所述CTU的所属区域相关联的剪枝决策树和提前划分决策树，其中，所述剪枝决策树用于判断当前CU是否提前终止划分，所述提前划分决策树用于判断当前 CU是否提前划分。

在步骤509中，可以提取当前CU的提前划分决策树的属性集合，并且根据所述提前划分决策树，使用所计算的属性来判断当前CU是否提前划分。

在一个实施例中，如果当前CTU所属的区域是两极区域，则可以获得当前CTU左侧相邻区域中的深度为2和3的单元的第一数量(N_L2)和第二数量(N_L3)，以及当前CTU上方相邻区域中的深度为2和3的单元的第三数量(N_A2)和第四数量(N_A3)，并按如下构建四个两极区域提取划分决策树属性(A、B、C和D)；

在一个实施例中，当前CTU左侧相邻区域可以是当前CTU左侧相邻 64x4区域，并且当前CTU上方相邻区域可以是当前CTU上方相邻4x64区域。

如果当前CTU所属的区域是赤道区域，则获得当前CTU左侧相邻CTU 区域以及当前CTU上方相邻CTU区域中的深度为2和3的单元的第五数量(N₂)和第六数量(N₃)，并按如下构建两个赤道区域提取划分决策树属性(A和B)；

在步骤511中，可以提取当前CU的剪枝决策树的属性集合，并且根据所述剪枝决策树判断当前CU是否提前终止划分。

在一个实施例中，如果当前CTU所属的区域是两极区域，则可以计算所述当前CU的RD-cost(RD_Cur)与以下三者的比较结果：当前CTU区域的最小RD-cost(RD_CurCTU)，左侧CTU区域的最小RD-cost(RD_left)，以及上方相邻区域的最小RD-cost(RD_above)，并可以按如下构建三个两极区域剪枝决策树属性(A、B和C)：

和

在一个实施例中，如果当前CTU所属的区域是赤道区域，则可以计算所述当前CU的RD-cost(RD_Cur)与以下二者的比较结果：当前CTU的左侧CTU区域以及当前CTU的上方CTU区域二者中的最小RD-cost(RD_AJCN)，以及当前CTU区域的最小RD-cost(RD_CurCTU)，并可以按如下构建两个赤道区域剪枝决策树属性(A和B)：

在一个实施例中，对于两极区域，所述上方相邻区域是所述当前CTU 的上方相邻CTU的下半部分。

在一个实施例中，对于赤道区域，所述上方相邻区域是所述当前CTU 的上方相邻CTU区域。

在一个实施例中，对于一个特定区域(诸如左侧相邻区域、左侧CTU 区域、上方相邻区域、上方CTU区域、当前CTU区域等等)，该区域的最小RD-cost可以表示该区域中的全部CU的RD-cost中的最小RD-cost。

在一个实施例中，建剪枝决策树和提前划分决策树可以是基于CART 算法根据从序列中提取的样本的集合生成的。

图6中示出了一种可用于视频编解码的设备，该设备包括：处理器和存储器，在所述存储器中包括用于实现本发明的各种方法的处理器可执行代码。

根据另一方面，本公开内容还可以涉及用于实现上述编码方法的编码器。该编码器可以是专用硬件。

根据另一方面，本公开内容还可以涉及对应的对编码后的视频流进行解码的解码器。

根据另一方面，本公开内容还可以涉及执行本文所述方法的计算机程序产品。根据进一步的方面，该计算机程序产品具有非暂时性存储介质，其上存储有计算机代码/指令，当其被处理器执行时，可以实现本文所述的各种操作。

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器 (DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims (9)

1.一种在高效视频编码(HEVC)中对虚拟现实360度视频帧进行编码单元(CU)划分的方法，所述方法包括：

判断当前编码树单元(CTU)的区域是两极区域还是赤道区域；

从当前最大编码单元(LTU)开始，通过以下方式进行CU划分：

基于当前CTU所属的区域，获得与所述CTU的所属区域相关联的剪枝决策树和提前划分决策树，其中，所述剪枝决策树用于判断当前CU是否提前终止划分，所述提前划分决策树用于判断当前CU是否提前划分；

提取当前CU的提前划分决策树的属性集合，并且根据所述提前划分决策树，使用所计算的属性来判断当前CU是否提前划分；

提取当前CU的剪枝决策树的属性集合，并且根据所述剪枝决策树判断当前CU是否提前终止划分，

其中，所述提取当前CU的提前划分决策树的属性集合包括：

如果当前CTU所属的区域是两极区域，则获得当前CTU左侧相邻区域中的深度为2和3的单元的第一数量(N_L2)和第二数量(N_L3)，以及当前CTU上方相邻区域中的深度为2和3的单元的第三数量(N_A2)和第四数量(N_A3)，并按如下构建四个两极区域提取划分决策树属性(A、B、C和D)；

如果当前CTU所属的区域是赤道区域，则获得当前CTU左侧相邻CTU区域以及当前CTU上方相邻CTU区域中的深度为2和3的单元的第五数量(N₂)和第六数量(N₃)，并按如下构建两个赤道区域提取划分决策树属性(A和B)；

并且其中，所述提取当前CU的剪枝决策树的属性集合包括：

如果当前CTU所属的区域是两极区域，则计算所述当前CU的RD-cost(RD_Cur)与以下三者的比较结果：当前CTU区域的最小RD-cost(RD_CurCTU)，左侧CTU区域的最小RD-cost(RD_left)，以及上方相邻区域的最小RD-cost (RD_above)，并按如下构建三个两极区域剪枝决策树属性(A、B和C)：

如果当前CTU所属的区域是赤道区域，则计算所述当前CU的RD-cost(RD_Cur)与以下二者的比较结果：当前CTU的左侧CTU区域以及当前CTU的上方CTU区域二者中的最小RD-cost(RD_AJCN)，以及当前CTU区域的最小RD-cost(RD_CurCTU)，并按如下构建两个赤道区域剪枝决策树属性(A和B)：

2.如权利要求1中所述的方法，其中，当前CTU左侧相邻区域是当前CTU左侧相邻64x4区域，并且当前CTU上方相邻区域是当前CTU上方相邻4x64区域。

3.如权利要求1中所述的方法，其中，对于两极区域，所述上方相邻区域是所述当前CTU的上方相邻CTU的下半部分，并且

其中，对于赤道区域，所述上方相邻区域是所述当前CTU的上方相邻CTU区域。

4.如权利要求1-3中任一项所述的方法，其中，所述最小RD-cost是相关区域中的全部CU的最小RD-cost。

5.如权利要求1-3中任一项所述的方法，其中，所述剪枝决策树和所述提前划分决策树是基于CART算法根据从序列中提取的样本的集合生成的。

6.一种高效视频编码(HEVC)硬件编码器，所述编码器被配置为通过如下操作来对虚拟现实360度视频帧进行编码单元(CU)划分：

判断当前编码树单元(CTU)的区域是两极区域还是赤道区域；

从当前最大编码单元(LTU)开始，通过以下方式进行CU划分：

基于当前CTU所属的区域，获得与所述CTU的所属区域相关联的剪枝决策树和提前划分决策树，其中，所述剪枝决策树用于判断当前CU是否提前终止划分，所述提前划分决策树用于判断当前CU是否提前划分；

提取当前CU的提前划分决策树的属性集合，并且根据所述提前划分决策树，使用所计算的属性来判断当前CU是否提前划分；

提取当前CU的剪枝决策树的属性集合，并且根据所述剪枝决策树判断当前CU是否提前终止划分，

其中，所述提取当前CU的提前划分决策树的属性集合包括：

如果当前CTU所属的区域是两极区域，则获得当前CTU左侧相邻区域中的深度为2和3的单元的第一数量(N_L2)和第二数量(N_L3)，以及当前CTU上方相邻区域中的深度为2和3的单元的第三数量(N_A2)和第四数量(N_A3)，并按如下构建四个两极区域提取划分决策树属性(A、B、C和D)；

如果当前CTU所属的区域是赤道区域，则获得当前CTU左侧相邻CTU区域以及当前CTU上方相邻CTU区域中的深度为2和3的单元的第五数量(N₂)和第六数量(N₃)，并按如下构建两个赤道区域提取划分决策树属性(A和B)；

并且其中，所述提取当前CU的剪枝决策树的属性集合包括：

如果当前CTU所属的区域是两极区域，则计算所述当前CU的RD-cost(RD_Cur)与以下三者的比较结果：当前CTU区域的最小RD-cost(RD_CurCTU)，左侧CTU区域的最小RD-cost(RD_left)，以及上方相邻区域的最小RD-cost(RD_above)，并按如下构建三个两极区域剪枝决策树属性(A、B和C)：

如果当前CTU所属的区域是赤道区域，则计算所述当前CU的RD-cost (RD_Cur)与以下二者的比较结果：当前CTU的左侧CTU区域以及当前CTU的上方CTU区域二者中的最小RD-cost(RD_AJCN)，以及当前CTU区域的最小RD-cost(RD_CurCTU)，并按如下构建两个赤道区域剪枝决策树属性(A和B)：

7.一种视频解码器，其用于对使用如权利要求1-3中任一项所述的方法编码的360视频流进行解码。

8.一种视频解码器，其用于对使用如权利要求6所述的编码器编码的360视频流进行解码。

9.一种非暂时性存储介质，其上存储有计算机指令，当所述计算机指令被处理器执行时，实现如权利要求1-3中任一项所述的方法。

Images