CN114449273B - 基于hevc增强型块划分搜索方法和装置 - Google Patents

Abstract

本发明公开了一种基于HEVC增强型块划分搜索方法和装置。该方法执行深度优先的完全搜索过程，将编码单元CU划分成特定尺寸的CU；在搜索过程中，判断是否提早终止搜索，如果是则终止搜索；如果否，则通过候选划分优化来决定需要搜索的划分类型，将其加入候选划分集；遍历候选划分集，利用编码信息的信息重用来决定最终的划分类型。相对于原标准，本发明在编码块划分过程中充分考虑上下文的影响，并以此来提升块划分的搜索过程的准确率。本发明能够在不改变视频编解码标准的情况下，进一步提升视频编码的压缩率。

Description

基于HEVC增强型块划分搜索方法和装置

技术领域

本发明涉及视频编解码领域，针对High Efficiency Video Coding(HEVC)视频编码标准中的编码块划分过程提出一种增强型块划分搜索方法和装置。本发明能够在不改变视频编解码标准的情况下，进一步提升视频编码的压缩率。

背景技术

HEVC是目前主流的视频编码标准。相较于之前的视频编码标准H.264/AVC，在相同的感知质量下，HEVC能够节省将近50％的码率。这种压缩效率的提高来自于新设计的编码工具，例如灵活的块划分方案等。HEVC中的四叉树结构允许编码单元(CU)递归地分成较小的CU，尺寸从64×64像素到8×8像素。叶节点CU可以进一步分为用于预测的预测单元(PU)以及用于残差编码的变换单元(TU)，而CU划分由深度优先的完全搜索过程确定。具体来说，HEVC通过计算并选择所有可能情况下的最小成本来确定每个CU，并且会持续向下搜索直到CU达到最小为止。然后，除了最小的CU之外，每个CU将会和四个子CU的总率失真成本进行比较，以决定是否拆分该CU。图1展示了整个深度优先的完全搜索处理32×32CU的过程，其中①～表示CU划分的搜索顺序。

尽管深度优先完全搜索始终是选择率失真最低的划分方式，但是，当前块的划分对其他分区的块划分方式是有影响的。在帧内预测过程中，当前块的重建像素可能会作为后续块的参考像素，当选择较低的率失真成本的CU划分时，当前CU可能会生成不适当的重构像素，从而导致其他地方的率失真成本高得多，进而使得相邻CU的帧内预测不准确。也就是说，通过考虑当前块对后续CU划分的影响时，可以确定更好的CU划分方式。

发明内容

本发明针对High Efficiency Video Coding(HEVC)视频编码标准中的编码块划分过程提出一种增强型块划分搜索方法和装置，从而进一步提升帧内预测编码的压缩效率。

本发明采用的技术方案如下：

一种基于HEVC增强型块划分搜索方法，包括以下步骤：

执行深度优先的完全搜索过程，用以将编码单元CU划分成特定尺寸的CU；；

在搜索过程中，判断是否提早终止搜索，如果是则终止搜索；如果否，则通过候选划分优化来决定需要搜索的划分类型，将其加入候选划分集；

遍历候选划分集，利用编码信息的信息重用来决定最终的划分类型。

进一步地，将编码单元CU划分成16x16像素的CU，共包含16个划分类型，所述16个划分类型由四个子CU的分割标志的组合组成，所述分割标志设置为1或0来标识是否拆分了相应的CU。

进一步地，所述判断是否提早终止搜索，是通过分析搜索过程中的率失真成本和图像梯度来判断。

进一步地，所述候选划分优化包括：仅通过验证前5种最常用划分类型来确定候选划分集，同时直接跳过其他划分类型的检查。

进一步地，所述仅通过验证前5种最常用划分类型来确定候选划分集，包括：

建立贝叶斯概率公式：

其中事件A表示划分类型是基础划分类型，B_i表示划分类型为第i种最常用类型；

在进行划分时，当划分类型为基础划分类型时，通过上述公式来比较当前情况下5种最常用划分类型出现的概率，接着将概率较大的两个划分加入到候选划分集中，从而直接跳过其他类型的检查。

进一步地，所述利用编码信息的信息重用来决定最终的划分类型，包括：

将编码信息存储到临时缓冲区中；

利用临时缓冲区中存储的CU块的左边、上边以及左上边的编码信息来加速CU块编码。

基于同一发明构思，本发明还提供一种采用上述方法的基于HEVC增强型块划分搜索装置，其包括：

候选划分优化模块，用于决定需要搜索的划分类型，将其加入候选划分集；

终止搜索判断模块，用于在搜索过程中判断是否提早终止搜索；

信息重用模块，用于利用编码信息的信息重用来决定最终的划分类型；

搜索模块，用于执行深度优先的完全搜索过程，将编码单元CU划分成特定尺寸的CU；在搜索过程中，调用终止搜索判断模块判断是否提早终止搜索，如果是则终止搜索，如果否，则调用候选划分优化模块来决定需要搜索的划分类型，将其加入候选划分集；然后遍历候选划分集，调用信息重用模块来决定最终的划分类型。

本发明的有益效果是：本发明针对HEVC视频编码的帧内预测，提供了一种增强型编码块划分搜索方法。相对于原标准，本发明在编码块划分过程中充分考虑上下文的影响，并以此来提升块划分的搜索过程的准确率。本发明能够在不改变视频编解码标准的情况下，进一步提升视频编码的压缩率。

附图说明

图1是深度优先的完全搜索处理32×32CU的过程示意图。

图2是16种候选划分类型示意图。

图3是优化后的增强型块划分搜索方法流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明主要分为两个方面：1、对原有划分方式进行增强。本发明提出了一种增强的CU划分方式来进行适当搜索并检查各种类型的CU划分以避免CU划分对帧内预测的影响。2、针对增强型块划分搜索进行优化。为了避免进一步增加编码复杂度，本发明还提出一些降低复杂度的方法，包括搜索候选优化，提早终止搜索和信息重用。

通常，不同类型的CU划分会产生完全不同的重建像素。这样的像素差异会通过帧内预测一个接一个地传播到后续CU。一方面，HEVC中的深度优先的完全搜索流程仅关注当前CU本身的率失真成本，而没有考虑重建像素对后续CU的影响，这可能会增加整体像素率失真成本。另一方面，在所有划分组合中计算当前和后续CU划分的总率失真成本来选择最佳的CU划分因为其巨大的计算复杂性而不太可能实施。取而代之的是，本发明仅考虑划分的特定尺寸CU(即CU with a particular size，简称PCU)内的重建像素，例如16x16 CU。这样，每个CU的划分无需计算CU外部的率失真即可独立确定CU的划分成本。虽然这样编码限制了效率的提升，但计算复杂度并不会提升很多。

更具体地说，为了进行适当的搜索，该方法的候选列表提供包含16(2⁴)个CU划分的类型，如图2所示。这些类型由四个子CU(图2第一个图中由一个CU划分的四个相同大小的小区域)的分割标志的组合组成，其分割标志可以独立设置为1或0来标识是否拆分了相应的CU，比如1表示拆分了相应的CU，0表示没有拆分相应的CU。我们观察到选定的PCU越小，划分在重建像素上的影响就越大。这主要是因为较小的CU被广泛用于不断变化的图像区域，例如对象边缘，所以重建的像素更容易受到不准确预测的影响。因此，本发明将PCU的大小指定为16x16像素。

由于需要计算更多的划分组合，所以不可避免的增加计算复杂度。为了使得提出的方法更加实用，本发明采取以下几种优化方法：

1.候选划分优化。事实上虽然划分种类有很多种，但通过利用信息可以跳过一些不必要的划分搜索。通过统计发现，基础划分占的比率是最高的；其次，与基础划分相似的划分种类更容易被选中；另外，前5个选中频率最高的类型之和占比率将近90％。为此，可以对候选划分进行优化，仅通过验证相应的某个基本分区的前5种最常用类型，同时直接跳过其他类型的检查。

本发明通过分析多个序列，建立了一个贝叶斯概率模型来选择对哪些模式进行检查。具体如下：

首先根据分析序列的划分类型数据，统计以下几个事件的概率：划分类型为第i(i＝1,2,3,4,5)种最常用类型的概率，以及当划分类型为第i种最常用类型时，该划分为基础划分类型的概率。则有贝叶斯概率公式：

其中事件A表示划分类型是基础划分类型，B_i表示划分类型为第i种最常用类型。

在进行划分时，当划分类型为基础划分类型时，即可通过上述公式来比较当前情况下5种最常用划分类型出现的概率，接着将概率较大的两个划分加入到候选划分集中，从而直接跳过其他类型的检查。

2.提早终止搜索。对于提早终止搜索，本发明利用RDcost和图像梯度相结合的方式来判断是否提前终止。为了减少码率，对于平滑区域，更大尺寸的CU更容易被选中。所以，当在PCU层级进行决策搜索，但PCU的划分类型未被选中时则耗费大量没有必要的计算资源。为了减少此类情况的发生，本发明通过分析搜索过程中的率失真成本(RDcost)信息和图像梯度来提早终止后续的划分搜索。当不进行划分与采用基础划分类型的率失真成本的比值低于1时，那么说明有更高的可能性选择不进行划分。为此，将判断是否进行划分问题转换为一个二分类问题。通过利用率失真信息来进行提早终止搜索从而进一步降低搜索的复杂度。当不进行划分与采用基础划分类型的率失真成本的比值高于1时，通过计算当前块的梯度来判断是否提前终止，如下所示：

其中，Grad_h,rad_v分别表示垂直方向和水平方向的梯度，H,W分别表示当前块的高和宽，I(i,j)表示当前块相对左上角位置为(i,j)的像素值。如果Grad_h或Grad_v小于给定阈值时，说明该区域较为平滑，则不进行划分，即终止搜索。

3.信息重用。通常，CU编码涉及PU划分、预测，TU划分，变换，量化，和熵编码。编码数据可分为三个部分。第一部分是一般的压缩信息，包括分割标志，预测模式，运动数据和残差系数等。第二部分是重建的像素，可以用作后续预测的参考。第三部分是CABAC熵编码状态，提供准确的概率估计值来编码不同语法元素的值。为此，本发明通过利用CU块的左边和上边以及左上边的块编码信息(即上述的三个部分)来加速CU块编码。即周围块的编码信息相关性高，故可以通过复制周围块编码信息或者利用周围块编码信息跳过当前块的一些信息编码。而且，本发明发现某些类型之间的编码数据存在很强的相关性，为此，存储了上述三个部分的所有编码数据在临时缓冲区中。编码特定的划分类型(图2所示的16个类型)时，一些编码过程实际上可以通过直接设置编码数据而跳过与基本分区或先前分区数据相同的子CU编码过程。这样可以减少计算复杂度而不影响编码效率。

图3是优化后的增强型块划分搜索方法的具体流程，具体包括以下步骤：

1)开始PCU(特定尺寸的编码单元)划分，执行深度优先的完全搜索过程；

2)利用上述的第二种优化方法——提早终止搜索，来决定是否终止搜索；如果是，则结束；否则转步骤3)。

3)利用上述的第一种优化方法——候选划分优化，来决定需要搜索的划分类型，将其加入候选划分集。

4)遍历候选划分集，在遍历过程中采用第三种优化方法——信息重用来加速划分决策，选择候选划分集中最优的划分方式作为最终的划分类型。

基于同一发明构思，本发明另一实施例提供一种采用上述方法的基于HEVC增强型块划分搜索装置，其包括：

候选划分优化模块，用于决定需要搜索的划分类型，将其加入候选划分集；

终止搜索判断模块，用于在搜索过程中判断是否提早终止搜索；

信息重用模块，用于利用编码信息的信息重用来决定最终的划分类型；

搜索模块，用于执行深度优先的完全搜索过程，将编码单元CU划分成特定尺寸的CU；在搜索过程中，调用终止搜索判断模块判断是否提早终止搜索，如果是则终止搜索，如果否，则调用候选划分优化模块来决定需要搜索的划分类型，将其加入候选划分集；然后遍历候选划分集，调用信息重用模块来决定最终的划分类型。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (7)

1.一种基于HEVC增强型块划分搜索方法，其特征在于，包括以下步骤：

执行深度优先的完全搜索过程，用以将编码单元CU划分成特定尺寸的CU；

在搜索过程中，判断是否提早终止搜索，如果是则终止搜索；如果否，则通过候选划分优化来决定需要搜索的划分类型，将其加入候选划分集；

遍历候选划分集，利用编码信息的信息重用来决定最终的划分类型；

其中，所述判断是否提早终止搜索，是通过分析搜索过程中的率失真成本和图像梯度来判断；所述判断是否提早终止搜索包括：当不进行划分与采用基础划分类型的率失真成本的比值高于1时，计算当前块的梯度：

其中，Grad_h,Grad_v分别表示垂直方向和水平方向的梯度，H,W分别表示当前块的高和宽，I(i,j)表示当前块相对左上角位置为(i,j)的像素值；如果Grad_h或Grad_v小于给定阈值时，不进行划分，即终止搜索；

其中，所述利用编码信息的信息重用来决定最终的划分类型，包括：

将编码信息存储到临时缓冲区中；

利用临时缓冲区中存储的CU块的左边、上边以及左上边的编码信息来加速CU块编码。

2.根据权利要求1所述的方法，其特征在于，将编码单元CU划分成16x16像素的CU，共包含16个划分类型，所述16个划分类型由四个子CU的分割标志的组合组成，所述分割标志设置为1或0来标识是否拆分了相应的CU。

3.根据权利要求1所述的方法，其特征在于，所述候选划分优化包括：仅通过验证前5种最常用划分类型来确定候选划分集，同时直接跳过其他划分类型的检查。

4.根据权利要求3所述的方法，其特征在于，所述仅通过验证前5种最常用划分类型来确定候选划分集，包括：

建立贝叶斯概率公式：

其中事件A表示划分类型是基础划分类型，B_i表示划分类型为第i种最常用类型；

在进行划分时，当划分类型为基础划分类型时，通过上述公式来比较当前情况下5种最常用划分类型出现的概率，接着将概率较大的两个划分加入到候选划分集中，从而直接跳过其他类型的检查。

5.一种采用权利要求1～4中任一权利要求所述方法的基于HEVC增强型块划分搜索装置，其特征在于，包括：

候选划分优化模块，用于决定需要搜索的划分类型，将其加入候选划分集；

终止搜索判断模块，用于在搜索过程中判断是否提早终止搜索；

信息重用模块，用于利用编码信息的信息重用来决定最终的划分类型；

搜索模块，用于执行深度优先的完全搜索过程，将编码单元CU划分成特定尺寸的CU；在搜索过程中，调用终止搜索判断模块判断是否提早终止搜索，如果是则终止搜索，如果否，则调用候选划分优化模块来决定需要搜索的划分类型，将其加入候选划分集；然后遍历候选划分集，调用信息重用模块来决定最终的划分类型。

6.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～4中任一权利要求所述方法的指令。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～4中任一权利要求所述的方法。