CN103957415B - 基于屏幕内容视频的cu分割方法和装置 - Google Patents

Abstract

一种基于屏幕内容视频的高效视频编码(HEVC)帧内CU快速分块方法，包括：在编码树单元(CTU)中确定所有平滑分块；根据对所有平滑分块的所述确定的结果，跳过对一些CU的检查；以及确定最优CU分块方案；根据所述最优CU分块方案来对所述CTU进行编码。另外，还公开了一种基于屏幕内容视频的高效视频编码(HEVC)帧内CU快速分块方法的装置。

Description

基于屏幕内容视频的CU分割方法和装置

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。

技术领域

本发明涉及图像处理领域，更具体而言，涉及高效视频编码(HEVC)，再更具体而言，涉及在HEVC中基于屏幕内容视频进行CU分割的方法和装置。

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(Highefficiency video coding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。

HEVC标准的第一版已经在2013年的一月份完成。后继补充工作准备扩展该标准支持几个额外的应用环境。这些应用包括增强精度和彩色格式等扩展范围的使用，可伸缩视频编码，以及3-D/立体/多视角视频编码。HEVC将被设计成一个能广泛用在各式消费电子产品的应用中的视频编码标准，而且这种标准能处理各种内容的视频包括屏幕内容的视频。

屏幕内容就是由电视、电脑、手机等电子设备产生或描绘的图像或者视频。这些内容已经用在许多应用上了，而且可以期待在将来会有更多的屏幕内容的应用情景出现。这些应用可以被总结为如下：办公应用；文本嵌入到自然视频中；流媒体或者在线游戏的视频流；包含上述内容的任意组合的混合视频。

屏幕内容就是由电视、电脑、手机等电子设备产生或描绘的图像或者视频。这些内容已经用在许多应用上了，而且可以期待在将来会有更多的屏幕内容的应用情景出现。这些应用可以被总结为如下：办公应用；文本嵌入到自然视频中；流媒体或者在线游戏的视频流；包含上述内容的任意组合的混合视频。图2展示了几个屏幕内容的图片或者视频的例子，其中，(a)-(d)分别为HEVC中常见的实例BasketballPassText，ChinaSpeed，SlideEditing和SlideShow。在大多数屏幕内容的文本的应用中会存在大量的锐利的边缘，或者有大面积的平坦的背景，这种特性和用镜头捕获的图像不同。因为光学镜头减弱了图像的高频成分，所以镜头捕获的视频往往比较平滑。因此屏幕内容往往有不同于自然图像和视频的统计特性。这意味着用于屏幕内容的编码方案可能与自然图像中用的完全不同。

随着HEVC的发展，近些年有许多研究屏幕内容编码的成果出现。然而，这些工作都主要关注于压缩性能而忽视了巨大的编码复杂度。由于大部分的屏幕内容的应用都对实时性有较高的要求，所以我们需要有能减少编码端复杂度的快速算法。另一方面，许多研究工作都致力于研究减少HEVC编码复杂度，而且都声称大大的减少了编码时间。然而，这些方法并不一定适合屏幕内容编码。

为了解决这些问题，本文提出一个新颖的适用于屏幕内容编码的HEVC快速算法。因为屏幕内容跟自然图像有着完全不同的统计特性，所以我们首先对几个屏幕内容的视频序列进行统计分析。然后，根据频幕内容的统计特性，提出一个快速编码单元(codingunit，CU)分块方法用于HEVC帧内预测来减少视频(特别是频幕内容的视频)编码复杂度。

发明内容

根据本发明的一个方面，一种在高效视频编码(HEVC)中进行编码单元(CU)快速分块的方法，包括：

在编码树单元(CTU)中确定所有平滑分块；

根据对所有平滑分块的所述确定的结果，跳过对一些CU的检查；以及

确定最优CU分块方案；

根据所述最优CU分块方案来对所述CTU进行编码。

其中，所述确定所有平滑分块包括：

对所述CTU进行多级分割，直到达到最小分割深度，并得到在多级分割深度上的多个分块；

从所述最小分割深度之上的次最小分割深度开始进行如下递归检查：

如果一个分块的全部对应子块都是平滑分块，并且所述全部对应子块中任意两个子块之间的边界是平滑的，则该分块是平滑分块。

其中，所述跳过对一些CU的检查包括：

跳过对平滑分块的下一级分割深度的各个CU的检查，并对非平滑分块进行下一级分割。

根据另一方面，本发明提出了相应的装置权利要求。

根据另一个方面，本发明提出了一种计算机程序产品，其包含指令，所述指令当由处理器执行时，执行上述方法。

附图说明

图1示出了HEVC的编码器框图的一个实施例。

图2示出了HEVC中利用四叉树对LCU进行逐步分割的原理图。

图3示出了用于表述最小分割深度4×4的像素位置以及平滑判断的示意图。

图4示出了HEVC中的CU分割的四叉树结构。

图5示出了JCT-VC测试序列“SlideShow”的第一帧的CU分块的示例。

图6示出了针对图5的屏幕视频序列进行分析的结果的表格。

图7示出了根据本发明所提出的CU快速分割方法的高级别流程图。

图8示出了与图7的一般性流程图对应的装置方框图。

图9示出了根据本发明的实施例的用于确定CTU中所有平滑块的概念图。

图10示出了根据本发明的实施例的快速编码方案的完整流程图。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。

图1示出了高效视频编码(HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图1中的整体架构进行描述，而仅关注于基于HEVC标准的CU分割。

A.方案概述

在HEVC中，输入的视频首先被分割成一些小块叫做编码树单元(coding treeunits，CTU)。本领域技术人员可以理解，CTU相当于之前标准的宏块(macroblock)的概念。CU是一个拥有一个预测模式(帧内、帧间或者跳过)的正方形的(像素)单元。通常，编码端花费了很长的时间在CTU中寻找最佳的CU分块。

通过统计分析，申请人发现CU的最终分块和CTU的平滑度有关。在我们的方案中，那些相邻像素的亮度差很小的正方形区域(其可以具有各种大小)被称作平滑块。图3示出了用于表述最小分割深度4×4的像素位置以及平滑判断的示意图。

为了表示亮度之差，我们定义了两个值。一个是水平差值定义如下：

D_horizontal=|Y_current-Y_right| (1)

这里Y_current是当前像素的亮度值，Y_right是右侧像素的亮度值。另一个差值是垂直差定义如下：

D_vertical=|Y_current-Y_below| (2)

这里Y_current像上面一样是当前像素的亮度值，Y_below是下方像素的亮度值。为了判定差值的大小，本方案又定义了一个阈值D_max如下：

D_max=2^Ybit·α (3)

这里Ybit是视频序列中亮度分量的位深(bit depth)，而α是一个我们用来调节这个阈值的一个系数，其可以根据实际应用而被设置为任意自然数。

如果在一个块中所有像素的D_horizontal和D_vertical都不大于D_max，这个块将被看作是平滑块。

根据本发明的实施例，有一些CU分块情况可以通过CTU的平滑程度来跳过检查。因此，通过CU和平滑块的关系，CU分块的检查次数可以减少。

B.HEVC中的CU划分

CU是四叉树的叶节点。一个CU的区域可以作为一个预测单元(prediction unit，PU)，也可以分成4个PU。PU是一个共用预测信息的一个区域。图4示出了HEVC中的CU分割的四叉树结构。如果一个CU的深度不等于3，它可以分成4个更小的CU，如果这些更小的CU深度仍然小于3，它还可以再分割，直到CU的深度等于3为止。对于帧内预测的编码，一个CU中的亮度块的大小可以从8x8到64x64的CU。

在本发明中，深度为0的CU即CTU。

编码端通过率失真(rate-distortion，RD)准则来判定是使用一个大的CU还是将其分裂为更小的CU。这种基于四叉树的CU分块结构能够很灵活的适应图像的各种纹理结构。然而，为了找到最佳的CU划分需要大量的计算复杂度，这是因为编码端需要查看每种大小CU的RD才能找到最优划分。大部分的编码时间都花在了大量的RD检查上。如果CU的划分方法能够提前知道，我们将能节省大量的编码时间。

C.屏幕内容的统计数据

由于屏幕内容的图像和视频不同于自然内容的图像和视频，关于CU分块也可以找到一些不同的统计数据。图5展示了JCT-VC测试序列“SlideShow”的第一帧的CU分块的示例。这个分块是HEVC在QP值为22的情况下做的。在图5(b)比图5(a)中多出来的线条是所以CU的边界。从图上可以看出，大部分的较大的CU分布在图像较为平滑的部分，最小的那些CU块都是分布在图像中的文字或者按钮的位置。

图6示出了针对图5所示的屏幕视频序列进行分析的结果表格。发明人的统计分析基于11个屏幕视频序列。

为了便于描述，我们引入深度(或者说是深度级)的概念来形容平滑块的大小。64x64的平滑块的深度为0，32x32的平滑块深度为1，最小的平滑块深度为2大小为16x16。虽然在此将最小深度描述为2，即16x16的分块，但是本领域技术人员可以理解，在64x64的CTU情况下，最小分割深度可以达到4，即4x4的分块，或者也可以是3，即8x8的分块。另外，在此的块大小仅是实例，本领域技术人员可以依据具体采用的视频编码标准而采用更大或更小的CTU(或等同术语，例如宏块)大小作为深度0的块的大小。图6中的表格展示了平滑块和CU分块的关系。这些序列都是在QP32情况下测了100帧。α设置为0.02，由于所有的序列的位深都是8，D_max就是5。从表格中我们可以看尺寸从16x16到64x64的三种平滑块的数量。每种尺寸的平滑块的只有当其不能变成更大的平滑块时才能被计数。比如，如果一个64x64的块是平滑的，它将被看作是一个64x64的平滑块，而不是4个32x32的平滑块或者16个16x16的平滑块。

当CU分块检查结束后，一个平滑块有三种可能情形。

(a)这个平滑块跟周围的块合并成一个更大的CU。

(b)这个平滑块刚好就是最佳CU分割。

(c)这个平滑块被分割成几个更小的CU。

从表格我们可以看到不同尺寸的平滑块的每种情形的概率，这里也列举了16x16的非平滑块的各情形概率。对于16x16的平滑块和16x16的非平滑块，我们将(a)情形的又分成两种情形，一个是合成的CU深度为0，另一个是合成的CU深度为1，它们的概率也列举在表中。可以看出深度为1或者2的平滑块的(c)情形都是出现概率很低。所以，如果我们在深度为1或者2的平滑块的区域里不对深度小于平滑块的CU做RD检查，我们仍然有很高的几率获得最佳CU划分。由于这样的作法能会有更少的CU参与RD检查，所以我们可以节省很多编码时间。由于屏幕内容中会有很多这种的平滑块，所以屏幕内容的视频序列会有更好的效果。

从表1我们还可以发现，如果在深度为0的CU中有一个非平滑块那么这个CU基本上不是最佳分块。所以当我们在CTU中发现任何一个平滑块，我们就可以不去检查深度为0的CU块，以此来降低编码复杂度。

D.本申请的快速算法方案

如上所述地，我们对屏幕内容的视频序列做了统计分析，在这一部分将我们提出一个快速算法。图7示出了根据本发明所提出的CU快速分割方法的高级别流程图。

如图7所示的在高效视频编码(HEVC)中进行编码单元(CU)快速分块的方法中所示的，步骤701中，在编码树单元(CTU)中确定所有平滑分块。

在一个具体实施例中，对所述CTU进行多级分割，直到达到最小分割深度，并得到在多级分割深度上的多个分块；从所述最小分割深度之上的次最小分割深度开始进行如下递归操作：对一个分块的全部对应子块进行平滑判断，并且如果确定所述全部对应子块都是平滑分块且确定所述全部对应子块中任意两个子块之间的边界是平滑的，则该分块是平滑分块。

更具体而言，图9示出了根据本发明的实施例的用于确定CTU中所有平滑块(或平滑分块)的一个实例的概念图。

在图9中，作为一个实例，我们需要找到64x64大小的CTU中的所有平滑块(或平滑分块)。在本方面中使用了64x64的CTU大小以及最小分割深度被设定为2，但是本领域技术人员应该可以理解，本发明在此点上并不受到限制，而是可以采用更大或更小的CTU大小。

本领域技术人员容易理解，这些流程应该是在压缩CTU前做的。

64x64的CTU首先被分成16个16x16的分块(或小块)(如图4所示的，该分割实际上是按照4叉树来逐级进行分割)。本领域技术人员应该理解，虽然在此将16个16x16的分块作为最小分割深度的一个实例，但是可以使用更小分割深度(例如，4)和更小的分块大小(例如4x4)。

然后，我们对每一个分块的除了最下面一行和最右边一列的所有像素的D_horizoial和D_vertical都作检查。如果发现有一个D_horizontal或D_vertical大于D_max的像素，则这个分块将被看作是非平滑块。剩下的像素就没必要继续检查了。

如果在这个块中没有发现一个D_horizontal或D_vertical大于D_max，则这个分块将被看作为一个深度为2的平滑块。一个CTU能分成4个32x32的小块。如果一个32x32的小块分成的4个16x16的小块都是平滑块，并且两个小块接连处像素的所有D_horizontal和D_vertical都小于D_max，那么这个32x32的块也可以认为是平滑块。由此，64x64的平滑块就是一个有4个32x32平滑块的CTU。注意，在我们方案里，64x64的平滑块不一定总是平坦的，因为它没有检查32x32平滑块的连接处。

如上结合图3所述的，对平滑块的判定是基于所有像素的水平差值和垂直差值与阈值的比较的。

当所有的CTU中的平滑块确定后，我们可以压缩(即编码)CTU。压缩的流程如以下图10中相应步骤(浅色方框)所示的。图10示出了根据本发明的实施例的快速编码方案的完整流程图。本领域技术人员应该可以理解，图10的流程图应该是对图7的高级流程图的一个具体实施例的表述，因此图7中的各个步骤分别对应于在图10中的一个或多个步骤。

在步骤703中，根据对所有平滑分块的所述确定的结果，跳过对一些CU的检查。具体而言，跳过对平滑分块的下一级分割深度的各个CU的检查，并对非平滑分块进行下一级分割。

具体而言，如图10所示的，如果CTU本身(即深度0的CU)被确定为不是平滑块，则可以直接跳过对深度0的CU的检查，而直接将CTU分为4个深度为1的CU。并且，在深度为1或2的平滑块中，不对深度小于该平滑块的CU进行RD检查。这就意味着深度与平滑块深度相等的CU将不进行分割。

在步骤705中，确定最优CU分块方案。

要注意的是，当CTU是一个深度为0的平滑块时，方案中有两种处理方法。第一种是不再进行分割，直接编码深度为0的CU。第二种方法是只做深度为0和1的CU的RD检查。

在一个实施例中，对这两种处理方案的选择考虑了当前CU的划分情况跟与其相邻的CU的深度存在一定的关系，从而采用了相邻CU的深度加权和作为选择度量。

在此，相邻CU的深度加权和Depth_sum定义如下：

Depth_sum=3D_up+3D_left+D_leftup+D_rightup(4)

这里D_up、D_left、D_leftup、D_rightup分别是当前CTU上边、左边、左上、右上各个CTU分割的深度。如果Depth_sum大于6，我们选择第二种方法，即对深度0和1的CU进行RD检查，而如果Depth_sum小于等于6吗，CTU就不用分割了。

如图10所示的，当CTU本身是平滑块并且相邻CU的深度加权和比较小，则不对该CTU进行分割，而是将“不对CTU进行CU分割”作为最优CU分块方案，来基于整个CTU进行编码。

而当CTU本身是平滑块并且相邻CU的深度加权和比较大时，则对深度0(即CTU)和深度1的CU进行RD检查，并由此选择最优CU分块方案。

在步骤707中，根据先前所确定的最优CU分块方案来对所述CTU进行编码。

图8示出了与图7的一般性流程图对应的装置方框图，在此不再赘述。

本领域技术人员应该理解，本文中所称的对块进行“分裂”、“分割”、“划分”都表示将较大的像素块分割(divide)为较小的像素块的操作，这在图像处理中是公知的。

另外，本领域技术人员应该理解，本文中所称的“块”、“分块”、“小块”都表示具有特定大小的像素块，而并不表示这些表述之间有任何隶属关系。

另外，本领域技术人员应该理解，虽然本发明是针对HEVC作出的，但是在HEVC之后的任何采用CU分块技术的视频编码技术都可以应用本发明。

本发明的上述实施例皆可实现为基于HEVC的编码器，特别是其中的帧内预测编码器。该基于HEVC的编码器的内部结构可以如图1所示，并且其中的帧内预测选择框和帧内预测框构成了所述帧内预测编码器。本领域技术人员应该理解，该解码器可以实现为软件、硬件和/或固件。

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims (7)

1.一种在高效视频编码HEVC中进行编码单元CU快速分块的方法，包括：

在编码树单元CTU中确定所有平滑分块；

根据对所有平滑分块的所述确定的结果，跳过对一些CU的检查；以及

确定最优CU分块方案；

根据所述最优CU分块方案来对所述CTU进行编码，

其中，所述确定所有平滑分块包括：

对所述CTU进行多级分割，直到达到最小分割深度，并得到在多级分割深度上的多个分块；

从所述最小分割深度之上的次最小分割深度开始进行如下递归操作：

对一个分块的全部对应子块进行平滑判断，并且

如果确定所述全部对应子块都是平滑分块且确定所述全部对应子块中任意两个子块之间的边界是平滑的，则该分块是平滑分块。

2.如权利要求1所述的方法，其中，所述跳过对一些CU的检查包括：

跳过对平滑分块的下一级分割深度的各个CU的检查，并对非平滑分块进行下一级分割。

3.如权利要求1所述的方法，其中，在最小分割深度上的平滑分块的所述平滑判断满足以下条件：

在平滑分块中的所有像素的水平差值和垂直差值都小于一阈值。

4.如权利要求3所述的方法，其中，所述阈值被计算为：D_max＝2^Ybit·α，其中，Ybit是视频序列中亮度分量的位深，而α是用来调节所述阈值的一个可配置的自然数系数。

5.如权利要求1所述的方法，其中，如果所述CTU本身被确定是平滑块，则：

不分割所述CTU，并且最优CU分块方案即为“不对所述CTU进行分割”；或者

对所述CTU以及所述CTU的深度1的分块进行检查，并基于所述CTU和所述深度1的分块的所述检查来确定最优CU分块方案。

6.如权利要求1-5中任一项所述的方法，其中，所述检查是率失真检查(RD)。

7.一种在高效视频编码HEVC中进行编码单元CU快速分块的装置，包括：

用于在编码树单元CTU中确定所有平滑分块的模块；

用于根据对所有平滑分块的所述确定的结果，跳过对一些CU的检查的模块；以及

用于确定最优CU分块方案的模块；

用于根据所述最优CU分块方案来对所述CTU进行编码的模块；

其中，所述用于确定所有平滑分块的模块包括：

用于对所述CTU进行多级分割，直到达到最小分割深度，并得到在多级分割深度上的多个分块的模块；

用于从所述最小分割深度之上的次最小分割深度开始进行如下递归操作的模块：

对一个分块的全部对应子块进行平滑判断，并且

如果确定所述全部对应子块都是平滑分块且确定所述全部对应子块中任意两个子块之间的边界是平滑的，则该分块是平滑分块。