CN103096090B - 一种用于视频压缩中的编码块划分的方法 - Google Patents

Abstract

本发明公开了一种用于视频压缩中的编码块划分的方法，其特征在于，包括以下步骤：读取整个LCU中的像素值，完成块合并搜索表；进入每个深度的CU，根据深度和位置信息，获取搜索表对应位置的结合块的深度和位置信息；若当前CU深度与结合块深度一致，进行由下至上的块划分方法的判断流程；否则，进行由上至下的块划分快速算法的判断流程。采用本发明结合两个方面提出的块划分快速算法在保证HEVC编码器的视频质量和输出码率基本不变的前提下，大大加快了编码速度，提高编码效率。

Description

一种用于视频压缩中的编码块划分的方法

技术领域

本发明涉及视频处理领域，尤其涉及的是一种用于视频压缩中的编码块划分的方法。

背景技术

新一代高效率视频编码（HEVC，HighEfficiencyVideoCoding）是由国际标准化组织（ISO）与国际电信联盟远程通信标准化组织（ITU-T）成立的联合协作视频小组（JointVideoTeam，JVT）从2010年4月开始制订的新一代视频编码标准。它采用了大尺寸的最大编码块（LCU）的划分。把H.264中16×16尺寸的宏块，扩大到64×64尺寸的LCU块。HEVC块结构的划分包括编码单元（CU）的划分、预测单元（PU）的划分以及变换单元（TU）的划分三部分。其中CU的划分基于LCU，根据编码图像的特性以四叉树结构划分为不同大小的CU，以灵活匹配图像内容，得到最佳编码效果。

为适应人们对视频质量日益增长的需求，HEVC在帧内帧间预测、熵编码、环路滤波和量化变换等各方面都应用了能提高编码效率的新技术，使得HEVC在保证视频质量不变的前提下，压缩效率比H.264提高约50％。高压缩效率使得HEVC有很好的网络适应性，但同时也付出高计算复杂度的代价。因此，提出快速的编码算法来降低HEVC编码器的计算复杂度有着积极的意义。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种用于视频压缩中的编码块划分的方法，旨在解决现有的HEVC编码器计算复杂度高的问题。

本发明的技术方案如下：一种用于视频压缩中的编码块划分的方法，其中，包括以下步骤：

步骤S1：读取整个LCU中的像素值，从最小的CU开始，从下至上，根据梯度方向值判断小块能否合并为大块，完成块合并搜索表；

步骤S2：进入每个深度的CU，根据深度和位置信息，获取搜索表对应位置的结合块的深度和位置信息；

步骤S3：若当前CU深度与结合块深度一致，进行由下至上的块划分方法的判断流程；否则，进行由上至下的块划分快速算法的判断流程；

步骤S4：判断当前CU深度与结合块深度是否一致，是则计算损失代价，否则继续分裂。

所述的用于视频压缩中的编码块划分的方法，其中，若当前CU深度与结合块深度一致，进行由下至上的块划分方法的判断流程具体执行如下：

步骤S31：判断当前CU的梯度方向值是否在(1,9)内，是则进行Nx2N,nUx2N,nDx2N的块的预测编码，跳到步骤S4；

步骤S32：判断当前CU的梯度方向值是否在(9,16)内，是则进行2NxN,2NxnU,2NxnD的块的预测编码，跳到步骤S4。

所述的用于视频压缩中的编码块划分的方法，其中，若当前CU深度与结合块深度不一致，进行由上至下的块划分快速算法的判断流程具体执行如下：计算图像块内原像素小块均值与平面预测值之间绝对差的平均值，若该值小于设定阈值，则进行classA的预测，否则使用classB的预测，其中，classA为：A={PART_2Nx2N,PART_NxN},classB为：B={PART_2NxN,PART_Nx2N,PART_2NxnU,PART_2NxnD,PART_nLx2N,PART_nRx2N}。

所述的用于视频压缩中的编码块划分的方法，其中，计算图像块内原像素小块均值与平面预测值之间绝对差的方法为：Diff(x,y)=abs[piOrg(x,y)-predSample(x,y)]，其中，Diff(x,y)是座标为(x,y)的2×2小块均值的预测值与原始值的绝对差，predSample(x,y)是坐标点(x,y)由上下左右四组参考小块双线性插值的预测值，piOrg(x,y)是上下左右四组参考数组在坐标点(x,y)位置上的参考值。

所述的用于视频压缩中的编码块划分的方法，其中，计算图像块内原像素小块均值与平面预测值之间绝对差的平均值的方法为：

$\mathrm{Up}\_\mathrm{Diff}=\frac{1}{{[(\mathrm{length}/2)-2]}^2}\underset{x=1}{\overset{x=[\mathrm{length}/2]-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{y=[\mathrm{length}/2]-1}{\mathrm{\Σ}}}\mathrm{Diff}(x,y),$ 其中，Up_Diff是图像块内原像素小块均值与平面预测值之间绝对差的平均值，Length是CU块的宽度，Diff(x,y)是座标为(x,y)的2×2小块均值的预测值与原始值的绝对差。

本发明的有益效果：本发明通过对HEVC编码器中多层次的CU划分和多种类型PU划分模式进行深入研究，提出了HEVC块划分的快速算法。一方面，根据当前CU内图像内容的复杂度，本算法对CU判断是否跳过当前CU或PU的预测编码过程。另一方面，本算法基于图像纹理方向特征，从小尺寸CU到大尺寸CU进行块结合判断，从而达到块划分模式快速终止的目的。实验结果表明，本发明结合两个方面提出的块划分快速算法在保证HEVC编码器的视频质量和输出码率基本不变的前提下，大大加快了编码速度，提高编码效率。

附图说明

图1是本发明提出的块划分快速算法的流程图。

图2是由上至下的基于双线性插值的平面预测图。

图3是由下至上的块划分快速算法示意图。

图4是(3,4)坐标方向上的梯度值计算过程示意图。

图5是块结合搜索表示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

本发明提出一种双向夹逼的块划分方法，如图1所示，双向夹逼块划分方法流程包括以下步骤：

步骤S1：读取整个LCU中的像素值，从最小的CU开始，从下至上，根据梯度方向值判断小块能否合并为大块，完成块合并搜索表。

步骤S2：进入每个深度的CU，根据深度和位置信息，获取搜索表对应位置的结合块的深度和位置信息。

步骤S3：若当前CU深度与结合块深度一致，进行由下至上的块划分方法的判断流程；否则，进行由上至下的块划分快速算法的判断流程。

其中，若当前CU深度与结合块深度一致，执行如下：

步骤S31：判断当前CU的梯度方向值是否在(1,9)内，是则进行Nx2N,nUx2N,nDx2N的块的预测编码，跳到步骤S4；

步骤S32：判断当前CU的梯度方向值是否在(9,16)内，是则进行2NxN,2NxnU,2NxnD的块的预测编码，跳到步骤S4；

其中，若当前CU深度与结合块深度不一致，执行如下：

计算图像块内原像素小块均值与平面预测值之间绝对差的平均值，若该值小于设定阈值，则进行classA的预测，否则使用classB的预测。其中，两个类别如下：

A={PART_2Nx2N,PART_NxN},

B={PART_2NxN,PART_Nx2N,PART_2NxnU,

PART_2NxnD,PART_nLx2N,PART_nRx2N}

步骤S4：判断当前CU深度与结合块深度是否一致，是则计算损失代价，否则继续分裂。

其中，所述由上至下的块划分方法是一种基于双线性插值的平面预测快速算法。其具体方法为：

在帧内的块划分过程中，大部分的平坦图像内没有明显边界的LCU块会划分为64×64或32×32尺寸的CU块。而对于图像内容复杂，细节较多的LCU块则会进一步划分出16×16或8×8。但不管LCU块内的图像内容复杂度如何，HEVC编码器在预测编码过程中，都要经历从64×64至8×8各个深度CU的预测编码过程。而在帧间的块划分过程中，图像内容平坦的CU块偏向选择2N×2N，N×N的PU块模式。

因此，如果能用低复杂度的快速算法区分图像内容复杂的LCU块和图像内容平坦的LCU块，并对图像内容复杂的LCU块跳过64×64、32×32这种大尺寸CU块的编码过程，则能在基本维持原有的视频压缩效率和质量的同时有效地提高编码速度。

如图2所示，对于64×64、32×32尺寸的CU块，为减少视频图像中的一些噪声颗粒像素的影响把CU块划分为一连串2×2尺寸的小块，计算每个小块的均值，以CU块上下左右四组小块作参考用双线性插值的方法预测生成其余小块值。而对于16×16、8×8尺寸的CU，以CU块上下左右四组原像素作参考用双线性插值的方法生成其余像素。

由左右两参考数组生成的预测值如式（3）：

Left_pred(x,y)=[(length/2)-0.5×(y+1)]×piOrg(0,y)(1)

Right_pred(x,y)=0.5×(y+1)×piOrg(length-1,y)(2)

Hor_pred(x,y)=Left_pred(x,y)+Right_pred(x,y)(3)

由上下两参考数组生成的预测值如式（6）：

Up_pred(x,y)=[(length/2)-0.5×(x+1)]×piOrg(x,0)(4)

Down_pred(x,y)=0.5×(x+1)×piOrg(x,length-1)(5)

Ver_pred(x,y)=Up_pred(x,y)+Down_pred(x,y)(6)

本发明采用的双线性插值如式（7）：

predSample(x,y)=[Ver_pred(x,y)+Hor_pred(x,y)]/[length×2](7)

piOrg(x,0)、piOrg(x,length-1)分别为上下两参考数组在x点位置上的参考值。piOrg(0,y)、piQrg(length-1,y)分别为左右两参考数组在y点位置上的参考值。Length是CU块的宽度，由于在该算法中以2×2块为单位，故其宽度为length/2。由于在帧内预测中，预测值更依赖于上边和左边两组参考值，故式中0.5是对下边和右边两组参考值的加权值。而(x+1)则是预测点与参考点的距离加权值。predSample(x,y)是坐标点(x,y)由上下左右四组参考小块双线性插值的预测值。

本发明以双线插值获取的预测与原始值之间的绝对差作为反映图像块内复杂度的特征值。计算方式如式（9）所示：

Diff(x,y)=abs[piOrg(x,y)-predSample(x,y)](8)

$\mathrm{Up}\_\mathrm{Diff}=\frac{1}{{[(\mathrm{length}/2)-2]}^2}\underset{x=1}{\overset{x=[\mathrm{length}/2]-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{y=[\mathrm{length}/2]-1}{\mathrm{\Σ}}}\mathrm{Diff}(x,y)---\left(9\right)$

Diff(x,y)是座标为(x,y)的2×2小块均值的预测值与原始值的绝对差，Up_Diff是图像块内原像素小块均值与平面预测值之间绝对差的平均值。Up_Diff用于判断LCU块图像内容平坦度，Up_Diff的值越大，图像内容复杂度越高；Up_Diff的值越小，图像内容越简单。

使用公式（10）来判决不同深度的CU复杂度。

Up_Diff<Up_Th[depth](10)

通过实验数据统计，根据其分析结果，本文总结出阈值Up_Th在不同编码块深度和不同量化参数QP下的变化规律。如下面式子所示。

Up_Th[depth+1]=Up_Th[depth]-5(11)

Up_Th[0,QP]＝3+QP(12)

其中：QP=22,27,32,37。

步骤S3中所述的由下至上的块划分快速算法是一种基于图像纹理的块划分快速算法。具体细节如图3所示：本算法在LCU进入预测编码前，从下至上，以计算梯度方向值来获取图像纹理信息，通过图像纹理信息先判断4×4块是否能合成8×8块，再在已判断能合成8×8块中通过图像纹理信息判断能否合成16×16块，继而在已判断能合成16×16块中通过图像纹理信息判断能否合成32×32块，以此类推。LCU在预测编码过程中，若CU分裂的深度已达到快速算法判断能合成块的深度，则停止继续分裂。该算法能快速停止CU分裂以提高编码速度。

本算法使用计算梯度方向值的方法来获取图像纹理信息，梯度方向的坐标定义如表1所示。

梯度方向	坐标	梯度方向	坐标	梯度方向	坐标	梯度方向	坐标
								1	{1,-1}	5	{1,0}	9	{1,1}	13	{0,1}
2	{4,-3}	6	{4,1}	10	{4,-3}	14	{1,-4}
								3	{2,-1}	7	{2,1}	11	{1,2}	15	{1,-2}
4	{4,-1}	8	{4,3}	12	{1,4}	16	{3,-4}

表1梯度方向对应的坐标方向

如图4所示，以16×16块为例，该算法先设(0,0)位置的像素为主像素，然后以主像素位置为基准以坐标方向（3,4）为跳跃距离寻找同一直线方向上的其它像素作为次像素。计算并记录主像素与每个次像素的绝对差的平均值。当寻找的位置越过二维数组的边界，以（0,1）位置的像素为主像素，再重复上述步骤。如此类推，遍历块内的所有像素作为主像素，寻找对应的次像素，求出该坐标方向梯度的绝对差平均值Dire_Grad。

计算公式如式（14）：

$\mathrm{Diff}(d,x,y)=\underset{n=1}{\overset{x+{\mathrm{nX}}_d<S,y+n{Y}_d<S}{\mathrm{\&Sigma;}}}\mathrm{abs}\left(P\right[x,y]-P[x+n{X}_d,y+{\mathrm{nY}}_d\left]\right)---\left(13\right)$

$\mathrm{Dire}\_\mathrm{Grad}\left(d\right)=\frac{1}{\mathrm{Count}\_\mathrm{Num}}\underset{x=0}{\overset{x<S}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{y<S}{\mathrm{\&Sigma;}}}\mathrm{Diff}(d,x,y)---\left(14\right)$

Diff(d,x,y)是梯度方向号为d，主像素为(x,y)时的方向梯度值。式中P[x,y]为主像素，P[x+nXd,y+nYd]为次像素；d为梯度方向代号；S是图像块的尺寸；Xd，Yd为d梯度方向在表4-4上对应的坐标方向在X轴和Y轴上的偏移值；Count_Num为绝对差运算的计算次数。

本文通过实验数据统计，设立阈值Down_Th对梯度值Dire_Grad进行判断来确定图像块内是否有明显的纹理方向，如式(15~17)所示。

Dire_Grad(min)<Down_Th(depth)(15)

Down_Th[depth+1]=0.5×Down_Th[depth+1](16)

Down_Th[0,QP]＝2.5×[(QP-17)/5]+10(17)

其中QP=22，27，32，37。

通过上述的基于纹理方向的梯度值计算算法与阈值Down_Value判断是否合并，更新结构体内各元素的值。从而形成一个块结合搜索表如图5所示，棕色的小块表示经过结合判断后包含块合并信息的结构体。该图表反映的是在预测编码过程中CU可分裂的最小尺寸。

若当前预测块的深度与导出的块合并深度相等(Curr_Depth=Down_Depth)且梯度方向值Dire_Num在(1,9)内，可跳过2N×N和2N×nU、2N×nD尺寸的水平划分PU块的预测编码过程。若当前预测块的深度与导出的块合并深度相等(Curr_Depth==Down_Depth)且梯度方向值Dire_Num在(9,16)内，CU块的图像纹理偏向水平方向，因此可跳过N×2N和nR×2N、nD×2N尺寸的垂直划分PU块的预测编码过程。完成PU的预测编码过程后，若当前预测块的深度与导出的块合并深度相等(Curr_Depth==Down_Depth)当前块不再继续分裂。否则，进入分裂判断流程。

本发明提出的算法在HM上实现，测试时采用随机接入配置参数(Random-accessconfiguration)：

（1）编码结构：IbB₂bB₄bB₆bB₈；（2）I帧周期：32

（3）图像组尺寸：8；（4）编码帧数：96帧；

为了评估算法的性能，算法性能分析用到以下计算公式及性能参数：

$\mathrm{\&Delta;Bit}(\%)=\frac{{\mathrm{BitRate}}_{\mathrm{prop}}-{\mathrm{BitRate}}_{\mathrm{HM}}}{{\mathrm{BitRate}}_{\mathrm{HM}}}\&times;100\%---\left(18\right)$

$\mathrm{\&Delta;Time}(\%)=\frac{{\mathrm{EncTime}}_{\mathrm{prop}}-{\mathrm{EncTime}}_{\mathrm{HM}}}{{\mathrm{EncTime}}_{\mathrm{HM}}}\&times;100\%---\left(19\right)$

ΔYpsn(dB)=Ypsnr_prop-Ypsnr_HM(20)

△Bit、△Time、△Ypsnr分别为码率增长率、编码时间下降百分率以及峰值信噪比下降值。

实验结果如表2、3所示。

表2QP=22,27的块划分快速算法实验结果

表3QP=32,37的块划分快速算法实验结果

由表2,3的实验数据可以看出，本发明提出的算法在QP=22,27,32,37时，相对于现有算法，分别减少了38%，43%，48%，51%的编码时间，而只是增加了小于1%的码率。本发明提出的快速算法对帧内编码的压缩效率和视频质量基本没有影响。

本发明通过对HEVC编码器中多层次的CU划分和多种类型PU划分模式进行深入研究，提出了HEVC块划分的快速算法。一方面，根据当前CU内图像内容的复杂度，本算法对CU判断是否跳过当前CU或PU的预测编码过程。另一方面，本算法基于图像纹理方向特征，从小尺寸CU到大尺寸CU进行块结合判断，从而达到块划分模式快速终止的目的。实验结果表明，本发明结合两个方面提出的块划分快速算法在保证HEVC编码器的视频质量和输出码率基本不变的前提下，大大加快了编码速度，提高编码效率。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (3)

1.一种用于视频压缩中的编码块划分的方法，其特征在于，包括以下步骤：

步骤S1：读取整个LCU中的像素值，从最小的CU开始，从下至上，根据梯度方向值判断小块能否合并为大块，完成块合并搜索表；所述梯度方向值是指主像素坐标方向梯度的绝对差平均值Dire_Grad；

步骤S2：进入每个深度的CU，根据深度和位置信息，获取搜索表对应位置的结合块的深度和位置信息；

步骤S3：若当前CU深度与结合块深度一致，进行由下至上的块划分方法的判断流程；否则，进行由上至下的块划分快速算法的判断流程；

步骤S4：判断当前CU深度与结合块深度是否一致，是则计算损失代价，否则继续分裂；

若当前CU深度与结合块深度一致，进行由下至上的块划分方法的判断流程具体执行如下：

步骤S31：判断当前CU的梯度方向值是否在(1,9)内，是则进行Nx2N,nUx2N,nDx2N的块的预测编码，跳到步骤S4；

步骤S32：判断当前CU的梯度方向值是否在(9,16)内，是则进行2NxN,2NxnU,2NxnD的块的预测编码，跳到步骤S4；

上述步骤S31和步骤S32中的梯度方向值如下表所示：

梯度方向的坐标定义

梯度方向 坐标 梯度方向 坐标 梯度方向 坐标 梯度方向 坐标 1 {1,-1} 5 {1,0} 9 {1,1} 13 {0,1} 2 {4,-3} 6 {4,1} 10 {4,-3} 14 {1,-4} 3 {2,-1} 7 {2,1} 11 {1,2} 15 {1,-2} 4 {4,-1} 8 {4,3} 12 {1,4} 16 {3,-4}

若当前CU深度与结合块深度不一致，进行由上至下的块划分快速算法的判断流程具体执行如下：计算图像块内原像素小块均值与平面预测值之间绝对差的平均值，若该值小于设定阈值，则进行classA的预测，否则使用classB的预测，其中，classA为：A＝{PART_2Nx2N,PART_NxN},classB为：B＝{PART_2NxN,PART_Nx2N,PART_2NxnU,PART_2NxnD,PART_nLx2N,PART_nRx2N}。

2.根据权利要求1所述的用于视频压缩中的编码块划分的方法，其特征在于，计算图像块内原像素小块均值与平面预测值之间绝对差的方法为：Diff(x,y)＝abs[piOrg(x,y)-predSample(x,y)]，其中，Diff(x,y)是座标为(x,y)的2×2小块均值的预测值与原始值的绝对差，predSample(x,y)是坐标点(x,y)由上下左右四组参考小块双线性插值的预测值，piOrg(x,y)是上下左右四组参考数组在坐标点(x,y)位置上的参考值。

3.根据权利要求2所述的用于视频压缩中的编码块划分的方法，其特征在于，计算图像块内原像素小块均值与平面预测值之间绝对差的平均值的方法为： $\mathrm{Up}\_\mathrm{Diff}=\frac{1}{{[(\mathrm{length}/2)-2]}^2}\underset{x=1}{\overset{x=[\mathrm{length}/2]-1}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{y=[\mathrm{length}/2]-1}{\mathrm{\&Sigma;}}}\mathrm{Diff}(x,y),$ 其中，Up_Diff是图像块内原像素小块均值与平面预测值之间绝对差的平均值，Length是CU块的宽度，Diff(x,y)是座标为(x,y)的2×2小块均值的预测值与原始值的绝对差。