CN103888763B - 一种基于hevc的帧内编码方法 - Google Patents

Abstract

公开一种基于HEVC的帧内编码方法，包括步骤：（1）获得临近当前编码块的左、左上、上块的尺寸，如果全为2或3，将当前编码块的尺寸设置为2或3并执行步骤（3）；否则执行步骤（2）；（2）根据概率，减少RMD候选队列中的模式数量；（3）如果预测块尺寸为32×32或16×16，执行步骤（4），否则执行步骤（5）；（4）进行RMD，跳转步骤（9）；（5）判断RMD候选队列与父预测块的候选队列的相似程度，相似执行步骤（6），否则执行步骤（7）；（6）用父预测块的最优模式作为当前预测块的最优模式，执行步骤（9）；（7）对RMD候选队列进行模式过滤；（8）对处理过的RMD候选队列进行分组；（9）执行RDO。

Description

一种基于HEVC的帧内编码方法

技术领域

本发明属于视频编码的技术领域，具体地涉及一种基于HEVC的帧内编码方法。

背景技术

HEVC是由国际电信联盟远程通信标准化组织中的视频编码专家组（ITU-T VCEG）和国际标准化组织（ISO）及国际电工委员会（IEC）中的动态图像专家组（MPEG）联合制定的当今最为先进的视频编码标准。主体工作已于2013年1月基本完成，HEVC对传统意义上的视频能够获得非常好的编码效果，其制定者们还做了一系列工作来扩展标准，以支持一些额外的应用场景的专业应用，以使此标准能够应用到其他领域，例如，可伸缩视频编码和3D/立体/多视点视频编码。

HEVC编码标准的编码框架与上一代编码标准h.264的编码框架基本相似，都使用了预测加变换的混合编码方式作为框架。但是，HEVC编码标准加入了新的技术和思想，使得其编码效果和效率有大幅度提升。

由于本发明只在帧内框架上进行改进，所以本部分只集中于帧内编码技术的介绍：

1.灵活的编码结构

HEVC将编码块从传统标准（h.264）的16x16提升到了64x64，并且提出了预测块（PU，Prediction Unit）和变换块（TU，Transformation Unit）。将传统的编码块分别定义为三个不同的编码单元有如下好处:

1）.理清了各个编码单元的关系，PU是CU的全部或者一部分，TU是PU的全部或一部分。因此，在划分各个编码单元时有章可循，条理清晰。

2）.编码器对于不同阶段的编码任务选用不同的编码单元，使得编码器能够专注于处理当前阶段的任务，而无需考虑其他过程，例如，预测阶段的任务是帧内预测或者帧间预测，这个过程和变换编码没有任何关系，编码器可以只关心预测的编码算法和分割方式。

3）.便于对各个阶段的方法的修改和优化提升，对于编码器的维护更加方便可靠。

2.灵活的编码分割结构

HEVC的编码块分割结构采用的是四叉树分割方法，其为一种自适应的分割方法，即对于编码视频图像的纹理的方向，稀疏，变化能够自适应的选择不同尺寸，规格的编码块，使得其预测阶段的所得到的残差更小，变换阶段所得到的能量更加集中，最终使得编码效率大幅提升。如图1所示，一个编码块可以分割的各种不同的子块。

3.帧内预测编码模式

在帧内预测模式的数量上，HEVC较之h.264有较大的更变。HEVC的35种预测模式使得预测值更加准确，预测后的残差更小。如图2所示，为HEVC的35种预测模式。

这35种预测模式分为两类，非方向预测模式和方向预测模式。DC和Planner为非方向预测模式，其模式号为0和1；其余的33种模式均为方向预测模式。

帧内预测的编码的最基本编码单元是预测块（PU），对于不同的视频内容，预测块的尺寸也不是不同的。预测块共有4中尺寸，分别是32x32，16x16，8x8和4x4。对于一个预测过程，需要解决一个问题：在何种尺寸和何种预测模式条件下，使得编码效果最佳。率失真最优化（RDO，Rate Distortion Optimization）过程能够解决这个问题。

3.1率失真最优化过程

率失真最优化过程实质是一个搜索最优解的过程。其步骤如下：

1）对于预测块的搜索时从最大预测块尺寸（32x32）开始的，测试35种模式，取得编码重建的码率Rate和重建图像与源图像之间的差的绝对值作为失真Distortion，通过计算公式(1)获得率失真最优化过程的代价Cost，其中lumda是一个与量化步长有关系的系数。并将此代价和编码重建及预测模式分别加入到代价队列和最优结果中。

Cost=Distortion+lumda×Rate （1）

2）将预测块尺寸缩小一个级别，继续测试35种模式。

3）重复上述测试和保存过程，直至预测块的尺寸大小小于4x4。

4）取RDO代价最小的作为最优解。

3.2标准中的加速过程

由于HEVC提出的更加精确的预测方法和更多的预测模式，需要做许多的测试、比较和计算，这使得编码过程极为耗时，因此，HEVC的标准提出了一种对模式快速选择的算法——粗粒度模式选择（RMD，Rough Mode Decision）。

粗粒度模式选择的本质是，利用一种计算量较小的代价函数来代替RDO中的代价函数。过程是分别计算35种模式的RMD代价Cost，将结果保存在模式参考队列中并按照RMD代价升序排序。根据不同预测块尺寸，在队列中选择不同个数的模式进一步进行RDO过程。不同尺寸的模式个数如表1所示。

编码块尺寸	预测模式的个数
		4×4	18
8×8	35
		16×16	35
32×32	35
		64×64	4

表1

粗粒度模式选择的代价函数为公式（2）：

Cost=SATD+lumda×Rate_mode （2）

SATD(Sum of Abstract Transform Difference，残差变换后的绝对值之和)，定义为公式（3）：

SATD=∑|HHI-P)| （3）

矩阵I表示源图像的像素质矩阵；矩阵P为通过预测方法得到的预测图像的像素值矩阵。H(·)为哈达马变换函数，其输入为矩阵，输出同为矩阵；|·|表示为对矩阵内部每一个元素进行取绝对值操作；∑·表示为对矩阵的所有元素求和。

Lumad表示的意义与RDO过程中的lumada相同。

Rate_mode表示为编码此种选定的预测模式所需要的bit数。

粗粒度模式选择的引入，使得编码器在没有大幅度损失编码效率的前提下，提升了编码的速度。但是，其加速效果仍然无法达到实际应用的要求。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于HEVC的帧内编码方法，其能够既保证编码质量又大大加快编码速度。

本发明的技术解决方案是：这种基于HEVC的帧内编码方法，包括以下步骤：

（1）获得临近当前编码块的左、左上、上块的尺寸，如果左、左上、上的尺寸全为2，将当前编码块的尺寸设置为2并执行步骤（3）；如果左、左上、上的尺寸全为3，将当前编码块的尺寸设置为3并执行步骤（3）；否则执行步骤（2）；

（2）根据概率，减少粗粒度模式选择RMD候选队列中的模式数量；

（3）如果预测块尺寸为32×32或者16×16，执行步骤（4），否则执行步骤（5）；

（4）进行RMD，跳转步骤（9）；

（5）判断RMD候选队列与父预测块的候选队列的相似程度，相似执行步骤（6），否则执行步骤（7）；

（6）用父预测块的最优模式作为当前预测块的最优模式，执行步骤（9）；

（7）对RMD候选队列进行模式过滤；

（8）对处理过的RMD候选队列进行分组；

（9）执行率失真最优化过程RDO。

由于RDO过程在35种预测模式中选取最优的预测模式是极其耗费时间的过程，HEVC标准中的加速方案是在进入RDO过程之前，利用RMD过程先将35种预测模式进行一次筛选，以达到降低编码复杂度的目的。而我们的方法在RMD过程的基础上进一步筛选，使得进入RDO过程的模式更少，达到进一步降低编码复杂度的目的，并且，经过我们的筛选过程是按照一定的统计规律和方向相关性来筛选的，不会将最优RDO模式排除掉，从而保证了编码质量。

附图说明

图1示出了编码块分割情况；

图2示出了35种帧内预测模式；

图3是根据本发明的父子预测块比较的示意图；

图4示出了不同阈值所对应的正确率和速度的关系图；

图5示出了建立若干模式组的示意图。

图6示出了当前编码块与邻近编码块示意图。

具体实施方式

这种基于HEVC的帧内编码方法，包括以下步骤：

（1）获得临近当前编码块的左、左上、上块的尺寸，如果左、左上、上的尺寸全为2，将当前编码块的尺寸设置为2并执行步骤（3）；如果左、左上、上的尺寸全为3，将当前编码块的尺寸设置为3并执行步骤（3）；否则执行步骤（2）；

（2）根据概率，减少粗粒度模式选择RMD候选队列中的模式数量；

（3）如果预测块尺寸为32×32或者16×16，执行步骤（4），否则执行步骤（5）；

（4）进行RMD，跳转步骤（9）；

（5）判断RMD候选队列与父预测块的候选队列的相似程度，相似执行步骤（6），否则执行步骤（7）；

（6）用父预测块的最优模式作为当前预测块的最优模式，执行步骤（9）；

（7）对RMD候选队列进行模式过滤；

（8）对处理过的RMD候选队列进行分组；

（9）执行率失真最优化过程RDO。

编码块是编码的最基本单位，在图像区域上说，预测块是编码块的全部或者一部分，当前编码块是编码器正在执行编码过程（编码过程包括预测、变换、熵编码和后处理）中处理的图像区域。当前编码块进入到预测过程中转换成预测块，预测块是具有预测功能的结构，当前预测块是编码器正在执行预测过程的图像区域。由于预测过程中编码器测试了所有预测块的尺寸，那么，在当前编码块内，如果当前预测块是由一个已经完成预测过程的预测块分割而来，那么此预测块就是当前预测块的父预测块。

由于RDO过程在35种预测模式中选取最优的预测模式是极其耗费时间的过程，HEVC标准中的加速方案是在进入RDO过程之前，利用RMD过程先将35种预测模式进行一次筛选，以达到降低编码复杂度的目的。而我们的方法在RMD过程的基础上进一步筛选，使得进入RDO过程的模式更少，达到进一步降低编码复杂度的目的，并且，经过我们的筛选过程是按照一定的统计规律和方向相关性来筛选的，不会将最优RDO模式排除掉，从而保证了编码质量。

关于步骤（1），在HEVC中编码块并不是孤立存在的，其预测模式和尺寸对于其相邻的编码块有这一定的联系。常用的模型如图6所示。图中蓝色块为临近块，青色块为当前编码块。由于纹理的延续性，临近编码块的尺寸与当前编码块的尺寸相似，根据这个原理，发明人统计了不同尺寸视频序列中，临近编码块不同组合情况下的当前编码块的尺寸，并保存为一张可查询的表。因为编码块的尺寸有4种可能，因此，临近块有64中情况，当前编码块有4种不同的结果。根据统计结果，计算概率P(C,X₁,X₂,X₃)，P(X₁,X₂,X₃)，C是当前编码块的情况，X₁,X₂,X₃分别是左，左上，上临近编码块的情况。当知道了P(C,X₁,X₂,X₃)和P(X₁,X₂,X₃)，那么就知道了条件概率

P(C|X₁,X₂,X₃)（根据条件该有公式即在临近编码块的组合(X₁,X₂,X₃)情况下，当前编码块的尺寸为C的概率。根据统计结果，当临近块尺寸全为2，即(X₁,X₂,X₃)=(2,2,2)，当前编码块尺寸也为2的概率，P(2|2,2,2)=75%。当临近块尺寸全为3，即(X₁,X₂,X₃)=(3,3,3)，当前编码块尺寸也为3的概率，P(3|3,3,3)=96%。同时临近块全为2和3的概率之和为71%，即视频序列中大部分的临近编码块都是上述两种情况。因此，在遇到上述两种情况时，直接将当前编码块的尺寸设置为2或3，跳过了其他尺寸的测试。如果临近编码块不是上述两种情况，那么使用传统的分割和测试方法。

优选地，步骤（2）中

设候选队列为J=(J₁,J₂...,J_n)，按照公式（4）得到模式数量。

n为候选队列中的模式个数，m为需要测试的模式个数，P(C|X1,X2,X3)为条件概率P(C|X1,X2,X3)，根据条件概率公式在临近编码块的组合(X1,X2,X3)情况下，当前编码块的尺寸为C的概率，X1,X2,X3分别是左，左上，上临近编码块的尺寸大小，?为对在其内部的数值取上整。如果一个数是1.7，那么执行取上整的过程后，其值为2。

优选地，步骤（5）中在父预测块的尺寸是64×64和4×4的情况下通过公式（5）判断RMD候选队列与父预测块的候选队列的相似程度S

其中候选列表表示为向量，n为向量中元素的个数，a表示父预测块中的候选列表，b表示当前预测块的参考列表，表示同或，同或是指两边数值相同为1，不同为0。经过试验统计，将相似度阈值设置为0.9为最佳。如果两个预测块队列的相似度S大于阈值0.9，那么就用父预测块的最优模式作为子预测块的最优模式进行编码。图3为上述算法的示意图。

在RMD候选队列中的模式是按照RMD代价升序排序的，通过实验观察发现，队列中相邻的两个模式的代价相差过大，那么在此模式之后的模式被选为最优模式的概率极小。所以，可以通过这个特性进一步减少进入RDO过程的模式个数，达到加速的目的。优选地，步骤（7）中对于队列中元素J_k依次做判断，在满足公式（6）时停止

(J_k-J_k-1)/J_k＞T,k=(2,...,n) （6）

其中T为设定阈值。

图4是对各个尺寸的视频序列进行统计得到的平均结果。图4的横坐标为编码节省的时间的百分比，纵坐标为新方法筛选出来的模式是最优模式的比率。曲线上有四个点，分别是四个不同阈值，即T=0.4，T=0.3，T=0.2，T=0.1。从图中曲线的趋势来看在阈值越小的情况下，速度会提升，最优模式的比率会下降，但是在阈值小于0.2后的正确率的降幅远超速度的增幅。经过多次试验，由粗到细，得到将阈值设为0.27会使准确率下降幅度和编码速度提升幅度相平衡。

优选地，步骤（8）中根据相邻方向模式和RMD代价来对处理过的RMD候选队列进行分组。HEVC加入的35种在方向性上是有一定的相关性的，即在方向上相近的两个模式其RDO过程的代价也相差无几，因此，本方案提出一种将模式动态划归为小组的方法，每个模式组有两个参数：临近模式列表和最具代表性模式（MRM，Most Representative Mode）。临近模式列表是在RMD候选列表中模式号（除模式0和模式1外，因为0和1所代表的不是方向模式，所以各成一组）相邻的所有模式组成的列表。MRM是在临近模式列表中RMD代价最小的那个模式。因为事先不知道候选劣表中的模式，所以分组个数不确定。具体方案如下：

举例说明，如图5所示J=(0,1,2,18,3,17)，那么可以划分为4组，分别是组1={0}，组2={1}，组3={2，3}，组四={17，18}；最具有代表性的模式分别为MRM1=0,MRM2=1,MRM3=2,MRM4=18。选择每组的MRM进行RDO过程，选择RDO代价最小的组，对此组的所有模式进行RDO过程，选择出最优模式。

为了验证本方案的有效性，利用HM9.0参考软件对该方案进行模拟，对JCTVC推荐的20个标准序列，在两种编码配置（HE和MAIN）下进行了编码实验，比较了编码质量和编码速率两个方面。表2为实验结果，sequence表示序列名称，Picture size表示序列分辨率。BDRD为质量损失，TS为与传统HEVC编码器相比所节省的时间。

表2

从实验结果可以看出，在编码质量仅损失约1%的情况下，编码器节省了近30%的编码时间。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (3)

1.一种基于HEVC的帧内编码方法，其特征在于：包括以下步骤：

(1)获得临近当前编码块的左、左上、上块的尺寸，如果左、左上、上的尺寸全为2，将当前编码块的尺寸设置为2并执行步骤(3)；如果左、左上、上的尺寸全为3，将当前编码块的尺寸设置为3并执行步骤(3)；否则执行步骤(2)；

(2)根据概率，减少粗粒度模式选择RMD候选队列中的模式数量；

(3)如果预测块尺寸为32×32或者16×16，执行步骤(4)，否则执行步骤(5)；

(4)进行RMD，跳转步骤(9)；

(5)判断RMD候选队列与父预测块的候选队列的相似程度，相似执行步骤(6)，否则执行步骤(7)；

(6)用父预测块的最优模式作为当前预测块的最优模式，执行步骤(9)；

(7)对RMD候选队列进行模式过滤；

(8)对处理过的RMD候选队列进行分组；

(9)执行率失真最优化过程RDO；

其中

步骤(2)中

设候选队列为J＝(J₁,J₂...,J_n)，按照公式(4)得到模式数量

n为候选队列中的模式个数，m为需要测试的模式个数，P(C|X1,X2,X3)为条件概率P(C|X1,X2,X3)，根据条件概率公式在临近编码块的组合(X1,X2,X3)情况下，当前编码块的尺寸为C的概率，X1,X2,X3分别是左，左上，上临近编码块的尺寸大小，为对在其内部的数值取上整；

步骤(7)中对于队列中元素J_k依次做判断，在满足公式(6)时停止(J_k-J_k-1)/J_k＞T,k＝(2,…,n) (6)

其中T为设定阈值；

步骤(8)中根据相邻方向模式和RMD代价来对处理过的RMD候选队列进行分组。

2.根据权利要求1所述的方法，其特征在于：步骤(5)中在父预测块的尺寸是64×64和4×4的情况下通过公式(5)判断RMD候选队列与父预测块的候选队列的相似程度S

$S=\frac{{\mathrm{\Σ}}_1^n{a}_i\⊗b_i}{n}---\left(5\right)$

其中候选列表表示为向量，n为向量中元素的个数，a表示父预测块中的候选列表，b表示当前预测块的参考列表，表示同或，同或是指两边数值相同为1，不同为0。

3.根据权利要求2所述的方法，其特征在于：T＝0.27。