CN107071474B - 基于satd复用的hevc帧内预测方法 - Google Patents

Abstract

本发明公开了一种基于SATD复用的HEVC帧内预测方法，其方案为：1)建立缓存的变量和数组；2)对CTU内的4x4块编号，计算该块在8x8、16x16、32x32和64x64层的可复用模式号；4)遍历CTU内所有4x4块计算其可复用模式号；5)计算4x4块在4x4、8x8、16x16、32x32和64x64层的不可复用模式下差值变换绝对值的和；6)获取当前模式在8x8，16x16，32x32和64x64层的可复用性；7)将当前模式差值变换绝对值的和保存到可复用层对应的二维数组中；10)进入下一次遍历或结束帧内预测。本发明编码复杂度低，压缩稳定性高，可用于粗选模块的简化计算。

Description

基于SATD复用的HEVC帧内预测方法

技术领域

本发明属于视频压缩编码技术领域，特别涉及一种帧内预测编码方法，可用于粗选模块的简化计算。

背景技术

高效视频编码HEVC作为新一代的视频编码标准，在2013年由联合视频编码JCT-VC制定。HEVC标准主要针对高清和超高清分辨率视频的压缩，相比于之前的H.264/AVC标准，在相同压缩效果的情况下，码流大小仅为之前的一半。HEVC分为帧内编码和帧间编码两种，分别用于去除视频的空间和时间冗余性。帧内编码是帧间编码的基础，在HEVC编码中占有极其重要的作用，同时也是性能得到如此大提升的关键。对于帧内编码，它采用的是四叉树划分结构来编码视频。它将一帧视频切割成一个个的编码树单元CTU，作为编码单元的起始节点，最大支持到64x64pixel，每一个64x64的编码单元可以通过四叉树划分生成4个32x32的编码单元，然后递归划分直至最小尺寸为8x8，如图1所示。对于预测单元来说，它的大小等于编码单元大小。只有当编码单元划分至8x8时，预测单元大小可以是8x8或者4x4。对于每一个预测单元，有35种帧内模式进行预测。其中模式0是Planar，适用于均匀光滑的区域；模式1是DC，适用于渐变平滑的区域；模式2到模式34是33种角度模式，能够区分细小的角度趋势，如图2所示。

HEVC帧内预测支持的预测块大小有5种，除了4x4块的其他预测块，从64x64块到8x8块，每一个较大块都有划分和不划分两种划分模式，在块大小的范围内寻找最优解；同时在预测块内部分别计算预测模式0到模式34，在特定大小的限制下，寻找模式的最优解。通过块大小和模式的遍历，能够找到当前CTU的最佳划分和在此划分情况下的最优模式。这种双重遍历的做法使得其性能得到较大提升，但同时也大大提高了算法的计算复杂度，达到之前标准的4倍。一般平台的性能难以实现对2K、4K等分辨率的超高清视频的HEVC实时编码。很多人研究了各种基于HEVC的快速算法，有一些也取得了不错的成果，但大部分都是基于满足某种具体特征的视频的压缩，在满足相应参考量阈值条件的情况下提前终止块大小或者模式的遍历，这种做法是以一定的性能损失为代价人为的对模式或块大小进行筛选，不仅应用面太窄，而且对于不同视频序列其压缩性能不稳定。

发明内容

本发明的目的在于提出一种基于SATD复用的HEVC帧内预测方法，以减少帧内预测粗选过程中的重复性的计算，降低计算复杂度，提高视频压缩性能的稳定性。

本发明的技术方案是这样实现的：

一.技术原理

对于除了4x4块的其他4种较大的预测块，其SATD可由其作为根节点细分出来的四个四叉树小块的SATD累加得到，而这些小块的SATD也可由它们细分出来的四叉树小块SATD累加得到，因此所有大小的预测块的SATD都可以直接由4x4块累加而成。由于这些4x4块在不同大小块内的某些预测模式下用到的参考点是一致的，因此SATD的计算结果也是相同的，可以通过复用计算过的SATD结果减少其他不必要的模式的遍历，这样，五种预测块大小对应的五种深度情况下需要的遍历的模式数就能够大大减少，使得整个帧内预测的计算复杂度大大降低。

二.实现方案

根据上述原理，本发明是在已有的HEVC软件测试平台HM16.0的基础上修改实现，其步骤包括如下：

(1)初始化：

创建4个256x35的二维数组MEM8，MEM16，MEM32，MEM64,这4个二维数组分别对应一个CTU内8x8，16x16，32x32，64x64层下的256个4x4块的35种帧内预测模式的可复用信息，每一个数组成员内的数据为0或者1，1代表着该模式下该4x4小块的预测结果能被复用，0代表不能复用；

创建5个有256个数组成员的一维数组COST4，COST8，COST16，COST32和COST64，用于保存计算得到的256个4x4块在不同深度下的SATD的结果；

创建4个变量R1，R2，R3和R4，用来保存从4个二维数组MEM8，MEM16，MEM32，MEM64读取出的当前4x4块的当前模式可复用信息；

(2)将64x64的CTU以4x4大小为基本单元进行分割，得到16x16的4x4块阵列，并按照规定的Z字形的顺序对这些4x4块进行编号；

(3)根据4x4块在CTU内的具体位置，计算得到各层的可复用模式号，根据得到的可复用模式号给4个二维数组MEM8，MEM16，MEM32，MEM64中当前4x4块对应的成员变量赋值；

(4)按照步骤(2)编号的顺序，遍历CTU内所有位置的256个4x4块，对每一个4x4块进行(3)的操作，直到将所有的数组成员赋值完成；

(5)对第一个4x4块，根据其参考像素计算在4x4层下此预测块的预测值，并与原始像素值作差，求得残差像素，再计算该4x4块的差值变换绝对值的和SATD，将该SATD保存到第一个一维数组COST4中；

(6)读取第一个二维数组MEM8中当前4x4块对应的35个变量值，作为跳过可复用模式的依据，若变量值为1，则跳过此变量代表的预测模式的遍历；若变量值为0，则在此变量代表的预测模式下进行预测，求得该模式下的4x4块的差值变换绝对值的和SATD，并将计算结果保存到第二个一维数组COST8；

(7)重复步骤(6)，将16x16层，32x32层和64x64层中不可复用模式的差值变换绝对值的和SATD计算结果分别保存到第三个到第五个一维数组COST16，COST32和COST64中；

(8)从4个二维数组MEM8，MEM16，MEM32和MEM64中分别读取出当前模式对应的数组成员，分别赋给步骤(1)中建立的四个变量R1，R2，R3和R4；

(9)根据四个变量R1，R2，R3和R4的值，判断当前模式下的差值变换绝对值的和SATD能否复用：

(9a)判断当前层数：

如果当前层为4x4层，则执行(9b)；如果当前层为8x8层，则执行(9c)；如果当前层为16x16层，则执行(9d)；如果当前层为32x32层，则执行(9e)；

(9b)根据R1的值判断SATD能否复用到8x8层：若R1＝1，则将当前模式的SATD保存到第二个一维数组COST8，并通过R2判断能否复用到16x16层，执行(9c)；否则，执行(10)；

(9c)根据R2的值判断SATD能否复用到16x16层：若R2＝1，则将当前模式的SATD保存到第三个一维数组COST16，并通过R3判断能否复用到32x32层，执行(9d)；否则，执行(10)；

(9d)根据R3的值判断SATD能否复用到32x32层：若R3＝1，则将当前模式的SATD保存到第四个一维数组COST32，并通过R4判断能否复用到64x64层，执行(9e)；否则，执行(10)；

(9e)根据R4的值判断SATD能否复用到64x64层：若R4＝1，则将当前模式的SATD保存到第五个一维数组COST64，否则，执行(10)；

(10)定义4x4层，8x8层，16x16层，32x32层和64x64层对应的层数为0，1，2，3和4；根据当前模式号、层数和块编号，选择进入下一次遍历：

(10a)如果模式号为34,则层数加1，执行(10b)；否则，模式号加1，返回执行(8)，进入当前层数下的下一个模式遍历；

(10b)如果层数大于4，则4x4块编号加1，执行(10c)；否则，返回执行(8)，进入当前4x4块下一层的遍历；

(10c)如果4x4块编号大于256，则当前CTU的帧内预测过程结束；否则，返回步骤(5)，进入下一个4x4块的遍历。

本发明与现有技术相比，具有如下优点：

第一，通过创建四个二维数组MEM8，MEM16,MEM32和MEM64，将所有的预测模式分为可复用和不可复用两种，其中可复用模式下的差值变换绝对值的和SATD可利用不可复用模式的计算结果间接获得，减少了重复计算；相比于原HM标准算法，CTU内模式计算数从44800种减少到30616种，减少了约1/3，帧内预测的计算复杂度大大降低；

第二，本发明是通过利用当前块的位置和预测模式复用性的关系来减少模式的计算数，与待压缩图像的具体内容无关，对不同的视频测试序列，其减少的计算量相同，因而能提供稳定的压缩性能。

附图说明

图1是现有HEVC预测单元的四叉树划分结构；

图2是现有35种预测模式的分布；

图3是本发明中规定的Z字形顺序；

图4是本发明的实现流程图。

具体实施方式

参照图4，本发明的实现步骤如下：

步骤1：初始化。

创建4个256x35的二维数组MEM8，MEM16，MEM32，MEM64,这4个二维数组分别对应一个CTU内8x8，16x16，32x32，64x64层下的256个4x4块的35种帧内预测模式的可复用信息，每一个数组成员内的数据为0或者1，1代表着该模式下该4x4小块的预测结果能被复用，0代表不能复用；

创建5个有256个数组成员的一维数组COST4，COST8，COST16，COST32和COST64，用于保存计算得到的256个4x4块在不同深度下的SATD的结果；

创建4个变量R1，R2，R3和R4，用来保存从4个二维数组MEM8，MEM16，MEM32，MEM64读取出的当前4x4块的当前模式可复用信息。

步骤2：CTU的切割及编号。

将64x64的CTU以4x4大小为基本单元进行分割，得到16x16的4x4块阵列，并按照规定的Z字形的顺序对这些4x4块进行编号；

编号规则如图3所示，每一层内的4x4单元都是按照左上、右上、左下和右下的顺序进行排列，这样的顺序安排是为了使得编号靠后的4x4块进行预测时能够使用编号靠前的4x4块更新好的参考像素。

步骤3：计算4x4块模式的可复用性。

根据4x4块在CTU内的具体位置，计算得到各层的可复用模式号，根据得到的可复用模式号给4个二维数组MEM8，MEM16，MEM32，MEM64中当前4x4块对应的成员变量赋值，具体的步骤如下：

(3a)计算4x4层下预测模式的差值变换绝对值的和SATD能否复用到8x8层的复用条件：

如果当前模式为纵向角度模式，则可复用条件为：

(y+1)*intraPredAngle[dir]+x+1＞nTbs，

如果当前模式为横向角度模式，则可复用条件为：

(x+1)*intraPredAngle[dir]+y+1＞nTbs，

其中，nTbs是当前层块宽度，dir是当前预测模式对应的角度值，intraPredAngle[dir]是该角度正切值的32倍，(x，y)是由4x4预测块相对于8x8块的位置决定的该4x4块的关键像素的坐标；

所述此关键像素，按如下规则确定：

如果4x4块处于8x8块左下方，则关键像素是4x4块的右上角像素点；

如果4x4块处于8x8块右上方，则关键像素是4x4块的左下角像素点；

(3b)判断当前模式下(3a)中可复用条件是否成立，如果成立，则当前模式是8x8层的可复用模式，否则，此模式不可复用；

(3c)重复步骤(3a)和(3b)，遍历35种帧内预测模式，筛选出35种模式中属于8x8层的可复用模式，得到8x8层的所有可复用模式号。

步骤4：遍历CTU内4x4块模式的可复用性。

按照步骤2中编号的顺序，遍历CTU内所有位置的256个4x4块，对每一个4x4块进行步骤3的操作，直到将所有的数组成员赋值完成。

步骤5：计算4x4块差值变换绝对值的和SATD。

对第一个4x4块，根据其参考像素和原始像素计算该4x4块的差值变换绝对值的和SATD，将该SATD保存到第一个一维数组COST4中，计算的具体步骤如下：

(5a)根据参考像素值计算得到4x4块的预测值；

(5b)将像素的预测值与原始值作差，得到残差像素矩阵；

(5c)对残差像素矩阵进行哈德马变换；

(5d)对变换后的矩阵系数进行绝对值求和，得到4x4块的差值变换绝对值的和SATD。

步骤6：保存8x8层不可复用模式计算结果。

读取第一个二维数组MEM8中当前4x4块对应的35个变量值，作为跳过可复用模式的依据，若变量值为1，则跳过此变量代表的预测模式的遍历；若变量值为0，则在此变量代表的预测模式下进行预测，求得该模式下的4x4块的差值变换绝对值的和SATD，并将计算结果保存到第二个一维数组COST8中。

步骤7：保存16x16层，32x32层和64x64层不可复用模式计算结果。

重复步骤6，将16x16层中不可复用模式的差值变换绝对值的和SATD保存到第三个一维数组COST16中，将32x32层中不可复用模式的差值变换绝对值的和SATD保存到第四个一维数组COST32中，将64x64层中不可复用模式的差值变换绝对值的和SATD保存到第五个一维数组COST64中。

步骤8：给R1，R2，R3和R4赋值。

从4个二维数组MEM8，MEM16，MEM32和MEM64中分别读取出当前模式对应的数组成员，分别赋给步骤1中建立的四个变量R1，R2，R3和R4中。

步骤9：保存可复用模式下计算结果。

根据四个变量R1，R2，R3和R4的值，判断当前模式下的差值变换绝对值的和SATD能否复用：

(9a)判断当前层数：

如果当前层为4x4层，则执行(9b)；如果当前层为8x8层，则执行(9c)；如果当前层为16x16层，则执行(9d)；如果当前层为32x32层，则执行(9e)；

(9b)根据R1的值判断SATD能否复用到8x8层：若R1＝1，则将当前模式的SATD保存到第二个一维数组COST8，并通过R2判断能否复用到16x16层，执行(9c)；否则，执行步骤10；

(9c)根据R2的值判断SATD能否复用到16x16层：若R2＝1，则将当前模式的SATD保存到第三个一维数组COST16，并通过R3判断能否复用到32x32层，执行(9d)；否则，执行步骤10；

(9d)根据R3的值判断SATD能否复用到32x32层：若R3＝1，则将当前模式的SATD保存到第四个一维数组COST32，并通过R4判断能否复用到64x64层，执行(9e)；否则，执行步骤10；

(9e)根据R4的值判断SATD能否复用到64x64层：若R4＝1，则将当前模式的SATD保存到第五个一维数组COST64，否则，执行步骤10。

步骤10：选择进入下一次遍历。

定义4x4层，8x8层，16x16层，32x32层和64x64层对应的层数为0，1，2，3和4；根据当前模式号、层数和块编号，选择进入下一次遍历：

(10a)如果模式号为34,则层数加1，执行(10b)；否则，模式号加1，返回步骤8，进入当前层数下的下一个模式遍历；

(10b)如果层数大于4，则4x4块编号加1，执行(10c)；否则，返回步骤8，进入当前4x4块下一层的遍历；

(10c)如果4x4块编号大于256，则当前CTU的帧内预测过程结束；否则，返回步骤5，进入下一个4x4块的遍历。

本发明的效果可以用以下实验结果进一步说明：

1.测试条件

选择主机处理器为Intel Core 2Duo CPU，内存为4GB，系统类型为64位操作系统，测试平台是HM16.0。

2.测试内容

在测试平台HM16.0上，用本发明方法和现有的标准方法对多个视频测试序列进行测试并进行比较，结果如表1。

表1本发明与标准方法测试结果的比较

表1覆盖了三种不同分辨率的测试序列。

测试结果表明：对于不同分辨率的视频测试序列，本发明的方法都能使得粗选时间减少约1/3，大大降低了编码过程的计算复杂度，且带来的性能损失BD-rate可以忽略不计，代价仅仅是使用了额外的缓存资源将中间过程的差值变换绝对值的和SATD进行缓存。

Claims (3)

1.基于SATD复用的HEVC帧内预测方法，是在已有的HEVC软件测试平台HM16.0的基础上修改实现，其步骤包括如下：

(1)初始化：

创建4个256x35的二维数组MEM8，MEM16，MEM32，MEM64,这4个二维数组分别对应一个CTU内8x8，16x16，32x32，64x64层下的256个4x4块的35种帧内预测模式的可复用信息，每一个数组成员内的数据为0或者1，1代表着该模式下该4x4小块的预测结果能被复用，0代表不能复用；

创建5个有256个数组成员的一维数组COST4，COST8，COST16，COST32和COST64，用于保存计算得到的256个4x4块在不同深度下的SATD的结果；

创建4个变量R1，R2，R3和R4，用来保存从4个二维数组MEM8，MEM16，MEM32，MEM64读取出的当前4x4块的当前模式可复用信息；

(2)将64x64的CTU以4x4大小为基本单元进行分割，得到16x16的4x4块阵列，并按照规定的Z字形的顺序对这些4x4块进行编号；

(3)根据4x4块在CTU内的具体位置，计算得到各层的可复用模式号，根据得到的可复用模式号给4个二维数组MEM8，MEM16，MEM32，MEM64中当前4x4块对应的成员变量赋值；

所述根据4x4块在CTU内的具体位置，计算得到各层的可复用模式号，通过如下步骤进行：

(3a)计算4x4层下预测模式的差值变换绝对值的和SATD能否复用到8x8层的复用条件：

如果当前模式为纵向角度模式，则可复用条件为：

(y+1)*intraPredAngle[dir]+x+1＞nTbs，

如果当前模式为横向角度模式，则可复用条件为：

(x+1)*intraPredAngle[dir]+y+1＞nTbs，

其中，nTbs是当前层块宽度，dir是当前预测模式对应的角度值，intraPredAngle[dir]是该角度正切值的32倍，(x，y)是由4x4预测块相对于8x8块的位置决定的该4x4块的关键像素的坐标；

(3b)判断当前模式下(3a)中可复用条件是否成立，如果成立，则当前模式是8x8层的可复用模式，否则，此模式不可复用；

(3c)重复步骤(3a)和(3b)，遍历35种帧内预测模式，筛选出35种模式中属于8x8层的可复用模式，得到8x8层的所有可复用模式号；

(4)按照步骤(2)编号的顺序，遍历CTU内所有位置的256个4x4块，对每一个4x4块进行(3)的操作，直到将所有的数组成员赋值完成；

(5)对第一个4x4块，根据其参考像素计算在4x4层下此预测块的预测值，并与原始像素值作差，求得残差像素，再计算该4x4块的差值变换绝对值的和SATD，将该SATD保存到第一个一维数组COST4中；

(6)读取第一个二维数组MEM8中当前4x4块对应的35个变量值，作为跳过可复用模式的依据，若变量值为1，则跳过此变量代表的预测模式的遍历；若变量值为0，则在此变量代表的预测模式下进行预测，求得该模式下的4x4块的差值变换绝对值的和SATD，并将计算结果保存到第二个一维数组COST8；

(7)重复步骤(6)，将16x16层，32x32层和64x64层中不可复用模式的差值变换绝对值的和SATD计算结果分别保存到第三个到第五个一维数组COST16，COST32和COST64中；

(8)从4个二维数组MEM8，MEM16，MEM32和MEM64中分别读取出当前模式对应的数组成员，分别赋给步骤(1)中建立的四个变量R1，R2，R3和R4；

(9)根据四个变量R1，R2，R3和R4的值，判断当前模式下的差值变换绝对值的和SATD能否复用：

(9a)判断当前层数：

如果当前层为4x4层，则执行(9b)；如果当前层为8x8层，则执行(9c)；如果当前层为16x16层，则执行(9d)；如果当前层为32x32层，则执行(9e)；

(9b)根据R1的值判断SATD能否复用到8x8层：若R1＝1，则将当前模式的SATD保存到第二个一维数组COST8，并通过R2判断能否复用到16x16层，执行(9c)；否则，执行(10)；

(9c)根据R2的值判断SATD能否复用到16x16层：若R2＝1，则将当前模式的SATD保存到第三个一维数组COST16，并通过R3判断能否复用到32x32层，执行(9d)；否则，执行(10)；

(9d)根据R3的值判断SATD能否复用到32x32层：若R3＝1，则将当前模式的SATD保存到第四个一维数组COST32，并通过R4判断能否复用到64x64层，执行(9e)；否则，执行(10)；

(9e)根据R4的值判断SATD能否复用到64x64层：若R4＝1，则将当前模式的SATD保存到第五个一维数组COST64，否则，执行(10)；

(10)定义4x4层，8x8层，16x16层，32x32层和64x64层对应的层数为0，1，2，3和4；根据当前模式号、层数和块编号，选择进入下一次遍历：

(10a)如果模式号为34,则层数加1，执行(10b)；否则，模式号加1，返回执行(8)，进入当前层数下的下一个模式遍历；

(10b)如果层数大于4，则4x4块编号加1，执行(10c)；否则，返回执行(8)，进入当前4x4块下一层的遍历；

(10c)如果4x4块编号大于256，则当前CTU的帧内预测过程结束；否则，返回步骤(5)，进入下一个4x4块的遍历。

2.根据权利要求1所述的方法，其特征在于关键像素，按如下规则确定：

如果4x4块处于8x8块左下方，则关键像素是4x4块的右上角像素点；

如果4x4块处于8x8块右上方，则关键像素是4x4块的左下角像素点。

3.根据权利要求1所述的方法，其特征在于步骤(5)中，计算4x4块的差值变换绝对值的和SATD，按如下步骤进行：

(5a)根据参考像素值计算得到4x4块的预测值；

(5b)将像素的预测值与原始值作差，得到残差像素矩阵；

(5c)对残差像素矩阵进行哈德马变换；

(5d)对变换后的矩阵系数进行绝对值求和，得到4x4块的差值变换绝对值的和SATD。