CN109618169A

CN109618169A - 用于hevc的帧内决策方法、装置和存储介质

Info

Publication number: CN109618169A
Application number: CN201811595229.9A
Authority: CN
Inventors: 梁凡; 曹思琪; 韩海阳
Original assignee: National Sun Yat Sen University
Current assignee: National Sun Yat Sen University
Priority date: 2018-12-25
Filing date: 2018-12-25
Publication date: 2019-04-12
Anticipated expiration: 2038-12-25
Also published as: CN109618169B

Abstract

本发明公开了用于HEVC的帧内决策方法、装置和存储介质，所述方法包括分别计算各预测单元中多个不同方向对应的像素差值，根据每个预测单元各自对应的多个像素差值对各预测单元进行分类，组建第一候选列表，分别计算各预测单元在每个候选模式下的哈达玛变换代价和预测能力分数，从第一候选列表中选择具有相应大小和哈达玛变换代价的预测单元，从而组建第二候选列表和执行率失真优化过程对第二候选列表中的预测单元进行处理，输出最优预测单元等步骤。通过建立第一候选列表，HEVC中的RDO过程无需遍历每个预测单元的模式，只需要处理第一候选列表中的预测单元的模式，降低了算法复杂度和时间复杂度。本发明广泛应用于视频处理技术领域。

Description

用于HEVC的帧内决策方法、装置和存储介质

技术领域

本发明涉及视频处理技术领域，尤其是用于HEVC的帧内决策方法、装置和存储介质。

背景技术

术语解释：

高效视频编码标准(HEVC，High Efficiency Video Coding)：是一种在2013年发布的视频编码技术，它是在H.264标准的基础上为了满足数字视频产业对高清和超高清视频存储及传输的日益迫切的发展需求而开发的新一代视频编码标准。HEVC在混合编码框架的基础上，结合大量技术创新，在保证相同视频质量的情况下，相比H.264节省近50％的码流。

编码树单元(CTU，Coding Tree Unit)、编码单元(CU，Coding Unit)、预测单元(PU，Prediction Unit)：CTU、CU和PU均为HEVC中的数据结构。

粗略模式决策(RMD，Rough Mode Decision)、率失真优化(RDO，Rate DistortionOptimization)：RMD和RDO均为HEVC中的数据处理过程。

哈达玛(Hadamard)变换代价(cost)：是哈达玛变换过程中得到的一个数值。

为了灵活、高效适应不同视频场景，HEVC采用了基于块的树形分层结构，首先把一帧图像划分为固定大小64*64的CTU，一个CTU可以直接作为一个编码单元CU，也可以如图1所示，以四叉树的形式递归划分为子CU。如图2所示，CU的大小根据四叉树划分深度depth变化，其中depth＝0即CTU不划分时，CU有最大尺寸64*64；划分depth＝3时CU有最小尺寸8*8。因此HEVC中划分深度允许范围[0，3]，CU的大小范围[8*8，64*64]。CU划分完成后进行预测单元PU的划分，HEVC的帧内预测单元PU的划分内模式如图3所示，大于8*8的2N*2N CU，PU为2N*2N模式；8*8的CU，PU有2N*2N和N*N两种可选模式。其中亮度分量帧内预测支持5种大小的PU：4*4/8*8/16*16/32*32。每一种大小的PU都对应35种预测模式，包括DC模式、planar模式和33种角度模式，如图4所示。如果每个PU都要遍历全部35种模式，通过RDO过程选择最优，将导致非常高的复杂度。当前的HEVC编码端采用三个步骤的帧内模式决策：第一步，执行粗略模式决策，根据Hadamard变换成本构建候选列表；第二步，根据相邻PU的模式添加到候选列表中找到MPM(Most probable modes)，添加到候选列表；最后一步，遍历候选列表中的所有模式，通过RDO过程获得最佳的帧内预测模式。

现有技术的缺点在于，RDO过程需要遍历每个预测单元的模式，而预测单元可能存在的模式有35个，这导致了RDO过程有非常高的复杂度。一些现有技术为了解决这个问题，通过Sobel算子为预测单元中的每个像素计算梯度，根据梯度方向选择少量模式作为候选，但这又引入了复杂的算法，需要较高的时间复杂度。

发明内容

为了解决上述技术问题，本发明的目在于提供用于HEVC的帧内决策方法、装置和存储介质。

一方面，本发明包括一种用于HEVC的帧内决策方法，包括以下步骤：

获取至少一个预测单元；

分别计算各预测单元中多个不同方向对应的像素差值；

根据每个预测单元各自对应的多个像素差值对各预测单元进行分类；

组建第一候选列表；所述第一候选列表用于标明各预测单元、分类结果以及像素差值最小值对应的方向；

分别计算各预测单元在每个候选模式下的哈达玛变换代价；

根据所述哈达玛变换代价计算所述第一候选列表的预测能力分数；

根据各预测能力分数，从第一候选列表中选择具有相应大小和哈达玛变换代价的预测单元，从而组建第二候选列表；

执行率失真优化过程对第二候选列表中的预测单元进行处理，输出最优预测单元。

进一步地，所述分别计算各预测单元中多个不同方向对应的像素差值这一步骤，具体为：

分别计算各预测单元中水平方向、垂直方向、右下方向和右下方向对应的像素差值。

进一步地，所述水平方向对应的像素差值所用的计算公式为：

d(H)＝|f(1,2)-f(1,0)|+|f(2,3)-f(2,1)|；

所述垂直方向对应的像素差值所用的计算公式为：

d(V)＝|f(2,1)-f(0,1)|+|f(3,2)-f(1,2)|；

所述右下方向对应的像素差值所用的计算公式为：

d(DR)＝|f(3,2)-f(1,0)+|f(2,3)-f(0,1)+|f(3,3)-f(0,0)|；

所述左下方向对应的像素差值所用的计算公式为：

d(DL)＝|f(2,0)-f(0,2)+|f(3,1)-f(1,3)|+|f(3,0)-f(0,3)|；

式中，d(H)为水平方向对应的像素差值，d(V)为垂直方向对应的像素差值，d(DR)为右下方向对应的像素差值，d(DL)为左下方向对应的像素差值，f(x,y)为各预测单元中坐标点(x,y)对应的像素值。

进一步地，所述根据每个预测单元各自对应的多个像素差值对各预测单元进行分类这一步骤，具体包括：

分别查找每个预测单元各自对应的多个像素差值中的最小值和次最小值；

计算每个预测单元各自对应的像素差值次最小值与像素差值最小值之比；

当预测单元的像素差值次最小值与像素差值最小值之比大于第一阈值时，将该预测单元分类为强预测类；

当预测单元的像素差值次最小值与像素差值最小值之比小于第一阈值，且像素差值次最小值对应的方向与像素差值最小值对应的方向是相邻的时，将该预测单元分类为弱预测类；

当预测单元的像素差值次最小值与像素差值最小值之比小于第一阈值，且像素差值次最小值对应的方向与像素差值最小值对应的方向是相对的时，将该预测单元分类为无效预测类。

进一步地，所述根据所述哈达玛变换代价计算所述第一候选列表的预测能力分数这一步骤，具体包括：

根据对应哈达玛变换代价的大小顺序对第一候选列表中的各预测单元进行排列；

遍历第一候选列表，根据第一候选列表中的预测单元总数、各哈达玛变换代价以及哈达玛变换代价最小值，计算所述第一候选列表的预测能力分数。

进一步地，所述第一候选列表的预测能力分数的计算公式为式中，c_hada(m)为预测单元m的哈达玛变换代价，M为第一候选列表，α为第一候选列表的预测能力分数，c₀为第一候选列表中各预测单元对应的哈达玛变换代价的最小值。

进一步地，在所述获取至少一个预测单元这一步骤之前，还包括以下步骤：

使用具有多层的分类器接收输入的编码树单元；所述分类器中除最后一层以外的各层用于根据设定的深度输出第一标志位；所述分类器的最后一层用于输出第二标志位；所述第一标志位用于控制由编码树单元划分得到编码单元的过程，所述第二标志位用于控制由编码单元划分得到预测单元的过程；

接收根据第二标志位划分得到的大小为4×4的预测单元。

进一步地，所述分类器包括第一层、第二层、第三层和第四层，所述第一层用于输出与大小为64×64的编码单元对应的第一标志位，所述第二层用于输出与大小为32×32的编码单元对应的第二标志位，所述第三层用于输出与大小为16×16的编码单元对应的第三标志位，所述第四层用于输出与大小为8×8的编码单元对应的第四标志位。

另一方面，本发明还包括一种用于HEVC的帧内决策装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明方法。

另一方面，本发明还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明方法。

本发明的有益效果是：通过建立第一候选列表，使得HEVC中的RDO过程无需遍历每个预测单元的模式，只需要处理第一候选列表中的预测单元的模式，大幅降低了算法复杂度和时间复杂度。

附图说明

图1为HEVC技术中将CTU划分为CU的原理图；

图2为HEVC技术中所得CU的结构示意图；

图3为HEVC技术的帧内预测单元PU的划分内模式原理图；

图4为HEVC技术的预测单元的预测模式示意图；

图5为本发明帧内决策方法的流程图；

图6为本发明实施例中预测单元上各像素的示意图；

图7为本发明实施例所用分类器的原理图；

图8为本发明实施例所用分类器的结构图。

具体实施方式

本发明一种用于HEVC的帧内决策方法，参照图5，包括以下步骤：

S1.获取至少一个预测单元；

S2.分别计算各预测单元中多个不同方向对应的像素差值；

S3.根据每个预测单元各自对应的多个像素差值对各预测单元进行分类；

S4.组建第一候选列表；所述第一候选列表用于标明各预测单元、分类结果以及像素差值最小值对应的方向；

S5.分别计算各预测单元在每个候选模式下的哈达玛变换代价；

S6.根据所述哈达玛变换代价计算所述第一候选列表的预测能力分数；

S7.根据各预测能力分数，从第一候选列表中选择具有相应大小和哈达玛变换代价的预测单元，从而组建第二候选列表；

S8.执行率失真优化过程对第二候选列表中的预测单元进行处理，输出最优预测单元。

通过执行步骤S2-S4，建立用于粗略模式决策过程的第一候选列表。

本实施例中，执行步骤S1获取大小为4×4的预测单元。

所述步骤S2，即分别计算各预测单元中多个不同方向对应的像素差值这一步骤，具体为：

S2.分别计算各预测单元中水平方向、垂直方向、右下方向和右下方向对应的像素差值。

对于如图6所示的预测单元，每个小方格分别表示预测单元上的一个像素点，每个小方格中的数对(x,y)表示该像素的坐标，该像素具有相应的像素值f(x,y)，两个像素点之间的像素值之差为像素值差。

所述水平方向对应的像素差值所用的计算公式为：

d(H)＝|f(1,2)-f(1,0)|+|f(2,3)-f(2,1)|；

所述垂直方向对应的像素差值所用的计算公式为：

d(V)＝|f(2,1)-f(0,1)|+|f(3,2)-f(1,2)|；

所述右下方向对应的像素差值所用的计算公式为：

d(DR)＝|f(3,2)-f(1,0)+|f(2,3)-f(0,1)+|f(3,3)-f(0,0)|；

所述左下方向对应的像素差值所用的计算公式为：

d(DL)＝|f(2,0)-f(0,2)+|f(3,1)-f(1,3)|+|f(3,0)-f(0,3)|；

式中，d(H)为水平方向对应的像素差值，d(V)为垂直方向对应的像素差值，d(DR)为右下方向对应的像素差值，d(DL)为左下方向对应的像素差值。

本实施例中，所述步骤S3，即根据每个预测单元各自对应的多个像素差值对各预测单元进行分类这一步骤，具体包括：

S301.分别查找每个预测单元各自对应的多个像素差值中的最小值和次最小值；

S302.计算每个预测单元各自对应的像素差值次最小值与像素差值最小值之比；

S303.当预测单元的像素差值次最小值与像素差值最小值之比大于第一阈值时，将该预测单元分类为强预测类；

S304.当预测单元的像素差值次最小值与像素差值最小值之比小于第一阈值，且像素差值次最小值对应的方向与像素差值最小值对应的方向是相邻的时，将该预测单元分类为弱预测类；

S305.当预测单元的像素差值次最小值与像素差值最小值之比小于第一阈值，且像素差值次最小值对应的方向与像素差值最小值对应的方向是相对的时，将该预测单元分类为无效预测类。

步骤S301-S305是在执行步骤S2的基础上执行的。通过执行步骤S2，每个预测单元都分别具有相应的四个像素差值，即d(H)、d(V)、d(DR)和d(DL)，由于运动方向上的像素变化比其他方向上的像素变化更加缓慢，因此每个预测单元对应的这四个像素差值一般具有不同的大小。

通过执行步骤S301，将某个预测单元中四个像素差值中的最小值，即像素差值最小值找出来，记为MinDir，然后将四个像素差值中的仅大于最小值的次最小值，即像素差值次最小值找出来，记为SecMinDir。

步骤S302中，计算每个预测单元的SecMinDir与MinDir之比，即

步骤S303-S305中，通过将每个预测单元的与预设的第一阈值Thre1进行比较，来对预测单元进行分类。

当认为当前的预测方向十分贴近运动方向，将该预测单元分类为强预测类；

当并且MinDir和SecMinDir的方向相邻的，认为得到的预测方向比较贴近运动方向，将该预测单元分类为弱预测类；

当并且MinDir和SecMinDir的方向相对，认为得到的预测方向是无效的，将该预测单元分类为无效预测类。

根据步骤S301-S305的分类结果，执行步骤S4，可以得到如表1所示的第一候选列表。

表1

其中，第一候选列表中的每个预测单元在候选模式栏下，具体地用HEVC中模式的索引号“0,1,5...15”等来表示。

由表1可以得知，经过步骤S2-S4的处理，每个预测单元都至少获得了“像素差值最小值对应的方向”这一参数，这可以为后续的率失真优化过程提供信息，可以更加科学地选择出率失真优化过程的候选列表，避免只依赖预测单元的大小来决定率失真优化过程的处理对象，使得率失真优化过程的处理结果更加准确。

本实施例中，所述步骤S6，即根据所述哈达玛变换代价计算所述第一候选列表的预测能力分数这一步骤，具体包括：

S601.根据对应哈达玛变换代价的大小顺序对第一候选列表中的各预测单元进行排列；

S602.遍历第一候选列表，根据第一候选列表中的预测单元总数、各哈达玛变换代价以及哈达玛变换代价最小值，计算所述第一候选列表的预测能力分数。

步骤S601中，优选地，根据对应哈达玛变换代价的升序对第一候选列表中的各预测单元进行排列。

进一步作为优选的实施方式，在步骤S602中，所述第一候选列表的预测能力分数的计算公式为式中，c_hada(m)为预测单元m的哈达玛变换代价，M为第一候选列表，α为第一候选列表的预测能力分数，c₀为第一候选列表中各预测单元对应的哈达玛变换代价的最小值。

步骤S7中，将各预测单元对应的预测能力分数α与预设的第二阈值Thre2进行比较，根据比较结果，从第一候选列表中选择具有相应大小和哈达玛变换代价的预测单元，从而组建第二候选列表，具体比较方法为：

当α>Thre2时，表明第一候选列表中不同预测单元的哈达玛变换代价相差较大，预测能力明显不同，率失真优化过程需要较多的候选模式才能保证预测准确性，因此将选择较多的预测单元，这些预测单元对应着多个不同的分类结果。

当α<Thre2时，表明第二候选列表中不同预测单元的预测能力比较接近，因此率失真优化过程需要较少的预测模式即可，将选择较少的预测单元。

在预测能力分数α与预设的第二阈值Thre2进行比较的过程中，还考虑预测单元大小的影响，即选择出来组成第二候选列表的预测单元的个数N是预测能力分数α与预测单元大小size的函数，即N(size,α)。

通过执行步骤S7，可以得到如表2所示的第二候选列表，表中的数字表示RDO过程要处理的预测单元的个数。

表2

Size\α	[0,0.2)	[0.2,0.4)	[0.4,0.6)	[0.6,1)
					2*2	1	1	2	3
4*4	2	4	6	8
					8*8	2	4	6	8
16*16	1	1	2	3
					32*32	1	1	2	3
64*64	1	1	2	3

进一步作为优选的实施方式，在步骤S1，即获取至少一个大小为4×4的预测单元这一步骤之前，还包括以下步骤：

接收根据第二标志位划分得到的大小为4×4的预测单元。

所述分类器包括第一层、第二层、第三层和第四层，所述第一层用于输出与大小为64×64的编码单元对应的第一标志位，所述第二层用于输出与大小为32×32的编码单元对应的第二标志位，所述第三层用于输出与大小为16×16的编码单元对应的第三标志位，所述第四层用于输出与大小为8×8的编码单元对应的第四标志位。

本实施例使用神经网络进行CU-PU划分的快速决策。CU-PU的划分决策基于一个四层的分类器，如图7所示，针对一个CTU，对应图2根据中的划分深度depth，使用分类器的层级l,l∈{1,2,3，4}标记。前三层表示CU的划分，使用标志位标识对于当前CU或者子CU是否继续进行四叉树划分(＝1表示划分，＝0表示不继续划分)。当划分到depth＝3时,第四层标志位表示8*8大小的CU选择PU划分为N*N模式即4*4的PU(＝1)，或者2N*2N模式即8*8大小的PU(＝0)。因此神经网络的预测输出即每层的划分标志位的预测值

本实施例中CU-PU快速划分神经网络结构如图8所示，以一个CTU为输入，以分类器中每层的划分标志位输出。首先，网络输入一个CTU后，对应分类器的层级l,l∈{1,2,3,4}产生四个分支，分别对应64*64/32*32/16*16/8*8的CU的标志位；第二步，预处理进行下采样时，由于l越小即当前CU的划分depth越小，纹理越光滑，因此对分支B1/B2/B3分别下采样至8*8/16*16/32*32，B4不进行下采样即保持64*64；第三步，进行卷积提取特征的过程中，为了特征的多样性，仍然将所有四个分支上后面两个卷积层提取到的特征集中到一个矢量中，最终的特征矢量共包含8个feature maps；第四步，B1,B2,B3,B4在全连接层的最终输出分别对应l＝1,2,3,4的CU标志位，分别有1,4,16,64个参数，也即

本实施例的实验结果：为了证明本实施例方法的效果，使用参考软件HM16.17，在All Intra配置下，分别设置QP＝22,27,32,37，使用ClassB/C/D/E/F中的测试序列，统计每个视频序列BD-rate和编码时间的平均值，结果如表3所示。

表3

本发明还包括一种用于HEVC的帧内决策装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明所述用于HEVC的帧内决策方法。

本发明用于HEVC的帧内决策装置可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本发明还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明所述用于HEVC的帧内决策方法。

将经过本发明改进的HEVC应用在视频编码，可以取得更佳的编码质量。

以上是对本发明的较佳实施进行了具体说明，但对本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种用于HEVC的帧内决策方法，其特征在于，包括以下步骤：

获取至少一个预测单元；

分别计算各预测单元中多个不同方向对应的像素差值；

分别计算各预测单元在每个候选模式下的哈达玛变换代价；

2.根据权利要求1所述的一种用于HEVC的帧内决策方法，其特征在于，所述分别计算各预测单元中多个不同方向对应的像素差值这一步骤，具体为：

3.根据权利要求2所述的一种用于HEVC的帧内决策方法，其特征在于：

所述水平方向对应的像素差值所用的计算公式为：

d(H)＝|f(1,2)-f(1,0)|+|f(2,3)-f(2,1)|；

所述垂直方向对应的像素差值所用的计算公式为：

d(V)＝|f(2,1)-f(0,1)|+|f(3,2)-f(1,2)|；

所述右下方向对应的像素差值所用的计算公式为：

d(DR)＝|f(3,2)-f(1,0)+|f(2,3)-f(0,1)+|f(3,3)-f(0,0)|；

所述左下方向对应的像素差值所用的计算公式为：

d(DL)＝|f(2,0)-f(0,2)+|f(3,1)-f(1,3)|+|f(3,0)-f(0,3)|；

4.根据权利要求1所述的一种用于HEVC的帧内决策方法，其特征在于，所述根据每个预测单元各自对应的多个像素差值对各预测单元进行分类这一步骤，具体包括：

5.根据权利要求1所述的一种用于HEVC的帧内决策方法，其特征在于，所述根据所述哈达玛变换代价计算所述第一候选列表的预测能力分数这一步骤，具体包括：

6.根据权利要求5所述的一种用于HEVC的帧内决策方法，其特征在于，所述第一候选列表的预测能力分数的计算公式为式中，c_hada(m)为预测单元m的哈达玛变换代价，M为第一候选列表，α为第一候选列表的预测能力分数，c₀为第一候选列表中各预测单元对应的哈达玛变换代价的最小值。

7.根据权利要求1-6任一项所述的一种用于HEVC的帧内决策方法，其特征在于，在所述获取至少一个预测单元这一步骤之前，还包括以下步骤：

接收根据第二标志位划分得到的大小为4×4的预测单元。

8.根据权利要求7所述的一种用于HEVC的帧内决策方法，其特征在于，所述分类器包括第一层、第二层、第三层和第四层，所述第一层用于输出与大小为64×64的编码单元对应的第一标志位，所述第二层用于输出与大小为32×32的编码单元对应的第二标志位，所述第三层用于输出与大小为16×16的编码单元对应的第三标志位，所述第四层用于输出与大小为8×8的编码单元对应的第四标志位。

9.一种用于HEVC的帧内决策装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-8任一项所述方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-8任一项所述方法。