CN108322747B - 一种面向超高清视频的编码单元划分优化方法 - Google Patents

Abstract

本发明公开了一种面向超高清视频的编码单元划分优化方法。本方法为：为不同大小的编码单元分别设置一对应的图像纹理复杂度阈值；对于每一编码单元i，计算该编码单元i内每个像素与该编码单元i的像素平均值的差值，将各差值之和作为该编码单元i的图像纹理复杂度；如果该编码单元i的图像纹理复杂度小于或等于该编码单元i对应的图像纹理复杂度阈值，则将该编码单元i作为最优编码单元输出；否则对该编码单元i进行划分并计算划分后的每一编码单元的图像纹理复杂度，如果小于或等于对应的图像纹理复杂度阈值，则将其作为最优编码单元输出，否则继续划分；当深度值h达到设定阈值时，则采用HEVC算法确定出最优编码单元输出。

Description

一种面向超高清视频的编码单元划分优化方法

技术领域

本发明涉及计算机图像编码领域，具体而言，涉及一种面向超高清视频的编码单元划分优化方法。

背景技术

随着科学技术的发展，大屏时代的到来，传统高清分辨率的图像已经不能满足民众日益增高的视觉需求，广电媒体行业也在追求更加完美清晰的图像，加速视频分辨率的提升，因此，超高清视频逐渐成为发展热点。

超高清视频与高清视频相比有很多的优势，它的分辨率更高，数据量更大，能够更好的还原画面的真实情况，给观众提供更加丰富的纹理细节、广阔的视角和多变的色彩，使观众能够获得更加身临其境的感受。

然而数据量的大量增加也使得超高清视频在数据传输和数据存储上面临着很大的困难，为了保证编码效率，减少传输带宽，需要采取最新的编码标准对超高清视频进行编码，国际上最新的编码标准是HEVC编码标准。HEVC编码标准与之前的编码标准相比计算复杂度大大增加，在对超高清视频序列进行编码时所需要的编码时间过长，而且目前基于HEVC编码标准的优化算法大多面向普通的高清视频，没有很好的结合超高清视频的特征。

发明内容

本发明基于HEVC编码标准提供了一种面向超高清视频编码单元划分的优化方法。本文提出利用当前编码单元内每个像素与该编码单元的像素平均值的差值之和SMAD来代表该编码单元的图像纹理复杂度，再通过大量实验确定不同编码单元对应的图像纹理复杂度阈值。通过判断当前编码单元内，SMAD与对应阈值的关系，若大于阈值则说明该像素编码单元内的纹理复杂度较大，需要进一步进行划分，将当前编码单元等分成4份，再判定小编码单元的纹理复杂度，若仍大于对应阈值则继续划分，若小于阈值则说明当前编码单元内图像纹理复杂度较低，纹理变化不大，不需要再进行划分，可直接输出当前编码单元为最优编码单元，避免原始算法中函数的递归运算，提高了编码效率，大大减少编码时间。

本发明通过以下技术方案实现：

一种面向超高清视频的编码单元划分优化方法，其步骤包括：

1)为不同大小的编码单元分别设置一对应的图像纹理复杂度阈值；

2)对于每一编码单元i，计算该编码单元i内每个像素与该编码单元i的像素平均值的差值，将得到的所述差值之和SMAD作为该编码单元i的图像纹理复杂度；如果该编码单元i的图像纹理复杂度小于或等于该编码单元i对应的图像纹理复杂度阈值，则将该编码单元i作为最优编码单元输出；否则对该编码单元i进行划分并初始化一深度值h；然后对每次划分后的每一编码单元，计算其图像纹理复杂度，如果其图像纹理复杂度小于或等于对应的图像纹理复杂度阈值，则将其作为最优编码单元输出，否则对其进行划分并增大该深度值h；当该深度值h达到设定阈值且划分后的编码单元的图像纹理复杂度大于对应的图像纹理复杂度阈值时，则采用HEVC算法确定出最小的RDcost值对应的编码单元作为最优编码单元输出。

进一步的，为不同大小的编码单元分别设置一对应的图像纹理复杂度阈值的方法为：越大的编码单元对应的图像纹理复杂度阈值参数越小，编码单元的图像纹理复杂度阈值为编码单元的图像纹理复杂度阈值参数乘以该编码单元的大小。

进一步的，所述图像纹理复杂度阈值的取值范围为5*uiWidthX*uiHeightY至7*uiWidthX*uiHeightY；uiWidthX为编码单元的宽度，uiHeightY为编码单元的高度。

进一步的，尺寸为64×64的编码单元，对应的图像纹理复杂度阈值为5×64×64；尺寸为32×32的编码单元，对应的图像纹理复杂度阈值为5.5×32×32；尺寸为16×16的编码单元，对应的图像纹理复杂度阈值为6×16×16；尺寸为8×8的编码单元，对应的图像纹理复杂度阈值为6.5×8×8；尺寸为4×4的编码单元，对应的图像纹理复杂度阈值为7×4×4。

进一步的，每次将编码单元等分成4份编码单元。

进一步的，当该深度值h达到设定阈值且划分后的编码单元j的图像纹理复杂度大于对应的图像纹理复杂度阈值时，采用HEVC算法确定最小的RDcost值对应的编码单元作为最优编码单元输出的方法为：比较编码单元j的RDcost和编码单元j划分后的各编码单元的RDcost之和的大小，如果编码单元j划分后的各编码单元的RDcost之和小于编码单元j的RDcost，则将编码单元j划分后的各编码单元作为最优编码单元输出，否则比较编码单元j的上一级编码单元k的RDcost和编码单元k划分后的各编码单元的RDcost之和的大小，依次类推，确定出最小的RDcost值对应的编码单元作为最优编码单元输出。

进一步的，深度值h初始值为1，每次增大该深度值h的递增值为1，当该深度值h达到设定阈值3且划分后的编码单元的图像纹理复杂度大于对应的图像纹理复杂度阈值时，则采用HEVC算法确定出最小的RDcost值对应的编码单元作为最优编码单元输出。

本发明的方法流程为：

(A1)首先定义图像纹理复杂度SMAD。

原始的帧内预测编码单元划分的过程是通过遍历各个深度编码单元，比较当前深度编码单元的RDcost(Rate Distortion cost，率失真优化代价值)和下一个深度的四个子编码单元的RDcost之和的大小，选择较小的RDcost所对应的划分方式为优，获得该层的最优编码单元划分方式。这种算法没有考虑到图像纹理本身的特性。

本文提出利用当前编码单元内每个像素与像素平均值的差值之和来代表图像纹理复杂度，计算公式如下：

式中X_i,j表示像素值，

表示当前编码单元内的像素平均值，SMAD表示当前编码单元内每个像素与像素平均值的差值之和。

(A2)确定不同编码单元的图像纹理复杂度阈值。

对不同序列选取不同的阈值大小进行编码，将实验结果与原始编码结果进行对比，采用全I帧编码，环路滤波关闭，率失真优化打开，QP选择32。具体实验数据如表1所示，表中uiWidthX表示编码单元的宽度，uiHeight表示编码单元的高度。

表1序列wind_wool阈值测试结果

将上述数据进行汇总得到不同阈值编码性能对比结果，具体如表2所示。

表2序列wind_wool不同阈值实验结果性能对比

通过对大量视频序列进行试验发现，阈值越大，编码时间降低越多，编码质量损失越大；阈值越小，编码时间降低越少，编码质量越好。实验发现，当阈值大小在5*uiWidthX*uiHeightY至7*uiWidthX*uiHeightY之间时，在保证编码质量的同时，较好的提升了编码性能。

又由于较大编码单元的纹理比较简单，包含的像素较少，较小编码单元纹理比较复杂，包含的像素较多，所以较大编码单元的阈值参数应相对较小，较小编码单元的阈值参数应相对较大。通过大量实验测试发现，当不同大小的编码单元选取表3所示阈值时，编码效率相对较高，编码质量较好，表中编码单元尺寸和阈值的单位都是像素。

表3不同尺寸编码单元的复杂度阈值

编码单元深度	编码单元尺寸	阈值
			0	64×64	5×64×64
1	32×32	5.5×32×32
			2	16×16	6×16×16
3	8×8	6.5×8×8
			4	4×4	7×4×4

(A3)计算当前编码单元的纹理复杂度，一般从最大编码单元64×64开始，如果纹理复杂度SMAD大于阈值，说明当前编码单元内纹理复杂度较高，需要进一步划分为4份，编码单元的深度值加1并执行下一步；如果SMAD小于阈值，说明当前编码单元内纹理复杂度比较低，可以提前终止编码单元的划分，并跳转到步骤(A6)。

(A4)当前编码单元深度为1或者2，同步骤(A3)先计算当前深度编码单元的纹理复杂度SMAD，然后判断当前深度下的SMAD与对应阈值的关系。如果SMAD小于阈值，提前终止编码单元的划分并跳转到步骤(A6)；如果SMAD大于阈值，则继续将当前编码单元划分为4份，深度值再加1，直到达到深度为3时，若当前编码单元的SMAD小于阈值，则跳转到步骤(A6)，若大于阈值则执行下一步。

(A5)采用HEVC原始编码算法，如果4个4×4编码单元的RDcost之和小于上一级8×8编码单元的RDcost，那么采用代价较小的4×4划分方式，如果4个4×4编码单元RDcost之和大于上一级8×8编码单元的RDcost，则比较4个8×8的编码单元的RDcost之和与16×16编码单元的RDcost的大小，依次类推，直到最终确定最小的RDcost值，从而确定编码单元的划分类型。

(A6)获得最优编码单元划分方式。

本发明的有益效果：

本发明运用于对超高清视频进行编码，以保证编码质量，提高编码时间为目标，避免了原始HEVC算法计算最优编码单元时的递归运算，同时用SMAD的计算替代了RDcost的运算过程，大大减少了编码时间。

具体实验数据如表4所示。表中before代表优化前的编码时间，after代表优化后的编码时间，

BD-rate表示的是与参考编码效率相比，在同一PSNR的条件下对应的编码比特率的提升或者降低的百分比，它计算的是两种算法对应的两条RD曲线的差值的均值；BD-PSNR表示的是在相同编码比特率的条件下重建图像的PSNR提高或者降低的数量，单位为dB。通常情况下BD Bitrate和BD PSNR越小说明编码性能越好，当BD Bitrate小于3，BD PSNR小于1时，基本能保证编码质量。

表4实验数据

经试验测试，本算法针对4K视频序列在保证编码质量的前提下，平均减少约56.244％的编码时间。

附图说明

图1为HEVC原始算法中编码单元的扫描方式图；

图2为HEVC原始编码单元划分过程图；

图3为一种面向超高清编码单元划分优化方法原理图。

具体实施方式

为了便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

本发明的技术方案为：一种面向超高清视频编码单元划分的优化方法。首先对超高清视频序列进行预测单元划分的统计，HEVC原始算法对超高清序列进行编码后的预测单元划分情况如图1所示：左边表示超高清序列的纹理图，右边表示部分纹理图编码后的预测单元划分情况。预测单元是HEVC进行帧内或帧间预测的基本单元，其尺寸从小到大依次为4×4、8×8、16×16、32×32、64×64。整幅图像各个预测单元大小的分布情况如表5所示。

表5 studio_dance序列第一帧预测单元划分情况统计

预测单元大小	64×64	32×32	16×16	8×8	4×4
						预测单元数目	733	2487	6883	11072	4292
占图像总像素数百分比	36.20％	30.70％	21.24％	8.54％	0.83％

每一种预测单元像素数占整幅图像总的像素数的百分比计算如下：

每种编码单元像素数占图像总像素数的百分比＝N×N×M÷(3840×2160)。

其中N代表预测单元尺寸，M代表预测单元的数目，3840和2160分别为超高清序列的像素宽度和高度。

从表7数据可以看出，用HEVC原始算法对4K视频序列预测单元进行划分时，大编码单元的分布占比较多，约67％的像素采用32×32及以上的编码单元，其中36.20％的像素采用64×64的大编码单元编码，而较小的8×8和4×4的编码单元所占比例只有9.37％。同时可知图像纹理越光滑，颜色内容越简单的部分，划分的编码单元尺寸越大；图像纹理越复杂，内容细节越丰富的部分，划分的编码单元尺寸越小。

图1表示HEVC原始算法中编码单元的扫描方式图，图中各方块代表不同深度的编码单元，由于HEVC采用递归的方式进行编码单元的划分，所以HEVC采用Z字型扫描的方式，通过这种扫描顺序可以很好的适应四叉树的递归结构，保证不同的分割都可以按照相同的遍历顺序进行寻址。

HEVC中编码单元大小最大为64×64，最小为8×8，每级可以划分成4个大小相同的编码单元，编码单元大小与深度对应关系如表6所示。编码单元子类预测单元的大小范围从32×32到4×4。

表6编码单元深度与大小的对应关系

深度	0	1	2	3
					编码单元大小	64×64	32×32	16×16	8×8

图2表示HEVC原始编码单元划分过程图。在标准的HEVC帧内预测寻找最优编码单元的过程中，从最大编码单元64×64不断向最小编码单元8×8分割，通过比较4个子类编码单元的Rdcost之和与父类编码单元的Rdcost的大小,取较小的Rdcost值所对应的编码单元划分方式为优，不断递归比较。

为了便于理解本申请的内容，对HEVC标准编码过程中最优编码单元划分方式的选取过程做出进一步阐述，具体步骤为：

(B1)编码单元大小为64×64，搜索最优预测单元划分得到64×64编码单元的RDcost

(B2)划分当前编码单元，得到32×32编码单元，运算第1个32×32编码单元的最优预测单元划分得到当前32×32编码单元的RDcost

(B3)划分当前编码单元，得到16×16编码单元，运算第1个16×16编码单元的最优预测单元划分得到当前16×16编码单元的RDcost

(B4)划分当前编码单元，得到8×8编码单元，运算第1～4个8×8的编码单元各自的最优预测单元划分得到4个8×8编码单元各自的RDcost，并将4个8×8编码单元的Rdcost相加

(B5)返回(B3)步，将第一个16×16编码单元的Rdcost与第4步的4个8×8编码单元的Rdcost之和相比较，取较小的Rdcost，判断出当前第一个16×16编码单元的最佳划分。

(B6)判断第2个16×16的编码单元，重复(B4)～(B5)步，同理确定第2个16×16编码单元的划分。同理判断第3、4个16×16的编码单元，确定第3、4个16×16编码单元的划分。

(B7)累加4个16×16编码单元的Rdcost,与(B2)步得到的第1个32×32编码单元的Rdcost比较，确定第一个32×32编码单元的最佳划分

(B8)重复(B2)～(B7)，同理判断第2、3、4个32×32编码单元的最佳划分，之后将4个32×32编码单元的Rdcost相加，与(B1)步中的64×64编码单元的Rdcost相比，得到最终的编码单元的最优划分。

本发明提出了一种面向超高清视频的编码单元划分优化方法，结合超高清视频的预测单元分布情况与纹理信息之间的关系，提出利用当前编码单元内每个像素与像素平均值的差值之和来代表图像纹理复杂度，计算公式如下：

式中X_i,j表示像素值，

表示当前编码单元内的像素平均值，SMAD表示当前编码单元内每个像素与像素平均值的差值之和。

通过判断当前编码单元内，每个像素与像素平均值差值之和与阈值的关系，若大于阈值则说明该编码单元的纹理复杂度较大，需要进一步进行划分，之后再判定小编码单元的纹理复杂度，若小于阈值则说明该编码单元内像素复杂度较低，纹理变化不大，则不需要进行划分，可直接输出当前编码单元为最优编码单元，避免函数不断递归，大大减少编码时间。

对不同序列选取不同的阈值大小进行编码，将实验结果与原始编码结果进行对比，采用全I帧编码，环路滤波关闭，率失真优化打开，QP选择32。具体实验数据如表7所示。

表7序列wind_wool阈值测试结果

将上述数据进行汇总得到不同阈值编码性能对比结果，具体如表8所示。

表8序列wind_wool不同阈值实验结果性能对比

通过对大量视频序列进行试验发现，阈值越大，编码时间降低越多，编码质量损失越大；阈值越小，编码时间降低越少，编码质量越好。实验发现，当阈值大小在5*uiWidthX*uiHeightY至7*uiWidthX*uiHeightY之间时，在保证编码质量的同时，较好的提升了编码性能。

又由于较大编码单元的纹理比较简单，包含的像素较少，较小编码单元纹理比较复杂，包含的像素较多，所以较大编码单元的阈值参数应相对较小，较小编码单元的阈值参数应相对较大。通过大量实验测试发现，当不同大小的编码单元选取表9所示阈值时，编码效率相对较高，编码质量较好，编码单元尺寸和阈值的单位都为像素。

表9不同尺寸编码单元的复杂度阈值

编码单元尺寸	阈值
		64×64	5×64×64
32×32	5.5×32×32
		16×16	6×16×16
8×8	6.5×8×8
		4×4	7×4×4

图3为一种面向超高清编码单元划分优化方法原理图，分为以下几个步骤：

(C1)计算当前编码单元的纹理复杂度，一般从最大编码单元64×64开始，如果纹理复杂度SMAD大于阈值，说明当前编码单元内纹理复杂度较高，需要进一步划分为4份，编码单元的深度值加1并执行下一步；如果SMAD小于阈值，说明当前编码单元内纹理复杂度比较低，可以提前终止编码单元的划分，并跳转到步骤(C4)。

(C2)当前编码单元深度为1或者2，同步骤(C1)先计算当前深度编码单元的纹理复杂度SMAD，然后判断当前深度下的SMAD与阈值的关系。如果SMAD小于阈值，提前终止编码单元的划分并跳转到步骤(C4)；如果SMAD大于阈值，则继续将当前编码单元划分为4份，深度值再加1，直到达到深度为3时，若当前编码单元的SMAD小于阈值，则跳转到步骤(C4)，若大于阈值则执行下一步。

(C3)采用之前的算法，如果4个4×4编码单元的RDcost之和小于上一级8×8编码单元的RDcost，那么采用代价较小的4×4划分方式，如果4个4×4编码单元RDcost之和大于上一级8×8编码单元的RDcost，则比较4个8×8的编码单元的RDcost之和与16×16编码单元的RDcost的大小，依次类推，直到最终确定最小的RDcost值，从而确定编码单元的划分类型。

(C4)获得最优编码单元划分方式。

通过上述方式得到当前编码单元的最优划分方式。本发明避免了原始HEVC算法计算最优编码单元时的递归运算，同时用SMAD的计算替代了RDcost的运算过程，大大减少了编码时间。经试验测试，本算法针对4K视频序列在保证编码质量的前提下，平均减少约56.244％的编码时间。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非有实施例的具体描述所界定。

Claims (6)

1.一种面向超高清视频的编码单元划分优化方法，其步骤包括：

1)为不同大小的编码单元分别设置一对应的图像纹理复杂度阈值；

2)对于每一编码单元i，计算该编码单元i内每个像素与该编码单元i的像素平均值的差值，将得到的所述差值之和SMAD作为该编码单元i的图像纹理复杂度；如果该编码单元i的图像纹理复杂度小于或等于该编码单元i对应的图像纹理复杂度阈值，则将该编码单元i作为最优编码单元输出；否则对该编码单元i进行划分并初始化一深度值h；然后对每次划分后的每一编码单元，计算其图像纹理复杂度，如果其图像纹理复杂度小于或等于对应的图像纹理复杂度阈值，则将其作为最优编码单元输出，否则对其进行划分并增大该深度值h；当该深度值h达到设定阈值且划分后的编码单元的图像纹理复杂度大于对应的图像纹理复杂度阈值时，则采用HEVC算法确定出最小的RDcost值对应的编码单元作为最优编码单元输出；其中，当该深度值h达到设定阈值且划分后的编码单元j的图像纹理复杂度大于对应的图像纹理复杂度阈值时，采用HEVC算法确定最小的RDcost值对应的编码单元作为最优编码单元输出的方法为：比较编码单元j的RDcost和编码单元j划分后的各编码单元的RDcost之和的大小，如果编码单元j划分后的各编码单元的RDcost之和小于编码单元j的RDcost，则将编码单元j划分后的各编码单元作为最优编码单元输出，否则比较编码单元j的上一级编码单元k的RDcost和编码单元k划分后的各编码单元的RDcost之和的大小，依次类推，确定出最小的RDcost值对应的编码单元作为最优编码单元输出。

2.如权利要求1所述的方法，其特征在于，为不同大小的编码单元分别设置一对应的图像纹理复杂度阈值的方法为：越大的编码单元对应的图像纹理复杂度阈值参数越小，编码单元的图像纹理复杂度阈值为编码单元的图像纹理复杂度阈值参数乘以该编码单元的大小。

3.如权利要求1所述的方法，其特征在于，所述图像纹理复杂度阈值的取值范围为5*uiWidthX*uiHeightY至7*uiWidthX*uiHeightY；uiWidthX为编码单元的宽度，uiHeightY为编码单元的高度。

4.如权利要求2或3所述的方法，其特征在于，尺寸为64×64的编码单元，对应的图像纹理复杂度阈值为5×64×64；尺寸为32×32的编码单元，对应的图像纹理复杂度阈值为5.5×32×32；尺寸为16×16的编码单元，对应的图像纹理复杂度阈值为6×16×16；尺寸为8×8的编码单元，对应的图像纹理复杂度阈值为6.5×8×8；尺寸为4×4的编码单元，对应的图像纹理复杂度阈值为7×4×4。

5.如权利要求1所述的方法，其特征在于，每次将编码单元等分成4份编码单元。

6.如权利要求1所述的方法，其特征在于，深度值h初始值为1，每次增大该深度值h的递增值为1，当该深度值h达到设定阈值3且划分后的编码单元的图像纹理复杂度大于对应的图像纹理复杂度阈值时，则采用HEVC算法确定出最小的RDcost值对应的编码单元作为最优编码单元输出。

Images