CN106210717B

CN106210717B - 一种基于视频显著性的hevc解码复杂度控制方法

Info

Publication number: CN106210717B
Application number: CN201610634377.1A
Authority: CN
Inventors: 徐迈; 杨韧; 陶晓明
Original assignee: Tsinghua University; Beihang University
Current assignee: Tsinghua University; Beihang University
Priority date: 2016-08-05
Filing date: 2016-08-05
Publication date: 2017-07-21
Anticipated expiration: 2036-08-05
Also published as: CN106210717A

Abstract

本发明一种基于视频显著性的HEVC解码复杂度控制方法，属于视频解码领域；首先通过HEVC压缩域的区域显著性检测算法，预测每个LCU的显著性，然后选择若干个训练视频训练去块滤波器/简化运动补偿和解码复杂度/视频感知失真之间的函数关系；根据显著性图谱和函数关系建立HEVC解码复杂度控制与感知质量优化方程；最后通过求解该方程，达到精确控制HEVC解码复杂度，且保证感知失真最小的目的。优点在于：在控制解码复杂度时，最大程度地保证视频的感知质量；用户可以在解码端根据既定需求指定目标复杂度进行解码，从而将HEVC解码广泛地应用于具有不同计算能力或者不同电量的终端设备中，或在一定电量下完成指定时间内的视频播放。

Description

一种基于视频显著性的HEVC解码复杂度控制方法

技术领域

本发明属于视频解码领域，具体是一种基于视频显著性的HEVC解码复杂度控制方法。

背景技术

在视频解码领域，复杂度控制对视频解码有重要影响；解码复杂度控制一般是指降低原解码复杂度至任意指定目标复杂度，同时保证由复杂度降低所导致的视频失真最小。在视频编码标准的演进过程中，伴随着编码效率的不断提高，视频解码的复杂度也不断提高；降低和控制视频解码的复杂度成为了视频解码的关键问题。

最新一代高效率视频编码HEVC(High Efficiency Video Coding)标准，能够减少时空冗余以满足高清乃至超高清视频的压缩需求，具有灵活的图像分割方案，并行化编解码设定，相比较之前的H.264/AVC视频编码标准，HEVC可以在只消耗H.264一半码率的前提下获得几乎相同的视频压缩质量；但是这是以编码和解码复杂度作为代价的，这种较高的解码复杂度对HEVC的实时解码的应用造成了很大的挑战。

随着当下智能终端的多样化发展，越来越多的智能终端(智能手机，平板电脑，笔记本电脑，计算机等)进入到人们的生活。计算能力的不同导致各智能终端对视频解码时解码复杂度的承受能力不同。同时，各类智能终端自带的电量也十分迥异，观看视频的剩余电量也可能差异很大。因此，有必要根据智能终端实际计算能力和电量水平进行视频解码的复杂度控制。然而，在解码复杂度控制时，通常需要降低解码复杂度，而降低解码复杂度的代价是视频失真。通常，视频的输出端是人眼，因此在解码复杂度控制时，需要以最小感知失真为优化目标。

人眼在观看视频的时候，关注点并不会遍布整个屏幕，而是会集中在很小的区域中。视频显著性可以用来描述各个区域的受关注程度。显著性非常高的区域称之为感兴趣区域(Region-of-Interest，ROI)，反之则成为非感兴趣区域。ROI区域中的图像质量对视频的感知质量影响很大，而非ROI区域则影响很小。

发明内容

本发明针对目前尚没有可以离线完成视频解码复杂度控制的算法，以及现有的降低HEVC解码复杂度的算法没有考虑感知质量优化的问题，提出了一种基于视频显著性的HEVC解码复杂度控制方法。

具体步骤如下：

步骤一、针对某段视频，用户根据智能终端的计算能力、电量剩余或者根据自己的要求设定视频解码的目标复杂度；

步骤二、利用HEVC压缩域的区域显著性检测算法，生成该视频中每一帧的LCU级别显著性图谱。

具体步骤如下：

步骤201、输入该段视频经过HEVC压缩编码的视频比特流；

视频压缩编码时，每一帧包括若干最大编码单元LCU(Largest Coding Unit)。

步骤202、针对视频压缩编码中每帧包括的LCU，从视频比特流中提取编码每个LCU所使用的比特数；

b_n表示编码第n个LCU使用的比特数，每帧中LCU的数量为N。

步骤203、针对某帧中的第n个LCU，计算该LCU与周围8邻域LCU的比特数差值Δb_n。

Δb_n计算公式如下：

其中I为当前LCU的8邻域LCU的集合，d_n'是第n'个LCU和第n个LCU之间的欧氏距离，σ_b为高斯窗函数的参数。

步骤204、根据比特数b_n和比特数差值Δb_n计算第n个LCU的显著性值w_n。

计算公式如下：

其中b_max表示每帧中b_n的最大值。Δb_max表示每帧中Δb_n的最大值

步骤205、将每一帧内所有LCU的显著性值构成显著性图谱。

步骤三、根据目标复杂度和LCU显著性图谱，设计解码复杂度—感知失真优化控制模型。

具体步骤为：

步骤301、通过训练若干个视频，建立去块滤波器与解码复杂度之间的函数关系；

具体步骤如下：

步骤3011、选取若干个训练视频，获取数万个LCU；

步骤3012、使用原始HEVC解码器对所有训练视频的视频比特流进行解码，记录每个LCU的去块滤波器的时间；

步骤3013、针对每一个LCU，记录该LCU的去块滤波器的时间占平均每帧解码的时间比例

该LCU的去块滤波器的时间是指该LCU去掉去块滤波器后，解码时间的下降值；

平均每帧解码的时间是指该LCU所在的视频中，所有帧解码时间的平均值。

参数f_n＝1表示去掉第n个LCU的去块滤波器；参数f_n＝0表示不去掉第n个LCU的去块滤波器；

步骤3014、对所有时间比例采用最小二乘法拟合，获得去掉去块滤波器时，且不同显著值的LCU，解码复杂度下降的函数表达式ΔC_D(f_n＝1,w_n)；

当不去掉去块滤波器时f_n＝0，解码复杂度下降ΔC_D(f_n＝0,w_n)＝0。

步骤3015、得到去块滤波器与解码复杂度之间的函数表达式ΔC_D(f_n,w_n)。

参数a和b的值随量化参数QP(Quantization Parameter)的变化而变化。

步骤302、通过训练若干个视频，建立去块滤波器与视频感知失真之间的函数关系；

视频的感知失真用视频显著性加权的均方误差来表示；

去掉/不去掉去块滤波器时的视频感知失真表示为：

其中，MSE_D(f_n)为：设置f_n∈{0,1}后解码产生的第n个LCU，与使用原始HEVC解码产生的第n个LCU之间的均方误差(MSE)。

将ΔS_D(f_n,w_n)进行归一化得到

确定的具体函数表达式，得到

步骤303、通过训练若干个视频，建立简化运动补偿与解码复杂度之间的函数关系。

具体步骤为：

步骤3031、选取若干个训练视频，包含数万个LCU；

步骤3032、使用原始HEVC解码器对每个训练视频的视频比特流进行解码，记录每个训练视频中平均每帧的解码时间以及每个LCU的解码时间；

步骤3033、针对每个训练视频分别进行四次解码，并记录每个LCU解码时间的下降值；

在四次解码中，分别将每个LCU中占0、1/4、2/4、3/4比例的像素使用临近像素插值而跳过运动补偿算法；

LCU解码时间的下降值是指：与使用原始HEVC解码器解码时每个LCU的解码时间相比，使用临近像素插值而跳过运动补偿算法时该LCU解码时间的下降值。

步骤3034、针对四次解码，分别记录每个LCU解码时间的下降值与平均帧解码时间的比值，作为复杂度下降值

g_n表示第n个LCU中的每4个像素里，使用临近像素插值而不使用运动补偿算法的像素个数；g_n的值为{0,1,2,3}；

步骤3035、对于每个视频，分别求四次解码复杂度下降值的平均值；

其中L为一个训练视频中的LCU数量，l为训练视频中LCU的序号。

步骤3036、将所有视频的通过最小二乘法进行拟合，得到简化运动补偿与解码复杂度之间的函数关系ΔC_M(g_n)；

其中参数c的值随量化参数QP的变化而变化。

步骤304、通过训练若干个视频，建立简化运动补偿与视频感知失真之间的函数关系。

简化运动补偿时的感知失真可以表示为

其中，MSE_M(g_n)为：设置g_n∈{0,1,2,3}后解码产生的第n个LCU，与使用原始HEVC解码产生的第n个LCU之间的均方误差(MSE)。

将ΔS_M(g_n,w_n)进行归一化，归一化后为归一化方法为：

确定的具体函数表达式，具体步骤如下：

步骤3041、选取若干个训练视频，包含数万个LCU。

步骤3042、使用原始HEVC解码器对每个训练视频的视频比特流进行解码，得到解码后的重建视频；

步骤3043、对每个训练视频进行四次解码，记录每次解码时的每个视频与原始HEVC解码器得到的重建视频的均方误差

在四次解码中，每次解码时分别将每个LCU中占总像素个数0、1/4、2/4、3/4比例的像素使用临近像素插值而跳过运动补偿算法；分别对应g_n＝0,1,2,3；

步骤3044、对每次解码时每个视频的均方误差均使用进行归一化；

步骤3045、对所有训练数据进行最小二乘拟合，得到的函数关系，进而得到的函数表达式。

参数h₁、h₂和h₃的值为常数。

步骤305、得到解码复杂度—感知失真优化控制模型并进行简化。

优化控制模型为：视频的复杂度下降值大于等于目标下降值的时候，使得视频的主观失真最小，即

ΔC_T为特定视频解码复杂度的目标下降值；

当满足ΔS_D(fn,w_n)<<ΔS_M(g_n,w_n)，优化方程分解并化简为：

其中ΔC'_T为特定视频需要通过简化运动补偿达到的解码复杂度的下降值；

步骤四、利用解码复杂度—感知失真优化控制模型，控制视频的实际解码复杂度；达到视频的解码复杂度等于设定的目标复杂度，并且保证视频的感知失真最小的目的。

若结果为：

其中，I满足：

为的升序排列；

若结果为：

其中，N₁，N₂和N₃分别为g_n＝1,2,3的LCU个数，通过以下公式求得：

两个求解结果为在满足约束条件的前提下，给显著性w_n较小的LCU分配较大的f_n和g_n，也即首先去掉显著性较小的LCU的去块滤波器，并且首先简化显著性较小的LCU的运动补偿，且简化程度按照显著性从小到大的顺序减小。

本发明的优点在于：

(1)一种基于视频显著性的HEVC解码复杂度控制方法，可以离线完成视频解码的复杂度控制，并且可以应用于最新一代视频编码标准HEVC。

(2)一种基于视频显著性的HEVC解码复杂度控制方法，可以在视频解码的复杂度降低至指定目标的前提下，最大程度地保证视频的感知质量。

(3)一种基于视频显著性的HEVC解码复杂度控制方法，用户可以在解码端根据既定需求指定目标复杂度进行解码，从而将HEVC解码广泛地应用于具有不同计算能力或者不同电量的终端设备中，或在一定电量下完成指定时间内的视频播放。

(4)一种基于视频显著性的HEVC解码复杂度控制方法，可实现离线完成HEVC解码复杂度的精准控制，以适应不同智能终端的不同的计算能力或剩余电量，并且保证控制后视频的感知质量下降最小。

(5)一种基于视频显著性的HEVC解码复杂度控制方法，可以在不改变编码器的情况下，有解码器离线完成视频解码的复杂度控制，并且可以应用于最新一代视频编码标准HEVC；可以在控制解码复杂度时，最大程度地保证视频的感知质量；用户可以在解码端根据既定需求指定目标复杂度进行解码，从而将HEVC解码广泛地应用于具有不同计算能力或者不同电量的终端设备中，或在一定电量下完成指定时间内的视频播放。

附图说明

图1为本发明基于视频显著性的HEVC解码复杂度控制方法的示意图；

图2为本发明基于视频显著性的HEVC解码复杂度控制方法的流程图；

图3为本发明生成视频每一帧的LCU显著性图谱的方法流程图；

图4为本发明生成视频每一帧的LCU显著性图谱的方法示意图；

图5为本发明设计解码复杂度—感知失真优化控制模型的方法流程图；

图6为本发明去块滤波器与解码复杂度之间的函数关系训练流程图；

图7为本发明简化运动补偿与解码复杂度之间关系训练流程图；

图8为本发明简化运动补偿与视频感知失真程度之间关系训练流程图；

图9为本发明去块滤波器与解码复杂度之间关系训练效果图；

图10为本发明简化运动补偿与解码复杂度之间关系训练效果图；

图11为本发明简化运动补偿与失真程度的训练效果图；

图12为本发明优化控制模型求解结果示意图；

图13为本发明优化控制模型求解结果示例；

图14为本发明实际应用场景示意图。

具体实施方式

下面结合附图与具体实例对本发明作进一步的描述：

一种基于视频显著性的HEVC解码复杂度控制方法，如图1所示，首先，由用户根据设备的计算能力、电量剩余或者根据自己的要求设定视频解码的目标复杂度。然后，通过检测待解码的视频比特流中每个LCU在编码时所需的比特数，来预测每一个LCU的显著性，进而生成块级别显著性权重图谱；然后，通过若干个训练视频的统计学习，提前训练四个函数关系：去块滤波器与解码复杂度之间的函数关系，简化运动补偿与解码复杂度之间的函数关系，去块滤波器与感知失真程度之间的函数关系，以及简化运动补偿与感知失真程度之间的函数关系；接下来根据显著性图谱和训练好的函数关系建立HEVC解码复杂度控制与感知质量优化方程，并对优化方程进行分解和化简；最后，解码器根据目标复杂度和LCU级别的显著性图谱，求解优化方程，求解出哪些LCU需要去掉去块滤波器、哪些LCU需要简化运动补偿以及简化的程度。最后将求解的结果输入到HEVC解码器中，使得HEVC解码器按照求解的结果对解码过程进行简化，这样就可达到精确控制HEVC解码复杂度，并且保证感知失真最小的目的。

具体步骤如下，如图2所示：

如图3和图4所示，具体步骤如下：

步骤201、输入该段视频经过HEVC压缩编码的视频比特流；

视频比特流的格式优选.bin文件，但不局限于此格式。

视频由帧组成，每一帧包括多个LCU，每个LCU含有多个像素点；本发明实例中，LCU尺寸为64*64；如果编码区域不重合的话，一个像素点只能属于一个LCU，每个LCU可以包含多个像素点；

b_n表示编码第n个LCU使用的比特数，每帧中LCU的数量为N。

Δb_n计算公式如下：

对于第n个LCU，显著性预测值w_n计算公式如下：

步骤205、将每一帧内所有LCU的显著性值构成显著性图谱。

对视频中每一帧内的每一个LCU都进行步骤202-204，获得每一个LCU的显著性预测值，从而生成该帧的LCU级别显著性图谱。

步骤三、根据目标复杂度和LCU显著性图谱，解码器设计解码复杂度—感知失真优化控制模型。

如图5所示，具体步骤包括：

步骤301、通过训练若干个视频，建立去块滤波器与解码复杂度之间的函数关系。

本发明采用如下步骤训练该函数关系，但不局限该方法。

如图6所示，具体步骤包括：

步骤3011、选取若干个训练视频，获取数万个LCU。

本发明不局限于训练视频数量和LCU的数量。

设置f_n∈{0,1}表示第n个LCU的去块滤波器是否去掉，参数f_n＝1表示去掉第n个LCU的去块滤波器；参数f_n＝0表示不去掉第n个LCU的去块滤波器；

ΔC_D(f_n＝1,w_n)的拟合曲线如图9所示，横坐标是w_n，纵坐标是N·ΔC_D(f_n＝1,w_n)，其中N为一帧中的LCU总数。图中的黑点表示在对应显著值(w_n)下的去块滤波器复杂度，黑点包含所有训练视频中随机选取的3000个LCU，然后对所选取的数据进行多项式拟合，得到去掉(f_n＝1)去块滤波器时，不同显著值(w_n)的LCU的复杂度下降ΔC_D(f_n＝1,w_n)的函数表达式。本发明进行多项式拟合时，并不限于选取的LCU的个数。

ΔC_D(f_n,w_n)的含义为第n个LCU在给定f_n时的解码复杂度下降值占平均每帧解码复杂度的比例。训练得到的ΔC_D(f_n,w_n)的函数表达式为：

参数a和b的值随量化参数(Quantization Parameter，QP)的变化而变化，具体数值见于表1。

表1

	QP＝22	QP＝27	QP＝32	QP＝37
					a	0.3041	0.3874	0.4101	0.4347
b	0.0255	0.0433	0.0459	0.0576

在本发明中，采用视频显著性加权的均方误差(Saliency Weighted Mean SquareError，SW-MSE)来表示视频的感知失真。

去掉(f_n＝1)和不去掉(f_n＝0)去块滤波器时的感知失真表示为：

将ΔS_D(f_n,w_n)进行归一化后得到为：

确定的函数表达式，得到

如图7所示，具体步骤包括：

步骤3031、选取若干个训练视频，包含数万个以上LCU；

步骤3034、针对四次解码，分别记录每个LCU解码时间的下降值与不简化运动补偿时平均每帧解码时间的比值，作为复杂度下降值

g_n表示第n个LCU中的每4个像素里，使用临近像素插值而不使用运动补偿算法计算的像素个数；g_n的值为{0,1,2,3}；

记录每一个LCU在g_n＝0,1,2,3时该LCU解码时间的下降值，并除以不简化运动补偿时平均每帧的解码时间，这个比值用表示。

g_n＝0表示第n个LCU中，没有像素使用临近像素插值而不使用运动补偿算法；g_n＝1表示第n个LCU中占1/4比例的像素，使用临近像素插值而不使用运动补偿算法；g_n＝2表示第n个LCU中占2/4比例的像素，使用临近像素插值而不使用运动补偿算法；g_n＝3表示第n个LCU中占3/4比例的像素，使用临近像素插值而不使用运动补偿算法；

对于每个视频，都在g_n＝0,1,2,3时，分别求复杂度下降平均值：

ΔC_M(g_n)的含义为第n个LCU在给定g_n时的解码复杂度下降值占平均每帧解码复杂度的比例。

拟合曲线如图10所示，横坐标是g_n，纵坐标是N·ΔC_M(g_n)，其中N为一帧中的LCU总数。图中的黑点表示在对应简化程度(g_n)下的简化运动补偿引起的解码复杂度下降，黑点包含所有训练视频的训练数据，然后对所有的数据进行多项式拟合，得到简化程度(g_n)下的简化运动补偿引起的解码复杂度下降ΔC_M(g_n)的函数表达式。

训练得到的ΔC_M(g_n)的函数表达式为：

其中参数c的值随QP的变化而变化，具体数值见于表2。

表2

	QP＝22	QP＝27	QP＝32	QP＝37
					c	0.0351	0.0520	0.0665	0.0792

步骤304、通过训练若干个视频，建立简化运动补偿与视频感知失真之间的函数关系。简化运动补偿时的感知失真可以表示为

其中，MSE_M(g_n)为设置g_n∈{0,1,2,3}后解码产生的第n个LCU，与使用原始HEVC解码产生的第n个LCU之间的均方误差(MSE)。

将ΔS_M(g_n,w_n)进行归一化，归一化后为归一化方法为：

具体步骤如图8所示，包括：

步骤3041、选取若干个训练视频，包含数万个LCU。

步骤3044、对记录的每次解码时每个视频的均方误差均使用进行归一化；

步骤3045对所有训练数据进行最小二乘拟合，得到的函数关系，进而得到的函数表达式。

拟合曲线如图11所示，横坐标是g_n，纵坐标是图中的黑点表示在对应简化程度(g_n)下的简化运动补偿引起的归一化均方误差，黑点包含所有训练视频的训练数据，然后对所有的数据进行多项式拟合，得到简化程度(g_n)下的简化运动补偿引起的归一化均方误差的函数表达式。

最终，训练得到的的函数表达式为：

参数h₁、h₂和h₃的值为常数，具体数值见于表3。

表3

综合去块滤波器/运动补偿与解码复杂度，感知失真程度之间的函数关系以及步骤二中每一帧的LCU显著性图谱，得到解码复杂度—感知失真优化控制模型：

优化控制模型为：视频的复杂度下降值大于等于目标下降值的时候，使得视频的主观失真最小，即minΔS s.t.ΔC≥ΔC_T

ΔC_T为特定视频解码复杂度的目标下降值；

该解码复杂度—感知失真优化控制模型中，含有一个优化目标和一个优化条件。优化目标是第一个表达式，使得视频的感知失真最小。优化条件为第二个表达式：HEVC的解码复杂度下降值大于等于目标下降值。为了达到感知失真最小，该方程的解会使得解码复杂度下降值在满足大于等于目标下降值的前提下，尽可能接近目标下降值；既达到控制解码复杂度到目标复杂度的目的，又可以到达让解码复杂度下降到目标复杂度以下，以满足计算资源和电量剩余限制的目的。

下面对控制优化方程进行化简，由于去掉去块滤波器导致的感知失真要远远小于由于简化运动补偿而导致的失真，即ΔS_D(f_n,w_n)＜＜ΔS_M(g_n,w_n)，上述优化方程可分解并化简为：

当只去掉某些LCU的去块滤波器，就可以达到目标复杂度时，仅去掉某些LCU的去块滤波器，不简化运动补偿，模型简化为(1)式；

否则，当去掉全部LCU的去块滤波器时，还达不到目标复杂度，则首先去掉所有LCU的去块滤波器，然后简化某些LCU的运动补偿，模型简化为(2)式；

ΔC'_T为特定视频，需要通过简化运动补偿达到的解码复杂度的下降值；

具体步骤为：

步骤401、当所设置的目标复杂度满足时，求解公式(1)。

方程(1)的求解结果为：

其中，I满足：

定义为的升序排列；

步骤402、当所设置的目标复杂度满足时，求解公式(2)。

具体步骤如下：

首先、选取若干个训练视频，获得数千帧；

通过对帧的进行观察，定义为的升序排列，可以得到：

然后，根据，公式(3)，求解方程(2)的解为：

为降低求解公式(4)所消耗的复杂度，可以采用查表法，即事先对每个目标复杂度ΔC_T都求出公式(4)的解N₁，N₂和N₃，并建立一张表，在实际应用时从表中查得N₁，N₂和N₃的值即可，但此处并不限于此方法。

方程(1)和(2)的两个求解结果如图12a和图12b所示，为在满足约束条件的前提下，给显著性(w_n)较小的LCU分配较大的f_n和g_n，也即首先去掉显著性较小的LCU的去块滤波器，并且首先简化显著性较小的LCU的运动补偿，且简化程度按照显著性从小到大的顺序减小；显著性越小简化程度越高，显著性越大简化程度越低。

如图13所示，展示了求解结果的示例，通过和人眼关注点分布以及图2的显著性预测分布比较，可以发现求得的解满足上述规律。在实施例中，排序优选快速排序法，但不局限于快速排序方法。

如图14所示，本发明以一帧视频为例实际应用场景示意图，展示了本发明在可移动设备电量剩余不足时的应用场景。在图中，每列对应一个目标复杂度。假设当所使用的设备电量剩余80％时，该视频恰好可以在电量用尽前完成解码和播放。如果设备电量不足，例如剩余70％，则需要使用本发明的方法，将解码复杂度降至某个目标复杂度，这一目标复杂度是由观看视频时解码所占功耗比例决定的。当解码复杂度下降时，视频质量也会下降。从图中还可以看出，当解码复杂度下降时，视觉显著区域(例如人脸)的质量下降不明显，而非显著区域(例如背景中的箱子)的质量下降较为明显。这说明，本发明方法牺牲非显著区域的质量，而尽可能保证了显著区域的质量。这样，可以使得视频感知质量达到最优。

本发明是具有基于视频显著性的解码复杂度分配机制，能够按照区域的视觉显著性来分配相应的解码复杂度，在一定程度上减小由于解码复杂度的降低所导致的视频的感知失真。本发明通过建立并求解HEVC的解码复杂度—感知失真优化控制模型，可以准确地控制HEVC视频解码的复杂度，并且通过保证关键区域的视频质量，来保证解码后视频整体的感知质量，即在将实际视频编码的复杂度降低至指定水平的目标复杂度的前提下，最大程度地保证视频感知质量。

本发明通过设定目标复杂度，对视频编码的复杂度进行准确地控制，适用于需要进行视频解码但计算能力受限或者电量不足的终端设备中。尽管本发明已参照具体实施方式进行描述和举例说明，但是并不意味着本发明限于这些描述的实施方式。

Claims

1.一种基于视频显著性的HEVC解码复杂度控制方法，其特征在于，具体步骤如下：

步骤二、利用HEVC压缩域的区域显著性检测算法，生成该视频中每一帧的LCU级别显著性图谱；

LCU(Largest Coding Unit)是指最大编码单元；每帧中LCU的数量为N；

步骤三、根据目标复杂度和LCU显著性图谱，设计解码复杂度—感知失真优化控制模型；

\underset{{f_{n}, g_{n}}_{n = 1}^{N}}{m i n} Σ_{n = 1}^{N} ({ΔS}_{D} (f_{n}, w_{n}) + {ΔS}_{M} (g_{n}, w_{n})

s . t . Σ_{n = 1}^{N} ({ΔC}_{D} (f_{n}, w_{n}) + {ΔC}_{M} (g_{n})) &GreaterEqual; {ΔC}_{T}

ΔS_D(f_n,w_n)为去掉/不去掉去块滤波器时的视频感知失真；w_n为第n个LCU的显著性值；f_n表示是否去掉第n个LCU的去块滤波器的参数；ΔS_M(g_n,w_n)为简化运动补偿时的感知失真；g_n表示第n个LCU中的每4个像素里，使用临近像素插值而不使用运动补偿算法的像素个数；g_n的值为{0,1,2,3}；

ΔC_D(f_n,w_n)为去块滤波器与解码复杂度之间的函数表达式；ΔC_M(g_n)为简化运动补偿与解码复杂度之间的函数关系；ΔC_T为特定视频解码复杂度的目标下降值；

由于ΔS_D(fn,w_n)＜＜ΔS_M(g_n,w_n)，优化方程分解并化简为：

其中，ΔS_D(f_n,w_n)归一化得到ΔS_M(g_n,w_n)归一化后得到

ΔC'_T为特定视频需要通过简化运动补偿达到的解码复杂度的下降值；

{ΔC}_{T}^{'} = {ΔC}_{T} - Σ_{n = 1}^{N} {ΔC}_{D} (f_{n} = 1, w_{n}) = {ΔC}_{T} - Σ_{n = 1}^{N} \frac{1}{N} \cdot (a \cdot w_{n} + b)

参数a和b的值随量化参数QP(Quantization Parameter)的变化而变化；

具体数值见下表：

表1

步骤四、利用解码复杂度—感知失真优化控制模型，控制视频的实际解码复杂度；达到视频的解码复杂度等于设定的目标复杂度，并且保证视频的感知失真最小的目的；

若结果为：

其中，即为集合中所有的N个w_n从小到大排序后排在第I个的值；I满足：

\frac{1}{N} Σ_{n = 1}^{I} (a \cdot {\tilde{w}}_{n} + b) &GreaterEqual; {ΔC}_{T} > \frac{1}{N} Σ_{n = 1}^{I - 1} (a \cdot {\tilde{w}}_{n} + b)

为的升序排列；为集合中所有的N个w_n从小到大排序后排在第n个的值；

若结果为：

\underset{N_{3}, N_{2}, N_{1}}{m i n} N_{3}^{2} + (8 h_{1} + 4 h_{2} + 2 h_{3}) \cdot (N_{2}^{2} - N_{3}^{2}) + (h_{1} + h_{2} + h_{3}) \cdot (N_{2}^{2} - N_{1}^{2})

s . t . \frac{1}{N} \cdot c \cdot (N_{1} + 2 N_{2} + 3 N_{3}) &GreaterEqual; {ΔC}_{T}^{'}

参数h₁、h₂和h₃的值为常数；参数c的值随量化参数QP的变化而变化；

具体数值见于表2：

表2

QP＝22 QP＝27 QP＝32 QP＝37 c 0.0351 0.0520 0.0665 0.0792

两个求解结果为在满足约束条件的前提下，令显著性w_n小于等于的LCU的f_n为1，其他LCU的f_n为0；令显著性w_n小于等于的LCU的g_n为3，令显著性w_n大于等于且小于等于的LCU的g_n为2，令显著性w_n大于等于且小于等于的LCU的g_n为1，令显著性w_n大于等于的LCU的g_n为0。

2.如权利要求1所述的一种基于视频显著性的HEVC解码复杂度控制方法，其特征在于，所述的步骤二具体如下：

步骤201、输入该段视频经过HEVC压缩编码的视频比特流；

b_n表示编码第n个LCU使用的比特数；

步骤203、针对某帧中的第n个LCU，计算该LCU与周围8邻域LCU的比特数差值Δb_n；Δb_n计算公式如下：

{Δb}_{n} = {(\frac{Σ_{n^{'} &Element; I} \exp (\frac{d_{n^{'}}^{2}}{σ_{b}^{2}}) {(b_{n^{'}} - b_{n})}^{2}}{Σ_{n^{'} &Element; I} \exp (\frac{d_{n^{'}}^{2}}{σ_{b}^{2}})})}^{\frac{1}{2}}

其中I为当前LCU的8邻域LCU的集合，d_n'是第n'个LCU和第n个LCU之间的欧氏距离，σ_b为高斯窗函数的参数；

步骤204、根据比特数b_n和比特数差值Δb_n计算第n个LCU的显著性值w_n；

计算公式如下：

w_{n} = \frac{1}{2} (\frac{b_{n}}{b_{\max}} + \frac{{Δb}_{n}}{{Δb}_{\max}})

其中b_max表示每帧中b_n的最大值；Δb_max表示每帧中Δb_n的最大值；

步骤205、将每一帧内所有LCU的显著性值构成显著性图谱。

3.如权利要求1所述的一种基于视频显著性的HEVC解码复杂度控制方法，其特征在于，所述的步骤三具体如下：

视频的感知失真用视频显著性加权的均方误差来表示；

去掉/不去掉去块滤波器时的视频感知失真表示为：

{ΔS}_{D} (f_{n}, w_{n}) = \frac{w_{n}}{Σ_{n = 1}^{N} w_{n}} {MSE}_{D} (f_{n})

其中，MSE_D(f_n)为：设置f_n∈{0,1}后解码产生的第n个LCU，与使用原始HEVC解码产生的第n个LCU之间的均方误差(MSE)；

将ΔS_D(f_n,w_n)进行归一化得到

Δ {\tilde{S}}_{D} (f_{n}, w_{n}) = \frac{{ΔS}_{D} (f_{n}, w_{n})}{{ΔS}_{D} (f_{n} = 1, w_{n} = 1)} = w_{n} \frac{{MSE}_{D} (f_{n})}{{MSE}_{D} (f_{n} = 1)}

确定的具体函数表达式，得到

步骤303、通过训练若干个视频，建立简化运动补偿与解码复杂度之间的函数关系；

步骤304、通过训练若干个视频，建立简化运动补偿与视频感知失真之间的函数关系；

简化运动补偿时的感知失真可以表示为

{ΔS}_{M} (g_{n}, w_{n}) = \frac{w_{n}}{Σ_{n = 1}^{N} w_{n}} {MSE}_{M} (g_{n})

其中，MSE_M(g_n)为：设置g_n∈{0,1,2,3}后解码产生的第n个LCU，与使用原始HEVC解码产生的第n个LCU之间的均方误差(MSE)；

将ΔS_M(g_n,w_n)进行归一化后为归一化方法为：

Δ {\tilde{S}}_{M} (g_{n}, w_{n}) = \frac{{ΔS}_{M} (g_{n}, w_{n})}{{ΔS}_{M} (g_{n} = 3, w_{n} = 1)} = w_{n} \frac{{MSE}_{M} (g_{n})}{{MSE}_{M} (g_{n} = 3)}

4.如权利要求3所述的一种基于视频显著性的HEVC解码复杂度控制方法，其特征在于，所述的步骤301具体如下：

步骤3011、选取若干个训练视频，获取数万个LCU；

平均每帧解码的时间是指该LCU所在的视频中，所有帧解码时间的平均值；

当不去掉去块滤波器时f_n＝0，解码复杂度下降ΔC_D(f_n＝0,w_n)＝0；

步骤3015、得到去块滤波器与解码复杂度之间的函数表达式ΔC_D(f_n,w_n)；

{ΔC}_{D} (f_{n}, w_{n}) = \frac{1}{N} \cdot (a \cdot w_{n} + b) \cdot f_{n} .

5.如权利要求3所述的一种基于视频显著性的HEVC解码复杂度控制方法，其特征在于，所述的步骤303具体如下：

步骤3031、选取若干个训练视频，包含数万个LCU；

LCU解码时间的下降值是指：与使用原始HEVC解码器解码时每个LCU的解码时间相比，使用临近像素插值而跳过运动补偿算法时该LCU解码时间的下降值；

Δ {\overset{&OverBar;}{C}}_{M}^{*} (g_{n}) = \frac{1}{L} Σ_{l = 1}^{L} {ΔC}_{M}^{*} (g_{l} = g_{n})

其中L为一个训练视频中的LCU数量，l为训练视频中LCU的序号；

{ΔC}_{M} (g_{n}) = \frac{1}{N} \cdot c \cdot g_{n} .

6.如权利要求3所述的一种基于视频显著性的HEVC解码复杂度控制方法，其特征在于，所述的步骤304具体如下：

步骤3041、选取若干个训练视频，包含数万个LCU；

步骤3045、对所有训练数据进行最小二乘拟合，得到的函数关系，进而得到的函数表达式：

Δ {\tilde{S}}_{M} (g_{n}, w_{n}) = w_{n} \cdot (h_{1} g_{n}^{3} + h_{2} g_{n}^{2} + h_{3} g_{n}) .