CN108259903B - 基于人眼感兴趣区域的h.265样点自适应补偿方法 - Google Patents

Abstract

本发明涉及基于人眼感兴趣区域的H.265样点自适应补偿方法，属于视频编码领域。在时间域上，通过H.265编码中的运动矢量的强度判断人眼感兴趣区域；在空间域上，通过H.265的编码单元划分深度判断人眼感兴趣区域。属于人眼感兴趣区域的地方，进行标准的样点自适应补偿；属于人眼不太感兴趣但划分深度适中的区域，只计算样点自适应补偿的边界补偿模式；属于人眼不人眼感兴趣区域，不进行样点自适应补偿。本发明有效的改善了现有样点自适应补偿算法优化只考虑了空间域特性的问题。利用时域和空间域信息，结合人类视觉系统特性，实现了基于人眼感兴趣区域的H.265样点自适应补偿算法优化，提高了编码效率。

Description

基于人眼感兴趣区域的H.265样点自适应补偿方法

技术领域

本发明属于视频编码领域，涉及基于人眼感兴趣区域的H.265样点自适应补偿方法。

背景技术

样点自适应补偿是H.265标准中引入的新技术，用于降低视频编码中出现的振铃效应，改善视频质量。

标准的样点自适应补偿算法有8种补偿模式，为了获得最优的模式，需要计算每种模式下的率失真代价，其算法复杂度高计算量大。针对这个问题，现有的样点自适应补偿算法优化方法，大部分都是考虑编码单元划分深度进行优化。有的编码方法根据编码单元深度的划分与纹理复杂度的关系，只针对纹理复杂区域进行样点自适应补偿，降低了编码复杂度；有的通过跳过某些经过计算自适应滤波补偿值为0的像素，达到了降低编码复杂度的目的。但上述方法仅分析了视频的空间域特性，而忽略了视频时域特性。

现有的样点自适应补偿算法都只是从视频空间域的角度进行分析，没有考虑到视频时域特性，这说明还有进一步优化的空间。

发明内容

有鉴于此，本发明的目的在于提供基于人眼感兴趣区域的H.265样点自适应补偿方法，针对样点自适应补偿算法优化只考虑视频空间域特性的这问题，结合人类视觉系统特性，实现了基于人眼感兴趣区域的H.265样点自适应补偿算法优化。根据人类视觉系统特性可知，在时间域中视频图像的运动区域和在空间域中视频图像的纹理复杂区域都能够极大程度地吸引人的关注。因此本发明在时间域上，通过H.265编码中的运动矢量的强度判断人眼感兴趣区域；在空间域上，通过H.265的编码单元划分深度判断人眼感兴趣区域。属于人眼感兴趣区域的地方，进行标准的样点自适应补偿；属于人眼不太感兴趣但划分深度适中的区域，只计算样点自适应补偿的边界补偿模式；属于人眼不人眼感兴趣区域，不进行样点自适应补偿，实现对样点自适应补偿算法的优化，针对现有的样点自适应补偿算法只考虑空间域的问题，结合人类视觉系统特性，利用视频时域和空间域双重信息，实现基于人眼感兴趣区域的H.265样点自适应补偿算法优化。

为达到上述目的，本发明提供如下技术方案：

基于人眼感兴趣区域的H.265样点自适应补偿方法，包括以下步骤：

S1：获取当前编码单元LCU视频帧的帧类型；

S2：如果判断为I帧，获取当前LCU的划分深度Depth的值，然后判断是否在人眼感兴趣区域：如果Depth＝0说明不在人眼感兴趣区域，直接进入下一个LCU；如果Depth≥2说明在人眼感兴趣区域，LCU采用标准SAO处理，获得最优补偿值；否则，LCU进行简化SAO处理，获得相对最优值；

S3：如果判断为P帧，获取当前LCU的运动矢量θ参数和深度Depth的值，然后判断是否在人眼感兴趣区域：如果Depth＝0说明不在人眼感兴趣区域，直接进入下一个LCU；如果Depth＝3，说明在人眼感兴趣区域，LCU采用标准SAO处理，获得补偿值；如果2≥Depth≥1且θ>α时，说明也在人眼感兴趣区域，进行标准SAO处理；如果2≥Depth≥1且θ<α时，进行简化SAO处理，获得相对最优补偿值；

S4：重复步骤S1-S3，直到完成最后一个LCU为止。

进一步，所述人眼感兴趣区域的判断方法为：在空间域上根据编码单元划分深度的大小判断该区域是否属于人眼感兴趣区域，在时间域上根据运动矢量强度判断是否属于人眼感兴趣区域。

进一步，所述最优补偿的计算方法为：根据是否属于人眼感兴趣区域，判断是否对所有模式的补偿值的计算，还是只计算其中边界补偿模式的补偿值，还是略过不计算；

根据得到的补偿值，计算各个模式下的率失真代价；

比较各个模式的率失真大小，选择最小一个，该模式即为最优的样点自适应补偿模式。

本发明的有益效果在于：

本发明有效的改善了现有样点自适应补偿算法优化只考虑了空间域特性的问题。利用时域和空间域信息，结合人类视觉系统特性，实现了基于人眼感兴趣区域的H.265样点自适应补偿算法优化，提高了编码效率。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为视频重建帧中振铃现象示意图；

图2为4种边界补偿；(a)为0水平方向，(b)为1垂直方向，(c)为2对角线135度，(d)为3对角线45度；

图3为边带补偿；

图4为参数融合模式；

图5为编码单元划分示意图；(a)为LCU划分示意图，(b)为编码单元划分示意图；

图6为本发明流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

H.265采用基于块的混合编码框架，振铃效应是这种编码方式广泛存在的失真效应之一。为了降低振铃效应对视频质量的影响，H.265引入了样点自适应补偿技术(SampleAdaptive Offset，SAO)，但同时也增加了编码复杂度。为降低复杂度，现有文献从不同编码结构的角度进行了分析，优化了SAO的编码流程。还利用图形直方图，针对不同大小的树形编码块提出了一种补偿改进方法。还通过实验证明了编码单元深度的划分与纹理复杂度的关系，并在此基础上优化了SAO，降低了编码复杂度。还进一步证明了量化参数QP值与纹理复杂度之间的关系，通过跳过某些经过计算自适应滤波补偿值为0的像素，达到了降低编码复杂度的目的。但上述方法仅分析了视频的空间域特性，而忽略了视频时域特性。为此，本发明结合人类视觉系统(Human Visual System，HVS)特性，同时利用时域和空域信息，对样点自适应滤波算法进行了优化，提高了编码效率。

1自适应样点补偿算法相关技术原理

H.265编码过程中，无论量化参数(Quantization Parameter，QP)如何变化，都会因为高频量化过程中的失真产生振铃效应。如图1所示：实线表示像素在不同位置时的像素大小，圆表示重构图像的像素值。可以看出，重构像素值在原始像素值附近波动，这种波动会造成图像质量的下降。

解决振铃效应的基本思想是对波峰值像素添加负值进行补偿，波谷添加正值进行补偿，从而减少原始图像和重构图像之间的误差。主要有三种补偿形式：边界补偿(EdgeOffset，EO)、边带补偿(Band Offset，BO)和参数融合技术。

1)边界补偿

通过比较当前像素值和相邻像素值的大小对当前像素进行归类，然后对同类像素补偿相同值。共分为以下4种模式：水平模式(EO_0)、垂直模式(EO_1)、135°模式(EO_2)和45°模式(EO_3)，如图2所示，图2为4种边界补偿；(a)为0水平方向，(b)为1垂直方向，(c)为2对角线135度，(d)为3对角线45度；其中N表示当前像素，N₁、N₂表示相邻像素。而每种模式又分为5个不同种类，如表1所示。

表1边界补偿分类

2)边带补偿

根据像素值强度，将像素范围等分为32条边带，每条边带都包含一组连续的像素值。例如，对于一个8bit像素值，其范围是0～255，总共32条边带，因此一个边带包含8个连续的像素值。用8q～8q+7(q＝0,1,2…31)的像素点范围表示第q条边带，然后对每个边带进行像素补偿值的计算。根据像素点分布特性，在H.265标准中仅使用了4条连续边带进行补偿，如图3所示。

3)参数融合

采用上相邻块或者左相邻块来预测当前编码模块的SAO参数。如图4所示，其中A、B是已经编码的模块，C是当前编码模块，如果采用参数融合模式，那C只需要传送融合标志位即可。

在H.265标准中的样点自适应补偿算法，需要计算4种边界补偿模式、边带补偿模式和参数融合模式和不补偿模式下亮度和色度的率失真代价，选择率失真代价最小的作为最优参数。且在边界补偿模式下，每种模式都要分别统计和计算表1中的4个种类，导致编码复杂度高进而耗时较久。因此本文结合人眼感兴趣区域，从时域和空间域两个角度对SAO算法进行优化。

2基于人眼感兴趣区域的算法思想

2.1算法思想

人类视觉系统(Human VIsual System，HVS)特性表明，人眼对图像的不同部分的感知度是不同的。对人眼影响较大的区域称为人眼感兴趣区域(Region ofInterest，ROI)，而对应的其他区域则称为非人眼感兴趣区域或背景区域(Background，BC)。依据人类视觉系统的特点，在观看视频过程中，如果非人眼感兴趣区域出现少量的失真情况，人眼不会特别敏感。目前已经确认过的影响视觉注意力的低层次原因主要包括：对比度、形状、运动、尺寸、位置等因素。据此可知，在时间域，视频图像的运动区域特别能够吸引人眼的注意；在空间域，视频图像的边缘信息和纹理复杂区域也能够极大程度地吸引研究的关注。并且在H.265中图像纹理越复杂，所使用编码单元尺寸越小，编码单元深度值depth越大；图像纹理越简单，编码单元的尺寸越大，编码单元深度值depth越小，如图5所示，图5为编码单元划分示意图；(a)为LCU划分示意图，(b)为编码单元划分示意图；LCU是图像划分过程的基本单元。根据上述分析，本文把运动区域和编码单元深度值较大的区域定义为人眼感兴趣的区域，下面将从时域和空间域角度对SAO算法展开分析。

2.2相关算法分析及优化

2.2.1基于编码单元深度的SAO分析

从BasketballPass测试序列视频帧编码单元划分可以得知：人眼感兴趣的区域如人的轮廓、篮球等单元划分深度较深，而非人眼感兴趣区域如地板等背景区域单元划分深度较浅甚至为0。

针对空间域中单元划分深度和纹理特性分布，详细分析了编码单元纹理特性，证明了量化参数QP和单元划分深度Depth成反比例关系，论证了图像纹理的复杂程度和编码单元深度Depth成正比例关系。在空间域中尺寸小于16×16的CU块纹理较复杂，分布在人眼感兴趣区域；而尺寸为64×64的CU块，纹理特征简单，位于人眼不感兴趣的区域。如公式(1)所示：

2.2.2基于运动矢量的SAO分析

从BasketballPass测试序列视频帧运动矢量分布可以得知：人眼感兴趣的区域如人的轮廓、篮球等单元运动矢量较密集，而非人眼感兴趣区域如地板等背景区域运动矢量疏松其值也较小甚至为0。可见，通过运动矢量参数MV可以从时间域的角度判断人眼感兴趣的范围。

H.265在进行SAO处理过程中，采用LCU(尺寸为64×64)作为基础来决定SAO补偿范围。在帧间预测的过程中，每个LCU块会产生并保存256个尺寸为4×4的CU块运动矢量。考虑到4×4的CU块运动矢量的乱序性，采用了256个CU块的运动矢量平均值作为当前LCU块的运动矢量，其计算公式如下所示：

为了简化计算过程，减小复杂度，仅计算了LCU块中256个CU块的运动矢量的水平分量和垂直分量。如公式(3)所示

此时每个LCU块仍需要累加512次，复杂度仍很高，且由于运动矢量的乱序性，运动矢量可能有正值也由负值，通过简单的求和并不一定能够表征当前LCU的运动矢量特性。

为此本发明进一步对运动矢量参数进行了优化处理。因为CU块运动矢量变化具有区域性，所以对LCU模块进行样本抽样处理，而不必计算每个4×4的CU块的运动矢量信息。即在水平分量和垂直分量上每间隔8×8块计算一组数据即可。当水平分量和垂直分量上运动矢量小于阈值β(β＝10)时，此时近似认为运动矢量为0，当大于阈值β时，标志位累计数加1。因为采用间隔尺寸8×8抽样，所以在一个LCU中，共进行了64次抽样，大大降低了复杂度。且当累计数θ达到总抽样数的1/3时，即累计数大于64/3(用α表示64/3)次时，就可以认为此模块属于人眼的人眼感兴趣区域。如公式(4)所示：

R_p表示的是P帧的人眼感兴趣区域的判断，R_i表示的是I帧的人眼感兴趣区域的判断。

本文将视频分为三种区域：不补偿区域、弱补偿区域、标准补偿区域。R＝0表示不补偿区域是视频中的不人眼感兴趣区域，样点自适应补偿作用不明显，因此可以跳过样点自适应补偿滤波处理；R＝1表示弱补偿区域是视频中的人眼不太感兴趣、划分深度适中的区域，需进行一定的弱补偿；R＝2和R＝3表示标准补偿区域是视频中纹理丰富或人眼感兴趣区域。

如图6所示，为本发明流程图。

1.获取当前编码单元LCU视频帧的帧类型。

2.如果判断为I帧，获取当前LCU的划分深度Depth的值，然后判断是否在人眼感兴趣区域：如果Depth＝0说明不在人眼感兴趣区域，直接进入下一个LCU；如果Depth≥2说明在人眼感兴趣区域，LCU采用标准SAO处理，获得最优补偿值；否则，LCU进行简化SAO处理，获得相对最优值。

3.如果判断为P帧，获取当前LCU的运动矢量θ参数和深度Depth的值，然后判断是否在人眼感兴趣区域：如果Depth＝0说明不在人眼感兴趣区域，直接进入下一个LCU；如果Depth＝3，说明在人眼感兴趣区域，LCU采用标准SAO处理，获得补偿值；如果2≥Depth≥1且θ>α时，说明也在人眼感兴趣区域，进行标准SAO处理；如果2≥Depth≥1且θ<α时，进行简化SAO处理，获得相对最优补偿值。

4.重复以上步骤，直到完成最后一个LCU为止。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.基于人眼感兴趣区域的H.265样点自适应补偿方法，其特征在于：该方法包括以下步骤：

S1：获取当前编码单元LCU视频帧的帧类型；

S2：如果判断为I帧，获取当前LCU的划分深度Depth的值，然后判断是否在人眼感兴趣区域：如果Depth＝0说明不在人眼感兴趣区域，直接进入下一个LCU；如果Depth≥2说明在人眼感兴趣区域，LCU采用标准样点自适应补偿技术SAO处理，获得最优补偿值；否则，LCU进行简化SAO处理，获得相对最优值；

简化SAO处理是指只计算边界补偿中的水平模式EO_0、垂直模式EO_1、135°模式EO_2和45°模式EO_3的补偿值；

S3：如果判断为P帧，获取当前LCU的运动矢量θ参数和深度Depth的值，然后判断是否在人眼感兴趣区域：如果Depth＝0说明不在人眼感兴趣区域，直接进入下一个LCU；如果Depth＝3，说明在人眼感兴趣区域，LCU采用标准SAO处理，获得补偿值；如果2≥Depth≥1且θ>α时，说明也在人眼感兴趣区域，进行标准SAO处理；如果2≥Depth≥1且θ<α时，进行简化SAO处理，获得相对最优补偿值；参数α用于判断该LCU的MV是否属于人眼感兴趣区域，θ>α则属于人眼感兴趣区域，否则不属于；

标准SAO处理是指对边界补偿中的水平模式EO_0、垂直模式EO_1、135°模式EO_2和45°模式EO_3、边带补偿模式B0、参数融合模式Merge中所有模式的补偿值的计算；

S4：重复步骤S1-S3，直到完成最后一个LCU为止。

2.根据权利要求1所述的基于人眼感兴趣区域的H.265样点自适应补偿方法，其特征在于：所述人眼感兴趣区域的判断方法为：在空间域上根据编码单元划分深度的大小判断该区域是否属于人眼感兴趣区域，在时间域上根据运动矢量强度判断是否属于人眼感兴趣区域。

3.根据权利要求1所述的基于人眼感兴趣区域的H.265样点自适应补偿方法，其特征在于：所述最优补偿的计算方法为：根据是否属于人眼感兴趣区域，判断是否对所有模式的补偿值的计算，还是只计算其中边界补偿模式的补偿值，还是略过不计算；

根据得到的补偿值，计算各个模式下的率失真代价；

比较各个模式的率失真大小，选择最小一个，该模式即为最优的样点自适应补偿模式。

Images