CN103647975A - 基于直方图分析的改进样本自适应偏移滤波方法 - Google Patents

Abstract

一种基于直方图分析的改进样本自适应偏移滤波方法，包括以下步骤：根据重建帧的编码树块中的所有样本值的灰度值，分析其直方图分布情况，根据直方图分布情况对编码树块进行分类；将自适应样本偏移滤波的划分为窄编码树块模式、宽编码树块模式、双中心编码树块模式和默认模式，分别计算不同分类模式下的最佳率失真代价值，选择最小的率失真代价值对应的模式作为真正采用的带滤波模式，对相应的带开始位置以及偏移值编码并传输。本发明根据编码树块直方图分布的特点，新增三种更加精确和高效的滤波分类方法，从而提高了样本自适应偏移滤波方法的精确性，在码率相同的情况下，能有效提高视频主客观质量。

Description

基于直方图分析的改进样本自适应偏移滤波方法

技术领域

本发明属于视频编解码技术领域，尤其是一种基于直方图分析的改进样本自适应偏移滤波方法。 

背景技术

近年来，高清/超高清视频编码技术作为未来家庭影院、数字广播电视、网络视频、高清电影等业务的基础核心技术成为业界关注的焦点。高清/超高清视频业务的发展对现有的图像和视频压缩技术提出了新的要求：视频编码的压缩效率需要进一步提高，图像和视频应更加注重主观质量。虽然H.264/AVC比MPEG4等在性能上有了很大的提高，但针对高清/超高清视频通信，其压缩比和实际的应用需求相比还有一定的差距。为此，国际标准化组织ISO/IEC（MPEG）和ITU-T启动了下一代数字视频压缩标准的规划——高效视频编码（High Efficiency Video Coding,HEVC），目标是在H.264/AVC高档次的基础上，压缩效率提高一倍以上。 

HEVC依然沿用H.264的混合编码框架，采用帧间和帧内预测编码消除时间域和空间域的相关性，变换编码对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余度。与H.264的9个帧内预测方向相比，HEVC支持高达35个方向的帧内预测编码，这种更多角度的帧内预测算法包含了更多“接近水平”与“接近垂直”的预测方向，大大增强了帧内预测能力。 

对于帧内亮度预测模式的编码，HEVC编码器会根据当前编码块的左块和上块的预测模式计算出三种候选模式，即MPM（最有可能的模式），如果当前块的预测模式是三种候选模式中的一种，则直接传递MPM的索引号。与H.264相似，HEVC在亮度域同样支持高达1/4精度的运动矢量，而在色度域，如果视频源采用4:2:0的采样方式，则其可支持高达1/8精度的运动矢量。但与H.264不同的是，HEVC采用8抽头的滤波器进行1/2像素精度的内插编码，采用7抽头的滤波器实现1/4像素精度的内插编码。 

HEVC的环路滤波过程总共两个环节：去块效应滤波，自适应样点补偿。其中，自适应样点补偿SAO为HEVC采用的新技术。自适应样点补偿可进一步被分为带状补偿（Band Offset，BO）和边缘补偿（Edge offset，EO）两大类。边缘补偿算法（EO）主要针对图像中每个对象的轮廓进行补偿。首先需要从水平、竖直、左倾45度斜率与右倾45度斜率的四类相邻编码块中选择一种进行当前像素点的值与相邻两个像素点的值的比较。与边缘补偿算法（EO）相对应，带状补偿算法（BO）主要用于对图像中每个对象内部的色彩和纹路信息进行补偿。其补偿类型的划分完全基于像素点本身的幅值，也就是说HEVC将像素强度从0到最大值划分为32个等级，通过率失真优化的选择，其中4个连续等级的像素补偿将最终写入码流。 

在HEVC现有的环路滤波部分与H.264相比有如下两点改进：第一，改进了去块效应滤波器，使其更加适应于并行处理；第二，增加了样本自适应偏移滤波（Sample Adaptive Offset，SAO），进一步提高客观质量。下面分别进行说明： 

去块滤波器减少了由于块预测和量化引起的块效应。这里有两个引起块效应的主要原因。第一，变换和量化是基于块的，而且量化过程引起失真。因为，量化系数误差在不同的块中是不同的，所以，两个块之间的边界就会不连续。第二，运动估计和运动补偿也是产生块效应的一个原因。运动补偿不能完全匹配，因为不同的块的运动补偿块可能来自于不同的帧或者来自同一帧的不同区域，在这种情况下，预测单元的边界也是不连续的。如果重建的帧用作了参考帧，那么这些不连续的边界将会复制到将用来预测的帧中。所以需要去块效应滤波器来降低块效应。它采用一组低通滤波器，这些滤波器是根据边界强度（BS）自适应处理不同的边界，它们提供了更好的视觉质量并且提高了预测其他帧的能力。实验表明去块滤波提高了重建帧的客观和主观质量。 

样本自适应偏移滤波的引入是为了减少边缘振荡效应（ringing artifact）。边缘振荡效应主要是由于量化误差引起的。在高效视频编码中，变换块的大小为4*4,8*8,16*16,以及32*32，而在H.264中，变换块的大小不大于8*8。大的变换块会引入更严重的边缘振荡效应。样本自适应偏移滤波将每个编码树块 （Coding Tree Block,CTB）中的像素分成若干类，对每一类计算出单独的偏移值（offset），并加到相应的样本值上。分类技术主要包括两种，带偏移滤波（Band Offset，BO）和边缘偏移滤波（Edge Offset，EO）。 

自适应样本偏移滤波中的带偏移滤波只有在编码树块中的像素样本值分布集中在某四个子带的时候，才能得到较好的性能。经过统计编码树块的直方图分布情况，按照集中程度分平均有44%的编码树块的直方图分布集中在多于四个子带和少于四个子带的范围内，按照分布的中心分有20%的编码树块的直方图分布集中在两个中心。针对上述三种情况下，现有的自适应样本偏移滤波中的带偏移滤波是不合适的，难以满足视频的主观和客观视觉质量的要求。 

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于直方图分析的改进样本自适应偏移滤波方法，其根据图像中编码树块的直方图分布特点，通过新增三种自适应滤波方法中带滤波的像素分类方法，提高环路滤波的性能，满足视频的主观和客观视觉质量的要求。 

本发明解决其技术问题是采取以下技术方案实现的： 

一种基于直方图分析的改进样本自适应偏移滤波方法，包括以下步骤： 

步骤1、根据重建帧的编码树块中的所有样本值的灰度值，分析其直方图分布情况，根据直方图分布情况对编码树块进行分类； 

步骤2、将自适应样本偏移滤波的划分为窄编码树块模式、宽编码树块模式、双中心编码树块模式和默认模式，分别计算不同分类模式下的最佳率失真代价值，选择最小的率失真代价值对应的模式作为真正采用的带滤波模式，对相应的带开始位置以及偏移值编码并传输。 

而且，所述步骤1的具体处理过程为： 

步骤1.1、按照光栅扫描的顺序，统计每个编码树块内像素的灰度直方图分布情况； 

步骤1.2、对每个编码树块，按照光栅扫描顺序统计某个带中的像素样本的个数，如果当前像素的灰度值满足以下条件： 

Pel(x,y)≥8×k且Pel(x,y)≤8×k+7 

则认为该像素样本落入第k个子带中，则该子带的数目加一，从而统计出所有子带中的像素样本个数；其中，其中Pel(x,y)表示位置为（x,y）处的像素的灰度值，k=0,1,2,3,4,5,6,7。 

步骤1.3、根据步骤2统计得出的结果，对每个编码树块的像素分布统计直方图； 

步骤1.4、对重建帧中的所有编码树块按照光栅扫描顺序进行统计，根据编码树块的直方图的集中程度将编码树块分为如下三类：窄编码树块、宽编码树块、常规编码树块； 

步骤1.5、对重建帧中的所有编码树块按照光栅扫描顺序进行统计，根据编码树块的直方图的中心个数将编码树块分为如下三类：单中心编码树块双中心编码树块和多中心编码树块。 

而且，所述步骤1.4的处理方法为： 

步骤1.4.1、将当前编码树块的直方图的峰值的半值设为阈值； 

步骤1.4.2、如果阈值以上的子带数目小于4，则归为窄编码树块； 

步骤1.4.3、如果阈值以上的子带数目大于4，则归为宽编码树块； 

步骤1.4.4、如果阈值以上的子带数目等于4，则归为常规编码树块。 

而且，所述步骤1.5的处理方法为： 

步骤1.5.1、将当前编码树块的直方图的峰值的半值设为阈值； 

步骤1.5.2、如果大于阈值的子带连续分布，则归为单中心编码树块； 

步骤1.5.3、如果大于阈值的子带不连续分布且分布在两个中心，则归为双中心编码树块； 

步骤1.5.4、如果大于阈值的子带不连续分布且分布在两个以上中心，则归为多中心编码树块。 

而且，所述步骤2的处理方法为： 

步骤2.1、将自适应样本偏移滤波的基于带滤波的分类模式划分为如下四种：适应窄编码树块的窄编码树块模式、适应宽编码树块的宽编码树块模式、适应双中心编码树块的双中心编码树块模式以及默认模式； 

步骤2.2、根据四种自适应样本偏移滤波的基于带滤波的分类模式，计算四 种模式下各自的最佳带开始位置、偏移值和最小的率失真代价； 

步骤2.3、根据四种自适应样本偏移滤波的分类模式下的最佳率失真代价值，选出最小的率失真代价值对应的模式作为真正采用的带滤波模式，并对相应的带开始位置以及若干个偏移值编码并传输。 

而且，所述步骤2.3的处理方法为： 

步骤2.3.1、像素值总共平均分为32个子带，在默认模式下，根据率失真代价，选出最佳的4个带，传输它们的带开始位置和4个偏移值； 

步骤2.3.2、在窄编码树块模式下，根据率失真代价，选出最佳的2个子带，传输它们的带开始位置和2个偏移值，并记录率失真代价值； 

步骤2.3.3、在宽编码树块模式下，根据率失真代价，选出最佳的8个子带，传输它们的带开始位置和8个偏移值，并记录率失真代价值； 

步骤2.3.4、在双中心编码树块模式下，根据率失真代价，选出最佳的两组带，传输它们的2个带开始位置和各自对应的2个偏移值，并记录率失真代价值。 

本发明的优点和积极效果是： 

本发明在样本自适应偏移滤波中，根据编码树块直方图分布的特点，新增三种更加精确和高效的滤波分类方法，从而使得样本自适应偏移滤波适用于更加广泛的编码树块类型，提高了样本自适应偏移滤波方法的精确性，在码率相同的情况下，能有效提高视频主客观质量。 

附图说明

图1为带偏移滤波的四个连续的带和起始带位置示意图； 

图2a、图2b为Johnny序列中第一帧编码树块的窄编码树块直方图和宽编码树块的直方图，图2c、图2d分别为与图2a和图2b相应的编码树块； 

图3a为Johnny序列中第一帧编码树块的双中心点编码树块的直方图，图3b为与图3a相应的编码树块； 

具体实施方式

以下结合附图对本发明做进一步详述： 

一种基于直方图分析的改进样本自适应偏移滤波方法，是基于以下思想来 实现的：根据重建帧的编码树块中的所有样本值的灰度值，分析其直方图分布情况，根据分析结果得知，原有的样本自适应偏移滤波方法，有一半以上的编码树块的情况是不适用的。为了更好地适应不同直方图分布特点的编码树块，引入了三种样本自适应偏移滤波方法中的像素分类方法，以此来提高样本自适应偏移滤波的效率。具体地说：首先，统计视频序列中的编码树块的像素样本的直方图分布情况，按照定义的分类方法对其分类，分析统计结果；其次，根据统计的结果，增加三种样本自适应偏移滤波的分类方法，包括传输一个子带开始位置和两个子带的偏移值，传输一个子带开始位置和八个子带的偏移值，传输两个子带开始位置和分别两个子带的偏移值，来适应不同特征的直方图分布的编码树块。根据计算不同分类方法下的率失真优化值，找到最小值并选择其对应的分类方法作为实际的分类方法。 

本方法的具体步骤包括： 

步骤1、根据重建帧的编码树块中的所有样本值的灰度值，分析其直方图分布情况，根据直方图分布情况，对编码树块进行分类。 

在本步骤中，直方图是用来描述数据分布的函数，计算落在每个带中的像素个数。通过分析一个编码树块中的像素分布特性，能够更好地改进样本自适应偏移滤波方法。在高效视频编码中，样本值的范围一般为0到255（8比特量化），总共分成32个带，每个带的范围为8。如图1所示。 

本步骤的具体处理方法为： 

步骤1.1、按照光栅扫描的顺序，统计每个编码树块内像素的灰度直方图分布情况； 

步骤1.2、对每个编码树块，按照光栅扫描顺序统计某个带中的像素样本的个数，如果当前像素的灰度值满足以下条件： 

Pel(x,y)≥8×k且Pel(x,y)≤8×k+7 

则认为该像素样本落入第k个子带中。其中Pel(x,y)表示位置为（x,y）处的像素的灰度值，k=0,1,2,3,4,5,6,7。如果该像素样本落入第k个子带中，则该子带的数目加一，从而统计出所有八个子带中的像素样本的个数； 

步骤1.3、根据步骤2统计得出的结果，对每个编码树块的像素分布画出一 个统计直方图。 

如图2a和图2b所示，图2a为第64个编码树块（CTB-Y）的直方图（窄编码树块）,图2b为第90个编码树块（CTB-Y）的直方图（宽编码树块），其中，横坐标为子带的标号，纵坐标为落在该子带内的样本个数，图2c和图2d分别给出了相应的编码树块。 

如图3a及图3b所示，图3a为为第8个编码树块（CTB-Y）的直方图（双中心编码树块的直方图），图3b为8个编码树块。 

步骤1.4、对重建帧中的所有编码树块按照光栅扫描顺序进行统计，根据编码树块的直方图的集中程度将编码树块分为三类：窄编码树块（Narrow_CTB）、宽编码树块（Broad_CTB）、常规编码树块（Normal_CTB）。 

其具体处理方法为： 

步骤1.4.1、将当前编码树块（CTB）直方图的峰值的半值设为阈值； 

步骤1.4.2、如果阈值以上的子带数目小于4，则归为窄编码树块； 

步骤1.4.3、如果阈值以上的子带数目大于4，则归为宽编码树块； 

步骤1.4.4、如果阈值以上的子带数目等于4，则归为常规编码树块； 

统计高性能视频编码的标准视频序列中三种编码树块出现的比重，结果是：平均的窄编码树块（Narrow_CTB）和宽编码树块（Broad_CTB）大约占三种编码树块总数的44%； 

根据大量编码树块的直方图分布，窄编码树块（Narrow_CTB）、宽编码树块（Broad_CTB）、常规编码树块（Normal_CTB）所占的比例如表1所示。 

表1直方图密度分析结果 

视频序列	Narrow_CTB	Broad_CTB	Normal_CTB
				Class A	36%	3%	61%
Class B	24%	10%	66%
				Class C	36%	13%	51%
Class D	39%	14%	47%
				Class E	41%	2%	57%
Class F	45%	2%	53%
				平均	37%	7%	56%

[0070]  步骤1.5、对重建帧中的所有编码树块按照光栅扫描顺序进行统计，根据所有编码树块直方图的中心个数将编码树块分为三类：分别是直方图分布集中在一个中心带的单中心编码树块（One_P_CTB）,直方图分布集中在两个中心带的双中心编码树块（Two_P_CTB）,直方图分布集中多于两个中心带的多中心编码树块（Other_CTB）。 

其具体处理方法为： 

步骤1.5.1、将当前CTB的直方图的峰值的半值设为阈值； 

步骤1.5.2、如果大于阈值的子带连续分布，则归为单中心编码树块； 

步骤1.5.3、如果大于阈值的子带不连续分布且分布在两个中心，则归为双中心编码树块； 

步骤1.5.4、如果大于阈值的子带不连续分布且分布在两个以上中心，则归为多中心编码树块； 

统计高性能视频编码的标准视频序列中三种编码树块出现的比重，结果是平均的双中心编码树块大约占三种编码树块总数的20%； 

根据大量编码树块的直方图分布，统计单中心编码树块（One_P_CTB）、双中心编码树块（Two_P_CTB）、多中心编码树块（Other_CTB）所占的比例如表2所示。 

表2直方图顶点分析结果 

视频序列	One_P_CTB	Two_P_CTB	Other_CTB
				Class A	77%	19%	4%
Class B	81%	19%	0%
				Class C	62%	27%	11%
Class D	69%	25%	6%
				Class E	82%	13%	5%
Class F	81%	17%	2%
				平均	75%	20%	5%

步骤2、将自适应样本偏移滤波的划分为窄编码树块模式、宽编码树块模式、双中心编码树块模式和默认模式，分别计算不同分类模式下的最佳率失真代价值，选择最小的率失真代价值对应的模式作为真正采用的带滤波模式，并对相 应的带开始位置以及若干个偏移值编码并传输。 

本步骤的具体处理方法为： 

步骤2.1、将自适应样本偏移滤波的基于带滤波的分类模式划分为四种：适应窄编码树块的窄编码树块模式、适应宽编码树块的宽编码树块模式、适应双中心编码树块的双中心编码树块模式以及默认模式，其中，前三种为新增的分类模式。 

步骤2.2、根据四种自适应样本偏移滤波的基于带滤波的分类模式，计算四种模式下各自的最佳带开始位置（start band position）、偏移值（offset）和最小的率失真代价（RD-Cost）； 

步骤2.3、根据四种自适应样本偏移滤波的分类模式下的最佳率失真代价值，选出最小的率失真代价值对应的模式作为真正采用的带滤波模式，并对相应的带开始位置以及若干个偏移值编码并传输。 

其具体处理方法为： 

步骤2.3.1、像素值总共平均分为32个子带，在默认模式下，根据率失真代价，选出最佳的4个带，传输它们的带开始位置和4个偏移值； 

步骤2.3.2、在窄编码树块模式下，根据率失真代价，选出最佳的2个子带，传输它们的带开始位置和2个偏移值，并记录率失真代价值； 

步骤2.3.3、在宽编码树块模式下，根据率失真代价，选出最佳的8个子带，传输它们的带开始位置和8个偏移值，并记录率失真代价值； 

步骤2.3.4、在双中心编码树块模式下，根据率失真代价，选出最佳的两组带，传输它们的2个带开始位置和各自对应的2个偏移值，并记录率失真代价值。 

下面给出在HEVC中应用本专利方法与现有HM10.0的仿真性能比较说明。其中，仿真环境为Visual Studio2010。所有视频测试序列都是Y:Cb:Cr为4:2:0模式的，使用HM10.0标准配置文件中的AI,RA,LB,LP配置。每一个序列编码50帧，每一个序列都用不同的量化参数QP进行编码，QP值分别采用22、27、32和37。 

表3显示了在AI的配置下，Y亮度分量在PSNR值相同的情况下码率平 均降低了0.3%，色度分量U平均降低了1.3%，色度分量V平均降低了1.6%。表4显示了在RA配置下，Y亮度分量在PSNR值相同的情况下码率平均降低了0.2%，色度分量U平均降低了1.9%，色度分量V平均降低了2.4%。表5显示了在LB配置下，Y亮度分量在PSNR值相同的情况下码率平均降低了0.5%，色度分量U平均降低了2.9%，色度分量V平均降低了3.4%。表6显示了在LP配置下，Y亮度分量在PSNR值相同的情况下码率平均降低了0.4%，色度分量U平均降低了3.0%，色度分量V平均降低了3.2%。 

表3相同PSNR条件下提出的方法平均码率节省，AI配置 

表4相同PSNR条件下提出的方法平均码率节省，RA配置 

表5相同PSNR条件下提出的方法平均码率节省，LB配置 

表6相同PSNR条件下提出的方法平均码率节省，LP配置 

可以看出，改进的算法有效的提高了编码效率，在PSNR相同的情况下有效的降低了码率，同时也提高了视频图像的主观质量。 

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。 

Claims (6)

1.一种基于直方图分析的改进样本自适应偏移滤波方法，其特征在于，包括以下步骤：

步骤1、根据重建帧的编码树块中的所有样本值的灰度值，分析其直方图分布情况，根据直方图分布情况对编码树块进行分类；

步骤2、将自适应样本偏移滤波的划分为窄编码树块模式、宽编码树块模式、双中心编码树块模式和默认模式，分别计算不同分类模式下的最佳率失真代价值，选择最小的率失真代价值对应的模式作为真正采用的带滤波模式，对相应的带开始位置以及偏移值编码并传输。

2.根据权利要求1所述基于直方图分析的改进样本自适应偏移滤波方法，其特征在于：所述步骤1的具体处理过程为：

步骤1.1、按照光栅扫描的顺序，统计每个编码树块内像素的灰度直方图分布情况；

步骤1.2、对每个编码树块，按照光栅扫描顺序统计某个带中的像素样本的个数，如果当前像素的灰度值满足以下条件：

Pel(x,y)≥8×k且Pel(x,y)≤8×k+7

则认为该像素样本落入第k个子带中，则该子带的数目加一，从而统计出所有子带中的像素样本个数；其中，其中Pel(x,y)表示位置为（x,y）处的像素的灰度值，k=0,1,2,3,4,5,6,7。

步骤1.3、根据步骤2统计得出的结果，对每个编码树块的像素分布统计直方图；

步骤1.4、对重建帧中的所有编码树块按照光栅扫描顺序进行统计，根据编码树块的直方图的集中程度将编码树块分为如下三类：窄编码树块、宽编码树块、常规编码树块；

步骤1.5、对重建帧中的所有编码树块按照光栅扫描顺序进行统计，根据编码树块的直方图的中心个数将编码树块分为如下三类：单中心编码树块双中心编码树块和多中心编码树块。

3.根据权利要求2所述基于直方图分析的改进样本自适应偏移滤波方法，其特征在于：所述步骤1.4的处理方法为：

步骤1.4.1、将当前编码树块的直方图的峰值的半值设为阈值；

步骤1.4.2、如果阈值以上的子带数目小于4，则归为窄编码树块；

步骤1.4.3、如果阈值以上的子带数目大于4，则归为宽编码树块；

步骤1.4.4、如果阈值以上的子带数目等于4，则归为常规编码树块。

4.根据权利要求2所述基于直方图分析的改进样本自适应偏移滤波方法，其特征在于：所述步骤1.5的处理方法为：

步骤1.5.1、将当前编码树块的直方图的峰值的半值设为阈值；

步骤1.5.2、如果大于阈值的子带连续分布，则归为单中心编码树块；

步骤1.5.3、如果大于阈值的子带不连续分布且分布在两个中心，则归为双中心编码树块；

步骤1.5.4、如果大于阈值的子带不连续分布且分布在两个以上中心，则归为多中心编码树块。

5.根据权利要求1所述基于直方图分析的改进样本自适应偏移滤波方法，其特征在于：所述步骤2的处理方法为：

步骤2.1、将自适应样本偏移滤波的基于带滤波的分类模式划分为如下四种：适应窄编码树块的窄编码树块模式、适应宽编码树块的宽编码树块模式、适应双中心编码树块的双中心编码树块模式以及默认模式；

步骤2.2、根据四种自适应样本偏移滤波的基于带滤波的分类模式，计算四种模式下各自的最佳带开始位置、偏移值和最小的率失真代价；

步骤2.3、根据四种自适应样本偏移滤波的分类模式下的最佳率失真代价值，选出最小的率失真代价值对应的模式作为真正采用的带滤波模式，并对相应的带开始位置以及若干个偏移值编码并传输。

6.根据权利要求5所述基于直方图分析的改进样本自适应偏移滤波方法，其特征在于：所述步骤2.3的处理方法为：

步骤2.3.1、像素值总共平均分为32个子带，在默认模式下，根据率失真代价，选出最佳的4个带，传输它们的带开始位置和4个偏移值；

步骤2.3.2、在窄编码树块模式下，根据率失真代价，选出最佳的2个子带，传输它们的带开始位置和2个偏移值，并记录率失真代价值；

步骤2.3.3、在宽编码树块模式下，根据率失真代价，选出最佳的8个子带，传输它们的带开始位置和8个偏移值，并记录率失真代价值；

步骤2.3.4、在双中心编码树块模式下，根据率失真代价，选出最佳的两组带，传输它们的2个带开始位置和各自对应的2个偏移值，并记录率失真代价值。

Images