CN103404137B

CN103404137B - 有效的样本自适应补偿的方法和装置

Info

Publication number: CN103404137B
Application number: CN201180063977.2A
Authority: CN
Inventors: 傅智铭; 陈庆晔; 蔡家扬; 黄毓文; 雷少民
Original assignee: HFI Innovation Inc
Current assignee: HFI Innovation Inc
Priority date: 2011-01-09
Filing date: 2011-10-08
Publication date: 2016-10-19
Anticipated expiration: 2031-10-08
Also published as: CN106454357A; EP2661887A4; JP2013541918A; JP5524423B2; WO2012092787A1; CN103404137A; EP2661887A1

Abstract

对于样本自适应补偿，使用分类法，将像素分类至多个类别，且各类别中的像素使用该类别的偏移值以进行偏移补偿。该分类可基于当前像素及其相邻像素来在SAO补偿之前的值。因此，被SAO补偿的像素不能写回当前像素位置，直到确定对所有像素的类别。本发明的一个实施例存储当前像素与多个相邻像素之间的关系，使得被SAO补偿的像素可以取代当前像素而无需缓冲进行分类的待处理像素。该SAO处理可以基于分区的基础，以适应图片区域的局部特性。率失真优化（RDO）经常被用来指导模式的决定，如分区分割/分区合并的决定。通常与RDO进程相关的计算是非常计算密集型。因此，失真减小估计，这可以大大减少与RDO相关所需的计算。

Description

有效的样本自适应补偿的方法和装置

交叉引用

本申请要求下述申请的优先权：2011年1月13日递交的，发明名称为“Picture Quadtree Adaptive Offset”的美国临时申请案No.61/432,482；2011年1月26日递交的，发明名称为“Improved Offset Method”的美国临时申请案No.61/436,296；2011年3月22日递交的，发明名称为“Sample AdaptiveOffset”的美国临时申请案No.61/466,083；及2011年1月9日递交的，发明名称为“Apparatus and Method of Adaptive Offset for Video Coding”的美国申请案No.12/987,151；于2011年7月6日递交的，发明名称为“APPARATUSAND METHOD OF EFFICIENT SAMPLE ADAPTIVE OFFSET”美国专利申请案No.13/177,424；于2011年6月12日递交的，发明名称为“Apparatus andMethod of Sample Adaptive Offset for Video Coding”美国专利申请案No.13/158,427。本申请将上述美国临时申请案及专利申请案作为参考。

技术领域

本发明有关于视频处理(video processing)，且本发明尤其有关于与有效的样本自适应偏移补偿的方法及装置。

背景技术

在一视频编码系统中，视频数据被进行多种处理如：预测、转换、量化、解块还有自适应回路滤波。沿着视频编码系统的处理轨迹，因为在视频数据上应用上述操作，已处理的视频数据的某些特征可能从原始视频数据被改变。如：已处理视频的平均值可能发生偏移。强度偏移可能导致视觉损害或者障碍，尤其是强度偏移从帧到帧的变化时更明显。因此，像素强度偏移需被小心地补偿或者恢复以减轻伪影(artifacts)。在此领域，一些强度补偿方案已经被使用。一强度补偿方案提出，依据已选择的一上下文，HEVC将已处理视频数据中的每一像素分类至多个类别中的一个。举例来说，该上下文可为该已处理视频数据的像素强度。作为替代的，该上下文可能为当前像素及其周边像素的组合。取决于该自适应补偿在哪里被应用，该已处理视频数据可表示为重建视频、解块视频、自适应回路滤波视频或者其他中间阶段的视频。依据该选择的上下文推导出一特性衡量，且依据该被衡量的特性决定一类别。对于该每一类别，该原始像素与已处理像素之间的强度偏移被决定。本文中该强度偏移也被称为“偏移值(offset value)”。因此，该偏移值被应用至属于该类别的该已处理像素以补偿该强度偏移。基于每一像素的类别，对于已处理视频数据的强度偏移补偿或者恢复的处理在本文中被称为“样本自适应补偿”(sample adaptive offset，SAO)。

传统的SAO方案经常基于每一图像或者每一片(slice)决定该像素的类别。然而，图像内容一般为动态的且每一帧的特征可能发生改变或者一帧内不同分区的特征也可能发生改变。因此，一样本自适应补偿方案被于2011年6月12申请的申请号为：No.13/158,427，题为“Apparatus and Method of SampleAdaptive Offset for Video Coding”的美国专利申请披露。其中，一组SAO类型被用于在一个分区的像素分类，每个SAO类型划分像素成多个类别。某些SAO类型与基于分类的边缘偏移相关(edge offset)，其中，当前像素的分类涉及相邻像素。由于有多个SAO类型，一个编码器通常需要获取多个偏移量，将该偏移量加至像素，然后使用一SAO类型计算每个分区的失真。因此，SAO模式的决策过程中需要多次访问图片缓冲区。这种多通编码算法可能会需要大量的外部存储器访问导致高功耗和较长的延迟。需要为SAO的模式决策过程执行没有额外的图像缓冲区的访问。在获得所有SAO参数后，仅需要一额外的通道(pass)依据此执行偏移补偿。

SAO处理首选分区为基础，以适应图片区域的局部特色。率失真优化(RDO)经常被用来引导模式决定(即分区分割/分区合并的决定)。通常与RDO进程相关联的计算是非常计算密集型。需要使用一种快速算法，以加快RDO过程。

发明内容

公开一种装置和方法，用于使用率失真优化作出对已处理视频数据的样本自适应补偿(SAO)的补偿模式的决定。本发明的方法，包括：接收一已处理视频数据；识别SAO的多个模式，根据失真减小估计来估计每一模式相关的失真，基于该失真确定该每一模式的率失真(RD)的成本；在该多个模式中选择最佳的模式，其中该最佳模式有最小的RD成本，并依据已选择的最佳模式对已处理视频数据应用SAO。失真减小估计与该每个模式的像素的数量(iCount)，被添加到属于该每一模式的像素的偏移值(iOffset)及已处理视频数据相关的原始信号和重构信号之间的偏移值之和(iOffsetOrg)相关。此外，该失真减小估计与(iCount*iOffset*iOffset)-(iOffsetOrg*iOffset*2)有关。本发明的另一个方面，为SAO分区分割或分区合并提供快速算法，其中的一个小分区的失真减小估计再次用于计算各自的大分区的失真减小估计。

揭露一种装置和方法，用于已处理视频数据的样本自适应补偿量补偿，被。根据本发明的方法包括：接收已处理视频数据，依据以边缘偏移(EO)为基础的分类法，确定已处理视频数据的一当前像素的类别，其中，该以边缘偏移为基础的分类法与当前像素和一个或更多个相邻的像素有关，使用与该类别相关联的偏移值补偿该当前像素以产生一已补偿当前像素；存储该当前像素和该一个或多个相邻像素之间的关系，并在确定该当前像素的类别后，在一实质性小的像素周期内以该已补偿当前像素替换该当前像素。为了进一步减少所需的计算，该当前像素与该一个或多个相邻像素之间的关系的至少一部分被用于确定另一像素的类别。该当前像素和该一个或多个相邻像素之间可以基于一sign函数，且可以使用一个查找表为该当前像素确定类别。

附图说明

图1揭露一视频编码器包含一重构回路的系统框图，该重构回路包含一解块滤波器和一自适应回路滤波器。

图2揭露一视频解码器包含一解块滤波器及一自适应滤波器的系统框图。

图3揭露基于像素类别的自适应偏移的范例，其中依据像素C及其相邻像素n1-n4决定该类别。

图4揭露一视频编码器的系统框图的范例，其中该视频编码器中一样本自适应补偿在解块滤波器后被应用至视频数据。

图5揭露一视频编码器的系统框图的范例，其中，该视频数据在重构之后被应用样本自适应补偿。

图6揭露基于带偏移的两种SAO类型的范例，其中该第一类别包含中心带(central bands)，第二类别包含边缘带(side bands)。

图7A-D揭露为了像素类别决定的当前像素及其相邻像素的四种线性结构。

图8揭露一视频编码器的系统框图，其中在逆变换后样本自适应补偿被应用。

图9揭露一实施例的视频编码器的系统框图，其中该样本自适应补偿被应用至该预测信号。

图10揭露一实施例的视频编码器的系统框图，其中该样本自适应补偿被应用至该解量化信号(de-quantized signal)。

图11揭露一循环分区划分的实施例，其中以SAO类型被选择用于每一分区。

图12揭露一划分一分区至四个子分区的循环分区划分的实施例，该四个子分区在水平方向及垂直方向基本具有相同数目的LCU。

图13揭露重复使用基于分类的EO的一先前像素的部分结果(partialresults)的范例。

图14揭露SAO的分区分割和分区合并的范例。

具体实施方式

在一视频编码系统中，视频数据被进行多种处理如：预测、转换、量化、解块还有自适应滤波。沿着视频编码系统的处理轨迹，因为在视频数据上应用上述操作，已处理的视频数据的某些特征可能从原始视频数据被改变。如：已处理的视频的平均值可能发生偏移。强度偏移可能导致视觉损害或者伪影。尤其是强度偏移从帧到帧的变化更明显。因此，像素强度偏移需被小心地补偿或者恢复以减轻该伪影。有多种理由可以导致该已处理视频数据的某些特性被转换。该已处理视频数据的特性的改变可能与其被应用的操作有着本质的联系。如，当应用一低通滤波器至该视频数据，相应于锐边的像素值将减少差值(锐利度或倾斜度)，因此该边缘的一边的像素值将增加，而另一边的像素值将减少。其中，锐边(高频像素)的位置或特性分类也可以利用一高通滤波器得到。在该范例中，若样本自适应补偿能考虑该边缘特性，就能够实现提高视频质量。原始HEVC提出一种自适应补偿方案，依据已选择的上下文，分类该已处理视频数据的每一像素至多个类别中的一个。举例来说，该上下文可为该已处理视频数据的像素强度。作为替代的，该上下文可能为当前像素及其周边像素的组合。取决于该自适应补偿被应用在何处，该已处理视频数据可表示为重建视频、解块视频、自适应回路滤波视频或者其它处于中间阶段的视频。依据该选择的上下文推导出一特性衡量，依据该被衡量的特性决定一类别。对于每一类别，该原始像素与该已处理像素之间的强度偏移被决定。本文中该强度偏移也被称为“偏移值”。因此，该偏移值被应用至属于该类别的该已处理像素以补偿该强度偏移。基于该类别的每一像素，对于已处理视频数据的强度偏移补偿或者恢复的处理在本文中被称为“样本自适应补偿”(sample adaptive offset，SAO)。

传统的SAO方案经常基于每一图像或者每一片(slice)决定该像素的类别。然而，图像内容一般为动态的且一帧内不同分区的特性也可能发生改变。因此，需要开发一种样本自适应补偿方案考虑一图像内的动态特性，使用一分区划分方案以自适应地划分已处理的视频数据至不同大小的分区。进一步，传统的SAO方案总是用一固定的上下文来决定已处理视频数据的像素的一类别。如：该SAO可能只使用一固定的16带的带偏移(band offset，BO)以进行样本自适应补偿。另一范例，该SAO仅使用一3x3窗口作为上下文来决定已处理视频数据的像素的类别。需要一种样本自适应方案可以自适应从一组SAO类型中选择一SAO类型来合适地使用SAO处理已处理的视频数据的特征，实现更好的质量。因此，本发明揭示一种样本自适应方案能够利用已处理视频数据中的动态特征。

如图1所示的编码器的范例表示了一使用帧内/帧间预测的系统。帧内预测单元110基于同一图像的视频数据，负责提供预测数据。对于帧间预测，ME/MC单元112，即运动预测(motion estimation，ME)及运动补偿(motioncompensation，MC)被用于基于其它图像的视频数据提供预测数据。开关114用于选择帧内或者帧间预测数据且将该被选择的预测数据提供至加法器116以产生预测误差(prediction errors)，也叫残差(residues)。该预测误差接着依次被T 118(转换)及Q120(量化)处理。被转换及量化的残差被熵编码单元122编码相应于该压缩的视频数据形成一比特流。与该转换参数相关的比特流与附加信息(side information)被打包。该附加信息可以为：运动模式和其它与图像区域相关的信息。该附加信息也被进行熵编码以减少所需带宽。如图1所示，与附加信息相关的数据被提供至熵编码单元122。当使用帧间预测模式，一参考图像或者多个参考图像在编码器端须被重构。因此，IQ(逆量化)124及IT(逆转换)126处理该被转换及量化的残差以恢复该残差。然后，在REC(reconstruction，重构)128，该残差被加回至该预测数据以重构视频数据。该重构视频数据可存储在参考图像缓存器134，且被用于预测其它帧。在重构数据被存储至该参考图像缓存器134之前，DF(解块滤波器)130及ALF(自适应滤波器)132被应用至该重构视频数据以提高视频质量。该自适应滤波信息在该比特流中被传输，因此解码器可以适当的恢复所需信息以应用自适应滤波器。因此，从ALF132输出的自适应滤波信息并入该比特流被提供至熵编码器122。如图1所示，输入之视频数据在编码系统中经历了一系列处理。该REC 128的重构视频数据因为上述一系列处理可能发生强度偏移(intensityshift)。该重构视频数据进一步被解块单元130及自适应滤波器132进行处理，这也可能引起强度偏移。因此，需要引入一样本自适应补偿以恢复或者补偿该强度偏移。

图2揭示一包含解块滤波器及自适应回路滤波器的视频解码器实施例的系统框图。因为编码器也包含一解码器以重构该视频数据，因此除了熵解码器222，一些解码器元件已经被使用在编码器中。进一步，仅有运动补偿单元212在解码器端被需要。开关214选择帧内或者帧间预测模式，且将选择的预测数据提供至重构单元REC128以与恢复的残差合并。除了对已压缩视频数据执行熵解码，熵解码单元222还熵解码附加信息且提供该附加信息至各自的块。举例来说，帧内模式信息被提供至帧内预测单元110，帧间模式信息被提供至运动补偿单元MC 212，自适应滤波信息被提供至ALF 132且残差被提供至IQ 124。该残差由该IQ 124处理，IT 126及随后的重构处理，重构该视频数据。再一次，如图2所示，从REC 128输出的重构视频数据历经包括IQ124及IT126的一系列处理且发生强度偏移。该重构视频数据进一步被解块滤波器130及自适应滤波器132处理，这些也将进一步引起强度偏移。因此，需要一种样本自适应补偿来补偿该强度偏移。

为了克服偏移问题，于Document：JCTVC-A124，Joint Collaborative Teamon Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，lst Meeting：Dresden，DE，15-23April，2010，McCann等人在公开题为：“Samsung’s Response to the Call for Proposals on Video CompressionTechnology”中揭露了内容自适应极端校正及带校正。使用基于相邻像素的内容信息可以开发局部边缘特性(local edge characteristics)且提高系统表现即获得更好的视觉质量或者减少比特率。如图3所示，McCann等人揭示了相邻像素结构，其中C为当前像素值，n1至n4为四个相邻像素分别在当前像素的上、下、左及右。如表1所示，依据McCann等人的方法将像素分类至七个类别中：

表1.

类别(Category)	条件(Condition)	备注(Note)
			0	C＜4neighbors	局部最小
前”级别(class)”1	C＜3neighbors&&C＝4^th neighbor	物体边缘
			2	C＜3neighbors&&C＞4^th neighbor	物体边缘
3	C＞3neighbors&&C＜4^th neighbor	物体边缘
			4	C＞3neighbors&&C＝4^th neighbor	物体边缘
5	C＞4neighbors	局部最大
			6	以上均不是	其它

对于类别0，该像素C为一局部最小值，也叫一山谷。对于类别5，该像素C为一局部最大值，也叫一山峰。对于类别1、2、3及4，该像素C在一物体边缘(object edge)。对于每一类别中的像素，已处理视频数据的方差值和原始视频数据的方差值的不同被计算且被传输至解码器。该已处理的视频数据可以是从REC 128出来的重构视频数据、从DF 130出来的解块数据或者从ALF 132中出来的自适应回路滤波数据。分类该边缘特性至类别(“categories”)，也叫级别(“classes”)。虽然图1及图2所示实施例中的显示了视频编码的样本自适应补偿可应用的示范性系统，其它系统也可以使用本发明以克服强度偏移问题。举例来说，在照相机图像处理系统，视频数据被进行去马赛克、白平衡、和或者边缘增强等处理也可能出现强度偏移。如上所述，相关的背景技术依据底层像素(underlying pixel)的边缘特性在DF 130和ALF 132之间应用一第一强度偏移以恢复已处理数据。

而基于底层像素极端特性的自适应偏移則被称为极端校正(ExtremeCorrection，EXC)。相关的背景技术依据上述极端校正被应用在重构视频数据上。决定视频图像对应C类的重构视频数据的平均强度值Vr(c)与原始视频数据的平均强度值Vo(c)。对应C类的偏移值Vd(c)可以由下述公式决定：

Vd(c)＝Vo(c)-Vr(c)

上述计算得到的该偏移值Vd(c)被加至属于C类的重构视频数据上，即：Vr’(c)＝Vr(c)+Vd(c)，其中，Vr’(c)为偏移校正视频数据。为了使解码器为各类应用合适的偏移，该所有类的偏移值Vd(c)均被输出至该解码器，需要合适的比特流语法设计来合并该偏移值Vd(c)。

基于EXC的自适应偏移410被应用在DF 130和ALF 132之间的视频数据上。如图4所示，揭露了另一种根据底层像素属于的带的自适应偏移校正。该方法也被称为带校正(band correction，BDC)。在相关的背景技术中，另公开了一种基于带的分类法，通过使用像素的p个最高有效位，等同于将强度划分至间隔相等的2^p个类别。在一实施例中，选择p＝4将强度划分至16个等间隔的带，也称为“类别(classes)”。对于每一带或者类别，计算平均差，并传送给解码器，且为每个带单独纠正该偏移量。决定视频图像的对应带C或者C类的该重构平均强度值Vr(c)及对应带C或者C类的原始平均强度值Vo(c)。为了方便起见，使用与EXC同样的数学标记Vr(c)及Vo(c)。如基于边缘特性的自适应偏移校正，依据公式Vd(c)＝Vo(c)-Vr(c)，决定C类的相关的偏移值Vd(c)。上述计算得到的偏移值Vd(c)被加至属于C类的重构视频数据，即：Vr’(c)＝Vr(c)+Vd(c)，其中Vr’(c)为偏移校正视频数据。相关的背景技术中应用带校正至ALF 132与参考图像缓存器134(未显示)之间的已处理视频数据。在相关的背景技术中自适应偏移在DF 130和ALF 132之间，或者在ALF 132与参考图像缓存器134之间，如图5所示，该AO 510也可以被应用在REC 128和DF 130之间。

对于带类别，除了16个统一的带，也可以使用32个统一的带以增加非零的可能性。在“CE8 Subset3：Picture Quadtree Adaptive Offset”，Document：JCTVC-D122，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11，4th Meeting：Daegu，KR，20-28January，2011，and in“CE13：Sample Adaptive Offset with LCU-IndependentDecoding”，Document：JCTVC-E049，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting：Geneva，CH，16-23March，2011及于2011年1月9日申请的美国专利申请，申请号为No.12/987,151，题为：“Apparatus and Method of Adaptive Offset forVideo Coding”中均有描述。为了减少附加信息(从32偏移至16)，如图6所示，该32统一的带被划分成两个组。在中央16个带为第一组，两边16个带为第二组。因此，一组偏移被送至中央16个带(第一组)，另一组偏移被送至外围16带(第二组)。另外带的分组也可以是4个一组，或其他数目的分组方式，只要能够在编码与解码端定位是哪几个带，并且知道多少的偏移值需要编码或解码即可。

虽然相关的背景技术中的自适应处理与底层像素的边缘特性相关，且该像素特性是基于整个图像，但是于2011年1月9日申请的美国专利申请No.12/987,151，题为：“Apparatus and Method of Adaptive Offset for Video Coding”，公开了一种基于替代的边缘自适应偏移。其使用两相邻像素的简单线性像素结构。使用简单的像素结构可以减少所需计算量。因此，图7A-7D揭示了四个简单像素结构，也称为像素图形，分别为垂直线(90度)、水平线(0度)、135度及45度。每个像素结构排列成一短线，且沿着该短线响应强度过渡。即：相较于其它方向，在该垂直线上，一水平边缘将引起一更明显的强度过渡。相似的，相较于其它方向的线上，该垂直边缘在该水平线上将引起更明显的强度过渡。选择像素结构可以基于分区，且每一分区均需要一标记。如表2所示，基于像素结构，该底层像素可以被分成6类分别对应边缘、山峰、山谷及以上都不是。

表2.

虽然上述提到的SAO方案使用BO上下文或者EO上下文来分类像素，但是依据本发明的一实施例使用多种SAO类型。举例来说，该多种SAO类型包括BO上下文及EO上下文。每一SAO包含一个相关数量的类别。如：在上面的例子中，16类(即：16带)与第一组BO和第二组BO相关。每四个EO配置或者上下文与6种类别相关。上面例子中提到的类别的数量仅具有说明目的，并不对本发明作出限制。依据本发明SAO类型的总数可以被预定、由使用者来确定。进一步，每一SAO类型的分类总数也可以被预定或者由使用者确定或者有画面大小决定。当使用多个SAO类型，需要使用一语法元素sao_type_idx来识别所选择的SAO类型。表3揭示包含BO上下文及EO上下文的多个SAO类型的一范例。

表3.

虽然样本自适应补偿总是被应用至重构之后的视频信号以恢复视频信号，但是样本自适应补偿也可以被应用在重构之前。举例来说，如图8所示，样本自适应补偿单元810可以在重构单元(REC)128之前应用至逆转换残差信号。IT单元126输出的已恢复残差信号已被转换单元118、量化单元120、解量化单元124及逆转换单元126处理。因此，该残差信号可能已经发生强度偏移，且自适应补偿对恢复该强度偏移有用。与自适应补偿有关的附加信息被熵编码且合并至该比特流。在另一实施例中，如图9所示，在预测信号从原始视频信号减去之前，样本自适应补偿被应用至帧内/帧间预测。依据帧内或者帧间预测得到的预测信号受到各种操作可能产生强度偏移。因此，样本自适应补偿对恢复该强度偏移有效。再在另一实施例中，如图10所示，该样本自适应补偿器1010可能被应用至解量化124及逆转化126之间的视频信号。

在相关技术的方法里，该AO总是基于整个帧或者一组图像。对于一些视频数据，对应更小的图像的分区可具有自适应处理的更多优点，因为更小图像区域有关的类别可能更接近该分区底层视频数据的特性。因此，本发明使用多层的分区划分。每一分区可以使用四分树法递归的划分成四个子分区。与该分区划分有关的信息可以使用一语法设计来传达。该分区的边界可以与编码单元(CU)或者最大编码单元(LCU)对齐。每一分区可以选择一种样本自适应补偿(SAO)类型，如上表中所示的两种类别的带偏移(BO)、四种类别的边缘偏移(EO)或者无处理(OFF)。图11揭示一种图像划分的范例，且每一图像被使用BO、EO或者OFF类型进行SAO处理，。图11中的每一小块表示一LCU。

SAO的分区划分可基于块。四分树划分的深度数取决于该块的大小。如果分区的宽度及高度均小于一块的大小，则当前分区的分割处理结束。最大四分树深度可以为用户设定深度、预定深度或者图像大小。该块的大小可以小于、等于或者大于LCU大小。图12揭露与LCU对齐的分区划分的范例。该分区使用LCU大小衡量。WidthInLCU为LCU的数量，其表示当前分区的宽度，且HeightInLCU为LCU的数量，其表示当前分区的高度。在水平方向划分WidthInLCU至具有宽度分别为Floor(WidthInLCU/2)及WidthInLCU-Floor(WidthInLCU/2)的两子分区。其中函数Floor(x)为一向下取整函数。类似地，在垂直方向划分HeightInLCU至具有宽度分别为Floor(HeightInLCU/2)及HeightInLCU-Floor(HeightInLCU/2)的两子分区。

1-D边缘偏移(EO)的分类比2-D EO分类具有更好的计算效率。然而，表2中所描述的1-D的EO的分类算法仍然需要相当多的操作。需要进一步提高计算效率。因此，本发明的一个方面，公开了一种基于分类EO的快速算法。的快速算法比较当前像素与两个相邻的像素。该比较的结果被提供至一个查找表以确定类别。该比较可以使用一sign()函数来实现。举例来说，如图13所示，为一0度EO1310的当前像素C和两相邻像素B及D。对(C-B)及(C-D)执行一sign操作，即：执行sign(C-B)and sign(C-D)，其中：

s i g n (x) = \{\begin{matrix} + 1 & \begin{matrix} i f & x > t h, \end{matrix} \\ - 1 & \begin{matrix} e l s e i f & x < t h, \end{matrix} \\ 0 & e l s e . \end{matrix}

一查找表，即edge_table可被用于转换该比较结果至一分类索引，其中edge_table[x]＝{1，2，0，3，4}。因此，该1-D EO的分类法可以被推导如下：

Category＝edge_table[2+sign(C-B)+sign(C-D)].

其中，该th值为0，该像素分类与表2所示相同。为像素C计算像素C和像素D的比较结果。如图13所示，为1-D EO1320，为像素D，将计算像素D和像素C的比较结果。像素C和像素D的比较，可以被重新用于比较像素D和像素C，如：sign(D-C)＝-sign(C-D)，从而可以节省一些操作ο像素C和像素D的比较，可以被重新用于比较像素D和像素C，则存储的该当前像素C与其相邻像素D的关系，即存储的sign(D-C)，在对像素D进行分类时，可重新使用。则可以实现在决定该当前像素C的种类后，使用该已补偿的当前像素取代该当前像素C，无需担心因为当前像素C已经被取代，而无法计算用于像素D分类的sign(D-C)，从而可以实现在一显着小的像素周期内将当前像素C做补偿而不影响相邻像素D的分类。即：存储该当前像素及一或者更多相邻像素的关系，在决定该当前像素的种类后，在一显著小的像素周期内，使用该已补偿的当前像素取代该当前像素。虽然sign()函数是用来作为一个用于确定当前像素及其相邻像素之间的关系的装置，也可以使用其他的测量方法。虽然以0度的1-D EO作为示例，同样的快速算法也可以应用到45度，90度，135度EO。

本发明的另一个方面涉及进行SAO决策的简化的率失真优化(RDO)。为取得良好的编码效率，率失真优化(RDO)是一个众所周知的被用于视频编码的技术。RDO可以应用于到SAO决策，如分区划分和分区合并。例如，图14举例说明了为SAO进行的分区划分和分区合并。各地区分区要达到最佳的失真性能，图像或图像区域，如分区，使用RDO技术，可能会成功地从最大的图片区域中分割(自上而下分割)或小图片分区可以成功地合并成较大的分区(自底向上的合并)。图14揭示了一个三层的图像结构，其中J0至J20为各分区的RD成本。对于自顶向下的分割方法，每个分区相关联的成本与其相应的分割分区的成本相比。例如，成本J3与成本(J13+J14+J17+J18)进行比较。如果J3＞(J13+J14+J17+J18)，与成本J3相关联的分区被分割；否则该分区将不会被分割。同样，如果J0＞(J1+J2+J3+J3)，与成本J0相关联的分区被分割，否则该分区不被分割。类似地，分区合并的处理也可以通过比较与独立分区相关联的成本和一合并分区的成本来进行。

RDO的过程是相当计算密集型。希望开发一种装置，用于加快RDO过程。例如，在分区分割和分区合并，与一个较大的分区相关联的统计信息(即：率和/或失真)，可以由其相应的多个较小的分区获得。此外，在SAO，在一个图像中有多个分区，并且为每个分区测试多个SAO类型。一SAO类型对应一个分区，通常有一编码器获得偏移量，添加该偏移量至像素，然后计算失真。因此，SAO模式的决策过程中需要多次访问图片缓冲区。这种多通编码算法可能会需要大量的外部存储器访问导致高功耗和较长的延迟。这也是需要一种执行SAO模式决定而无需额外的图像缓冲区的访问。在获得所有SAO参数后，只需一个额外的通道相应地进行偏移补偿。因此，代替计算实际的率和/或失真值，这些值可以被估计。例如，SAO的失真可估计如下：

s(k)是原始信号；

x(k)是重建信号(reconstructed signal)，可以是解块信号(deblockedsignal)，

εrec(k)是重建信号的估计失真；

ε_SAO(k)是SAO信号的估计失真。

K是一组将被滤波器处理的像素(a set of pixels to be processed by filter)，

C是一组属于一个AO类型的像素(a set of pixels belonged to one type ofAO category)，

P是一组SAO种类，且P是所有SAO种类的一集合(a set of SAOcategory，and P is a collection of all SAO categorie)，且ac是被加的偏移值(the offset value to be added)。

该SAO信号的失真减少量为ε_SAO(k)-ε_rec(k)，其表示已SAO处理的信号和重建信号之间的均方误差的不同。

其中，N_c是当前类的像素数量(the number of pixel of current category：iCount)；

a_cs是属于种类k的像素加上的偏移值(the offset value to be added onthe pixels belonging to category k：iOffset)，且

a_c是原始信号与重建信号之间的偏移值之和(the sum of the offset valuebetween original signal and reconstructed signal：iOffsetOrg)。

依据上述求导，应用SAO后补偿信号的失真减少量dε_SAO可以由以下公式(1)估计得到：

{dϵ}_{S A O} = \underset{c &Element; P}{Σ} (N_{c} {a_{c}}^{2} - 2 \cdot N_{c} \cdot a_{c} \cdot a_{c s}) - - - (1)

根据公式(1)，应用SAO后补偿信号的失真减少量dε_SAO可基于当前类的像素的数量、被添加到类k的像素上的偏移值，和原始信号和重构信号之间的偏移值的和。用于RDO处理的成本函数中的失真可以由SAO处理后的信号和原始信号之间导出。为RDO评价各种SAO模式，以选择一个最好的模式，其中，SAO处理被施加到相同的重建信号。因此，失真减小量dε_SAO可以用来取代SAO偏移信号和原始信号之间的均方误差。如公式(1)，使用快速算法，失真减少量dε_SAO的计算量可以被估计。另一方面，基于原始失真的减小量或补偿信号和原始信号之间的原始失真的求导涉及原始信号的自相关性计算、重构信号的自相关性计算和原始信号及重构信号的互相关性的计算。因此，估计的失真减小量，可以大大减少所需的计算和图像缓冲区的访问。根据本发明的一个实施例，为每个模式计算估计的失真减小量以及使用估计的失真减小量来评估RDO的成本函数。该模式可以是相关联的分区与被优化分区分割/分区合并。根据候选模式的RDO的成本函数，选择最佳模式。

依据本发明的实施例的上述样本自适应补偿可以被应用在多种硬件、软件码或上述的结合中。举例来说，本发明的一实施例可为电路集成到视频压缩芯片，或者程序码集成到视频压缩系统，以进行相应处理。本发明的一实施例也可为程序码在数字信号处理器(Digital Signal Processor，DSP)上执行以进行相应处理。本发明还可包含一系列功能，并由电脑处理器、数字信号处理器、微处理器、现场可编程门阵列(Field Programmable Gate Array，FPGA)执行。通过执行定义本发明实施例的机器可读软件码或固件码，上述处理器可根据本发明执行特定任务。软件码或固件码可在不同程序语言和不同格式或方式中进行。软件码可编译成不同的目标平台。不过，不同的编码格式、方式和软件码语言，以及与本发明有关的使码执行任务的其它方法均符合本发明的精神，落入本发明的保护范围。

虽然本发明已就较佳实施例揭露如上，然其并非用以限制本发明。本发明所属技术领域中一般技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。因此，本发明的保护范围当视之前的权利要求书所界定为准。

Claims

1.一种使用率失真优化对已处理视频数据的样本自适应补偿的模式决定方法，其特征在于，包括：

接收一已处理视频数据；

识别样本自适应补偿的多个模式；

依据失真减少量决定每一模式相关的失真，其中该失真减少量对应于第一失真及第二失真之间的差值，该第一失真与已样本自适应补偿的补偿信号和与该已处理视频数据对应的原始信号相关联，该第二失真信号与重建信号和与该已处理视频数据对应的该原始信号相关联；

基于失真决定每一模式的率失真成本，在该多个模式中选择一最佳模式，其中该最佳模式具有最小的率失真成本；及

依据已选择的最佳模式对已处理视频数据应用样本自适应补偿。

2.如权利要求1所述的方法，其特征在于，该失真减少量是根据该每一模式的像素数量iCount、被添加至每一模式的所属的像素的一偏移值iOffset及该已处理视频数据的该原始信号和该重建信号之间偏移值的和iOffsetOrg来计算。

3.如权利要求2所述的方法，其特征在于，该失真减少量是根据(iCount*iOffset*iOffset)-(iOffsetOrg*iOffset*2)来计算。

4.如权利要求1所述的方法，其特征在于，当在与该模式相关的分区分割或者分区合并时，一小区域的失真减少量被重复使用以计算相应大的区域的失真。

5.一种使用率失真优化进行已处理视频数据的样本自适应补偿的模式决定的装置，该装置包括：

用于接收已处理视频数据的装置；

用于识别多个样本自适应补偿模式的装置；

用于依据失真减少量确定与每一模式相关的失真的装置，其中，所述失真减少量对应于第一失真及第二失真之间的差值，该第一失真与已样本自适应补偿的补偿信号和与该已处理视频数据对应的原始信号相关联，该第二失真与重建信号和与该已处理视频数据对应的该原始信号相关联；

用于基于该每一模式的失真决定率失真成本，于各模式中选择一个最佳模式的装置，其中，所述的最佳模式有最小的率失真成本；

用于根据所选择的最佳模式应用样本自适应补偿至已处理视频数据的装置。

6.如权利要求5所述的装置，其特征在于，该失真减少量是根据该每一模式的像素数量iCount、被添加至每一模式的所属的像素的一偏移值iOffset及该已处理视频数据的该原始信号和该重建信号之间偏移值的和iOffsetOrg来计算。

7.如权利要求6所述的装置，其特征在于，该失真减少量是根据(iCount*iOffset*iOffset)-(iOffsetOrg*iOffset*2)来计算。

8.如权利要求5所述的装置，其特征在于，当在与该模式相关的分区分割或者分区合并时，一小区域的失真减少量被重复使用以计算相应大的区域的失真。