CN104584561A - 应用于视频译码器中的取样自适应偏移处理方法及装置 - Google Patents

Abstract

本发明公开一种应用于视频译码器中的取样自适应偏移处理的方法以及装置，通过本发明的实施例可降低用来进行取样自适应偏移处理的线缓冲器的需求。根据本发明一实施例，图像单元的一去区块后的像素行或列的三态比较结果根据该去区块的像素行或列的去区块滤波类型来决定。该三态比较结果存储在一缓冲器中，且该三态比较结果从该缓冲器读取出来以对后续的一图像单元的行或列进行取样自适应偏移处理。该比较结果对应于“大于”、“等于”以及“小于”的状态，且该比较结果可被更有效率地存储。

Description

应用于视频译码器中的取样自适应偏移处理方法及装置

相关专利申请的交叉引用

本发明要求美国暂时申请号61/680,104(申请日2012年8月6日，标题为“关于取样自适应偏移的视频译码程序的方法与装置”)，美国暂时申请号61/712,934(申请日2012年10月12日，标题为“关于具有减小的管线缓冲器与程序延迟的去区块滤波器与取样自适应偏移的视频译码程序的方法与装置”)，以及美国申请号13/887,836(申请日2013年5月6日)的优先权。这些申请案的所有内容以引用方式纳入。

技术领域

本发明涉及视频解码技术，尤其涉及一种用于合并取样自适应偏移(sampleadaptive offset，SAO)处理以及去区块滤波处理的视频译码方法以及装置。

背景技术

目前的已有各种技术运用于视频编码中，以在能够提供一定的视频质量的情况下通过减少压缩的视频比特率(bit rate)来改善编码效率。随着对于更高解析视频(例如高清(high definition，HD)或高清以上的分辨率)有越来越大的需求，会希望比目前的规范中的视频编码效率能有更高的编码效率。因此，高效率视频编码(highefficiency video coding，HEVC)规范对应地被发展出来。高效率视频编码包含许多视频编码工具来实质上提升视频编码效率，以满足各种应用的需求。一种典型的HEVC译码器包含熵解码(entropy coding)处理、逆缩放(inverse scaling)及逆量化处理、逆转换(inverse transform)处理、帧内/帧间图像预测处理以及回路内滤波处理。

高效率视频编码所采用的回路内滤波器包含有去区块滤波器(Deblocking Filter，DF)以及取样自适应偏移滤波器，其中取样自适应偏移滤波器对重建的像素加上一取样自适应偏移，以补偿因重建所导致的失真(distortions)。

图1为包含有取样自适应偏移处理的高效率视频编码译码系统的示意图，其使用在第7.0版的高效率视频编码测试模块(HM-7.0)。来自编码单元的比特流被熵译码单元110所译码，译码输出包含要馈入至帧内预测单元111中的帧内模式信息、要馈入至运动补偿(motion compensation)单元112的帧间模式信息、以及要馈入至自适应回路滤波器133的自适应回路滤波信息、以及要馈入至取样自适应偏移滤波器132的取样自适应偏移信息，以及要馈入至逆量化单元120的留数(residues)。在进行帧内预测时，帧内预测单元111会基于来自熵译码单元110的帧内模式信息来提供帧内预测数据；在进行帧间预测时，运动补偿单元112会基于帧间模式信息以及来自其它一个或多个图像的先前重建的视频数据，来提供参考图像数据。帧内/帧间模式所需要的帧内预测数据/帧间预测数据会被提供至重建单元122以重建视频数据。经过熵译码的数据的留数会再经由逆量化单元120以及逆转换单元121处理，以还原留数。接着，被还原的留数会与预测的数据皆会被传送至重建单元122，以重建视频数据。来自重建单元122的重建的视频数据将会被用来重建后续相同的图像的区块(执行帧内模式时)或是用来重建其他的图像(执行帧间模式时)。在执行帧间模式时，重建的视频数据会被存储在参考图像缓冲器133中。然而，通常重建的视频数据在存储前会先作回路滤波处理。在图1中，重建的视频数据会被去区块滤波器130、取样自适应偏移滤波器131以及自适应回路滤波器132所处理，其中去区块滤波器130先对重建的视频数据作处理，接着，取样自适应偏移滤波器131对来自去区块滤波器130的去区块的视频数据进行处理。来自熵译码单元110的取样自适应偏移信息被提供至取样自适应偏移滤波器131，以进行适当的取样自适应偏移操作。之后，自适应回路滤波器132会对被取样自适应偏移滤波器131处理过的视频数据进行处理。来自熵译码单元110的自适应回路滤波器信息会被应用至自适应回路滤波器132，以进行适当的自适应回路滤波操作。被自适应回路滤波器132所处理的重建的视频数据会被存储在参考图像缓冲器133中，并且会被运动补偿单元112所使用，以产生用于对其他帧进行预测的参考图像。

如图1所示，在高效率视频编码的译码器中，三个回路内滤波器，即去区块滤波器130、取样自适应偏移滤波器131以及自适应回路滤波器132会用来处理重建的视频数据，以改善重建的视频数据的质量。去区块滤波器130被应用至临界像素(boundary pixel)，且去区块滤波处理基于重建的视频数据的基础(underlying)像素数据，以及与对应的区块相关的编码信息来执行。另一方面，取样自适应偏移处理以及自适应回路处理皆为自适应的，其中滤波器信息(诸如滤波器参数以及滤波器类型)可基于编码器端的基础视频数据的分析来动态地决定。因此，相关于取样自适应偏移以及自适应回路的滤波器信息会包含在视频比特流中，使得译码器可适当地还原取样自适应偏移处理以及自适应回路处理所需的信息。在译码期间，滤波器信息会被译码并且会被分别提供至取样自适应偏移滤波器以及自适应回路滤波器来进行适当操作。

在高效率视频编码中的译码处理以及编码处理会根据最大编码单元(LargestCoding Unit，LCU)来进行，其中最大编码单元会被自适应地分割为多个使用四叉树(quadtree)的编码单元。在每一子编码单元(coding unit)中，去区块滤波处理会先执行于每一区块的临界像素。接着，去区块滤波处理以及取样自适应偏移滤波处理会再被执行于每一区块的所有可用像素。在高效率视频编码测试模式第7.0版(HM-7.0)中，去区块滤波处理会被执行于每一个8x8的区块的区块边界。每一个8x8的区块会先进行跨越垂直区块边界的水平滤波，接着，会再进行跨越水平区块边界的垂直滤波。图2A为一垂直区块边界210的示意图，垂直区块边界210的每一侧各有4个边界像素，分别标注为q0、q1、q2、q3，以及p0、p1、p2、p3，其中q0以及p0系为直接邻近于垂直区块边界210的像素。图2B为一水平区块边界220的示意图，水平区块边界220的每一侧各有4个边界像素，并且同样地分别标注为q0、q1、q2、q3，以及p0、p1、p2、p3，其中q0以及p0系为直接邻近于水平区块边界220的像素。对于每一图像，跨越一个或多个垂直边界的边界像素行(row)可用平行的方式来水平滤波，以改善处理速度。在对垂直边界进行水平滤波后，跨越一或多个水平边界的边界像素列(column)可用平行的方式来垂直滤波。

如图1所示，样取样自适应偏移也可应用于HM-7.0中，取样自适应偏移是一种对像素逐一处理的回路内滤波方式。取样自适应偏移可将一图像分割为多个最大编码单元对齐区域，且会为每一区域决定出以下取样自适应偏移类型中的一者：两个频带偏移(band offset，BO)类型，四个边缘偏移(edge offset，EO)类型，以及无处理(即关闭)。接着，对应于不同的取样自适应偏移类型，应使用不同类型的滤波方法。对于频带偏移类型，每一个待处理像素会基于像素强度(intensity)被映射到一特定频带。全部的像素强度范围系被平均地分成32个频带。每一频带的所有像素会被决定出各自对应的偏移，且这些偏移会被选取以及编码。至于边缘偏移类型，会先完成像素分类，以将像素分为不同群组(亦可称为类别、种类)。对于每一像素的像素分类基于使用一3x3的窗口的梯度计算来执行，如图3所示，分别对应于0°、90°、135°以及45°的四个组态会用来进行像素分类。

基于对在一图像或是一区域中的所有像素的分类，一偏移会被决定并且传送给每一像素群组。在HM-7.0规范中，取样自适应偏移处理在亮度(luma)成份以及彩度(chroma)成份进行，其中每个亮度成份会被独立地处理。除了边缘偏移种类4的外，对应于每一种类的像素的偏移会被产生，其中种类4的边缘偏移会强制使用零偏移(zero offset)。表1列出了边缘偏移的多个像素种类(即种类0～4)，其中“C”代表待分类的像素。

表1

种类	状态
		0	C<二邻近值
1	C<一邻近值，且C＝另一邻近值
		2	C>一邻近值，且C＝另一邻近值
3	C>二邻近值
		4	以上皆非

在高效率视频编码系统中，取样自适应偏移可实质上加强编码效率。然而，当计算每一像素的梯度时，取样自适应偏移必须考虑到邻近的像素数据。举例来说，对于边缘偏移类型，在取样自适应偏移中的梯度计算基于一中央有待处理像素的3x3像素窗口。基于上述的邻近像素参照，取样自适应偏移需要对译码系统中的邻近线(line)的译码后的视频数据进行缓冲。此上述额外的缓冲可为一额外的内部存储器或外部存储器。在高效率视频编码标准中，在一图像中的最大编码单元可被分割为多个方格(tile)，以使该图像可用方格的方式，来在一方格中被处理。在一图像中的最大编码单元也可被分割成多个最大编码单元行(LCU row)，以供进行以最大编码单元列为基础的处理之用。方格或是最大编码单元行之间的边界可能需要设置更大容量的缓冲器，以进行取样自适应偏移处理。此外，设置额外的内部存储器或是外部存储器会造成译码系统有更高的硬件成本。因此，有需要降低跨越方格边界或是最大编码单元行边界的取样自适应偏移处理的所需数据大小。

发明内容

本发明揭示了一种在高效率视频编码视频解码器中合并去区块滤波处理以及取样自适应偏移处理的视频解码处理方法以及装置。本发明的实施例可减少用于进行跨越方格(tile)边界或是最大编码单元行边界的取样自适应偏移处理所需的线缓冲器(linebuffer)的大小。取样自适应偏移类型包含：边界偏移(boundary offset，BO)、边缘偏移(edge offset，EO)以及无处理等类型，以上类型可被应用于图像中的图像单元。对于边缘偏移类型而言，用于取样自适应偏移处理的额外数据需要被存储。本发明的一实施例设置有一缓冲器来存储额外的数据，以在对重建的视频数据的一图像单元进行去区块滤波处理之后进行取样自适应偏移处理。为进行取样自适应偏移处理而要存储的额外数据对应于该图像单元的一去区块的像素行或列的三态(tri-level)比较结果。用于计算三态比较结果的参考像素是基于部分的该去区块像素行或列的取样自适应偏移类型而被选取。三态比较结果会通过将该去区块像素行或列的像素与前一行或列的邻近像素进行比较来决定。三态比较结果包含”大于”、“等于”以及“小于”三种状态。在对一后续图像单元进行去区块滤波处理的期间或是处理结束之后，该多个三态比较结果会从用于取样自适应偏移处理的该缓冲器读取出来。该图像单元对应于一最大编码单元(largest coding unit)或是一移位最大编码单元。该后续图像单元对应于以最大编码单元行为基础的译码、以方格为基础的译码或是以连续(sequential)最大编码单元为基础的译码中的下一个最大编码单元。

上述三态比较结果可用多个(例如两个或两个以上)比特来表示。根据本发明的一实施例，一个三态比较结果用一8比特数据来表示，而在另一实施例中，一个三态比较结果用一2比特数据来表示，不同的三态比较结果可被共同地表示。在一实施例中，用一5比特数据来表示三个三态比较结果，而在另一实施例中，用一8比特数据来表示五个三态比较结果，上述的表示方法可结合运用。此外，在一实施例中，用一26比特数据来表示16个三态比较结果。

在本发明的一实施例中，三态比较结果存储在由多层式存储单元(multi-levelcell，MLC)所构成的存储器中，且每个三态比较结果可被存储在该多层式存储单元的其中一个存储单元中，且每一多层式存储单元可支持三层或更多层。

附图说明

图1为使用HM-7.0的帧间/帧内预测的译码系统的示意图，其中取样自适应偏移处理在去区块滤波器处理之后进行。

图2A为去区块滤波处理的一垂直边界的两侧像素的示意图。

图2B为去区块滤波处理的一水平边界的两侧像素的示意图。

图3为基于一3x3窗口的边缘偏移像素分类的示意图，其具有四个组态，分别对应于0°、90°、135°以及45°。

图4A为跨越一最大编码单元边界的取样自适应偏移处理的两个最大编码单元之间的一垂直边界的像素的示意图。

图4B为跨越一最大编码单元边界的取样自适应偏移处理的两个最大编码单元之间的一水平边界的像素的示意图。

图4C为跨越一方格边界的取样自适应偏移处理的两个方格之间的一垂直边界的像素的示意图。

图5A为本发明的一实施例的对于亮度分量进行跨越一最大编码单元行边界的去区块滤波处理以及取样自适应偏移处理，而缓冲的邻近像素线的示意图。

图5B为本发明的一实施例的对于亮度分量进行跨越一最大编码单元行边界或是方格边界的去区块滤波处理以及取样自适应偏移处理，而缓冲的邻近像素线的示意图。

图6A为本发明的一实施例的对于色度分量进行跨越一最大编码单元行边界的去区块滤波处理以及取样自适应偏移处理，而缓冲邻近像素线的示意图。

图6B为本发明的一实施例的对于色度分量进行跨越一最大编码单元边界或是方格边界的去区块滤波处理以及取样自适应偏移处理，而缓冲邻近像素线的示意图。

图7A为本发明的一实施例的在取样自适应偏移处理期间进行一跨越水平最大编码单元行边界的最大编码单元处理顺序的示意图。

图7B为本发明的一实施例的对于亮度分量进行跨越一水平最大编码单元行边界的去区块滤波处理，而缓冲邻近像素数据的示意图。

图8A为根据本发明的一实施例的在取样自适应偏移处理期间对应于一垂直方格边界的最大编码单元处理顺序的示意图。

图8B为根据本发明的一实施例的对于色度分量进行跨越一垂直最大编码单元边界或是方格边界的取样自适应偏移处理，而缓冲邻近像素数据的示意图。

具体实施方式

本发明所揭示的技术涉及用于高效率视频编码的去区块滤波处理以及取样自适应偏移滤波处理。当取样自适应偏移处理系用硬件来实现时，本发明所提供的装置以及方法可实质上降低用于存储取样自适应偏移处理的信息的数据大小的需求。尤其是，本发明是关于以硬件实现的以区块为基础的处理的取样自适应偏移，其中区块可为最大编码单元。在HM-7.0的参考码中，去区块滤波器以及取样自适应偏移滤波器为两个以图像为基础的回路内滤波工具。然而，对于硬件架构来说，会希望将去区块滤波器和取样自适应偏移滤波器合并为以区块为基础的处理，以根据HM-7.0参考码来降低内部存储器的成本以及用于存储或是访问整个图像的系统带宽。当该以区块为基础的处理使用于一硬件系统中时，用于平行地进行以区块为基础的去区块滤波处理以及取样自适应偏移处理的流水线(pipeline)架构可被采用。为了达到以区块为基础的，流水线的处理以及平行的处理，会希望编码器以及译码器皆使用高效率视频编码语法(syntax)所定义的最大编码单元光栅扫描(raster scan)处理顺序。

相较于以整个图像为基础的处理，用于去区块滤波以及取样自适应偏移的以区块为基础的处理可大幅降低硬件成本。然而，根据解码的顺序，仍需要作一些经常性的处理来维持最大编码单元之间、最大编码单元行或方格(tile)之间的邻近像素。图4A～4C示出了最大编码单元光栅扫描的顺序，以及由于跨越一最大编码单元边界、最大编码单元行边界或方格边界的取样自适应偏移处理而缓冲的相关的邻近像素行或列。如图4A所示，最大编码单元的处理顺序为自最大编码单元LCU0至最大编码单元LCU1。在最大编码单元LCU0与LCU1之间的最大编码单元边界411的左侧的邻近像素410的数据需要被维持(亦即存储)。相似地，图4B中的最大编码单元行的处理顺序对于每一最大编码单元行而言是由由左向右。当处理完每一最大编码单元行中的最后一最大编码单元时，如同虚线425的箭头方向所示，取样自适应偏移处理会继续执行下一最大编码单元行中的第一个最大编码单元(亦即最左的最大编码单元)。分别位于最大编码单元列边界423、424之上的邻近像素421、422需要被存储，并且需要在对下一个最大编码单元行的最大编码单元进行取样自适应偏移处理之前被读取出来，以作为对下一个最大编码单元列的最大编码单元进行取样自适应偏移处理的用。图4C为一方格中的处理顺序的示意图，如图4C所示，在处理完一行最大编码单元中最后一个最大编码单元之后，如同线段435所示，继续对下一行最大编码单元中的第一个最大编码单元进行取样自适应偏移处理。在处理过程中，分别在方格边界433、434左侧的邻近像素431、432需要被存储，并且对下一个方格的最大编码单元进行取样自适应偏移处理之前读取出来，以作为对下一个方格的最大编码单元进行取样自适应偏移处理之用。

在H.264/AVC标准下的硬件译码器中，线缓冲器(line buffer)用以存储邻近的像素，以进行两个相邻的宏区块行(macroblock-row)之间的去区块滤波处理。在高效率视频编码中，取样自适应偏移应用于已被去区块滤波处理的视频数据。上述去区块滤波处理会依赖一区块边界两侧的数据来进行，因此，必须等到下一个宏区块行为可得时，目前的宏区块行的边界上的一些数据才能与下一个宏区块的数据一并作为去区块滤波处理之用。在高效率视频编码中，取样自适应偏移会应用在被去区块滤波处理的数据。此外，取样自适应偏移处理也会依赖邻近数据来进行，亦即边缘偏移类型处理。因此，一线缓冲器会经常用于存储针对位于边界上的邻近像素的预先去区块滤波的数据、已去区块滤波的数据及/或已取样自适应偏移处理的数据。使用线缓冲器可增加系统速度以及减少外部存储器访问相关的系统带宽。然而，线缓冲器通常为芯片内(on-chip)内存储器，导致设置线缓冲器会增加芯片成本。因此，线缓冲器的大小需要适当地设计以节省成本。

图5A示出对于高效率视频编码系统的最大编码单元行进行亮度分量的去区块滤波处理和取样自适应偏移处理，而对线缓冲器的需求的示意图。对于顶部最大编码单元行512而言，水平去区块滤波处理可被应用于跨越一垂直边界(未绘示于图5A)的全部的行(亦即第A～J行)。然而，垂直去区块滤波处理需要在下一个最大编码单元行514变为可得之前，对最大编码单元行边界510上方的已被垂直去区块处理的四个邻近像素行(亦即第G、H、I、J行)进行缓冲。然而，上述根据高效率视频编码的垂直去区块滤波处理只改变了跨越边界的三条像素线(亦即，像素线H、I、J)的值。换言之，当处理下一个最大编码单元行时，像素线G将不再被更新。来自垂直去区块滤波的像素线G的去区块后的数据可用来进行取样自适应偏移。因此，用于顶部最大编码单元行512的取样自适应偏移处理(亦即边缘偏移类型)可被往上套用至像素线F。在图5A中，区域516标出了具有中央像素“a”的3x3的窗口，由于像素线G中的像素”a”可能需要根据像素线F、H中的像素来处理，因此像素”a”此时还不能作取样自适应偏移处理。必须等到有新的最大编码单元行可得时，才能对像素线G～J进行取样自适应偏移处理。当底层的最大编码单元行514为可得时，取样自适应偏移处理会于去区块滤波处理结束后，从像素线G开始进行。由于对像素线G的取样自适应偏移处理会参照对像素线F的取样自适应偏移处理，因此除了需要像素线G、H、I、J来作跨越一水平边界的垂直去区块滤波处理之外，还需要对像素线F进行缓冲来进行取样自适应偏移处理。

图5B为亮度信号的一最大编码单元边界或是方格边界520的示意图，其中去区块滤波处理需要为下一个最大编码单元或下一个方格524缓冲邻近像素列T、U、V以及W。因此，在下一个最大编码单元或方格变为可得之前，像素列T～W不能作取样自适应偏移处理。在图5B中，区域526标示出中央具有像素”a”的3x3窗口。由于对于第S列中的像素“a”的处理会需要参照第R行以及第T行的像素，因此像素”a”此时还不能被取样自适应偏移处理。在此情况下，对于左侧的最大编码单元或方格522的取样自适应偏移处理可套用到像素列R。当右侧的最大编码单元或方格524变为可得时，取样自适应偏移处理将会于去区块滤波处理结束后从第S列开始进行。由于对第S列的取样自适应偏移处理需参照第R列，因此除了第T、U、V、W列需要用来进行去区块滤波处理，第R列以及第S列也需要由于取样自适应偏移处理而被缓冲。

图6A示出对于高效率视频编码系统的最大编码单元行进行色度分量的去区块滤波处理和取样自适应偏移处理，而对线缓冲器的需求示意图。在图6A中，除了像素线I与像素线J需要用来对一水平的最大编码单元行边界610进行去区块滤波处理之外，像素线H也需要被存储来作取样自适应偏移处理之用。区域612标出要被处理的像素“a”可能需要参考来自像素线H～J的像素。此外，一垂直最大编码单元边界或方格边界620如图6B所示，除了像素列V以及像素W需要用来作去区块滤波处理之外，像素列T以及像素U也需要被存储来作为取样自适应偏移处理之用，其中区域622指出待处理的像素”a”可能需要参考像素列T以及像素列V中的像素。

通过本发明的一实施例，用于进行跨越一最大编码单元边界、最大编码单元行边界或方格边界的取样自适应偏移处理所需的线缓冲器的大小被减小。当边缘偏移类型用来进行取样自适应偏移处理，参考像素以及待处理像素之间的差异(或比较结果)被计算出来以为待处理像素决定出一种类。如表1所示，待处理像素的种类可基于该待处理像素大于、等于或小于一参考像素来决定。比较结果可用一个三态值来表示，例如亦即“>”，“＝”或“<”，此外，本发明的三态值也可用{1，0，-1}来表示，以作为目前像素以及参考像素的标记(sign)和大小(magnitude)。用三态数据来表示会比用像素数据来比表示更加简化，因此，使用三态数据来表示可降低线缓冲器的需求。用来存储去区块滤波数据以进行取样自适应偏移处理数据的线缓冲器可使用上述三态表示方式。

如图5A所示，对于顶部最大编码单元行512的亮度分量，对像素“a”进行的取样自适应偏移处理(例如90°、135°以及45°的边缘偏移)可能需要参考来自像素线F以及像素H的像素来决定取样自适应偏移种类。由于像素线H必须被存储以在下一个最大编码单元行变为可得时作为对像素线H、I以及J进行垂直去区块滤波处理之用，像素”a”与像素线H中的一参考像素之间的比较可于下一个最大编码单元行变为可得时进行。另一方面，如果像素”a”与像素线F中的参考像素之间的比较结果(用三态值表示)可被存储，会比起存储各自的像素数据更为简便。上述比较结果可在对下一个最大编码单元行进行取样自适应偏移处理之前读取出来，以作为对下一个最大编码单元行进行取样自适应偏移处理之用。图7A以及图7B为本发明的一实施例的存储跨越一最大编码单元行边界的取样自适应偏移处理的三态比较数据的示意图。根据图7A，当对水平的最大编码单元行边界的顶部最大编码单元行进行取样自适应偏移处理时(其中最大编码单元的光栅扫描(raster scan)顺序如箭头方向所示)，最大编码单元LCU-c的像素线G与F的间的差异会先由三态比较器720根据像素线G中的每一像素的边缘偏移类型计算。藉由使用三个比较逻辑“>”，“＝”以及“<”，可产生多个不同的三态比较结果。

除了使用2比特数据来表示每个三态比较结果，本发明亦可采用其他数据表示方式，以下将列举五种比较结果的表示方式。然而，以下范例仅为举例，并非所有可能的表示三态比较结果的方式。本发明的一实施例使用了8比特来表示每个比较结果的三态值，在此实施例中，若重建的视频数据的每一个像素用8比特来表示，则需要与原始的取样自适应偏移处理具有相同大小的线缓冲器。在另一实施例中，像素线G中的目标像素与其在像素线F中的邻近像素之间的三态比较结果用2比特来表示。多个比较结果可被封包并且使用更多比特的数据来表示。举例来说，三个三态比较结果可被封包并且用5比特的数据来表示，由于该三个三态比较结果总共有33(即27)个可能的组合，一具有25(等于32)个可能的值的5比特数据将足以用来表示该三个比较结果。因此，每个三态比较结果的平均比特大小仅约为1.67比特，故进一步缩小了数据大小需求。另一实施例使用8比特来表示五个三态比较结果，在此情况下，五个三态比较结果共有35种可能的组合(即243)，而少于用8比特来表示可得到28(即256)个值。因此，8比特足以表示五个三态比较结果。每个三态值的平均比特大小系为1.60比特。

以上所述的用于表示三态比较结果的数据表示方法可互相结合，亦即，用2比特来表示一个三态比较结果、用5比特来表示三个三态比较结果以及用8比特来表示五个三态比较结果等方式可互相结合来表示多个三态比较结果。举例来说，26比特可用来表示十六个三态比较结果。在本实例中，26比特可被分割为三个8比特的群组以及一个2比特的群组，以对三组各有五个三态比较结果的群组以及具有一个三态比较结果的群组进行处理。本发明的一实施例使用一多层式存储单元(multi-level cell，MLC)，诸如一三层式存储单元(triple-level cell)，以存储一三态比较结果。通过选取多层的电荷，上述多层式存储单元的每一层可存储超过一个比特。举例来说，大部分的多层式存储单元的NAND闪存中，每个存储单元具有四种可能的状态。因此，NAND闪存的一MLC存储单元可存储一三态比较结果。

图7A以及图7B为本发明的一实施例的用于进行取样自适应偏移处理的系统的示意图。最大编码单元行边界710如图7A所示，其中，对于跨越边界的最大编码单元的处理顺序如箭头方向所示。对于最大编码单元LCU-c以及最大编码单元LCU-b这两个跨越边界的区块的处理顺序如图7B所示。三态比较结果可基于来自使用如图7B所示的三态比较器720的像素线G、F的像素数据来计算。虽然图13的范例中系使用三态比较器720来产生三态比较结果，但本发明并不以此为限，亦可使用其他处理器来产生三态比较结果。像素线G与像素F之间的三态比较结果以及像素线G～J皆会存储在线缓冲器721中。当底层的最大编码单元(亦即最大编码单元LCU-b)变为可得时，像素线G～J可从线缓冲器721读取回来，以作进一步的去区块滤波处理之用。在对像素线G～J作去区块滤波处理之后，可对像素线G～J进行取样自适应偏移处理。对于像素线G的取样自适应偏移处理需要像素线G与像素F之间的比较结果。于是，存储在线缓冲器721中的像素线G与像素F之间的比较结果会由于对像素线G的取样自适应偏移处理而被读取出来。

在本发明的一实施例中，对于色度分量，跨越一水平的最大编码单元行边界的取样自适应偏移处理相似于亮度分量的取样自适应偏移处理。在此情况下，目前的最大编码单元的线H与I之间的三态比较结果根据如图6A所示的像素线I的边缘偏移类型，来用一三态比较器计算出来。目前的最大编码单元的像素线H与I、以及像素线I与J之间的三态比较结果存储在线缓冲器中。当下一个最大编码单元变为可得时，前一个最大编码单元的像素线I与J会从线缓冲器读取出来，且会对像素线I与J进行去区块滤波处理。当对像素线I进行取样自适应偏移处理时，像素线H与I之间的三态比较结果会从线缓冲器读取回来。

图8A以及图8B为本发明的一实施例的用于进行取样自适应偏移处理的系统的示意图。如图8A所示，其中跨越方格边界810的最大编码单元的处理顺序如箭头所示。图8B为跨越该边界的最大编码单元LCU-c以及最大编码单元LCU-r的详细处理顺序示意图。当对方格边界810左侧的最大编码单元LCU-c进行取样自适应偏移处理时，列T～W还没有被去区块滤波处理。由于列T～W中的值可在去区块滤波后被修改，以边缘偏移为基础的取样自适应偏移最多只能被套用至像素列R。对于像素列S的以边缘偏移为基础的取样自适应偏移需要来自像素列R的数据，因此，最大编码单元LCU-c的像素列S与像素列T之间的差异是根据像素列S的边缘偏移类型而用三态比较器820计算出来的。三态比较结果会连同像素列S～W一起被存储在线缓冲器821中。当方格边界右侧的最大编码单元LCU-r变为可得时，最大编码单元LCU-c的像素列S可进行取样自适应偏移处理。像素列S～W将会从线缓冲器821读取出来，以使像素列S～W可进行去区块滤波处理。在像素列S～W被去区块滤波后，像素列S已预备好作取样自适应偏移处理。最大编码单元LCU-c的像素列S与像素列R的间的三态比较结果会从线缓冲器821读取回来。

本发明的一实施例中，对于色度分量，跨越一垂直最大编码单元或方格边界的取样自适应偏移处理相似于亮度分量的取样自适应偏移处理。在此情况下，目前的最大编码单元的列T与U之间的三态比较结果系根据如图6B所示的像素列U的边缘偏移类型而使用一三态比较器来计算。像素列T与U之间的三态比较结果会与目前的最大编码单元的像素列U～W一并存储在线缓冲器中。当下一个最大编码单元变为可得时，上一个最大编码单元的像素列U～W会从线缓冲器读取出来，且像素列U～W会进行去区块滤波处理。当对像素列U进行取样自适应偏移时，像素列T与U之间的个三态比较结果会从线缓冲器读取出来。

以上本发明的实施例范例系提供来使本领域技术人员能够实作本发明的技术。对于本发明的实施例所作的修改将落入本发明的范畴，且规范于以上实施例中的通用原则可被应用至其他实施例。因此，本发明并不限制于所揭示的特定实施例，且本发明应参照所揭示的原则、特征作最宽广的解读。在以上的详细说明中，各种特定细节系提供来使读者能够对于本发明有更详尽的了解，且本领域技术人员从上内容可知本发明确实可被实作。

本发明的上述实施例可被实施于各种硬件及/或软件码中，举例来说，本发明的一实施例可为一整合于一视频压缩芯片中的一电路或者是整合于视频压缩软件的程序代码，以进行所述的处理。本发明的实施例也可以是执行于一数字讯号处理(digitalsignal processing，DSP)的程序代码，用以执行其中的相关处理。本发明也可涉及由一计算机处理、一数字讯号处理、一微处理(micro processing)，或是一现场可程序化门阵列(Field-programmable gate array，FPGA)所执行的多种功能。上述处理器可被设置以根据本发明来执行特定的任务，尤其是执行被本发明所教示的方法所定义的机器可读(machine-readable)软件码或韧体码。上述软件码或韧体码可用不同的程序语言以及各种不同的格式或风格来编写，此外，上述软件码也可被不同的目标平台所编译。然而，各种依据本发明来编撰的码的格式或风格、软件码的语言以及其他对于码的设置，皆落入本发明的精神以及范畴。

此外，本发明可在不背离其精神或本质特性的情况下，用其他方式来实施，且所提供的范例仅用以对本发明作说明，而非用以限定。因此，本发明的范畴当以后续权利要求为准，而发明说明仅作为参考之用。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (20)

1.一种用于对重建的视频数据进行去区块处理以及取样自适应偏移处理的方法，包含有：

使用熵译码、逆缩放、逆量化、逆转换，帧内/帧间预测中的一个或多个来对一视频比特流进行译码，以产生重建的视频数据；

对该重建的视频数据的一图像单元进行去区块滤波处理，以产生去区块后的视频数据；

根据该图像单元中一已被部分去区块或是将要被去区块的像素行或列的至少一部分的取样自适应偏移类型，来针对该已被部分去区块或是将要被去区块的像素行或列的至少一部分决定出多个三态比较结果，其中关于该已被部分去区块或是将要被去区块的像素行或列的至少一部分的每一像素的该多个三态比较结果是通过将该已被部分去区块或是将要被去区块的像素行或列的至少一部分的该每一像素与位于一上一行或上一列的一邻近的去区块的像素进行比较，其中该多个三态比较结果包含“大于”、“等于”以及“小于”的状态；以及

将该多个三态比较结果存储在一缓冲器中，其中在一后续图像单元的一部分可被取得来使能该已被部分去区块或是将要被去区块的像素行或列的至少一部分进行去区块处理之后，以及在对该已被部分去区块或是将要被去区块的像素行或列的至少一部分进行取样自适应偏移处理之前，从该缓冲器读取出该多个三态比较结果来。

2.如权利要求1所述的方法，其中该多个三态比较结果中的一三态比较结果用一8比特数据来表示。

3.如权利要求1所述的方法，其中该多个三态比较结果中的一三态比较结果用一2比特数据来表示。

4.如权利要求1所述的方法，其中具有一第一数量的多个三态比较结果用一个具有一第二数量比特的一多比特数据来联合地表示。

5.如权利要求4所述的方法，其中该多个三态比较结果中有三个三态比较结果用一5比特数据来联合地表示。

6.如权利要求4所述的方法，其中该多个三态比较结果中有五个三态比较结果用一8比特数据来联合地表示。

7.如权利要求4所述的方法，其中该多个三态比较结果中有十六个三态比较结果用一26比特数据来联合地表示。

8.如权利要求1所述的方法，其中该多个三态比较结果存储在由多层式存储单元所构成的存储器中。

9.如权利要求8所述的方法，其中每一三态比较结果存储在该由多层式存储单元所构成的存储器中的一多层式存储单元中，且每一多层式存储单元支持三层或更多层。

10.如权利要求1所述的方法，其中该图像单元对应于一最大编码单元或是一移位最大编码单元。

11.如权利要求10所述的方法，其中该后续图像单元对应于一目前的最大编码单元行中位于一目前的最大编码单元右侧的一下一最大编码单元，来进行以最大编码单元行为基础的译码，或是对应于位于一下一最大编码单元行中的一邻近的最大编码单元，以进行该以最大编码单元行为基础的译码，其中该邻近的最大编码单元位于该目前的最大编码单元的下方。

12.如权利要求10所述的方法，其中该后续图像单元对应于一下一方格中的一邻近的最大编码单元，以进行以方格为基础的译码，其中该邻近的最大编码单元位于一目前的最大编码单元的右侧。

13.一种用于对重建的视频数据进行去区块处理以及取样自适应偏移处理的装置，包含有：

用于使用熵译码、逆缩放、逆量化、逆转换、帧内/帧间预测中的一个或多个来对一视频比特流进行译码以产生重建的视频数据的元件；

用于对该重建的视频数据的一图像单元进行去区块滤波处理以产生去区块的视频数据的元件；

用于根据该图像单元中一已被部分去区块或是将要被去区块的像素行或列的至少一部分的取样自适应偏移类型，来针对该已被部分去区块或是将要被去区块的像素行或列的至少一部分决定出多个三态比较结果的元件，其中关于该已被部分去区块或是将要被去区块的像素行或列的至少一部分的每一像素的该多个三态比较结果是通过将该已被部分去区块或是将要被去区块的像素行或列的至少一部分的该每一像素与位于一上一行或上一列的一邻近的去区块的像素进行比较，其中该多个三态比较结果包含“大于”、“等于”以及“小于”的状态；以及

用于将该多个三态比较结果存储在一缓冲器中的元件，其中在可取得一后续图像单元的一部分来使能对该已被部分去区块或是将要被去区块的像素行或列的至少一部分进行去区块处理之后，以及在对该已被部分去区块或是将要被去区块的像素行或列的至少一部分进行取样自适应偏移处理之前，该多个三态比较结果从该缓冲器被读取出来。

14.如权利要求13所述的装置，其中该多个三态比较结果中的一三态比较结果用一2比特数据来表示。

15.如权利要求13所述的装置，其中具有一第一数量的多个三态比较结果用具有一第二数量比特的一多比特数据来共同地表示。

16.如权利要求15所述的装置，其中该多个三态比较结果中有三个三态比较结果用一5比特数据来联合地表示。

17.如权利要求15所述的装置，其中该多个三态比较结果中有五个三态比较结果用一8比特数据来联合地表示。

18.如权利要求15所述的装置，其中该多个三态比较结果中有十六个个三态比较结果用一26比特数据来联合地表示。

19.如权利要求13所述的装置，其中该多个三态比较结果系存储在由多层式存储单元所构成的存储器中。

20.如权利要求19所述的装置，其中每一三态比较结果存储在该由多层式存储单元所构成的存储器中的一多层式存储单元中，且每一多层式存储单元支持三层或更多层。