CN103891277A - 回路滤波方法及其装置 - Google Patents

Abstract

本发明提供一种编码系统中重建过的视频的回路处理的方法及装置。该回路处理包含一回路滤波器及一个或多个自适应滤波器。该自适应滤波器的滤波器参数得自于预回路视频数据，以便自适应滤波器处理可应用于该回路处理过的视频数据而不需要等待图像或影像单元的回路滤波器处理的完成。在另一实施例中，两个自适应滤波器基于同样的预回路视频数据得到它们各自的自适应滤波器参数。在又一实施例中，一移动窗口用于包含回路滤波器及一个或多个自适应滤波器的基于影像单元的编码系统中。该回路滤波器及该自适应滤波器应用于预回路视频数据的一移动窗口，该预回路视频数据包含对应于一个或多个影像单元的一个或多个次区域。

Description

回路滤波方法及其装置

相关申请的交叉引用

本申请要求如下申请的优先权：2011年10月14日递交的申请号为61/547,285，标题为“Parallel Encoding for SAO and ALF”的美国临时案；2011年11月8日递交的申请号为61/557,046，标题为“Memory access reduction for in-loop filtering”的美国临时案。在此合并参考这些相关申请案的申请标的。

技术领域

本发明是关于视频编码系统，尤指一种减少视频编码器或解码器中有关回路滤波（例如去块（Deblocking），样本自适应偏移（Sample Adaptive Offset,SAO）及自适应回路滤波器（Adaptive Loop Filter,ALF））的处理延迟和/或缓冲器需求的方法以及相关系装置。

背景技术

运动估计是一种有效的帧间编码技术，以利用（exploit）视频序列中的时间冗余度（temporal redundancy）。运动补偿帧间编码已在各种国际视频编码标准中广泛采用。在各种编码标准中采用的运动估计通常是基于块（block-based）的技术，其中运动信息（例如编码模式及运动矢量）被判定以用于每一宏模块（macroblock）或类似的块配置（similar blockconfiguration）。此外，帧内编码也相应得到应用，其中该图像（picture）无须参考任意其他图像而被处理。间预测（inter-predicted）或内预测（intra-predicted）的残余量（residue）通常藉由转换、量化及熵编码作进一步处理以产生压缩的视频比特流。在编码过程期间，尤其在量化过程中，会引入编码噪声（coding artifact）。为了减轻编码噪声，附加的处理已被应用于重建过的视频以提高更新的（newer）编码系统中的图像品质。该附加的处理通常在回路操作（in-loop operation）中进行配置，以使编码器和解码器可得到（derive）同样的参考图像以达到提高系统性能的目的。

图1是包含回路滤波过程的示范性自适应间/内视频编码系统。对于间预测，运动估计（Motion Estimation,ME）/运动补偿（Motion Compensation,MC）112用以基于其他一个或多个图像中的视频数据来提供预测数据。开关114选择内预测110或ME/MC112中的间预测数据，且被选择的预测数据被提供至加法器116以产生预测误差（prediction errors），也称为预测残余量（prediction residues）或残余量。预测误差接着藉由转换（Transformation,T）118进行处理，进而再藉由量化（Quantization,Q）120进行处理。熵编码器122对转换后和量化后的残余量进行编码以形成对应于被压缩的视频数据的一视频比特流。与转换系数（transform coefficient）相关的该比特流随着边信息（side information）（例如运动、模式及其他与影像单元（image unit）相关的信息）一起被封装（packed）。该边信息也可藉由熵编码来处理以减少所需带宽。相应地，该边信息被提供至熵编码器122，如图1（至熵编码器122的运动/模式路径（motion/mode path）未绘示）所示。当使用间预测模式时，必须使用先前重建过的一个或多个参考图像以产生预测残余量。因此，一重建回路（reconstruction loop）被用来在编码器尾端产生重建过的图像。从而，该转换后和量化后的残余量藉由反量化（Inverse Quantization,IQ）124和逆转换（Inverse Transformation,IT）126处理以恢复该处理过的残余量。该处理过的残余量接着藉由重建（Reconstruction,REC）128加回至预测数据136以重建该视频数据。该重建过的视频数据可储存于参考图像缓冲器（Reference Picture Buffer）134中并用来对其他帧进行预测。

如图1所示，输入的视频数据在编码系统中会经过一系列的处理。由重建128得到的重建过的视频数据由于一系列的处理可能会遭受各种损害。因此，在重建过的视频数据被用作预测数据之前，对该重建过的视频数据采用各种回路处理以提高视频品质。在正在发展的高性能视频编码（High Efficiency Video Coding,以下简称为HEVC）标准中，去块滤波器（Deblocking Filter,DF）130、样本自适应偏移（SAO）131及自适应回路滤波器（ALF）132已被开发以提高图像品质。去块滤波器130用于边界像素，并且去块滤波处理依赖于基础（underlying）像素数据及对应块的有关编码信息。在视频比特流中不需要包含去块滤波器特有的边信息。另一方面，样本自适应偏移处理及自适应回路滤波处理是自适应的，其中滤波器信息（例如滤波器参数及滤波器类型）可依据基础视频数据而动态地改变。因此，有关于样本自适应偏移及自适应回路滤波器信息的滤波器信息包含在视频比特流中，如此一来，解码器可正确地恢复所需信息。所以，从样本自适应偏移及自适应回路滤波器得到滤波器信息被提供至熵编码器122以合并至比特流中。在图1中，去块滤波器130首先用于重建过的视频；样本自适应偏移131接着用于去块滤波器处理过的视频；以及自适应回路滤波器132用于样本自适应偏移处理过的视频。然而，去块滤波器、样本自适应偏移及自适应回路滤波器之间的处理顺序可以重新安排。在H.264/AVC视频标准中，自适应滤波器仅包含去块滤波器。在正在发展的HEVC视频标准中，回路滤波处理包含去块滤波器、样本自适应偏移及自适应回路滤波器。在本揭露书中，回路滤波器（in-loop filter）指的是操作于基础视频数据上而不需要合并于视频比特流中的边信息的回路滤波处理（loopfilter processing）。另一方面，自适应滤波器指的是自适应地操作于基础视频数据上并使用合并于视频比特流中的边信息的回路滤波处理。举例来说，去块滤波器被视为回路滤波器而样本自适应偏移及自适应回路滤波器被视为自适应滤波器。

与图1中的编码器对应的解码器如图2所示。视频比特流藉由熵解码器142进行解码以恢复该处理过（亦即转换后和量化后）的预测残余量、SAO/ALF信息及其他系统信息。在解码器端，仅仅执行运动补偿（MC）113来代替ME/MC。解码过程类似于编码器端的重建回路。该恢复的转换后和量化后的预测残余量、SAO/ALF信息及其他系统信息被用于重建该视频数据。该重建过的视频进一步被去块滤波器130、样本自适应偏移131及自适应回路滤波器132处理以产生最终增强（enhanced）的解码视频，其被作为解码器输出用于显示，并且储存在参考图像缓冲器134中以产生预测数据。

H.264/AVC中的编码过程应用于16×16的处理单元或影像单元，称为宏模块（MB）。HEVC中的编码过程依据最大编码单元（Largest Coding Unit,LCU）而应用。最大编码单元使用四叉树自适应地分割为多个编码单元。在每一影像单元（即宏模块或叶编码单元（leaf CU））中，针对亮度分量（luma component）基于8x8的块（block）（针对色度分量（chroma component）基于4×4的块），执行去块滤波器，同时去块滤波器依据边界强度（boundary strength）应用于8×8的亮度块边界（对于色度分量应用于4x4的块边界）。在以下的讨论中，亮度分量用来作为回路滤波处理的一范例。然而，容易知道回路处理也可应用于色度分量。对于每一8×8的块，首先水平滤波应用于垂直块边界，接着垂直滤波应用于水平块边界。在亮度块边界的处理期间，每一边（side）的四个像素涉及到滤波器参数推导，并且可在滤波后改变每一边上的多达三个像素。对于应用于垂直块边界的水平滤波，预回路（pre-in-loop）视频数据（即此例中未滤波的重建过的视频数据或预去块滤波的视频数据）用于滤波器参数推导以及对于滤波而言作为源视频数据（source videodata）。对于应用于水平块边界的垂直滤波，预回路视频数据（即此例中未滤波的重建过的视频数据或预去块滤波的视频数据）用于滤波器参数推导，并且去块滤波器中间（intermediate）像素（即水平滤波后的像素）用于滤波。对于色度块边界的去块滤波器处理，每一边的两个像素涉及到滤波器参数推导，并且在滤波后改变每一边上的至多一个像素。对于应用于垂直块边界的水平滤波，未滤波的重建过的像素用于滤波器参数推导且作为滤波的源像素；对于应用于水平块边界的垂直滤波，去块滤波器处理过的中间像素（即水平滤波后的像素）用于滤波器参数推导且也作为滤波的源像素。

去块滤波过程可用于一图像的多个块中。另外，去块滤波过程也可用于一图像的每一影像单元（宏模块或最大编码单元）中。在基于影像单元的去块滤波过程中，影像单元边界的去块滤波过程依赖于邻近影像单元的数据。图像中的该影像单元通常以光栅扫描顺序（raster scan order）来处理。因此，上影像单元或左影像单元的数据对于影像单元边界的上侧及左侧的去块滤波处理是可用的。然而，对于影像单元边界的底部或右侧，去块滤波处理必须被延迟直到相应的数据变为可用。由于邻近影像单元的数据缓冲原因，有关去块滤波的数据相关性问题（data dependency issue）使系统设计变得复杂，同时增加了系统成本。

在后续的自适应滤波器的系统中，例如操作于由回路滤波器（例如去块滤波器）处理的数据上的样本自适应偏移及自适应回路滤波器，附加的自适应滤波器处理使系统设计更为复杂，并增加系统成本/延迟(latency)。举例来说，在HEVC测试模组版本4.0（HM-4.0）中，样本自适应偏移及自适应回路滤波器自适应地被采用，其允许样本自适应偏移参数及自适应回路滤波器参数可针对每一图像自适应地被判定（“WD4:Working Draft4 ofHigh-Efficiency Video Coding”,Bross et.al.,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11,6th Meeting:Torino,IT,14-22July,2011,Document:JCTVC-F803）。在图像的样本自适应偏移处理期间，该图像的样本自适应偏移参数基于该图像的去块滤波器输出像素及原始像素而得到，接着样本自适应偏移处理应用于具有所得到的样本自适应偏移参数的去块滤波器处理过的图像上。类似地，在图像的自适应回路滤波器处理期间，该图像的自适应回路滤波器参数基于该图像的样本自适应偏移输出像素及原始像素而得到，接着自适应回路滤波器处理应用于具有所得到的自适应回路滤波器参数的样本自适应偏移处理过的图像上。基于图像的样本自适应偏移及自适应回路滤波器处理需要帧缓冲器来储存去块滤波器处理过的帧及样本自适应偏移处理过的帧。这些系统由于附加的帧缓冲器需求会导致更高的系统成本，也会造成更长的编码延迟。

图3是在编码器端基于连续的（sequential）样本自适应偏移处理及自适应回路滤波器处理的一编码器的系统方块图。在采用样本自适应偏移320之前，样本自适应偏移参数必须被获取到，如方块310所示。样本自适应偏移参数是基于去块滤波器处理过的数据而得到的。在样本自适应偏移应用于去块滤波器处理过的数据后，如方块330所示，样本自适应偏移处理过的数据用来得到自适应回路滤波器参数。根据自适应回路滤波器参数的判定，自适应回路滤波器应用于样本自适应偏移处理过的数据，如方块340所示。如上所述，由于样本自适应偏移参数是基于去块滤波器处理过的视频数据的完整帧（whole frame）而得到的，因此需要帧缓冲器来储存去块滤波器输出像素，以用于后续的样本自适应偏移处理。类似地，同样需要帧缓冲器来储存样本自适应偏移输出像素，以用于后续的自适应回路滤波器处理。这些缓冲器没有在图3中明确表示出来。在较新的HEVC发展中，基于最大编码单元的样本自适应偏移及自适应回路滤波器用来降低缓冲器的需求，同时用来降低编码器延迟。然而，图3所示的同样的处理工作流程可用于基于最大编码单元的回路处理中。换句话说，藉由最大编码单元的基础，在一最大编码单元上，样本自适应偏移参数从去块滤波器输出像素中来判定，自适应回路滤波器参数从样本自适应偏移输出像素中来判定。如前面讨论的，直到来自邻近最大编码单元（最大编码单元下方及最大编码单元的右方）所需数据变得可用，一当前最大编码单元的去块滤波处理才能被完成。因此，针对一当前最大编码单元的样本自适应偏移处理会被延迟大致最大编码单元的一图像行值（picture-row worth），并且需要相应的缓冲器来储存最大编码单元的该图像行值。自适应回路滤波器处理也有类似的问题。

根据HM-5.0，如图4所示，针对基于最大编码单元的处理，压缩的视频比特流被构造(structured)来缓解解码过程。比特流400相当于一个图像区域的被压缩的视频数据，其可以为一完整图像或一部分(slice)图像。在一图像中针对单独的最大编码单元，对于由被压缩的数据跟随的对应的图像，构造比特流400以包含一帧头部（frame header）410（或者，如果使用部分构造则为一部分头部（slice header））。每一最大编码单元数据包含最大编码单元头部410及最大编码单元残余数据（residual data）。该最大编码单元头部位于每一最大编码单元比特流的起始处并且包含最大编码单元共有的（common）信息，例如样本自适应偏移参数控制信息及自适应回路滤波器控制信息。因此，在最大编码单元残余量的解码起动（start）之前，解码器可依据包含于最大编码单元头部中的信息被正确地设置，如此一来便可降低解码器端的缓冲器需求。然而，由于残余量必须被缓冲，直到欲并入最大编码单元头部的头部信息准备好，因此对于编码器来说，产生符合图4中比特流构造的一比特流是一个负担。

如图4所示，最大编码单元头部插入最大编码单元残余数据的前面。对于最大编码单元，样本自适应偏移参数包含于最大编码单元头部中。最大编码单元中的样本自适应偏移参数是基于最大编码单元的DP处理过的像素而得到的。因此，完整最大编码单元的DP处理过的像素在样本自适应偏移处理能够应用于去块滤波器处理过的数据之前必须被缓冲。此外，样本自适应偏移参数包含样本自适应偏移滤波器打开/关闭决定（On/Offdecision），其是关于样本自适应偏移是否被应用于当前最大编码单元。样本自适应偏移滤波器打开/关闭决定是基于当前最大编码单元的原始像素数据及去块滤波器处理过的像素数据而得到的。因此，当前最大编码单元的原始像素数据也必须被缓冲。当最大编码单元选择打开决定时，样本自适应偏移滤波器类型（即边界偏移（Edge Offset,EO）或带宽偏移（Band Offset,BO））会进一步被判定。针对已选择的样本自适应偏移滤波器类型，对应的边界偏移参数或带宽偏移参数会被判定。如HM-5.0所描述的，打开/关闭决定、EO/BO决定以及对应的EO/BO参数是嵌入在最大编码单元头部中的。在解码器端，由于样本自适应偏移参数包含于比特流中，所以并没有要求样本自适应偏移参数推导。自适应回路滤波器的情形与样本自适应偏移过程类似。然而，样本自适应偏移过程是基于DP处理过的像素，而自适应回路滤波器过程是基于样本自适应偏移过程处理过的像素。

如前所述，去块滤波器处理是确定性的（deterministic），其中这些运作是依赖于基础重建过的像素（underlying reconstructed pixel）及已准备好的可用信息。附加信息无须藉由编码器而得到且无须包含于比特流中。因此，在无自适应滤波器（如样本自适应偏移及自适应回路滤波器）的视频编码系统中，编码器处理管线（processing pipeline）是相对简单的。图5是有关于编码器的关键处理步骤的示范性处理管线的示意图。间/内预测方块（Inter/Intra Prediction）510表示分别对应于图1的ME/MC112及内预测110的间预测及内预测的运动估计/运动补偿。重建520负责产生重建过的像素，其对应于图1中的转换118,量化120,反量化124,逆转换126及重建128。首先在每一最大编码单元执行间/内预测510以产生多个残余量，接着重建520应用于这些残余量以产生重建过的像素。间/内预测510方块及重建520方块是顺序执行的。然而，由于在熵编码530及去块540之间没有数据相关性（data dependency），熵编码530及去块540可并行执行。图5是说明实作一无自适应滤波处理的编码系统的示范性编码器管线的示意图。编码器管线的处理方块可作不同的设置。

当使用自适应滤波器处理时，处理管线需要被小心地设置。图6A为有关于具有样本自适应偏移610的编码器的关键处理步骤的示范性处理管线的示意图。如前所述，样本自适应偏移操作于去块滤波器处理过的像素。因此，样本自适应偏移610在去块540后执行。因为样本自适应偏移参数会包含于最大编码单元头部中，因此熵编码530需要等待直到得到样本自适应偏移参数。相应地，图6A中所示的熵编码530开始于得到样本自适应偏移参数之后。图6B为具有样本自适应偏移的编码器的另一管线架构（pipeline architecture）的示意图，其中熵编码530开始于样本自适应偏移610结束时。最大编码单元尺寸可为64x64像素。当在管线阶段发生附加延迟时，最大编码单元数据需要被缓冲。缓冲器尺寸会相当大。因此，需要在处理管线中缩短延迟。

图7A为有关于具有样本自适应偏移610及自适应回路滤波器710的编码器的关键处理步骤的示范性处理管线的示意图。如前所述，自适应回路滤波器操作于样本自适应偏移处理过的像素。因此，自适应回路滤波器710在样本自适应偏移610之后被执行。因为自适应回路滤波器控制信息会包含于最大编码单元头部中，所以熵编码530需要等待直到得到自适应回路滤波器控制信息。相应地，图7A中所示的熵编码530开始于得到自适应回路滤波器控制信息之后。图7B为具有样本自适应偏移及自适应回路滤波器的编码器的另一管线架构的示意图，其中熵编码530开始于自适应回路滤波器710结束时。

如图6A-6B及图7A-7B所示，由于自适应滤波器处理的顺序流程性质（sequentialprocess nature），具有自适应滤波器处理的系统会导致更长的处理延迟。需要开发一种能够减少有关自适应滤波器处理的处理延迟及缓冲器尺寸的方法及装置。

回路滤波器能够有效增强图像品质，相关的处理需要至编码端图像级数据（picture-level data）的多路访问（multi-pass access），以执行参数生成及滤波器操作。图8为包含去块、样本自适应偏移及自适应回路滤波器的示范性HEVC编码器的示意图。图8中的编码器是基于图1中的HEVC编码器。然而，样本自适应偏移参数推导（SAO parameterderivation）831及自适应回路滤波器参数推导（ALF parameter derivation）832都明确显示出来。样本自适应偏移参数推导831需要存取（access）原始视频数据及去块滤波器处理过的数据以产生样本自适应偏移参数。样本自适应偏移131接着基于所得到的样本自适应偏移参数，操作于去块滤波器处理过的数据上。类似地，自适应回路滤波器参数推导832需要存取原始视频数据及样本自适应偏移处理过的数据以产生自适应回路滤波器参数。自适应回路滤波器132接着基于所得到的自适应回路滤波器参数，操作于样本自适应偏移处理过的数据上。如果片上缓冲器（on-chip buffer）（例如SRAM）被用于图像级多路编码，晶片面积会非常大。因此，片外（off-chip）帧缓冲器（例如DRAM）用来储存图像。外部存储器带宽及系统功耗会大幅增加。相应地，需要开发一种能够缓解高存储器存取需求的机制。

发明内容

本发明提供一种用于对编码系统中重建过的视频数据的回路处理的方法及装置。该回路处理包含一回路滤波器及一个或多个自适应滤波器。在本发明一实施例中，自适应滤波处理应用于回路处理过的视频数据。该自适应滤波器的滤波器参数得自于预回路视频数据，以便一旦后续自适应滤波器处理有足够的回路处理过的数据变得可用，自适应滤波器处理便可应用于该回路处理过的视频数据。编码系统可以为基于图像的处理或基于影像单元的处理。回路处理及自适应滤波器处理可以同时应用于基于图像的系统的一部分图像。针对基于影像单元的系统，自适应滤波器处理可与回路滤波器同时应用于该影像单元的一部分。在本发明另一实施例中，两个自适应滤波器基于同样的预回路视频数据得到它们各自的自适应滤波器参数。该影像单元可以为最大编码单元或宏模块。滤波器参数也可依赖于部分回路滤波器处理过的视频数据。

在另一实施例中，移动窗口用于包含回路滤波器及一个或多个自适应滤波器的基于影像单元的编码系统中。针对影像单元，第一自适应滤波器的第一自适应滤波器参数是基于影像单元的原始视频数据及预回路视频数据而被估计。在移动窗口上，该预回路视频数据接着使用回路滤波器及第一自适应滤波器来被处理，并且移动窗口包含当前图像的一个或多个影像单元对应的一个或多个次区域。该回路滤波器及该第一自适应滤波器可同时应用于当前移动窗口的至少一部分，或者该第一自适应滤波器应用于第二移动窗口且该回路滤波器应用于第一移动窗口，其中该第二移动窗口延迟该第一移动窗口一个或多个移动窗口。该回路滤波器应用于预回路视频数据以产生第一处理过的数据，以及该第一自适应滤波器应用于使用基于估计的该第一自适应滤波器参数的该第一处理过的数据，以产生第二处理过的视频数据。该第一滤波器参数也可依赖于部分回路滤波器处理过的视频数据。针对影像单元，该方法更包含基于该影像单元的原始视频数据及预回路视频数据，估计第二自适应滤波器的第二自适应滤波器参数，以及在该移动窗口使用该第二自适应滤波器来处理该移动窗口。估计该第二自适应滤波器的第二自适应滤波器参数也可依赖于部分回路滤波器处理过的视频数据。

在另一实施例中，移动窗口用于包含回路滤波器及一个或多个自适应滤波器的基于影像单元的解码系统。预回路视频数据使用移动窗口上的回路滤波器及第一自适应滤波器来被处理，该移动窗口包含当前图像的一个或多个影像单元对应的一个或多个次区域。回路滤波器应用于该预回路视频数据以产生该第一处理过的数据，且该第一自适应滤波器应用于使用包含于视频比特流中的该第一自适应滤波器参数的该第一处理过的数据，以产生该第二处理过的视频数据。在另一实施例中，该回路滤波器及该第一自适应滤波器可同时应用于当前移动窗口的至少一部分，或者该第一自适应滤波器应用于第二移动窗口且该回路滤波器应用于第一移动窗口，其中该第二移动窗口延迟该第一移动窗口一个或多个移动窗口。

附图说明

图1为包含去块滤波器回路处理、样本自适应偏移回路处理及自适应回路滤波器回路处理的一示范性HEVC视频编码系统的示意图。

图2是包含去块滤波器回路处理、样本自适应偏移回路处理及自适应回路滤波器回路处理的一示范性间/内视频解码系统的示意图。

图3是包含管线样本自适应偏移处理及自适应回路滤波器处理的一传统视频编码的方块示意图。

图4是一示范性基于最大编码单元的视频比特流架构，其中最大编码单元头部插入在每一最大编码单元比特流的起始处。

图5是包含去块作为回路滤波器的编码器的一示范性处理管线流程图。

图6A是包含去块作为回路滤波器及样本自适应偏移作为自适应滤波器的编码器的一示范性处理管线流程图。

图6B是包含去块作为回路滤波器及样本自适应偏移作为自适应滤波器的编码器的另一示范性处理管线流程图。

图7A是包含去块作为回路滤波器及样本自适应偏移和自适应回路滤波器作为自适应滤波器的传统编码器的一示范性处理管线流程图。

图7B是包含去块作为回路滤波器及样本自适应偏移和自适应回路滤波器作为自适应滤波器的传统编码器的另一示范性处理管线流程图。

图8是包含去块滤波器回路处理、样本自适应偏移回路处理及自适应回路滤波器回路处理的示范性HEVC视频编码系统，其中清楚显示了样本自适应偏移参数推导和自适应回路滤波器参数推导。

图9是依据本发明一实施例的具有去块滤波器处理及自适应滤波器处理的编码器的一示范性方块示意图。

图10A是依据本发明一实施例的具有去块滤波器、样本自适应偏移及自适应回路滤波器的编码器的一示范性方块示意图。

图10B是依据本发明一实施例的具有去块滤波器、样本自适应偏移及自适应回路滤波器的编码器的另一示范性方块示意图。

图11A是在间预测及回路处理之间包含共享存储器存取的一示范性HEVC视频编码系统，其中ME/MC与自适应回路滤波器共享存储器存取。

图11B是在间预测及回路处理之间包含共享存储器存取的一示范性HEVC视频编码系统，其中ME/MC与自适应回路滤波器、样本自适应偏移共享存储器存取。

图11C是在间预测及回路处理之间包含共享存储器存取的一示范性HEVC视频编码系统，其中ME/MC与自适应回路滤波器、样本自适应偏移及去块滤波器共享存储器存取。

图12A是依据本发明一实施例的具有去块滤波器及一个自适应滤波器的编码器的一示范性处理管线流程图。

图12B是依据本发明一实施例的具有去块滤波器及一个自适应滤波器的编码器的另一示范性处理管线流程图。

图13A是依据本发明一实施例的具有去块滤波器及两个自适应滤波器的编码器的一示范性处理管线流程图。

图13B是依据本发明一实施例的具有去块滤波器及两个自适应滤波器的编码器的另一示范性处理管线流程图。

图14是具有去块滤波器回路处理、样本自适应偏移回路处理及自适应回路滤波器回路处理的传统的基于最大编码单元的解码器的处理管线流程图及缓冲器管线示意图。

图15是依据本发明一实施例的具有去块滤波器回路处理、样本自适应偏移回路处理及自适应回路滤波器回路处理的基于最大编码单元的解码器的示范性处理管线流程图及缓冲器管线示意图。

图16是依据本发明一实施例的具有回路滤波器及自适应滤波器的基于最大编码单元的解码器的一示范性移动窗口示意图。

图17A-图17C是依据本发明一实施例的具有回路滤波器及自适应滤波器的基于最大编码单元的解码器的一示范性移动窗口各个阶段的示意图。

具体实施方式

如前所述，回路处理的各种类型用于视频编码器或解码器中顺序地重建过的视频数据。举例来说，在HEVC中，首先采用去块滤波器处理；接着采用样本自适应偏移处理；然后再采用自适应回路滤波器处理，如图1所示。此外，自适应滤波器（即此例中样本自适应偏移及自适应回路滤波器）各自的滤波器参数是基于前一级（previous-stage）回路处理的处理过的输出而得到的。举例来说，样本自适应偏移参数是基于去块滤波器处理过的像素而得到的，以及自适应回路滤波器参数是基于样本自适应偏移处理过的像素而得到的。在基于影像单元（image-unit-based）的编码系统中，针对一完整的影像单元，自适应滤波器参数推导是基于处理过的像素。所以，后续的自适应滤波器处理不能开始，直到影像单元的前一阶段回路处理完成。换言之，影像单元的去块滤波器处理过的像素必须被缓冲以用于后续的样本自适应偏移处理，以及影像单元的样本自适应偏移处理过的像素必须被缓冲以用于后续的自适应回路滤波器处理。影像单元的尺寸可为64x64像素，同时缓冲器会相当大。另外，上述系统也会导致从一个级到下一级的处理延迟及增加整体处理延迟。

本发明一实施例可缓解缓冲器尺寸需求及减少处理延迟。在一实施例中，自适应滤波器参数推导是基于重建过的像素，而不是基于去块滤波器处理过的数据。换言之，自适应滤波器参数推导是基于在前一级回路处理之前的视频数据。图9是本发明实施例的编码器的一示范性处理流程的示意图。自适应滤波器参数推导930是基于重建过的数据，而不是基于去块滤波器处理过的数据。因此，无论何时有足够的去块滤波器处理过的数据变得可用，自适应滤波器处理920都可开始，而不需要等待当前影像单元去块滤波器处理910的完成。相应地，针对后续的自适应滤波器处理920，无须储存整个影像单元的去块滤波器处理过的数据。自适应滤波器处理可为样本自适应偏移处理或自适应回路滤波器处理。自适应滤波器参数推导930也可依赖于去块滤波器处理910的部分输出912。举例来说，除重建过的视频数据之外，对应于第一少数方块（block）的去块滤波器处理910的输出，还可以包含于自适应滤波器参数推导930中。由于仅使用去块滤波器处理910的部分输出，后续自适应滤波器处理920可在去块滤波器处理910完成之前开始。

在另一实施例中，自适应滤波处理的两种或多种类型的自适应滤波器参数推导是基于相同的源（source）。举例来说，自适应回路滤波器参数推导与样本自适应偏移参数推导可基于相同的源数据，即去块滤波处理过的数据，而不是使用样本自适应偏移处理过的像素。因此，自适应回路滤波器参数可以不需要等待当前影像单元的样本自适应偏移处理完成就能得到。实际上，自适应回路滤波器参数的获得可在样本自适应偏移处理开始之前或在样本自适应偏移处理开始之后一段短时期内完成。同时，无论何时有足够的样本自适应偏移处理过的数据变得可用，自适应回路滤波处理都可开始，而不需要等待影像单元的样本自适应偏移处理完成。图10A是依据本发明实施例的一示范性系统设置的示意图，其中样本自适应偏移参数推导1010及自适应回路滤波器参数推导1040都基于相同的源数据（即本例中的去块滤波器处理过的像素）。所得到的参数接着被提供至样本自适应偏移1020及自适应回路滤波器1030中处理。由于针对自适应回路滤波器处理，无论何时有足够的样本自适应偏移处理过的数据变得可用，后续自适应回路滤波器处理都可开始来操作，图10A缓解了缓冲完整影像单元的样本自适应偏移处理过的像素的需求。自适应回路滤波器参数推导1040也可依赖于样本自适应偏移1020的部分输出1022。举例来说，除去块滤波器的输出数据之外，对应于第一少数线（line）或方块的样本自适应偏移1020的输出，也可以包含在自适应回路滤波器参数推导1040中。由于仅使用样本自适应偏移的部分输出，后续自适应回路滤波器1030可在样本自适应偏移1020完成之前开始。

在又一例子中，样本自适应偏移参数推导及自适应回路滤波器参数推导进一步被移至前一级，如图10B所示。样本自适应偏移参数推导及自适应回路滤波器参数推导可基于预去块滤波器数据（pre-DF data）（即重建过的数据），而不使用去块滤波器处理过的像素。此外，样本自适应偏移参数推导及自适应回路滤波器参数推导可并行执行。样本自适应偏移参数不需要等待当前影像单元去块滤波器处理的完成便可得到。实际上，样本自适应偏移参数的获得可在去块滤波器处理开始之前或在去块滤波器处理开始之后一段短时期内完成。而且，无论何时有足够的去块滤波器处理过的数据变得可用，样本自适应偏移处理都可开始，而不需要等待影像单元的去块滤波器处理完成。类似地，无论何时有足够的样本自适应偏移处理过的数据变得可用，自适应回路滤波器处理都可开始，而不需要等待影像单元的样本自适应偏移处理完成。样本自适应偏移参数推导1010也可依赖于去块滤波器1050的部分输出1012。举例来说，除重建过的输出数据之外，对应于第一少数块的去块滤波器1050的输出可包含于样本自适应偏移参数推导1010中。由于仅使用去块滤波器1050的部分输出，后续样本自适应偏移1020可在去块滤波器1050完成之前开始。类似地，自适应回路滤波器参数推导1040也可依赖于去块滤波器1050的部分输出1012以及样本自适应偏移1020的部分输出1024。由于仅使用样本自适应偏移1020的部分输出，后续自适应回路滤波器1030可在样本自适应偏移1020完成之前开始。图10A及图10B所示的系统设置可减少缓冲器需求及处理延迟，而所得到的样本自适应偏移参数及自适应回路滤波器参数在视觉效果（PSNR）方面可能不是最佳的。

为了降低样本自适应偏移及自适应回路滤波器的DRAM带宽需求，依据本发明一实施例将自适应回路滤波器处理的存储器存取与下一图像编码过程的间预测（Interprediction）阶段的存储器存取相结合，如图11A所示。由于间预测需要存取参考图像以执行运动估计或运动补偿，自适应回路滤波器过程可在此阶段被执行。与传统的自适应回路滤波器实作相比较，ME/M112及自适应回路滤波器132的结合处理1110可减少对DRAM的一次附加读及一次附加写来产生参数及应用滤波器处理。在滤波器处理被应用之后，改进的（modified）参考数据可藉由替换未被滤波的数据而被储存回参考图像缓冲器以供将来使用。图11B是结合回路处理的间预测的另一实施例，其中回路处理包含样本自适应偏移以及自适应回路滤波器，以进一步降低存储器带宽需求。样本自适应偏移以及自适应回路滤波器都需要使用去块滤波器的输出像素来作为参数推导的输入，如图11B所示。与传统的回路处理相比较，图11B的实施例可减少外部存储器（例如DRAM）两次附加读及两次附加写来用于参数推导及滤波器操作。此外，样本自适应偏移参数及自适应回路滤波器参数可并行产生，如图11B所示。在此实施例中，自适应回路滤波器参数推导可能不是最佳的。然而，本发明实施例相关的编码损失可依据DRAM存储器存取的实质性减少而被调整。

在HM-4.0中，对于去块滤波器，不需要滤波器参数推导。在本发明另一实施例中，去块滤波器的线缓冲器（line buffer）与ME搜索范围缓冲器共享，如图11C所示。在此设置中，样本自适应偏移及自适应回路滤波器使用预去块滤波器像素（即重建过的像素）作为参数推导的输入。

图10A及图10B是基于相同的源的多个自适应滤波器参数推导的两个实施例。为了得到基于相同的源的两种或多种类型的自适应滤波器处理的自适应滤波器参数，基于前一级回路处理之前的数据，得到至少一组的自适应滤波器参数。图10A及图10B的实施例是依据本发明的处理流程方面的示意图，图12A-图12B及图13A-图13B是依据本发明实施例的时间方面的示意图。图12A-图12B为包含一种类型的自适应滤波器处理（例如样本自适应偏移或自适应回路滤波器）的编码系统的一示范性时间表（time profile）。首先执行内/间预测1210，接着执行重建1220。如前所述，转换、量化、去量化（de-quantization）及逆转换（inverse transformation）都隐含包含于内/间预测1210及重建1220中。由于自适应滤波器参数推导是基于预去块滤波器数据，当重建过的数据变得可用时，自适应滤波器参数推导可开始。一旦当前影像单元的重建完成或不久之后，自适应滤波器参数推导也可完成。

图12A所示的示范性处理管线流程图中，去块1230在当前影像单元重建完成之后执行。此外，图12A的实施例在去块1230及熵编码1240开始之前完成自适应滤波器参数推导，如此一来，自适应滤波器参数对于熵编码1240并入对应的影像单元比特流的头部来说便是及时的。在图12A的例子中，当重建过的数据被产生且被写入至帧缓冲器之前，可存取该重建过的数据用于自适应滤波器参数推导。无论何时有足够的回路处理过的数据（即此例中去块滤波器处理过的数据）变得可用，对应的自适应滤波器处理（例如样本自适应偏移或自适应回路滤波器）都可开始，而不需要等待影像单元上的回路滤波器处理的完成。图12B所示的实施例在重建1220完成之后执行自适应滤波器参数推导。换言之，自适应滤波器参数推导与去块1230并行执行。在图12B的例子中，当重建过的数据从缓冲器读回用于去块时，可存取该重建过的数据用于自适应滤波器参数推导。当获得自适应滤波器参数时，熵编码1240可开始将自适应滤波器参数并入对应的影像单元比特流的头部中。如图12A及图12B所示，针对影像单元周期（period）的一部分（portion），回路滤波器处理（即此例中的去块）及自适应滤波器处理（即此例中的样本自适应偏移）是同时执行的。根据图12A及图12B的实施例，在该影像单元周期的一部分期间，回路滤波器可应用于影像单元的第一部分中的重建过的视频数据，同时自适应滤波器可应用于影像单元的第二部分中该回路处理过的数据。因为自适应滤波器操作可依赖于一基础像素的邻近像素，所以自适应滤波器操作必须等待有足够的回路处理过的数据变得可用。相应地，该影像单元的该第二部分相当于有关该影像单元的该第一部分的延迟的视频数据。针对该影像单元周期的一部分，当回路滤波器应用于该影像单元的该第一部分的重建过的视频数据，同时自适应滤波器应用于影像单元的第二部分中该回路处理过的数据时，这种情况被称为自适应滤波器及自适应滤波器同时应用于该影像单元的一部分。依赖于回路滤波器处理及自适应滤波器处理的滤波器特性，该并发的（concurrent）处理可表示该影像单元的大部分。

有关于并发的回路滤波器及自适应滤波器的管线流程，如图12A及图12B所示，可应用于基于图像的编码系统，也可应用于基于影像单元的编码系统。在基于图像的编码系统中，一旦有足够的去块滤波器处理过的视频数据变得可用，后续的自适应滤波器处理便可应用于去块滤波器处理过的视频数据。因此，在去块滤波器及样本自适应偏移之间无须储存完整的去块滤波器处理过的图像。在基于影像单元的编码系统中，并发的回路滤波器及自适应滤波器可应用于如前所述的影像单元的一部分。然而，在本发明另一实施例中，两个连续的（consecutive）回路滤波器（loop filter）（例如去块滤波器处理及样本自适应偏移处理）应用于两个影像单元，该两个影像单元被一个或多个影像单元所分离。举例来说，当去块滤波器应用于当前影像单元时，样本自适应偏移应用于一先前去块滤波器处理过的影像单元，其是从当前影像单元分离的两个影像单元。

图13A及图13B是包含样本自适应偏移及自适应回路滤波器的编码系统的一示范性时间表。内/间预测1210、重建1220及去块1230在一影像单元基础上被顺序地执行。由于样本自适应偏移参数及自适应回路滤波器参数是基于重建过的数据来得到的，图13A所示的实施例在去块1230开始前便执行样本自适应偏移参数推导1330及自适应回路滤波器参数推导1340。因此，样本自适应偏移参数推导及自适应回路滤波器参数推导可并行执行。当样本自适应偏移参数变得可用或者当样本自适应偏移参数及自适应回路滤波器参数变得可用时，熵编码1240可开始并入影像单元数据的头部中的样本自适应偏移参数及自适应回路滤波器参数。图13A是在重建1220期间，执行样本自适应偏移参数推导及自适应回路滤波器参数推导的一实施例。如前所述，针对自适应滤波器参数推导，重建过的数据的存取可发生在产生该重建过的数据时或将该数据写入帧缓冲器之前。样本自适应偏移参数推导及自适应回路滤波器参数推导可在同一时间开始，也可交错（stagger）进行。无论何时有足够的去块滤波器处理过的数据变得可用，样本自适应偏移处理1310都可开始，而不需要等待影像单元上的去块滤波器处理的完成。无论何时有足够的样本自适应偏移处理过的数据变得可用，自适应回路滤波器处理1320都可开始，而不需要等待影像单元上的样本自适应偏移处理的完成。图13B所示的实施例在重建1220完成之后执行样本自适应偏移参数推导1330及自适应回路滤波器参数推导1340。在获得样本自适应偏移参数及自适应回路滤波器参数之后，熵编码1240可开始并入对应的影像单元比特流的头部中的这些参数。在图13B的例子中，针对自适应滤波器参数推导，重建过的数据的存取可发生于当重建过的数据从缓冲器读回以用于去块时。如图13A及图13B所示，针对影像单元周期的一部分，回路滤波器处理（即此例中的去块）及多个自适应滤波器处理（即此例中的样本自适应偏移及自适应回路滤波器）是同时发生。依赖于回路滤波器处理及自适应滤波器处理的滤波器特性，该并发的处理可表示该影像单元周期的大部分。

有关于并发的回路滤波器及一个或多个自适应滤波器的管线流程，如图13A及图13B所示，可应用于基于图像的编码系统，也可应用于基于影像单元的编码系统。在基于图像的编码系统中，一旦有足够的去块滤波器处理过的视频数据变得可用，后续的自适应滤波器处理便可应用于去块滤波器处理过的视频数据。因此，在去块滤波器及样本自适应偏移之间无须储存完整的去块滤波器处理过的图像。类似地，一旦有足够的样本自适应偏移处理过的数据变得可用，自适应回路滤波器处理便可开始，而在样本自适应偏移及自适应回路滤波器之间无须储存完整的样本自适应偏移处理过的图像。在基于影像单元的编码系统中，并发的回路滤波器及一个或多个自适应滤波器可应用于如前所述的影像单元的一部分。然而，在本发明另一实施例中，两个连续的回路滤波器（例如去块滤波器处理及样本自适应偏移处理，或者样本自适应偏移处理及自适应回路滤波器处理）应用于两个影像单元，该两个影像单元是被一个或多个影像单元所分离。举例来说，当去块滤波器应用于当前影像单元时，样本自适应偏移应用于一先前去块滤波器处理过的影像单元，其是从当前影像单元分离的两个影像单元。

图12A-图12B及图13A-图13B图为依据本发明不同实施例的自适应滤波器参数推导及处理的示范性时间表。这些例子不是对本发明的时间表的详尽说明，所属领域技术人员可以在不脱离本发明精神的前提下重新安排或修改该时间表以实现本发明。

如前所述，在HEVC中，采用基于影像单元的编码过程，其中每一影像单元可使用其特有的样本自适应偏移参数及自适应回路滤波器参数。去块滤波器处理应用于垂直块边界与水平块边界。针对与影像单元边界对齐（aligned with）的块边界，去块滤波器处理也依赖于邻近影像单元的数据。因此，在边界处或边界附近的某些像素不能被处理，直到所需的邻近影像单元的像素变得可用。样本自适应偏移处理及自适应回路滤波器处理也包含正在处理的一像素附近的邻近像素。因此，当样本自适应偏移及自适应回路滤波器应用于影像单元边界时，需要附加的缓冲器来容纳（accommodate）邻近影像单元的数据。相应地，编码器及解码器需要分配一个相当大的缓冲器以储存去块滤波器处理、样本自适应偏移处理及自适应回路滤波器处理期间的中间数据。该相当大的缓冲器本身会引起长时间的编码或解码延迟。图14是用于连续影像单元的具有去块滤波器回路处理、样本自适应偏移回路处理及自适应回路滤波器回路处理的传统HEVC解码器的解码管线流程的实施例。输入的比特流藉由执行比特流语法分析（bitstream parsing）及熵解码的比特流解码1410来处理。该被分析过的及熵解码过的符号接着经过视频解码步骤以产生重建过的残余量，该视频解码步骤包含去量化及逆转换（IQ/IT1420）、内预测/运动补偿（IP/MC）1430。重建方块（REC1440）接着操作于该重建过的残余量及先前重建过的视频数据以针对一当前影像单元或块产生重建过的视频数据。包含去块滤波器1450、样本自适应偏移1460及自适应回路滤波器1470的各种回路处理接着应用于该连续重建过的数据。在第一影像单元时间（t=0），影像单元0藉由比特流解码1410处理。在下一影像单元时间（t=1），影像单元0移动到管线的下一阶段（即IQ/IT1420及IP/MC1430），并且一新影像单元（即影像单元1）藉由比特流解码1410处理。处理继续进行，在t=5，当一新影像单元（即影像单元5）进入比特流解码1410时，影像单元0到达自适应回路滤波器1470。如图14所示，需要6个影像单元周期来藉由各种回路处理以解码、重建及处理一影像单元。因此需要降低解码延迟。此外，任意两个连续阶段之间，会有一缓冲器来储存视频数据的影像单元值（image unit worth）。

依据本发明一实施例的解码器可降低解码延迟。如图13A及图13B所描述的，样本自适应偏移参数及自适应回路滤波器参数可基于重建过的数据而得到，并且这些参数在重建的最后或者不久之后变得可用。因此，无论何时有足够的去块滤波器处理过的数据可用，样本自适应偏移都可开始。类似地，无论何时有足够的样本自适应偏移处理过的数据可用，自适应回路滤波器都可开始。图15是依据本发明实施例的解码器的解码管线流程图。针对最初的三个处理周期，管线流程与传统解码器一样。然而，去块滤波处理、样本自适应偏移处理及自适应回路滤波处理可以交错方式（staggered fashion）开始，并且这些处理在三种回路处理类型之间实质上（substantially）重迭。换言之，针对影像单元数据的一部分，回路滤波器（即此例中去块滤波器）以及一个或多个自适应滤波器（即此例中样本自适应偏移及自适应回路滤波器）是同时执行。相应地，相较于传统HEVC解码器来说，解码延迟得以降低。

图15所示的实施例有助于降低解码延迟，其是藉由允许去块滤波、样本自适应偏移及自适应回路滤波以交错方式来执行，如此一来，在一完整影像单元上，后续处理便不需要等待前一阶段处理的完成。然而，去块滤波处理、样本自适应偏移处理及自适应回路滤波可依赖于邻近像素，对于影像单元边界附近的像素来说，会导致邻近影像单元上的数据相关性。图16是依据本发明一实施例的基于影像单元的具有去块滤波处理及至少一自适应滤波处理的解码器的一示范性解码管线流程图。块1601～1605表示五个影像单元，其中每一影像单元包含16x16像素且每一像素以一小正方形1646表示。影像单元1605是当前要处理的影像单元。由于影像单元边界有关去块滤波器的数据相关性，当前影像单元的一次区域（sub-region）及从先前处理过的邻近影像单元而来的三个次区域可由去块滤波器处理。窗口（也称为移动窗口）由粗虚线框1610及四个次区域表示，该四个次区域是分别对应于影像单元1601、1602、1604及1605中的四个白色区域（white area）。依据光栅扫描顺序处理这些影像单元，即从影像单元1601至影像单元1605。图16所示的窗口对应于有关影像单元1605的一时间段内被处理的像素。此时，阴影区域1620完全是被去块滤波器处理。阴影区域1630由水平去块滤波器处理，而不由垂直去块滤波器处理。影像单元1605中的阴影区域1640既不由水平去块滤波器处理，也不由垂直去块滤波器处理。

图15显示一编码系统，允许对影像单元的至少一部分同时执行去块滤波器、样本自适应偏移及自适应回路滤波器，以降低缓冲器需求及处理延迟。图15所示的去块滤波处理、样本自适应偏移处理及自适应回路滤波处理可应用于图16所示的系统中。针对当前窗口1610，可首先应用水平去块滤波器，接着应用垂直去块滤波器。样本自适应偏移操作需要邻近像素以获得滤波器类型信息。因此，本发明一实施例储存移动窗口外的右边界及底边界的相关像素的信息，该信息是获得类型信息所需要的。类型信息可基于边界标志（edge sign）（即窗口中一基础像素与一邻近像素之间差异的标志）得到。储存标志信息（sign information）比储存像素值（pixel value）更加紧凑（compact）。相应地，如图16中白色圆圈1644所示，获得标志信息以用于窗口中右边界及底边界的像素。当前窗口中右边界及底边界的有关像素的标志信息会被储存以用于后续窗口的样本自适应偏移处理。换言之，当样本自适应偏移用于窗口内左边界及上边界的像素时，窗口外的边界像素已经被去块滤波器处理且不能用于类型信息推导。然而，窗口中与边界像素有关的先前储存的标志信息可被取回（retrieve）以获得类型信息。用于当前窗口的样本自适应偏移处理的与先前储存的标志信息有关的像素位置由图16中黑色圆圈1648表示。系统会储存先前计算过的标志信息以用于与当前窗口的顶行对齐的一行1652、当前窗口底部之下的一行1654以及与当前窗口最左行对齐的一列1656。在当前窗口的样本自适应偏移处理完成之后，当前窗口向右移且储存的标志信息可被更新。当窗口在右侧达到图像边界时，该窗口向下移且从左侧图像边界开始。

图16所示的当前窗口1610覆盖了穿过四个邻近影像单元（即最大编码单元1601、1602、1604及1605）中的像素。然而，窗口可覆盖一个或两个最大编码单元。处理窗口从位于图像左上角第一最大编码单元开始，且以光栅扫描方式穿过图像移动。图17A至图17C是处理进展（processing progression）的一实施例。图17A是有关于一图像的第一最大编码单元1710a的处理窗口。LCU_x及LCU_y分别表示最大编码单元水平及垂直索引（index）。当前窗口以具有右侧边界1702a及底侧边界1704a的白色背景的区域表示。顶窗口边界及左窗口边界被图像边界界化（bound）。在图17A中，16x16最大编码单元尺寸被用来作为一个例子且每一正方形对应于一像素。完整的去块滤波器处理（即水平去块滤波器处理及垂直去块滤波器处理）可用于窗口1720a（即白色背景区域）中的像素。针对区域1730a，由于最大编码单元之下的边界像素不可用，可采用水平去块滤波器处理而不能采用垂直去块滤波器处理。针对区域1740a，由于右边最大编码单元的边界像素不可用，不能采用水平去块滤波器处理。因此，后续的垂直去块滤波器处理也不能应用于区域1740a。针对窗口1720a内的像素，样本自适应偏移处理可在去块滤波器处理之后采用。如前所述，窗口底部边界1740a之下的像素行1751及右窗口边界1702a之外的像素列1712a有关的标志信息被计算及储存以用于获得后续最大编码单元的样本自适应偏移处理的类型信息。标志信息被计算及储存的像素位置以白色圆圈表示。在图17A中，窗口包含一次区域（即区域1720a）。

图17B是下一窗口的处理管线流程图，其中该窗口覆盖穿过两个最大编码单元1710a及1710b的像素。最大编码单元1710b的处理管线流程与在前一窗口周期的最大编码单元1710a的处理管线流程一样。当前窗口被窗口边界1702b、1704b及1706b围绕（enclose）。当前窗口1720b内的像素包含（cover）最大编码单元1710a及1710b的像素，如图17B中白色背景区域所示。列1712a中像素的标志信息变成先前储存的信息且用来获得当前窗口边界1706b内边界像素的样本自适应偏移类型信息。邻近右侧窗口边界1702b的列像素1712b中的标志信息，以及底部窗口边界1704b之下的行像素1753被计算及储存以用于后续最大编码单元的样本自适应偏移处理。先前窗口区域1720a变成完全由回路滤波器及一个或多个自适应滤波器（即此例中的样本自适应偏移）处理。区域1730b表示由水平去块滤波器处理的像素，以及区域1740b表示既不由水平去块滤波器处理也不由垂直去块滤波器处理的像素。在当前窗口1720b被去块滤波器处理及样本自适应偏移处理之后，处理管线流程移至下一窗口。在图17B中，该窗口包含两个次区域（即最大编码单元1710a中的白色区域及最大编码单元1710b中的白色区域）。

图17C是在一图像的一第二最大编码单元行的起始处的一最大编码单元的处理管线流程图。当前窗口由具有白色背景及窗口边界1702d、1704d及1708d的区域1720d表示。该窗口包含两个最大编码单元（即最大编码单元1710a及1710d）的像素。区域1760d被去块滤波器及样本自适应偏移处理。区域1730d只被水平去块滤波器处理，以及区域1740d既不由水平去块滤波器处理也不由垂直去块滤波器处理。像素行1755表示经计算及储存的标志信息，以用于与当前窗口顶行对齐的像素的样本自适应偏移处理。底部窗口边界1704d之下的像素行1757及邻近右侧窗口边界1702d的像素列1712d的标志信息被计算及储存，以用于判定后续最大编码单元的对应窗口边界处的像素的样本自适应偏移类型信息。在完成当前窗口（即LCU_x=0及LCU_y=1）的之，处理管线流程移至下一窗口（即LCU_x=1及LCU_y=1）。在下一窗口周期，对应于（LCU_x=1及LCU_y=1）的窗口变成当前窗口，如图16所示。在图17C中，该窗口包含两个次区域（亦即大编码单元1710a中的白色区域及最大编码单元1710d中的白色区域）。

图16中的例子是依据本发明一实施例的编码系统，其中移动窗口是用来利用回路滤波器（即此例中的去块滤波器）及自适应滤波器（即此例中的样本自适应偏移）来处理基于最大编码单元的编码。该窗口被配置为考虑穿过最大编码单元边界的基础回路滤波器及自适应滤波器的数据相关性。每一移动窗口包含1个、2个或4个最大编码单元的像素以处理窗口边界内的所有像素。此外，窗口中像素的自适应滤波器处理需要附加的缓冲器。举例来说，对于底部窗口边界之下的像素以及右侧窗口边界外的像素，边缘标志信息被计算及储存以用于后续窗口的样本自适应偏移处理，如图16所示。当在上述实施例中仅使用样本自适应偏移作为唯一的自适应滤波器，也会包含附加的自适应滤波器，例如自适应回路滤波器。如果包含自适应回路滤波器，移动窗口必须被重新设置以考虑到与自适应回路滤波器有关的附加数据相关性。

在图16中的例子中，在回路滤波器应用于一当前窗口之后，自适应滤波器应用于该当前窗口。在基于图像的系统中，自适应滤波器不能应用于基础视频数据，直到去块滤波器处理完一完整的图像。基于图像的去块滤波器的完成，针对该图像，可判定样本自适应偏移信息，样本自适应偏移从而应用于该图像。在基于最大编码单元的处理中，不需要缓冲完整的图像，并且后续自适应滤波器可应用于去块滤波器处理过的视频数据而不需要等待该图像的去块滤波器处理的完成。此外，针对最大编码单元的一部分，回路滤波器及一个或多个自适应滤波器可同时应用于最大编码单元。然而，在本发明另一实施例中，两个连续的回路滤波器（例如去块滤波器处理及样本自适应偏移处理，或者样本自适应偏移处理及自适应回路滤波器处理）应用于两个窗口，该两个窗口是被一个或多个窗口分离。举例来说，当去块滤波器应用于一当前窗口，样本自适应偏移应用于一先前去块滤波器处理过的窗口，此窗口是从当前窗口分离的。

如前所述，依据本发明实施例当去块滤波器处理、样本自适应偏移及自适应回路滤波器处理同时应用于该移动窗口的一部分时，回路滤波器及自适应滤波器也可顺序应用于每一窗口中。例如，一移动窗口可被分成多个部分，其中回路滤波器及自适应滤波器可顺序应用于该窗口的这些部分。例如，回路滤波器可应用于该窗口的第一部分。在第一部分的回路滤波完成之后，自适应滤波器可应用于该第一部分。在回路滤波器及自适应滤波器应用于该第一部分之后，回路滤波器及自适应滤波器可顺序应用于该窗口的第二部分。

以上描述可使所属领域技术人员依据特定应用及要求实作本发明。所述实施例的各种修改对于所属领域技术人员都是显而易见的，并且此处定义的一般原理可应用于其他实施例中。因此，本发明并非限定于本说明书揭露的特定实施例，而是符合此处揭露的原理及新颖特征的最大范围。在上述详细说明中，列举各种具体细节以提供本发明的全面理解。然而，所属领域技术人员容易理解本发明可被实作。

上述本发明实施例可通过各种硬件、软件码、或者二者的结合来实作。举例来说，本发明一实施例可以是整合到视频压缩芯片上的电路或者是整合到视频压缩软件中的程式码，以执行上述处理。本发明一实施例也可为在数字信号处理器（Digital Signal Processor,DSP）上执行的程式编码，以执行上述处理。本发明也可包含藉由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列（field programmable gate array,FPGA）执行的若干功能。依据本发明，通过执行定义本发明的特定方法的机器可读软件码或固件(firmware)码，这些处理器可被设置以执行特定的任务。软件码或固件码可以不同的程式语言及不同的格式或类型来开发。软件码也可对不同的目标平台进行编译。然而，依据本发明用来执行任务的软件码不同的码格式、类型及语言以及其他设置码的方式都不会脱离本发明的精神及范围。

本发明可以其他特定形式体现而不脱离本发明的精神和基本特征。上述实施例仅作为说明而非用来限制本发明，本发明的保护范围当视权利要求书所界定者为准。凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (28)

1.一种编码视频数据的方法，其特征在于，所述的方法包含：

从原始视频数据及预测信号中产生预测残余量；

从处理过的预测残余量及所述的预测信号中产生重建过的视频数据；

基于所述的原始视频数据及预回路视频数据来估计第一自适应滤波器的第一自适应滤波器参数，其中所述的预回路视频数据对应于所述的重建过的视频数据或者被回路滤波器处理之前处理过的重建过的视频数据；

使用所述的回路滤波器来处理所述的预回路视频数据以产生第一处理过的视频数据；以及

使用具有被估计的所述的第一自适应滤波器参数的所述的第一自适应滤波器来处理所述的第一处理过的视频数据，以产生第二处理过的视频数据。

2.如权利要求1所述的编码视频数据的方法，其特征在于，所述的第一自适应滤波器参数被判定以用于当前图像的单独影像单元。

3.如权利要求2所述的编码视频数据的方法，其特征在于，所述的估计所述的第一自适应滤波器参数更依赖于先前估计的相邻影像单元的第一自适应滤波器参数。

4.如权利要求1所述的编码视频数据的方法，其特征在于，所述的估计所述的第一自适应滤波器的所述的第一自适应滤波器参数更基于部分第一处理过的视频数据。

5.如权利要求1所述的编码视频数据的方法，其特征在于，所述的第一自适应滤波器参数是包含于与所述的视频数据有关的视频比特流中。

6.如权利要求1所述的编码视频数据的方法，其特征在于，所述的回路滤波器对应于去块滤波器。

7.如权利要求1所述的编码视频数据的方法，其特征在于，所述的第一自适应滤波器对应于样本自适应偏移。

8.如权利要求1所述的编码视频数据的方法，其特征在于，所述的第一自适应滤波器对应于自适应回路滤波器。

9.如权利要求1所述的编码视频数据的方法，其特征在于，所述的方法更包含：

基于所述的原始视频数据及所述的预回路视频数据来估计第二自适应滤波器的第二自适应滤波器参数；以及

使用具有被估计的所述的第二自适应滤波器参数的所述的第二自适应滤波器来处理所述的第二处理过的视频数据。

10.如权利要求9所述的编码视频数据的方法，其特征在于，所述的第一自适应滤波器对应于样本自适应偏移以及所述的第二自适应滤波器对应于自适应回路滤波器。

11.如权利要求9所述的编码视频数据的方法，其特征在于，所述的估计所述的第二自适应滤波器的所述的第二自适应滤波器参数更基于部分第一处理过的视频数据。

12.如权利要求1所述的编码视频数据的方法，其特征在于，所述的方法更包含：

基于所述的原始视频数据及所述的第一处理过的视频数据来估计第二自适应滤波器的第二自适应滤波器参数；以及

使用具有被估计的所述的第二自适应滤波器参数的所述的第二自适应滤波器来处理所述的第二处理过的视频数据。

13.如权利要求12所述的编码视频数据的方法，其特征在于，所述的估计所述的第二自适应滤波器的所述的第二自适应滤波器参数更基于部分第二处理过的视频数据。

14.一种编码视频数据的方法，其特征在于，所述的方法包含：

从原始视频数据及预测信号中产生预测残余量；

从处理过的预测残余量及所述的预测信号中产生重建过的视频数据；

基于影像单元的所述的原始视频数据及预回路视频数据，估计用于所述的影像单元的第一自适应滤波器的第一自适应滤波器参数，其中所述的预回路视频数据对应于所述的重建过的视频数据或者被回路滤波器处理之前处理过的重建过的视频数据；

使用所述的回路滤波器及所述的第一自适应滤波器来处理所述的预回路视频数据的移动窗口，其中所述的移动窗口包含对应于当前图像的一个或多个影像单元的一个或多个次区域；

其中所述的回路滤波器及所述的第一自适应滤波器同时应用于当前移动窗口的至少一部分，或者所述的第一自适应滤波器应用于第二移动窗口且所述的回路滤波器同时应用于第一移动窗口，其中所述的第二移动窗口从所述的第一移动窗口延迟一个或多个移动窗口；

其中所述的回路滤波器应用于所述的预回路视频数据以产生第一处理过的数据；以及

所述的第一自适应滤波器应用于使用被估计的所述的第一自适应滤波器参数的所述的第一处理过的数据上以产生第二处理过的视频数据。

15.如权利要求14所述的编码视频数据的方法，其特征在于，所述的估计所述的第一自适应滤波器的所述的第一自适应滤波器参数更基于部分第一处理过的视频数据。

16.如权利要求14所述的编码视频数据的方法，其特征在于，所述的方法更包含有：

针对所述的影像单元，基于所述的影像单元的所述的原始视频数据及所述的预回路视频数据来估计第二自适应滤波器的第二自适应滤波器参数；

应用所述的第二自适应滤波器于使用被估计的所述的第二自适应滤波器参数的所述的第二处理过的视频数据；以及

其中所述的回路滤波器、所述的第一自适应滤波器及所述的第二自适应滤波器同时应用于所述的当前移动窗口的至少一部分，或者所述的第二自适应滤波器同时应用于第三移动窗口，其中所述的第三移动窗口从所述的第二移动窗口延迟一个或多个移动窗口。

17.如权利要求16所述的编码视频数据的方法，其特征在于，所述的估计所述的第二自适应滤波器的所述的第二自适应滤波器参数更基于部分第二处理过的视频数据。

18.如权利要求14所述的编码视频数据的方法，其特征在于，所述的回路滤波器对应于去块滤波器。

19.如权利要求14所述的编码视频数据的方法，其特征在于，所述的第一自适应滤波器对应于样本自适应偏移。

20.如权利要求14所述的编码视频数据的方法，其特征在于，所述的方法另包含：

对所述的移动窗口的至少部分边界像素，判定有关于所述的第一自适应滤波器的至少部分数据相关性；以及

储存所述的至少部分边界像素的至少部分数据相关性，其中所述的至少部分边界像素的至少部分数据相关性用于后续移动窗口的所述的第一自适应滤波器。

21.如权利要求20所述的编码视频数据的方法，其特征在于，所述的第一自适应滤波器对应于样本自适应偏移，所述的至少部分数据相关性有关于所述的样本自适应偏移的类型信息，所述的至少部分边界像素包含所述的移动窗口的右侧或底部的边界像素。

22.如权利要求14所述的编码视频数据的方法，其特征在于，所述的移动窗口是依据影像单元边界处与所述的回路滤波器有关的数据相关性来设置。

23.如权利要求22所述的编码视频数据的方法，其特征在于，所述的移动窗口另依据所述的影像单元边界处与所述的第一自适应滤波器有关的数据相关性来设置。

24.如权利要求14所述的编码视频数据的方法，其特征在于，所述的影像单元对应于最大编码单元或宏模块。

25.一种编码视频数据的装置，其特征在于，所述的装置包含：

从原始视频数据及预测信号中产生预测残余量的装置；

从处理过的预测残余量及所述的预测信号中产生重建过的视频数据的装置；

基于所述的原始视频数据及所述的预回路视频数据估计第一自适应滤波器的第一自适应滤波器参数的装置，其中所述的预回路视频数据对应于所述的重建过的视频数据或者被回路滤波器处理之前处理过的重建过的视频数据；

使用所述的回路滤波器来处理所述的预回路视频数据以产生第一处理过的视频数据的装置；以及

使用具有被估计的所述的第一自适应滤波器参数的所述的第一自适应滤波器来处理所述的第一处理过的视频数据以产生第二处理过的视频数据的装置。

26.如权利要求25所述的编码视频数据的装置，其特征在于，所述的装置更包含：

基于所述的原始视频数据及预回路视频数据估计第二自适应滤波器的第二自适应滤波器参数的装置；以及

使用具有被估计的所述的第二自适应滤波器参数的所述的第二自适应滤波器来处理所述的第二处理过的视频数据的装置。

27.一种编码视频数据的装置，其特征在于，所述的装置包含：

从原始视频数据及预测信号中产生预测残余量的装置；

从处理过的预测残余量及所述的预测信号中产生重建过的视频数据的装置；

基于影像单元的所述的原始视频数据及预回路视频数据，估计用于所述的影像单元的第一自适应滤波器的第一自适应滤波器参数的装置，其中所述的预回路视频数据对应于所述的重建过的视频数据或者被后续回路滤波器处理之前处理过的重建过的视频数据；

使用所述的回路滤波器及所述的第一自适应滤波器来处理所述的预回路视频数据的移动窗口的装置，其中所述的移动窗口包含对应于当前图像的一个或多个影像单元的一个或多个次区域；

其中所述的回路滤波器及所述的第一自适应滤波器同时应用于当前移动窗口的至少一部分，或者所述的第一自适应滤波器应用于第二移动窗口且所述的回路滤波器同时应用于第一移动窗口，其中所述的第二移动窗口从所述的第一移动窗口延迟一个或多个移动窗口；

其中所述的回路滤波器应用于所述的预回路视频数据以产生第一处理过的数据；以及

所述的第一自适应滤波器应用于使用被估计的所述的第一自适应滤波器参数的所述的第一处理过的数据以产生第二处理过的视频数据。

28.如权利要求27所述的编码视频数据的装置，其特征在于，所述的装置更包含：

基于所述的影像单元的所述的原始视频数据及所述的预回路视频数据来估计第二自适应滤波器的第二自适应滤波器参数的装置；

使用被估计的所述的第二自适应滤波器参数并应用所述的第二自适应滤波器于所述的第二处理过的视频数据的装置；以及

其中所述的回路滤波器、所述的第一自适应滤波器及所述的第二自适应滤波器同时应用于所述的当前移动窗口的至少一部分，或者所述的第二自适应滤波器同时应用于第三移动窗口，其中所述的第三移动窗口从所述的第二移动窗口延迟一个或多个移动窗口。

Images