CN102342101A

CN102342101A - 用于在视频译码中进行内插滤波、环路内滤波和环路后滤波的组合方案

Info

Publication number: CN102342101A
Application number: CN2009801515642A
Authority: CN
Inventors: 叶琰; 马尔塔·卡切维奇; 钱威俊
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2008-12-22
Filing date: 2009-12-22
Publication date: 2012-02-01
Anticipated expiration: 2029-12-22
Also published as: EP2380351B1; US8611435B2; JP2012513727A; WO2010075342A3; TW201119410A; CN102342101B; KR20110106406A; JP5307253B2; KR101273149B1; US20100158103A1; BRPI0923485A2; EP2380351A2; WO2010075342A2

Abstract

在一个实例中，本发明描述用于对视频单元的视频块进行滤波的滤波技术。所述滤波技术可基于各种因素而针对所述视频单元的每一视频块选择一种或一种以上不同类型的滤波，所述因素例如为所述视频块是经帧间译码还是经帧内译码，以及在所述视频块的编码期间在运动补偿过程期间是否曾执行自适应内插。当曾执行自适应内插时，所述自适应内插可提供使额外滤波在一些情况下为不必要或不合意的滤波等级。

Description

用于在视频译码中进行内插滤波、环路内滤波和环路后滤波的组合方案

本申请案主张以下各者的权益：

2008年12月22日申请的第61/140,026号美国临时申请案；

2008年12月23日申请的第61,140,585号美国临时申请案；

2009年1月8日申请的第61/143,324号美国临时申请案；以及

2009年6月26日申请的第61/220,947号美国临时申请案，

所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及用以压缩视频数据的基于块的视频译码技术，且更特定来说，涉及在基于块的视频译码期间的滤波技术。

背景技术

数字视频能力可并入广泛范围的装置中，包括数字电视、数字直播系统、例如无线电电话手持机的无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施视频压缩技术(例如，在MPEG-2、MPEG-4或ITU-T H.264/MPEG-4第10部分：高级视频译码(AVC)中所描述的技术)，以便压缩视频数据。视频压缩技术执行空间和时间预测以减少或移除视频序列中固有的冗余。

基于块的视频压缩技术通常执行空间预测和/或时间预测。帧内译码依赖于空间预测来减少或移除给定经编码单元内视频块之间的空间冗余，所述给定经编码单元可包含视频帧、视频帧的切片等。相比而言，帧间译码依赖于时间预测来减少或移除视频序列的连续经编码单元的视频块之间的时间冗余。对于帧内译码，视频编码器执行空间预测以基于同一经编码单元内的其它数据来压缩数据。对于帧间译码，视频编码器执行运动估计和运动补偿以追踪两个或两个以上邻近经译码单元的对应视频块的移动。

可通过可用以创建或识别预测性块的预测信息和指示正被译码的块与所述预测性块之间的差的数据的残余块表示经译码的视频块。在帧间译码的情况下，一个或一个以上运动向量可用以识别数据的预测性块，而在帧内译码的情况下，预测模式可用以产生预测性块。帧内译码和帧间译码两者均可界定若干不同预测模式，所述不同预测模式可界定不同块大小和/或在译码中所使用的预测技术。还可包括额外类型的语法元素作为经编码的视频数据的部分，以便控制或界定在译码过程中所使用的译码技术或参数。

在基于块的预测性译码之后，视频编码器可应用变换、量化和熵译码过程以便进一步减小与残余块的通信相关联的位速率。变换技术可包含离散余弦变换(DCT)或概念上类似的过程，例如小波变换、整数变换或其它类型的变换。在DCT过程中，作为一实例，变换过程将像素值集合转换成变换系数，其可表示频域中像素值的能量。将量化应用于变换系数，且量化通常涉及限制与任何给定变换系数相关联的位的数目的过程。熵译码包含共同地压缩经量化的变换系数的序列的一个或一个以上过程。

发明内容

本发明描述用于对视频单元的视频块进行滤波的滤波技术。作为实例，所述视频单元可包含视频帧，或视频帧的一切片或另一部分。所述滤波技术可基于各种因素而针对所述视频单元的每一视频块选择一种或一种以上不同类型的滤波，所述因素例如为所述视频块是经帧间译码还是经帧内译码，以及在所述视频块的编码期间在运动补偿过程期间是否曾执行自适应内插。当曾执行自适应内插时，所述自适应内插可提供使额外滤波在一些情况下不必要或不需要的滤波等级。

在一些情况下，仅一种类型的滤波应用于所述视频单元的任何给定视频块。举例来说，可将自适应内插滤波、环路后滤波和环路内滤波中的仅一者应用于任何给定视频块。在此情况下，如果在运动补偿期间应用自适应内插滤波器，则可避免环路后滤波或环路内滤波，但如果在运动补偿期间不应用自适应内插滤波器，则可应用环路后滤波和环路内滤波中的一者。然而，在其它情况下，甚至在自适应内插之后，可针对与零值残余值相关联的视频块的像素应用环路后滤波器，且可针对与非零残余值相关联的视频块的像素应用环路内滤波器。

在一个实例中，本发明描述一种在视频译码过程期间对视频单元的一个或一个以上视频块进行滤波的方法。所述方法包含确定视频块是经帧间译码还是经帧内译码，以及在所述视频块经帧内译码时将环路后滤波器或环路内滤波器应用于所述视频块。在所述视频块经帧间译码时，所述方法包括确定在运动补偿过程期间是否相对于所述视频块应用自适应内插滤波器，且在所述视频块经帧间译码时，所述方法还包括至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。

在另一实例中，本发明描述一种在视频译码过程期间对视频单元的视频块进行滤波的视频译码器设备。所述视频译码器设备包含自适应内插滤波器、环路后滤波器和环路内滤波器。所述设备确定视频块是经帧间译码还是经帧内译码；在所述视频块经帧内译码时将所述环路后滤波器或所述环路内滤波器应用于所述视频块；在所述视频块经帧间译码时，确定在运动补偿过程期间是否相对于所述视频块应用所述自适应内插滤波器；以及在所述视频块经帧间译码时，至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。

在另一实例中，本发明描述一种在视频译码过程期间对视频单元的视频块进行滤波的装置。所述装置包含用于确定视频块是经帧间译码还是经帧内译码的装置；用于在所述视频块经帧内译码时将环路后滤波器或环路内滤波器应用于所述视频块的装置；用于在所述视频块经帧间译码时，确定在运动补偿过程期间是否相对于所述视频块应用自适应内插滤波器的装置；以及用于在所述视频块经帧间译码时，至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块的装置。

本发明中所描述的技术可以硬件、软件、固件或其任何组合来实施。如果以硬件实施，则设备可作为集成电路、处理器、离散逻辑，或其任何组合来实现。如果以软件实施，则软件可执行于例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)的一个或一个以上处理器中。执行所述技术的软件最初可存储于计算机可读媒体中，且加载并执行于处理器中。

因此，本发明还涵盖一种计算机可读存储媒体，其包含在于处理器中执行后即刻致使所述处理器在视频译码过程期间对视频单元的视频块进行滤波的指令。所述指令致使所述处理器确定视频块是经帧间译码还是经帧内译码；在所述视频块经帧内译码时将环路后滤波器或环路内滤波器应用于所述视频块；在所述视频块经帧间译码时，确定在运动补偿过程期间是否相对于所述视频块应用自适应内插滤波器；以及在所述视频块经帧间译码时，至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。

在附图和以下描述中阐述本发明的一个或一个以上方面的细节。根据所述描述和图式且根据权利要求书，本发明中所描述的技术的其它特征、目的和优点将显而易见。

附图说明

图1为说明可实施本发明的技术中的一者或一者以上的视频编码和解码系统的方框图。

图2为说明与本发明的一个或一个以上实例相一致的示范性视频编码器的方框图。

图3为说明与本发明的一个或一个以上实例相一致的示范性视频解码器的方框图。

图4为说明与本发明的实例相一致的用于在自适应环路内滤波与自适应环路后滤波之间进行选择的技术的流程图。

图5为说明一技术的流程图，其用于说明一种与本发明的实例相一致的用于重构包括至少一个非零残余值的经帧间译码视频块的技术。

图6为说明一技术的方框图，其用于一种与本发明的实例相一致的用于重构包括至少一非零残余值的经帧间译码视频块的技术。

图7为说明与本发明的一个或一个以上实例相一致的用于传送滤波器信息的视频单元的数据结构的概念图。

图8到图11为说明与本发明的各种实例相一致的技术的不同流程图。

具体实施方式

本发明描述用于对视频单元的视频块进行滤波的滤波技术。作为实例，所述视频单元可包含视频帧，或视频帧的一切片或另一部分。所述滤波技术可基于各种因素而针对所述视频单元的每一视频块选择一种或一种以上不同类型的滤波，所述因素例如为所述视频块是经帧间译码还是经帧内译码，以及在所述视频块的编码期间在运动补偿过程期间是否曾执行自适应内插。当在运动补偿期间曾执行自适应内插时，举例来说，所述自适应内插可提供使得对经重构的数据的额外滤波在一些情况下为不必要或不合需要的滤波等级。自适应内插可指代内插滤波器系数经自适应地确定(作为编码或解码过程的部分)以产生合意的预测数据的内插。本发明的技术可确定是否曾执行自适应内插，例如，与由固定内插滤波器系数所界定的固定内插形成对比。

本发明的技术可有助于改进在支持多种不同类型的滤波的视频编码或视频解码情形中的滤波。所述技术可通过在自适应内插滤波、环路内滤波和环路后滤波中进行选择而实现所需要的滤波等级。内插滤波通常与环路内滤波和环路后滤波无关，但本发明认识到，自适应内插滤波可与环路内滤波和环路后滤波实现至少一些相同的滤波效应。同时，本发明认识到在应用过多滤波时可能出现的不合需要的效应。

内插滤波通常指代以下类型的滤波：在运动补偿期间发生以便产生经内插(或非整数)预测数据。在此情况下，可基于视频序列中的先前或后续视频单元的整数像素数据而将用以预测性地编码视频块的预测数据内插到二分之一像素或四分之一像素精度(或其它分数像素精度)。在一些实例中，本发明的内插滤波可包含内插滤波器系数经自适应地确定以产生所合意的预测数据的自适应内插滤波。自适应内插可与固定内插形成对比：在自适应内插的情况下，作为译码过程的部分而自适应地界定滤波器系数，而在固定内插的情况下，(例如)通过视频译码标准而预先界定滤波器系数。

环路内滤波和环路后滤波在一些方面彼此类似，但就所滤波的数据来说通常不同于内插滤波。具体来说，内插滤波应用于用以预测性地编码一个或一个以上视频块的预测性数据，而环路内滤波和环路后滤波在编码或解码过程之后应用于经重构的视频块以便使像素变化平滑、移除成块性(blockiness)或以其它方式改进最终输出的视频数据。

在环路内滤波的情况下，对经重构的视频数据的滤波发生于译码环路中，这意味着经滤波的数据由编码器或解码器存储以供随后用于后续图像数据的预测中。相比而言，在环路后滤波的情况下，对经重构的视频数据的滤波发生于译码环路外，这意味着数据的未经滤波版本由编码器或解码器存储以供随后用于后续图像数据的预测中。因此，在环路后滤波的情况下，可应用所述滤波以创建经重构的视频数据，但此滤波并不是为了存储数据以供用于其它预测性编码中的目的而应用于所述数据。本发明的环路内滤波和环路后滤波可为自适应的，因为在滤波过程中所应用的滤波系数是在所述过程期间自适应地界定的。

再次，本发明的所述技术可基于各种因素而针对视频单元的每一视频块选择一种或一种以上不同类型的滤波，所述因素例如为所述视频块是经帧间译码还是经帧内译码，以及在所述视频块的编码期间在运动补偿过程期间是否曾执行自适应内插。在一些情况下，仅一种类型的滤波应用于所述视频单元的任何给定视频块。举例来说，在一些情况下，可将自适应内插滤波、环路后滤波和环路内滤波中的仅一者应用于任何给定视频块。在此些情况下，如果在运动补偿期间应用自适应内插滤波器，则可避免环路后滤波或环路内滤波，但如果在运动补偿期间并未应用自适应内插滤波器，则可应用环路后滤波和环路内滤波中的一者。

然而，在其它情况下，甚至在自适应内插之后，可针对与零值残余值相关联的视频块的像素应用环路后滤波器，且可针对与非零残余值相关联的视频块的像素应用环路内滤波器。在此情况下，例如视频块是经帧间译码还是经帧内译码以及在所述视频块的编码期间在运动补偿过程期间是否曾执行自适应内插等因素仍可辅助界定应应用的滤波的类型。在一些实例中，环路内滤波器和环路后滤波器对于任何给定像素或替代地对于任何给定视频块可为相互排斥的。

在本发明中，术语“译码”指代编码或解码。类似地，术语“译码器”一般指代任何视频编码器、视频解码器或组合式编码器/解码器(编解码器)。因此，术语“译码器”在本文中用以指代执行视频编码或视频解码的专用计算机装置或设备。本发明的滤波技术可应用于编码器或解码器。在一些情况下，可将滤波器语法元素编码于位流中，以便向解码器通知应应用的滤波的类型。本发明还通过在经编码视频数据(例如，经编码系数)后的脚注元素中而不是在视频单元的视频数据前面的标头元素中编码滤波器语法信息来界定可改进编码滤波器信息的能力的用于传送经编码信息的格式或数据结构。

图1为说明可实施本发明的技术的示范性视频编码和解码系统10的方框图。如图1中所示，系统10包括源装置12，其经由通信信道15将经编码的视频发射到目的地装置16。源装置12和目的地装置16可包含广泛范围的装置中的任一者。在一些情况下，源装置12和目的地装置16可包含无线通信装置手持机，例如所谓的蜂窝式或卫星无线电电话。然而，更通常在视频译码期间应用于视频块和/或像素滤波的本发明的技术不必限于无线应用或环境，而可应用于包括视频编码和/或解码能力的非无线装置。

在图1的实例中，源装置12可包括视频源20、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的地装置16可包括接收器26、调制解调器27、视频解码器28和显示装置30。根据本发明，源装置12的视频编码器22可经配置以：确定视频块是经帧间译码还是经帧内译码；在所述视频块经帧内译码时将环路后滤波器或环路内滤波器应用于所述视频块；在所述视频块经帧间译码时，确定在运动补偿过程期间是否曾相对于所述视频块应用自适应内插滤波器；以及在所述视频块经帧间译码时，至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。下文更详细地描述可由视频编码器22执行的滤波过程的额外细节。

类似滤波技术还可由目的地装置16的视频解码器28执行。即，视频解码器28还可经配置以：确定视频块是经帧间译码还是经帧内译码；在所述视频块经帧内译码时将环路后滤波器或环路内滤波器应用于所述视频块；在所述视频块经帧间译码时，确定在运动补偿过程期间是否曾相对于所述视频块应用自适应内插滤波器；以及在所述视频块经帧间译码时，至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。在一些情况下，滤波语法信息在视频编码器22处经界定且作为从源装置12发送到目的地装置16的经编码位流的部分而被传送到视频解码器28。实际上，本发明还涵盖用于经编码视频单元内的此滤波语法信息的格式。举例来说，不在标头元素中提供滤波语法信息，本发明涵盖脚注元素的使用，在所述情况下，所述滤波语法信息将在视频单元的经编码视频系数的后面而非前面。脚注元素可为单独脚注文件，或可为界定视频单元的经编码数据的文件的元素。

图1的所说明的系统10仅为示范性的。本发明的滤波技术可由任何编码或解码装置执行。源装置12和目的地装置16仅为可支持此些技术的译码装置的实例。

源装置12的视频编码器22可使用本发明的技术来编码从视频源20接收的视频数据。视频源20可包含例如摄像机的视频俘获装置、含有先前俘获的视频的视频档案，或从视频内容提供者馈送的视频。作为另一替代方案，视频源20可产生基于计算机图形的数据作为源视频，或直播视频、所存档的视频与计算机产生的视频的组合。在一些情况下，如果视频源20为摄像机，则源装置12和目的地装置16可形成所谓的相机电话或视频电话。在每一情况下，可由视频编码器22对经俘获、经预先俘获或计算机产生的视频进行编码。

一旦视频编码器22编码视频数据，则可接着由调制解调器23根据例如码分多址(CDMA)或另一通信标准或技术的通信标准来调制经编码的视频信息，且经由发射器24将其发射到目的地装置16。调制解调器23可包括各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包括经设计以用于发射数据的电路，包括放大器、滤波器和一个或一个以上天线。目的地装置16的接收器26经由信道15接收信息，且调制解调器27解调所述信息。再次，由视频解码器28执行的视频解码过程可包括与视频编码器22的滤波技术类似的滤波技术。

通信信道15可包含任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理发射线，或无线媒体与有线媒体的任何组合。通信信道15可形成例如局域网、广域网或全球网络(例如，因特网)的基于包的网络的部分。通信信道15一般表示用于将视频数据从源装置12发射到目的地装置16的任何合适的通信媒体或不同通信媒体的集合。

视频编码器22和视频解码器28可实质上根据视频压缩标准(例如，ITU-T H.264标准，或者称为MPEG-4第10部分：高级视频译码(AVC))而操作。然而，可在多种其它视频译码标准的情形下容易地应用本发明的技术。具体来说，允许在编码器或解码器处滤波的任何标准可受益于本发明的教示。

尽管未展示于图1中，但在一些方面中，视频编码器22和视频解码器28可各自与音频编码器和解码器集成，且可包括适当的MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频与视频两者的编码。如果适用，则MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。

视频编码器22和视频解码器28各自可实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件，或其任何组合。可将视频编码器22和视频解码器28中的每一者包括于一个或一个以上编码器或解码器中，其中任一者可作为组合式编码器/解码器(CODEC)的部分而集成于相应移动装置、订户装置、广播装置、服务器等中。

在一些情况下，装置12、16可以实质上对称的方式操作。举例来说，装置12、16中的每一者可包括视频编码和解码组件。因此，系统10可支持视频装置12、16之间的单向或双向视频发射，(例如)以用于视频串流、视频回放、视频广播或视频电话。

在编码过程期间，视频编码器22可执行多种编码技术或操作。一般来说，视频编码器22对个别视频帧(或例如切片的其它独立译码的单元)内的视频块进行操作，以便编码所述视频块。可将帧、切片、帧的部分、图片群组或其它数据结构界定为包括多个视频块的可独立解码单元。经译码单元内的视频块可具有固定或不同的大小，且可根据所指定的译码标准而在大小上不同。在一些情况下，每一视频帧可包括一系列可独立解码切片，且每一切片可包括一系列宏块，其可布置成更小的块。

宏块通常指代16×16的数据块。ITU-T H.264标准支持各种块大小的帧内预测，例如用于亮度分量的16×16、8×8或4×4和用于色度分量的8×8，以及各种块大小的帧间预测，例如用于亮度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4，和用于色度分量的对应缩放的大小。在本发明中，词组“视频块”指代任何大小的视频块。此外，视频块可指代像素域中的视频数据的块，或在例如离散余弦变换(DCT)域、类似于DCT的域、小波域等变换域中的数据的块。然而，在大多数情况下，本发明的滤波可在像素域中发生。

视频编码器22可执行预测性译码，其中将经译码的视频块与预测性帧(或另一经译码单元)进行比较以便识别预测性块。此预测性译码过程可称为运动估计和运动补偿。运动估计相对于一个或一个以上预测性帧(或其它经译码单元)的一个或一个以上预测性视频块而估计视频块运动。运动补偿从所述一个或一个以上预测性帧或其它经译码单元产生所要预测性视频块。运动补偿可包括执行内插滤波以产生分数精度的预测性数据的内插过程。本发明的技术可采用此内插滤波，且通过在稍后对经重构的视频数据进行环路内或环路后滤波而平衡内插滤波。具体来说，当内插滤波器系数经自适应地界定于译码过程中(而非使用固定滤波器系数或无内插滤波)时，此自适应内插滤波可实现类似于环路内或环路后滤波的滤波效应，进而使得此环路内或环路后滤波在一些情况下为不必要或不合需要的。

在产生预测性块之后，将经译码的当前视频块与预测性块之间的差译码为残余块，且使用预测语法(例如，运动向量)来识别预测性块。可变换且量化残余块。变换技术可包含DCT过程或概念上类似的过程、整数变换、小波变换或其它类型的变换。在DCT过程中，作为一实例，变换过程将一像素值(例如，残余值)集合转换成变换系数，所述变换系数可表示像素值在频域中的能量。通常对变换系数应用量化，且量化通常涉及限制与任何给定变换系数相关联的位的数目的过程。

在变换和量化之后，可对经量化和变换的残余视频块执行熵译码。例如在编码期间所界定的滤波器语法信息和预测向量的语法元素也可包括于经熵译码的位流中。一般来说，熵译码包含共同地压缩经量化的变换系数和/或其它语法信息的序列的一个或一个以上过程。对经量化的变换系数执行例如Z形扫描技术的扫描技术，以便界定来自二维视频块的系数的一个或一个以上串行化的一维向量。接着(例如)经由上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码过程而熵译码经扫描的系数连同任何语法信息。

作为编码过程的部分，经编码的视频块可经解码以产生用于对后续视频块进行后续基于预测的译码的视频数据。在此阶段，可使用滤波以便改进视频质量且(例如)从经解码视频移除成块性或其它假影。此滤波可为环路内滤波或环路后滤波。再次，在环路内滤波的情况下，对经重构的视频数据的滤波发生于译码环路中，这意味着经滤波的数据由编码器或解码器存储以供随后用于后续图像数据的预测中。相比而言，在环路后滤波的情况下，对经重构的视频数据的滤波发生于译码环路外，这意味着数据的未经滤波版本由编码器或解码器存储以供随后用于后续图像数据的预测中。

编码器22可以提升视频质量的方式针对内插滤波、环路内滤波或环路后滤波中的任一者或全部选择滤波器系数。内插滤波器系数(例如)可选自预先界定的系数集合，或可经自适应地界定以提升视频质量。作为一实例，视频编码器22可针对给定经译码单元选择或界定滤波器系数集合，使得相同滤波器系数用于那个经译码单元的所有视频块。在一些情况下，视频编码器22可应用若干滤波器系数集合，并针对给定编码速率选择产生最佳质量视频或最高压缩等级或最高视频质量的集合。

图2为说明与本发明相一致的视频编码器50的方框图。视频编码器50可对应于装置20的视频编码器22或不同装置的视频编码器。如图2中所示，视频编码器50包括预测单元32、加法器48和51，和存储器34。视频编码器50还包括变换单元38和量化单元40，以及逆量化单元42和逆变换单元44。视频编码器50还包括熵译码单元46和滤波器单元47。滤波器单元47和预测单元32共同执行与本发明相一致的滤波。具体来说，预测单元32可执行对于将视频块运动补偿内插到子像素分辨率所必需的任何内插滤波。滤波器单元47可以视频块为基础或以个别像素为基础而执行环路内或环路后滤波(如本文所描述)。本发明的技术可通过考虑内插滤波和环路后或环路内滤波的共同效应而界定在编码过程中所应用的滤波等级。

更一般来说，在编码过程期间，视频编码器50接收待译码的视频块，且预测单元32执行预测性译码技术。对于帧间译码，预测单元32将待编码的视频块与一个或一个以上视频参考帧或切片中的各种块进行比较以便界定预测性块。对于帧内译码，预测单元32基于同一经译码单元内的相邻数据而产生预测性块。预测单元32输出预测块，且加法器48从经译码的视频块减去所述预测块以便产生残余块。

对于帧间译码，预测单元32可包含识别指向预测块的运动向量的运动估计和运动补偿单元，且基于所述运动向量产生所述预测块。通常，认为运动估计为产生运动向量的过程，其估计运动。举例来说，运动向量可指示预测性帧内的预测性块相对于在当前帧内译码的当前块的移位。通常认为运动补偿为基于由运动估计确定的运动向量而获取或产生预测性块的过程。对于帧内译码，预测单元32基于同一经译码单元内的相邻数据而产生预测性块。一个或一个以上帧内预测模式可界定可界定帧内预测块的方式。

用于帧间译码的运动补偿可包括内插到子像素分辨率。内插滤波器49可表示与本发明相一致的经自适应界定的滤波器。然而，内插滤波器49还可表示经自适应界定的滤波器、预先界定的滤波器，或可能的对预测性数据进行滤波以便产生经内插的预测性数据的滤波器集合的组合。经内插的预测性数据(例如)可经内插到二分之一像素分辨率、四分之一像素分辨率或更精细的分辨率。此准许运动估计根据此子像素分辨率来估计视频块的运动。

在预测单元32输出预测块(其可包括由内插滤波器49进行的内插滤波)之后，且在加法器48从经译码的视频块减去所述预测块以便产生残余块之后，变换单元38将变换应用于残余块。所述变换可包含离散余弦变换(DCT)或概念上类似的变换，例如由H.264标准界定的变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换单元38将变换应用于残余块，从而产生具有残余变换系数的块。变换可将残余信息从像素域转换到频域。

量化单元40接着量化残余变换系数以进一步减小位速率。量化单元40(例如)可限制用以译码所述系数中的每一者的位的数目。在量化之后，熵译码单元46可扫描并熵编码数据。举例来说，熵译码单元46可将经量化的系数块从二维表示扫描到一个或一个以上串行化的一维向量。扫描次序可经预先编程以按所界定的次序进行(例如，z形扫描或另一预先界定的次序)，或可能基于先前译码统计而自适应地界定。在此扫描过程之后，熵译码单元46根据例如上下文自适应可变长度译码(CAVLC)或上下文自适应二进制算术译码(CABAC)等熵译码方法来编码经量化的变换系数(连同任何语法元素)，以进一步压缩数据。包括于经熵译码的位流中的语法元素可包括来自预测单元32的预测语法，例如用于帧间译码的运动向量或用于帧内译码的预测模式。包括于经熵译码的位流中的语法元素还可包括来自滤波器单元47和预测单元32的滤波器信息，其可以本文所描述的方式编码。

CAVLC为由ITU H.264/MPEG4 AVC标准支持的一种类型的熵译码技术，其可由熵译码单元46以向量化为基础进行应用。CAVLC以有效地压缩变换系数和/或语法元素的串行化“游程”的方式使用可变长度译码(VLC)表。CABAC为由ITU H.264/MPEG4 AVC标准支持的另一类型的熵译码技术，其可由熵译码单元46以向量化为基础进行应用。CABAC可涉及若干阶段，包括二进制化(binarization)、上下文模型选择和二进制算术译码。在此情况下，熵译码单元46根据CABAC来译码变换系数和语法元素。还存在许多其它类型的熵译码技术，且新的熵译码技术将很可能在未来出现。本发明不限于任何特定熵译码技术。

在由熵译码单元46进行熵译码之后，可将经编码的视频发射到另一装置或进行存档以供稍后发射或检索。再次，经编码的视频可包含经熵译码的向量和各种语法，其可由解码器使用以恰当地配置解码过程。逆量化单元42和逆变换单元44分别应用逆量化和逆变换，以在像素域中重构残余块。求和器51将所述经重构的残余块加到由预测单元32产生的预测块以产生经重构的视频块以供存储于存储器34中。然而，在此存储之前，滤波器单元47可将滤波应用于所述视频块以改进视频质量。由滤波器单元47进行的此滤波可减少成块性或其它假影。此外，滤波可通过产生包含与经译码的视频块的紧密匹配的预测性视频块而改进压缩。

再次，滤波器单元47可支持至少两种不同类型的滤波。滤波器单元47可包括环路内滤波器37和环路后滤波器39，其实际上可为相同或类似的滤波器。如果滤波器单元47执行环路内滤波，则在此滤波之后，经重构的视频块可由预测单元32用作用于运动估计的参考块以帧间译码在后续视频帧或其它经译码单元中的块。如果滤波器单元47执行环路后滤波，则存储器34可存储经重构的视频块的未经滤波版本，且经重构的视频块的未经滤波版本可由预测单元32用作参考块以帧间译码在后续视频帧或其它经译码单元中的块。

由滤波器单元47进行的滤波可包括以提升视频质量的方式进行的滤波器系数选择。举例来说，滤波器单元47可从预先界定的系数集合选择滤波器系数，或可自适应地界定所述滤波器系数以便提升视频质量或改进的压缩。滤波器单元47可针对给定经译码单元选择或界定滤波器系数集合，使得相同滤波器系数用于那个经译码单元的所有视频块，或在一些情况下，可将不同滤波器应用于给定视频块的不同像素。在一些情况下，滤波器单元47可应用若干滤波器系数集合且选择产生最佳质量视频的集合。

根据本发明，滤波器单元47和预测单元54以共同方式执行滤波。具体来说，是否用滤波器单元47执行滤波的决策，和是否将环路内滤波器37或环路后滤波器39应用于此滤波的决策可至少部分取决于内插滤波器49在运动补偿期间是否曾应用自适应内插滤波。以此方式，本发明的技术可有助于避免对数据的过滤波，此可能降低视频质量。而且，所述技术可有助于避免在一些情况下可能由环路内滤波引起的滤波假影的传播。下文更详细地描述可由视频编码器50执行的滤波决策的额外细节。

图3为说明视频解码器60的一实例的方框图，视频解码器60对以本文所描述的方式编码的视频序列进行解码。在一些实例中，本发明的滤波技术可由视频解码器60执行。所接收的视频序列可包含经编码的图像帧集合、帧切片集合、经一般译码的图片群组(GOP)，或包括经编码的视频块和语法信息以界定解码此些视频块的方式的广泛多种经译码视频单元。

视频解码器60包括熵解码单元52，其执行由图2的熵译码单元46执行的编码的互逆解码功能。具体来说，熵解码单元52可执行CAVLC或CABAC解码，或由视频编码器50使用的任何其它类型的熵解码。可将呈一维串行化格式的经熵解码的视频块从系数的一个或一个以上一维向量转换回为二维块格式。向量的数目和大小，以及针对视频块所界定的扫描次序可界定重构二维块的方式。可从熵解码单元52将经熵解码的预测语法发送到预测单元54，且可从熵解码单元52将经熵解码的滤波器信息发送到滤波器单元57。

视频解码器60还包括预测单元54、逆量化单元56、逆变换单元58、存储器62和求和器64。另外，视频解码器60还包括对求和器64的输出进行滤波的滤波器单元57。与本发明相一致的，滤波器单元57可接收经熵解码的滤波器信息且可应用与本发明相一致的环路内或环路后滤波。如同视频编码器50，视频解码器60包括预测单元54和滤波器单元57。视频解码器的预测单元54可包括运动补偿元件，所述运动补偿元件包括内插滤波器69，内插滤波器69可表示自适应地界定的滤波器和可能的一个或若干额外滤波器。滤波器单元57可支持后滤波和环路内滤波两者。滤波器单元57展示为包括环路后滤波器66和环路内滤波器67，但这些组件可在很大程度上进行组合。

如同视频编码器50，在视频解码器60中，滤波器单元57和预测单元54以共同方式执行滤波。具体来说，是否用滤波器单元57执行滤波的决策，和是否将环路内滤波器67或环路后滤波器66应用于此滤波的决策可至少部分取决于内插滤波器69在解码过程的运动补偿期间是否曾应用自适应内插滤波。以此方式，本发明的技术可改进视频质量。

广泛多种视频压缩技术和标准执行空间和时间预测以减少或移除在输入视频信号中所固有的冗余。如上文所解释，使用空间预测(即，帧内预测)和/或时间预测(即，帧间预测或运动估计)预测输入视频块。本文所描述的预测单元可包括模式决策模块(未图示)，以便针对给定输入视频块选择合意的预测模式。模式选择可考虑多种因素，例如块是经帧内译码还是经帧间译码、在使用帧内译码的情况下的预测块大小和预测模式，和在使用帧间译码的情况下所使用的运动分区大小和运动向量。从输入视频块减去预测块，且接着对残余视频块应用变换和量化，如上文所描述。经量化的系数连同模式信息一起经熵编码以形成视频位流。经量化的系数还可经历逆量化和逆变换以形成经重构的残余块，其可加回到预测视频块(视所选择的译码模式而为经帧内预测的块或经运动补偿的块)以形成经重构的视频块。可应用环路内或环路后滤波器以减少在经重构的视频信号中的视觉假影。经重构的视频块最终存储于参考帧缓冲器(即，存储器)中以用于未来视频块的译码。

在H.264/AVC中，可在空间预测中使用方向性帧内预测。对于4×4和8×8亮度视频块，可使用九个不同预测模式，而对于16×16亮度块和色度块，可使用4个预测模式。对于时间预测，可执行运动估计以追踪视频对象的移动。可对具有可变大小的块(例如，16×16、16×8、8×16、8×8或更小的块大小)执行运动估计。作为运动估计的结果的对象移位可具有二分之一像素精度或四分之一像素精度(或任何更精细的精度)，此允许视频译码器以比整数像素位置高的精度追踪运动场且常常获得更佳的预测块。当使用具有分数像素值的运动向量时，执行内插操作，如本文所描述。对于根据H.264/AVC标准的此些内插，具有分接头系数[1-5 20 20-5 1]的6分接头维纳滤波器和双线性滤波器可用于运动补偿内插。

ITU-T SG16/Q.6/VCEG(视频译码专家组)委员会当前正在探索提供比H.264/AVC高的译码效率的译码技术。此探索是在KTA(关键技术领域)论坛中和其它地方进行。将已采用到KTA中的译码工具中的一者称作自适应内插滤波器(AIF)。AIF可提供优于当前H.264/AVC滤波技术的译码增益，对于具有高分辨率(例如，1080渐进扫描)的视频序列尤其如此。在一些AIF方案中，可通过实质上最小化预测错误能量而针对每一视频帧以分析的方式计算二维(2D)非可分内插滤波器。此可有助于解决原始和参考视频信号中所含有的混叠效应、量化和运动估计错误、相机噪声或其它因素。在一些情况下，每一帧的以分析的方式导出的自适应滤波器系数集合自身可经预测、量化、译码，且在视频位流中发送。

除二维(2D)非可分AIF(NS-AIF)之外，还可使用其它AIF方案来界定内插滤波器系数或者环路内或环路后滤波器系数。其它类型的AIF方案可包括可分AIF(S-AIF)、方向性AIF(DAIF)和增强型AIF(E-AIF)。所有这些AIF方案可遵循同一通用分析过程以通过实质上最小化预测错误能量或所得残余视频块而针对每一帧自适应地导出滤波器系数。这些自适应地导出的滤波器系数可经预测、量化，且在位流中发送。

不同AIF方案之间的差异在于不同滤波器结构的使用，例如，滤波器是可分的还是非可分的、是否使用全像素滤波器、是否支持任何滤波器偏移或其它因素。而且，还可使用不同滤波器支持，例如水平滤波器支持、垂直滤波器支持、对角线滤波器支持、径向滤波器支持。还可采用对称性以便减小传送滤波器系数所需的数据的量。在对称性的情况下，举例来说，可通过发送系数X、Y和Z，并基于对称性导出-X、-Y和-Z而传送系数集合[-X，-Y，-Z，Z，Y，X]。还可(例如)基于已知滤波器或先前经编码的滤波器而预测性地编码滤波器系数。

可使用的另一译码工具为基于块的自适应环路滤波器(BALF)。在将经重构的视频块存储于参考帧存储装置中之前，BALF计算并应用自适应环路内滤波器(在解块滤波器之后)。在BALF的情况下，可针对每一帧(或其它经译码的单元)自适应地计算环路滤波器系数且将其在位流中发送。还可在位流中以信号通知是否对给定视频块应用自适应环路滤波器(ALF)。本发明中所描述的滤波器单元可执行BALF型滤波，但可在环路内或环路后之间进行选择。解块滤波也可为本文所描述的滤波器单元的部分，或可与BALF型滤波分离。举例来说，可在BALF型环路内或环路后滤波之前执行解块滤波。

在一些情况下，本发明涉及执行AIF和BALF两者的视频译码。当使用AIF时，运动补偿块可应用自适应内插滤波器而非固定内插滤波器。在此情况下，可在位流中指定自适应滤波器系数。如上文所提及，在存储和/或显示视频之前，可将BALF型滤波器放置于解块滤波器之后以作为视频编码器或视频解码器的解码过程的最后步骤。因此，相对于图2和图3，如果滤波器单元37和57执行BALF型滤波，则还可能存在位于滤波器单元37和57内的解块滤波器(未图示)。BALF可为更一般的自适应循环滤波的一个实例，其中信号被发送以指示是对位流中的视频块中的部分还是全部应用自适应环路滤波器。与本发明相一致的，自适应环路滤波器可放置于环路内或循环外。自适应后滤波(APF)可指代自适应地界定滤波器系数的环路后滤波。当将自适应滤波器放置于译码环路之外时，经滤波的帧仅用于显示目的，而并不用作用于未来视频帧的译码的参考帧。在一些情况下，解码器可选择不应用自适应滤波器，当自适应滤波器在给定视频序列的解码中用完计算循环时尤其如此。因此，除本文所描述的偶然事故之外，如果在给定时间周期内不存在足够计算循环来进行环路后滤波，则编码器或解码器可始终中止环路后滤波。

在AIF中所使用的自适应滤波器相对于用于ALF或APF的自适应滤波器而定位于译码的不同阶段处。具体来说，在于运动补偿阶段处应用AIF以改进帧间预测准确度时，在译码过程结束附近放置ALF或APF以减少经重构的视频块内的量化噪声和译码假影。在自适应滤波的情况下，本发明涵盖关于AIF和ALF或APF的滤波决策的组合，以便实现译码效率的改进。然而，AIF与ALF/APF的简单组合意味着视频帧中的许多像素可能被滤波两次，首先被AIF滤波且接着被ALF/APF滤波。在此情况下，此系统的复杂性可能非常高，在ALF/APF使用大滤波器时尤其如此。一些BALF方案(例如)可使用非可分9×9滤波器，其为相对大的。

在一些实例中，对于运动补偿所支持的每一可能的全像素或子像素位置，可在位流中发送滤波器旗标以指示是否应针对此位置使用自适应滤波器。举例来说，对于支持二分之一像素和四分之一像素内插的系统，可能存在与每一整数像素相关联的16个可能的像素位置，一个整数像素位置、三个二分之一像素位置和12个四分之一像素位置。对于给定全像素或子像素位置p(p∈{FP，a...o})，AIFflag(p)可指定是否应针对位置p使用自适应内插滤波器。在此情况下，如果AIFflag(p)＝1，则可在位流中发送自适应滤波器且使用其以对应于位置p的运动向量来内插预测块。否则，如果AIFflag(p)＝0，则可替代地使用固定内插滤波器(例如，在H.264中所使用的6分接头滤波器)。

对于全像素位置，如果AIFflag(FP)为0，则在运动向量具有全像素精度的情况下可不应用滤波。而是，可通过在运动向量所识别的对应位置处从参考帧直接复制而获得预测块。在一些AIF方案中，不使用全像素自适应滤波器，且对于这些AIF方案，实际上可将AIFflag(FP)的值始终设定为0。

当将特定AIFflag(p)(p∈{FP，a...o})设定为1时，可针对对应于位置p的运动向量使用自适应内插滤波器。这意味着，在具有对应于位置p的运动向量的视频块的运动补偿阶段期间实质上使预测错误能量最小化了。对于这些视频块，ALF或APF在译码流的稍后阶段的应用可变得较不必要。然而，对于具有对应于位置p(AIFflag(p)＝0)的运动向量的剩余经帧间译码的视频块，ALF或APF在译码流的稍后阶段的应用可有助于减少译码假影和/或译码噪声。此外，AIF可能仅适用于经帧间译码的视频块，且对经帧内译码的视频块可能具有极小效应或不具有效应。

经帧内译码的视频块可以含有快速和/或不规则运动的视频序列组成视频帧的显著部分。另外，经帧内译码的视频块可以在当前帧与参考帧之间的时间距离较大时(例如，在使用所谓的分层B预测结构(其中B指代基于两个或两个以上参考帧或切片所预测的“双向”帧或切片)时)的视频序列组成视频帧的显著部分。对于经帧内译码的视频块，ALF或APF的应用也可为合意的，以减少译码假影和译码噪声。

在本发明的一些方面中，提出AIF与ALF/APF的相对低复杂性的组合。在一些实例中，本发明提供ALF/APF可仅应用于尚未应用AIF的视频块。在此情况下，举例来说，未应用AIF的视频块可包括具有对应于位置p(AIFflag(p)为0)的运动向量的经帧间译码的视频块，且还可包括所有经帧内译码的视频块。此组合可显著地降低系统复杂性，因为帧中的每一像素最多经滤波一次，而AIF与ALF/APF的更自然的组合可对帧中的每一像素滤波达两次。

图4为说明与本发明的实例相一致的用于在自适应环路内滤波与自适应环路后滤波之间进行选择的一种技术的流程图。此技术可由例如图1中所示的视频编码器22或视频解码器28等视频译码器执行。在此情况下，对于一切片或其它经译码单元的每一视频块n(401)，视频译码器确定块n是否经帧间译码(402)。如果块n未经帧间译码(“否”402)，则应用ALFflag(n)＝1，这意味着ALF/APF将应用于那个块(403)。如果块n经帧间译码(“是”402)，则视频译码器可将p设定到对应于块n的运动的像素位置(例如，16个可能的整数或子整数位置中的一者)(404)。视频译码器可接着检查用于p的设定位置的AIFflag(p)的值(405)。如果对于p的设定位置，AIFflag(p)＝1(“是”405)，则应用ALFflag(n)＝0(406)，这意味着ALF/APF将不应用于那个块。然而，如果对于p的设定位置，AIFflag(p)＝0(“否”405)，则应用ALFflag(n)＝1(407)，这意味着ALF/APF将应用于那个块。

图5为说明一技术的流程图，其用于说明与本发明的实例相一致的用于重构包括至少一个非零残余值的经帧间译码的视频块的一种技术。此技术可由例如图1中所示的视频编码器22或视频解码器28等视频译码器执行。如图5中所示，对于切片或其它经译码单元的每一视频块n(501)，视频译码器确定块n是否经帧间译码(502)。如果块n未经帧间译码(“否”502)，则应用ALFflag(n)＝1，这意味着ALF/APF将应用于那个块(503)。如果块n经帧间译码(“是”502)，则视频译码器可将p设定到对应于块n的运动的像素位置(例如，16个可能的整数或子整数位置中的一者)(504)。视频译码器可接着检查用于p的设定位置的AIFflag(p)的值(505)。如果对于p的设定位置，AIFflag(p)＝0(“否”505)，则应用ALFflag(n)＝1(506)，这意味着ALF/APF将应用于那个块。

在图5的实例中，如果对于p的设定位置，AIFflag(p)＝1(“是”505)，则视频译码器进行到视频块的像素级以确定块是否包括任何非零残余值(507)。在此情况下，如果块包括非零残余值(“是”507)，则应用ALFflag(n)＝1(508)，这意味着ALF/APF将应用于那个块。然而，如果块不包括任何非零残余值(“否”507)，则应用ALFflag(n)＝0(509)，这意味着ALF/APF将不应用于那个块。图5的决策过程相对于图4的过程可产生较高数目个视频块(其中ApplyALFflag＝1)。其还可导致每一像素平均被滤波一次以上，但使用图5的过程的每像素的滤波操作的平均数目可能仍小于在应用AIF与ALF/APF的更自然组合时所需的滤波器操作的数目。

图6为说明一技术的方框图，其用于与本发明的实例相一致的用于重构包括至少一个非零残余值的经帧间译码的视频块的一种技术。可从图6中所示的基于块的视频解码元件认识到使用图5的决策过程的一个益处，所述基于块的视频解码元件包括逆量化单元601、逆变换单元602、运动补偿单元603和加法器604。这些组件可分别对应于图2和图3中所示的视频编码器50或视频解码器60的组件。如图6中所示，即使已通过使用AIF滤波器在运动补偿期间最小化运动预测错误能量，在添加非零残差之后，经重构的块仍可能含有特定水平的译码噪声。在此情况下，即使已应用AIF，在译码的稍后阶段仍应用ALF或APF可为有益的。

在BALF的情况下，视频帧或切片可被分割成各种大小的块，其可称为BALF块。此些BALF块可具有各种大小，例如8×8、16×16、32×32、64×64或其它大小。可在位流中以信号通知BALF块的大小以作为经编码的BALF参数集合的一部分，其可为滤波语法信息的部分。对于每一BALF块，可发送1位旗标alf_blk_flag以指示是否应用ALF。如果alf_blk_flag为1，则可使用自适应环路滤波器对BALF块中的所有像素进行滤波。否则，如果alf_blk_flag＝0，则可能不对BALF块中的像素进行滤波。在一些实例中，BALF参数可包括经译码单元内的所有BALF块的自适应滤波器系数、BALF块大小和alf_blk_flag。此外，如图7中所示，此些BALF参数可位于经译码单元的脚注元素705而非标头元素701中。

将BALF参数定位于标头元素中可产生以下问题。

1.将BALF参数定位于标头元素中可使BALF参数的导出更困难。在此情况下，可能直到已译码整个视频切片之后才导出BALF参数。因此，在导出BALF参数之后，位流处置器(其可为熵编码器的部分)可能需要将BALF参数在切片标头与切片数据之间插入回到切片位流中。这意味着编码器可能仅能够在完成整个切片的译码和处理之后发送切片位流，此可在编码器处引入缓冲需求和额外延迟。

2.如果BALF参数字于标头元素中，则此可能要求解码器在其接收切片数据之前接收BALF参数。但直到整个视频切片经解码之后，BALF参数才将由解码器使用。此可因此在解码器处引入额外缓冲需求。

通过将BALF参数定位于脚注元素而非标头元素中，在一些情况下可避免这些问题。

图7为说明与本发明的一个或一个以上实例相一致的用于传送滤波器信息的视频单元的数据结构700的概念图。在图7的数据结构700中，展示经修改的切片位流结构，其中BALF参数被放置于脚注元素705中，例如，在切片的末尾处。换句话说，BALF参数(例如，BALF系数703以及BALF块大小和旗标704)可位于切片标头701和包括经编码系数的切片数据702之后。此可为BALF参数(或任何ALF或APF参数)的更有用位置，因为直到编码或解码视频块的整个切片之后才将使用此些参数。注意，在图7中，切片标头701可含有指示BALF参数是否存在于当前切片中的1位旗标。如果此旗标为0，则BALF参数可能不包括于位流中，且对于那个切片可避免ALF过程。

还可存在使用如图7中所示的数据结构700的额外益处。当使用AIF与ALF/APF的低复杂性组合时，BALF块中的一些可仅含有其ApplyALFflag根据上文所解释的决策过程而被设定为0的视频块。对于这些视频块，可能无需发送alf_blk_flag(因为ALF将不应用于此些块)。通过将BALF参数放置于切片的末尾而非切片标头中，解码器可随着其解码切片数据(例如)使用图4或图5的决策过程来确定所有视频块的ApplyALFflag的值。以此方式，解码器可知晓是否存在对解码给定BALF块的alf_blk_flag的任何需要，此可导致改进的熵译码，因为可减小与发送alf_blk_flag相关联的位开销。

如上文所概述，本发明的技术可提供AIF与ALF/APF的低复杂性组合。在一些情况下，在视频译码器中存在两个自适应滤波器的情况下，每一像素可最多被滤波一次，但一些实例可在特定情况下允许额外滤波。对于每一视频块，如果已将AIF应用于其，则可避免ALF/APF。在此情况下，与可能对每一像素滤波达两次的两个译码工具(AIF与ALF/APF)的自然组合相比，所提出的低复杂性组合可通过限制应用于任何给定视频块的滤波的量而显著降低系统复杂性。

在一些实例中，当决定是否将ALF/APF应用于块时，视频译码器可考虑给定视频块是否存在非零残余信息。具体来说，当存在非零残余信息时，即使已将AIF应用于块，也可应用ALF。此情况可允许视频译码器最小化归因于非零残余块的添加而引起的额外译码噪声，且借此改进视频质量。然而，此替代方案可能招致计算复杂性的某些增加，因为切片内的像素可平均被滤波一次以上，但滤波操作的平均数目可能仍低于曾针对所有块仅应用ALF/APF的AIF与ALF/APF的组合，而不管是否曾应用AIF且不管数据包含零还是非零残余信息。

图7的数据结构70可提供以BALF传送AIF的方式。如所解释，图7的数据结构70将BALF参数放置于经译码单元的位流的末尾处，而非将其插入于切片标头与切片数据之间。此可减少额外缓冲需求，且可实现BALF中的语法元素(例如，alf_blk_flag语法元素)的更有效熵译码。在视频切片的编码/解码期间，可决定切片中的所有视频块的元素“ApplyALFflag”的值。与图7的实例相一致的，当编码或解码BALF参数时，将无需发送仅含有ApplyALFflag＝0的视频块的那些BALF块的alf_blk_flag语法元素。而是，可推断此些BALF块的alf_blk_flag的值为0。如此，可减小与alf_blk_flag相关联的位开销。

图8为说明与本发明的一个或一个以上实例相一致的用于在视频译码过程期间对视频单元的一个或一个以上视频块进行滤波的技术的流程图。将从视频解码器60的角度描述图8，但视频编码器50也可应用类似技术。如图8中所示，视频解码器60的滤波器单元57确定视频块是经帧间译码还是经帧内译码(801)。举例来说，预测单元54可将信息传送到滤波器单元57，使得滤波器单元57可作出此确定。滤波器单元57接着在所述视频块经帧内译码时将环路后滤波器或环路内滤波器应用于所述视频块(802)。当所述视频块经帧间译码时，滤波器单元57确定在运动补偿过程期间是否曾相对于所述视频块应用自适应内插滤波器(803)。可将例如本文所描述的自适应内插滤波器旗标包括于位流中，以便允许解码器60作出所述确定(803)。

滤波器单元57可接着至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。举例来说，如图8中所示，滤波器单元57在视频块经帧间译码时将环路后滤波器或环路内滤波器应用于视频块(802)，但在运动补偿过程期间未曾应用自适应内插滤波器(803的“否”)。然而，滤波器单元57在视频块经帧间译码时避免将环路后和环路内滤波应用于视频块(804)，且在运动补偿过程期间应用自适应内插滤波器(803的“是”)。在一些情况下，在图8的实例中，相对于任何给定视频块仅应用来自自适应内插滤波、环路后滤波和环路内滤波的集合的一种类型的滤波。

图9为说明与本发明的一个或一个以上实例相一致的用于在视频译码过程期间对视频单元的一个或一个以上视频块进行滤波的技术的另一流程图。将从视频解码器60的角度描述图9，但视频编码器50也可应用类似技术。如图9中所示，视频解码器60的滤波器单元57确定视频块是经帧间译码还是经帧内译码(901)。举例来说，预测单元54可将信息传送到滤波器单元57，使得滤波器单元57可作出此确定。如果所述视频块经帧内译码(“帧内”901)，则滤波器单元57针对具有零值残余值的像素值应用环路后滤波器66(902)，且针对具有非零残余值的像素值应用环路内滤波器68(903)。以此方式，滤波器单元57基于此些像素是否由非零残余值界定而作出是应用环路后滤波器66还是环路内滤波器68的像素级确定。

在图9的过程中，当所述视频块是经帧间译码时(“帧间”901)，滤波器单元57确定在运动补偿过程期间是否曾相对于所述视频块应用自适应内插滤波器(903)。滤波器单元57可接着至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。举例来说，如图9中所示，如果滤波器单元57确定在运动补偿过程期间未曾应用自适应内插滤波器(903的“否”)，则滤波器单元57针对具有零值残余值的像素值应用环路后滤波器66(902)，且针对具有非零残余值的像素值应用环路内滤波器68(903)。另一方面，滤波器单元57在视频块经帧间译码时避免将环路后和环路内滤波应用于视频块(905)，且在运动补偿过程期间应用自适应内插滤波器(904的“是”)。

图10为说明与本发明的一个或一个以上实例相一致的用于在视频译码过程期间对视频单元的一个或一个以上视频块进行滤波的技术的另一流程图。还将从视频解码器60的角度描述图10，但视频编码器50也可应用类似技术。如图10中所示，视频解码器60的滤波器单元57确定视频块是经帧间译码还是经帧内译码(1001)。再次，预测单元54可将信息传送到滤波器单元57，使得滤波器单元57可作出此确定。如果所述视频块经帧内译码(“帧内”1001)，则滤波器单元57将环路后滤波器或环路内滤波器应用于所述视频块(1002)。当所述视频块经帧间译码时(1001)，滤波器单元57确定在运动补偿过程期间是否曾相对于所述视频块应用自适应内插滤波器(1003)。滤波器单元57可接着至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。举例来说，如图10中所示，滤波器单元57在所述视频块经帧间译码时将环路后滤波器或环路内滤波器应用于所述视频块(1002)，但在运动补偿过程期间未曾应用自适应内插滤波器(1003的“否”)。

在图10的技术中，如果在运动补偿过程期间曾针对经帧间译码的视频块应用自适应内插滤波器(1003的“是”)，则滤波器单元57作出又一确定。具体来说，滤波器单元57确定残余块是否具有任何非零残余值(1004)。如果具有任何非零残余值(“是”1004)，则滤波器单元57可仍将环路后滤波器或环路内滤波器应用于所述视频块(1002)，从而可能仅对非零残余值进行滤波，或可能使用环路后滤波器66对非零残余值进行滤波且使用环路内滤波器67对零值残余值进行滤波。然而，在此实例中，如果滤波器单元57确定残余块不具有任何非零残余值(“否”1004)，则滤波器单元57可避免环路后滤波和环路内滤波(1005)。

图11为说明可由视频解码器60执行以便基于位流中的数据在环路后滤波器66与环路内滤波器67之间进行选择的技术的流程图。换句话说，图11的技术可能不需要位流中的任何滤波语法信息以便促进在环路后滤波器66与环路内滤波器67之间的此些选择。

如图11中所示，视频解码器60接收视频数据(1101)，所述视频数据包括由视频解码器经由预测性视频解码技术重构的残余视频块。在此情况下，在本文所描述的视频块重构之后，滤波器单元57针对由残余视频块中的零残余值界定的经重构的视频块的像素应用环路后滤波器66(1102)。滤波器单元67针对由残余视频块的零值残余值界定的经重构的视频块的像素应用环路内滤波(1103)。再次，图11的技术可能不需要位流中的任何滤波语法信息以便促进在环路后滤波器66与环路内滤波器67之间的此些选择。

如所解释，本发明的各种技术可由视频编码器或由视频解码器执行。如果在视频编码过程期间执行所述技术，则所述技术还可包含将语法元素编码到用于所述视频单元的经编码位流中，以指示是应将环路后滤波器还是所述环路内滤波器应用于经译码单元的视频块中的每一者。如上文所概述，在此情况下，将语法元素编码到用于所述视频单元的经编码位流中可包含将语法元素编码到跟随在用于所述视频单元的系数后面的脚注元素中。

在一些实例中，应用环路后滤波器或环路内滤波器可包括在环路后滤波器与环路内滤波器之间进行选择。然而，在其它实例中，环路后滤波器或环路内滤波器的应用可取决于其它因素，例如块或块的特定像素是否由非零残余值界定。在一些情况下，针对与零值残余值相关联的视频块的像素应用环路后滤波器，且针对与非零残余值相关联的视频块的像素应用环路内滤波器。实际上，此概念(例如，图11中所示)自身可提供优点，且可独立于本文所描述的其它技术而使用。

如果在视频解码过程期间执行所述技术，则所述技术还可包含解码来自用于视频单元的所接收位流的语法元素，其中所述语法元素指示是否应针对经译码单元的视频块中的至少一些应用环路后滤波器或环路内滤波器。然而，如上文所解释，通过图11的实例，可从位流消除此些语法元素。如果语法元素包括于位流中，则所述语法元素可位于在用于视频单元的系数后面的脚注元素中，如本文所解释。

本发明的技术可以广泛多种装置或设备实现，包括无线手持机和集成电路(IC)或一组IC(即，芯片组)。提供已描述的任何组件、模块或单元以强调功能方面且不一定要求通过不同硬件单元来实现。

因此，本文所描述的技术可以硬件、软件、固件，或其任何组合来实施。描述为模块或组件的任何特征可在集成式逻辑装置中一起实施或作为离散但可协同操作的逻辑装置单独实施。如果以软件实施，则所述技术可至少部分由计算机可读媒体实现，所述计算机可读媒体包含在执行时执行上文所描述的方法中的一者或一者以上的指令。计算机可读数据存储媒体可形成计算机程序产品的部分，所述计算机程序产品可包括封装材料。

计算机可读媒体可包含随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或替代地，所述技术可至少部分由计算机可读通信媒体实现，所述计算机可读通信媒体载运或传送呈指令或数据结构的形式的代码且可由计算机存取、读取和/或执行。

可通过例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行指令。因此，如本文所使用的术语“处理器”可指代上述结构或适于实施本文所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内，或并入于组合的视频编码器-解码器(CODEC)中。而且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。

已描述本发明的各个方面。这些和其它方面处于所附权利要求书的范围内。

Claims

1.一种在视频译码过程期间对视频单元的一个或一个以上视频块进行滤波的方法，所述方法包含：

确定视频块是经帧间译码还是经帧内译码；

在所述视频块经帧内译码时，将环路后滤波器或环路内滤波器应用于所述视频块；

在所述视频块经帧间译码时，确定在运动补偿过程期间是否曾相对于所述视频块应用自适应内插滤波器；以及

在所述视频块经帧间译码时，至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块。

2.根据权利要求1所述的方法，其进一步包含将所述自适应内插滤波器、所述环路后滤波器和所述环路内滤波器中的仅一者应用于所述视频单元的所述视频块中的每一者。

3.根据权利要求1所述的方法，其进一步包含仅在于所述运动补偿过程期间未曾相对于所述视频块应用所述自适应内插滤波器时才将所述环路后滤波器或所述环路内滤波器应用于所述视频块。

4.根据权利要求1所述的方法，其进一步包含：

在所述视频块经帧间译码时，在所述视频块是由预测块和包括至少一些非零残余值的残余块形成时，将所述环路后滤波器或所述环路内滤波器应用于所述视频块；以及

在所述视频块经帧间译码时，在所述视频块是由预测块和不包括任何非零残余值的残余块形成时，跳过将所述环路后滤波器或所述环路内滤波器应用于所述视频块。

5.根据权利要求1所述的方法，其中在视频编码过程期间执行所述方法，所述方法进一步包含将语法元素编码到用于所述视频单元的经编码位流中，以指示是应将所述环路后滤波器还是所述环路内滤波器应用于所述经译码单元的所述视频块中的每一者。

6.根据权利要求5所述的方法，其中将所述语法元素编码到所述视频单元的所述经编码位流中包含将所述语法元素编码到跟随在用于所述视频单元的系数后面的脚注元素中。

7.根据权利要求1所述的方法，其中应用所述环路后滤波器或所述环路内滤波器包括在所述环路后滤波器与所述环路内滤波器之间进行选择。

8.根据权利要求7所述的方法，其进一步包含：

针对与零值残余值相关联的所述视频块的像素应用所述环路后滤波器；以及

针对与非零残余值相关联的所述视频块的像素应用所述环路内滤波器。

9.根据权利要求1所述的方法，其中在视频解码过程期间执行所述方法，所述方法进一步包含解码来自用于所述视频单元的所接收位流的语法元素，其中所述语法元素指示是应针对所述经译码单元的所述视频块中的至少一些应用所述环路后滤波器还是所述环路内滤波器。

10.根据权利要求9所述的方法，其中所述语法元素位于跟随在用于所述视频单元的系数后面的脚注元素中。

11.一种在视频译码过程期间对视频单元的一个或一个以上视频块进行滤波的视频译码器设备，所述视频译码器设备包含：

自适应内插滤波器；

环路后滤波器；以及

环路内滤波器，其中所述设备：

确定视频块是经帧间译码还是经帧内译码；

在所述视频块经帧内译码时，将所述环路后滤波器或所述环路内滤波器应用于所述视频块；

在所述视频块经帧间译码时，确定在运动补偿过程期间是否曾相对于所述视频块应用所述自适应内插滤波器；以及

12.根据权利要求11所述的视频译码器设备，其中所述视频译码器设备将所述自适应内插滤波器、所述环路后滤波器和所述环路内滤波器中的仅一者应用于所述视频单元的所述视频块中的每一者。

13.根据权利要求11所述的视频译码器设备，其中所述视频译码器设备仅在于所述运动补偿过程期间未曾相对于所述视频块应用所述自适应内插滤波器时才将所述环路后滤波器或所述环路内滤波器应用于所述视频块。

14.根据权利要求11所述的视频译码器设备，其中所述视频译码器设备：

在所述视频块经帧间译码时，在所述视频块是由预测块和包括至少一些非零残余值的残余块形成时将所述环路后滤波器或所述环路内滤波器应用于所述视频块；以及

在所述视频块经帧间译码时，在所述视频块是由预测块和不包括任何非零残余值的残余块形成时跳过将所述环路后滤波器或所述环路内滤波器应用于所述视频块。

15.根据权利要求11所述的视频译码器设备，其中所述视频译码器设备包含视频编码器，其中所述视频译码器设备将语法元素编码到用于所述视频单元的经编码位流中，以指示是应将所述环路后滤波器还是所述环路内滤波器应用于所述经译码单元的所述视频块中的每一者。

16.根据权利要求15所述的视频译码器设备，其中所述视频译码器设备将所述语法元素编码到跟随在用于所述视频单元的系数后面的脚注元素中。

17.根据权利要求11所述的视频译码器设备，其中在应用所述环路后滤波器或所述环路内滤波器时，所述视频译码器设备在所述环路后滤波器与所述环路内滤波器之间进行选择。

18.根据权利要求17所述的视频译码器设备，其中所述视频译码器设备：

19.根据权利要求11所述的视频译码器设备，其中所述视频译码器设备包含视频解码器，其中所述视频译码器设备解码来自用于所述视频单元的所接收位流的语法元素，其中所述语法元素指示是应针对所述经译码单元的所述视频块中的至少一些应用所述环路后滤波器还是所述环路内滤波器。

20.根据权利要求19所述的视频译码器设备，其中所述语法元素位于跟随在用于所述视频单元的系数后面的脚注元素中。

21.根据权利要求11所述的视频译码器设备，其中所述设备包含以下各物中的至少一者：

集成电路；

微处理器；

包括视频编码器的无线通信装置，和

包括视频解码器的无线通信装置。

22.一种在视频译码过程期间对视频单元的一个或一个以上视频块进行滤波的装置，所述装置包含：

用于确定视频块是经帧间译码还是经帧内译码的装置；

用于在所述视频块经帧内译码时将环路后滤波器或环路内滤波器应用于所述视频块的装置；

在所述视频块经帧间译码时，用于确定在运动补偿过程期间是否曾相对于所述视频块应用自适应内插滤波器的装置；以及

在所述视频块经帧间译码时，用于至少部分基于是否曾应用所述自适应内插滤波器而确定是将所述环路后滤波器还是所述环路内滤波器应用于所述视频块的装置。

23.根据权利要求22所述的装置，其进一步包含用于将所述自适应内插滤波器、所述环路后滤波器和所述环路内滤波器中的仅一者应用于所述视频单元的所述视频块中的每一者的装置。

24.根据权利要求22所述的装置，其进一步包含用于仅在于所述运动补偿过程期间未曾相对于所述视频块应用所述自适应内插滤波器时才将所述环路后滤波器或所述环路内滤波器应用于所述视频块的装置。

25.根据权利要求22所述的装置，其进一步包含：

在所述视频块经帧间译码时，用于在所述视频块是由预测块和包括至少一些非零残余值的残余块形成时将所述环路后滤波器或所述环路内滤波器应用于所述视频块的装置；以及

在所述视频块经帧间译码时，用于在所述视频块是由预测块和不包括任何非零残余值的残余块形成时跳过将所述环路后滤波器或所述环路内滤波器应用于所述视频块的装置。

26.根据权利要求22所述的装置，其中所述装置包含视频编码装置，所述装置进一步包含用于将语法元素编码到用于所述视频单元的经编码位流中以指示是应将所述环路后滤波器还是所述环路内滤波器应用于所述经译码单元的所述视频块中的每一者的装置。

27.根据权利要求26所述的装置，其中所述用于将所述语法元素编码到用于所述视频单元的所述经编码位流中的装置包含用于将所述语法元素编码到跟随在用于所述视频单元的系数后面的脚注元素中的装置。

28.根据权利要求22所述的装置，其中所述用于应用所述环路后滤波器或所述环路内滤波器的装置包括用于在所述环路后滤波器与所述环路内滤波器之间进行选择的装置。

29.根据权利要求28所述的装置，其进一步包含：

用于针对与零值残余值相关联的所述视频块的像素应用所述环路后滤波器的装置；以及

用于针对与非零残余值相关联的所述视频块的像素应用所述环路内滤波器的装置。

30.根据权利要求22所述的装置，其中所述装置包含视频解码装置，所述装置进一步包含用于解码来自用于所述视频单元的所接收位流的语法元素的装置，其中所述语法元素指示是应针对所述经译码单元的所述视频块中的至少一些应用所述环路后滤波器还是所述环路内滤波器。

31.根据权利要求30所述的装置，其中所述语法元素位于跟随在用于所述视频单元的系数后面的脚注元素中。

32.一种计算机可读存储媒体，其包含在于处理器中执行后即刻致使所述处理器在视频译码过程期间对视频单元的一个或一个以上视频块进行滤波的指令，其中所述指令致使所述处理器：

确定视频块是经帧间译码还是经帧内译码；

33.根据权利要求32所述的计算机可读存储媒体，其中所述指令致使所述处理器将所述自适应内插滤波器、所述环路后滤波器和所述环路内滤波器中的仅一者应用于所述视频单元的所述视频块中的每一者。

34.根据权利要求32所述的计算机可读存储媒体，其中所述指令致使所述处理器仅在于所述运动补偿过程期间未曾相对于所述视频块应用所述自适应内插滤波器时才将所述环路后滤波器或所述环路内滤波器应用于所述视频块。

35.根据权利要求32所述的计算机可读存储媒体，其中所述指令致使所述处理器：

36.根据权利要求32所述的计算机可读存储媒体，其中所述指令致使所述处理器执行视频编码过程，且其中所述指令致使所述处理器将语法元素编码到用于所述视频单元的经编码位流中，以指示是应将所述环路后滤波器还是所述环路内滤波器应用于所述经译码单元的所述视频块中的每一者。

37.根据权利要求36所述的计算机可读存储媒体，其中在将所述语法元素编码到用于所述视频单元的所述经编码位流中时，所述指令致使所述处理器将所述语法元素编码到跟随在用于所述视频单元的系数后面的脚注元素中。

38.根据权利要求32所述的计算机可读存储媒体，其中在应用所述环路后滤波器或所述环路内滤波器时，所述指令致使所述处理器在所述环路后滤波器与所述环路内滤波器之间进行选择。

39.根据权利要求38所述的计算机可读存储媒体，其中所述指令致使所述处理器：

40.根据权利要求32所述的计算机可读存储媒体，其中所述指令致使所述处理器执行视频解码过程，且其中所述指令致使所述处理器解码来自用于所述视频单元的所接收位流的语法元素，其中所述语法元素指示是应针对所述经译码单元的所述视频块中的至少一些应用所述环路后滤波器还是所述环路内滤波器。

41.根据权利要求40所述的计算机可读存储媒体，其中所述语法元素位于跟随在用于所述视频单元的系数后面的脚注元素中。

42.一种方法，其包含：

在视频解码器处接收视频数据，其中所述视频数据包括残余视频块；

针对由所述残余视频块的非零残余值界定的经重构的视频块的像素应用环路后滤波；以及

针对由所述残余视频块的零值残余值界定的经重构的视频块的像素应用环路内滤波。