CN101578882A - 用于可缩放视频译码的自适应上取样 - Google Patents

Abstract

本发明描述用于以支持空间可缩放性的可缩放视频译码(SVC)方案对信息进行译码的技术。在一个实例中，一种用于以空间可缩放性来对视频数据进行译码的方法包含：将基础层残余视频数据上取样到增强层残余视频数据的空间分辨率；以及基于所述经上取样的基础层残余视频数据而对所述增强层残余视频数据进行译码。根据本发明，对基础层残余视频数据进行上取样包括针对所述经上取样的基础层残余视频数据的一个或一个以上像素位置而内插值，所述一个或一个以上像素位置对应于不同基础层残余视频数据块之间的位置。

Description

用于可缩放视频译码的自适应上取样

本申请案主张2007年1月9日申请的第60/884,099号美国临时申请案及2007年2月8日申请的第60/888,912号美国临时申请案的优先权。所述两个临时申请案的全部内容均以引用的方式并入本文中。

技术领域

本发明涉及数字视频译码，且更明确地说，涉及提供空间可缩放性的可缩放视频译码(SVC)技术。

背景技术

可将数字视频能力并入各种各样的装置中，所述装置包括数字电视、数字直接广播系统、无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话等。数字视频装置可实施基于块的视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.261、H.263或H.264/MPEG-4(高级视频译码(AVC)标准，第10部分)界定的视频压缩技术，以更有效地传输及接收数字视频。视频压缩技术执行空间及时间预测以减少或移除视频序列中所固有的冗余。

空间预测减少给定视频帧内的相邻视频块之间的冗余。时间预测(还称为运动估计及补偿)减少视频序列的过去及/或未来视频帧中的视频块之间的时间冗余。对于时间预测，视频编码器执行运动估计以跟踪匹配视频块在两个或两个以上邻近帧之间的移动。运动向量指示视频块相对于一个或一个以上参考帧中的对应预测视频块的位移。运动补偿使用所述运动向量来从参考帧识别预测视频块。通过从待译码的原始视频块减去预测视频块来形成残余视频块。可将所述残余视频块连同运动向量一起发送到视频解码器，且所述解码器可使用此信息来重构原始视频块或原始视频块的近似。视频编码器可应用变换、量化及熵译码过程以进一步减小与残余块相关联的位速率。

某种视频译码利用可缩放译码技术，所述可缩放译码技术可尤其对视频数据的无线通信为合乎需要的。一般来说，可缩放视频译码(SVC)指代通过基础层及一个或一个以上增强层表示视频数据的视频译码。对于SVC，基础层通常携载具有基础空间、时间及/或信噪比(SNR)等级的视频数据。一个或一个以上增强层携载额外视频数据以支持较高的空间、时间及/或SNR等级。

对于空间可缩放性，增强层将空间分辨率添加到基础层的帧。在支持空间可缩放性的SVC系统中，可使用层间预测来减少用以传达增强层所需要的数据量。在层间预测中，可使用类似于运动估计及运动补偿的预测性技术来对增强层视频块进行译码。明确地说，可使用基础层中的参考块来对增强层视频残余数据块进行译码。然而，基础层及增强层具有不同的空间分辨率。因此，可将基础层视频数据上取样到增强层视频数据的空间分辨率，例如以形成用于产生增强层残余数据的参考块。

发明内容

一般来说，本发明描述用于针对空间可缩放性而对基础层视频数据进行上取样以对增强层视频数据进行译码的自适应技术。举例来说，可将基础层视频数据(例如，残余基础层视频块)上取样到较高分辨率，且可使用所述经上取样数据来对增强层视频数据进行译码。作为上取样过程的一部分，本发明的技术识别其中通过内插进行上取样可能为较佳的条件以及其中通过所谓的“最近相邻者”复制技术进行上取样可能为较佳的其它情形。因此，为了对增强层数据进行译码，可在自适应基础上将内插及最近相邻者复制技术用于对基础层数据进行上取样。

根据本发明的某些方面，可使用内插或最近相邻者复制来界定经上取样数据，所述经上取样数据可在对增强层视频数据进行译码时用作参考块。明确地说，关于是执行内插还是最近相邻者复制的决策可基于经上取样像素是否对应于增强层中的边缘像素位置。代替在确定是内插还是使用最近相邻者复制来用于上取样时仅考虑基础层像素位置，本发明中所描述的技术可考虑相对于增强层中的块边界的经上取样像素位置。增强层中的块边界可能不同于基础层的块边界。

在一个实例中，本发明提供一种用于以空间可缩放性来对视频数据进行译码的方法。所述方法包含：基于基础层视频数据而产生经上取样视频数据，其中所述经上取样视频数据对应于增强层视频数据的空间分辨率；以及基于所述经上取样视频数据而对增强层视频数据进行译码，其中产生经上取样视频数据包括针对所述经上取样视频数据的一个或一个以上像素位置而内插值，所述一个或一个以上像素位置对应于基础层视频数据中所界定的不同基础层视频块之间的位置。

在另一实例中，本发明提供一种以空间可缩放性来对视频数据进行译码的设备，所述设备经配置以：基于基础层视频数据而产生经上取样视频数据，其中所述经上取样视频数据对应于增强层视频数据的空间分辨率；以及基于所述经上取样视频数据而对增强层视频数据进行译码，其中所述设备针对经上取样视频数据的一个或一个以上像素位置而内插值，所述一个或一个以上像素位置对应于基础层视频数据中所界定的不同基础层视频块之间的位置。

在另一实例中，本发明提供一种用于以空间可缩放性来对视频数据进行译码的装置，所述装置包含：用于基于基础层视频数据而产生经上取样视频数据的装置，其中所述经上取样视频数据对应于增强层视频数据的空间分辨率；以及用于基于所述经上取样视频数据而对增强层视频数据进行译码的装置，其中用于产生经上取样视频数据的装置包括用于针对经上取样视频数据的一个或一个以上像素位置而内插值的装置，所述一个或一个以上像素位置对应于基础层视频数据中所界定的不同基础层视频块之间的位置。

本发明中所描述的技术可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则可在处理器中执行所述软件，所述处理器例如为微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)。执行所述技术的软件可最初存储于计算机可读媒体中且加载于处理器中并在处理器中执行。

因此，本发明还预期一种包含指令的计算机可读媒体，所述指令当在处理器中执行时致使所述处理器以空间可缩放性来对视频数据进行译码，其中所述指令致使处理器：基于基础层视频数据而产生经上取样视频数据，其中所述经上取样视频数据对应于增强层视频数据的空间分辨率；以及基于经上取样视频数据而对增强层视频数据进行译码，其中产生经上取样视频数据包括针对经上取样视频数据的一个或一个以上像素位置而内插值，所述一个或一个以上像素位置对应于基础层视频数据中所界定的不同基础层视频块之间的位置。

在其它情况下，本发明可针对于一种电路，例如集成电路、芯片组、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、逻辑或其各种组合，其经配置以执行本文中所描述的技术中的一者或一者以上。

在附图及下文描述中陈述了本发明的一个或一个以上方面的细节。将从所述描述及图式和从权利要求书中容易了解到本发明中所描述的技术的其它特征、目的及优势。

附图说明

图1为说明视频编码及解码系统的示范性框图，所述视频编码及解码系统可将本文中所描述的译码技术实施为编码及/或解码过程的一部分。

图2为说明符合本发明的视频编码器的实例的框图。

图3为说明符合本发明的视频解码器的实例的框图。

图4及图5为说明从基础层到增强层的上取样的概念图。

图6到图8为说明可根据本发明而使用的上取样技术的概念图。

图9为说明符合本发明的技术的流程图。

具体实施方式

本发明描述对在可缩放视频译码(SVC)方案中对增强层视频块进行译码(即，编码或解码)为有用的上取样技术。在支持空间可缩放性的SVC方案中，可将基础层视频数据(例如，基础层的残余视频块)上取样到较高分辨率，且可使用所述较高分辨率经上取样数据来对增强层视频数据(例如，增强层的残余视频块)进行译码。明确地说，在相对于基础层来对增强层视频数据进行译码时将所述经上取样数据用作参考数据。也就是说，将基础层视频数据上取样到增强层视频数据的空间分辨率，且使用所得的经上取样数据来对增强层视频数据进行译码。

作为此上取样过程的一部分，本发明的技术识别针对其通过内插进行上取样为较佳的条件以及针对其通过所谓的“最近相邻者”复制技术进行上取样为较佳的其它条件。内插可涉及产生经上取样值的加权平均值，其中所述加权平均值经界定于基础层的两个或两个以上像素值之间。对于最近相邻者技术，经上取样值经界定为基础层中在空间上最紧密接近经上取样像素位置的像素位置的值。根据本发明，通过针对上取样的一些特定条件来使用内插以及针对其它条件来使用最近相邻者复制，可改进对增强层视频块的译码。

可使用内插或最近相邻者复制来以增强层的空间分辨率界定经上取样数据。可从基础层数据(例如，从基础层中经译码的残余视频块)上取样所述经上取样数据。所述经上取样数据可形成可在对增强层数据进行译码时(例如，在对增强层的残余视频块进行译码时)用作参考的块。关于在上取样过程期间是执行内插还是最近相邻者复制的决策可基于经上取样像素值的位置是否对应于增强层中的边缘像素位置。这与常规的上取样技术形成对比，所述常规的上取样技术在确定是进行内插还是使用最近相邻者复制时通常仅考虑基础层像素位置。

举例来说，常规的上取样技术可仅在用于内插的两个基础层像素均不对应于基础层视频块的边缘时才执行对经上取样像素的内插。在本发明中，术语“边缘”指代对应于视频块的边缘的像素位置，且术语“内部”指代不对应于视频块的边缘的像素位置。视频块可指代在视频编码器-解码器(编解码器)中所使用的块变换。作为H.264/AVC中的实例，视频块可具有4×4或8×8的大小。然而，增强层中的块边界可能不同于基础层的块边界。根据本发明，关于是否执行内插的决策可依据待上取样的像素值是否对应于增强层中的边缘像素位置而定。

如果用于内插的两个基础层像素均对应于两个邻近基础层视频块的边缘，则经上取样值可落在所述两个邻近基础层视频块之间。在此情况下，常规技术使用最近相邻者复制技术来进行上取样。常规上，在此情况下避免内插，因为所述不同基础层视频块可能已以不同量化等级来被译码。对于最近相邻者复制，可将经上取样值界定为在空间上最紧密接近经上取样像素位置的基础层像素位置的值。

根据本发明，可在其中经上取样层值落在两个基础层视频块之间的若干情形下执行内插。如果经上取样值本身将不与增强层中的边缘像素位置相关联，则与最近相邻者复制相比，内插可能为较佳的。在此情况下，对增强层的去块过滤将不大可能在视频帧再现时解决任何成块假象。因此，即使不同基础层视频块可能已以不同量化等级来被译码，内插仍可能为较佳的。如果经上取样值本身与增强层中的边缘像素位置相关联，且所述经上取样值落在所述两个基础层视频块之间，则可根据本发明而使用最近相邻者复制。在此情况下，对增强层的去块过滤将解决增强层中的成块假象，且由于基础层视频块具有不同量化等级而引起不良内插的风险在此情形下可能超过内插的潜在益处。另外，关于是进行内插还是使用最近相邻者复制的决策还可依据所述两个基础层视频块是否是经由不同译码模式(例如，帧内或帧间译码模式)来被译码而定。举例来说，如果所述两个基础层视频块是经由不同译码模式来被译码的，则可使用最近相邻者复制且避免内插。此外，可在上取样之前或之后应用任选的自适应低通过滤器以进一步减轻跨越基础层译码块边界的信号不连续性的问题。

出于简单且易于说明起见，在本发明中，大体上以一维形式描述内插及最近相邻者复制技术，但此些技术将通常应用于垂直维度及水平维度两者。对于二维内插或二维最近相邻者技术，将首先在一个维度中应用内插或最近相邻者复制，且接着将在另一维度中应用内插或最近相邻者复制。

图1为说明视频编码及解码系统10的框图。如图1中所示，系统10包括源装置12，所述源装置12经由通信信道15将经编码视频传输到接收装置16。源装置12可包括视频源20、视频编码器22及调制器/发射器24。接收装置16可包括接收器/解调器26、视频解码器28及显示装置30。系统10可经配置以在SVC方案的增强层视频信息的编码及解码期间应用自适应上取样技术(如本文中所描述)。编码及解码在本文中更一般地被称为译码。

在图1的实例中，通信信道15可包含任何无线或有线通信媒体(例如射频(RF)频谱或者一个或一个以上物理传输线)或无线与有线媒体的任何组合。通信信道15可形成基于包的网络(例如，局域网、广域网或例如因特网等全球网络)的一部分。通信信道15大体上表示用于将视频数据从源装置12传输到接收装置16的任何合适的通信媒体或不同通信媒体的集合。

源装置12产生经译码的视频数据以供传输到接收装置16。然而，在一些情况下，装置12、16可以大致对称的方式来操作。举例来说，装置12、16中的每一者可包括视频编码及解码组件。因此，系统10可支持视频装置12、16之间的单向或双向视频传输，例如用于视频串流、视频广播或视频电话。

源装置12的视频源20可包括视频俘获装置，例如摄影机、含有先前所俘获视频的视频保存器或来自视频内容提供者的视频馈入。作为另一替代方案，视频源20可产生基于计算机图形的数据作为源视频，或实况视频与计算机所产生视频的组合。在一些情况下，如果视频源20为摄影机，则源装置12及接收装置16可形成所谓的相机电话或视频电话。在每一情况下，经俘获、经预俘获或计算机所产生的视频可由视频编码器22来编码以供经由调制器/发射器22、通信信道15及接收器/解调器26而从视频源装置12传输到视频接收装置16的视频解码器28。

视频编码及解码过程可使用内插及最近相邻者复制来实施自适应上取样技术(如本文中所描述)，以改进增强层译码过程。显示装置30向用户显示经解码的视频数据，且可包含多种显示装置中的任一者，例如阴极射线管、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。空间可缩放性允许视频解码器通过对来自SVC位流的增强层位流进行解码来重构并显示较高空间分辨率(例如，与QCIF(四分之一共同中间格式，176×144图像分辨率)相对的CIF(共同中间格式，352×288图像分辨率))的视频信号。

视频编码器22及视频解码器28可经配置以支持可缩放视频译码(SVC)以实现空间可缩放性。另外，还可支持时间及/或信噪比(SNR)可缩放性，但本发明的技术不限于此方面。在一些方面中，视频编码器22及视频解码器28可经配置以支持用于SVC的精细粒度SNR可缩放性(FGS)译码。编码器22及解码器28可通过支持基础层及一个或一个以上可缩放增强层的编码、传输及解码来支持各种等级的可缩放性。对于可缩放视频译码，基础层携载具有基线空间、时间或SNR等级的视频数据。一个或一个以上增强层携载额外数据以支持较高的空间、时间及/或SNR等级。可以比增强层的传输更可靠的方式来传输基础层。举例来说，可使用经调制信号的最可靠部分来传输基础层，而可使用经调制信号的较不可靠部分来传输增强层。

为了支持SVC，视频编码器22可包括基础层编码器32及增强层编码器34以分别执行对基础层及增强层的编码。在一些情况下，可支持多个增强层，在此情况下，可提供多个增强层编码器以对逐渐详细等级的视频增强进行译码。本发明的技术涉及将基础层数据上取样到增强层视频数据的空间分辨率，使得可使用所述经上取样数据来对增强层数据进行译码，且本发明的技术可由增强层编码器34来执行。

视频解码器28可包含组合式基础/增强解码器，其对与基础层及增强层两者相关联的视频块进行解码，且将所述经解码视频进行组合以重构视频序列的帧。在解码侧上，本发明的技术涉及将基础层数据上取样到增强层视频数据的空间分辨率，使得可使用所述经上取样数据来对增强层数据进行译码，且本发明的技术可由视频解码器28来执行。显示装置30接收经解码的视频序列，并将所述视频序列呈现给用户。

视频编码器22及视频解码器28可根据视频压缩标准(例如MPEG-2、MPEG-4、ITU-TH.263或ITU-T H.264/MPEG-4，高级视频译码(AVC)，第10部分)来操作。尽管图1中未展示，但在一些方面中，视频编码器22及视频解码器28可各自与音频编码器及解码器集成，且可包括适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果可应用，则多路复用器-多路分用器单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

H.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)连同ISO/IEC运动图像专家组(MPEG)一起制订，作为称为联合视频工作组(JVT)的集体合作伙伴的产品。在一些方面中，本发明中所描述的技术可应用于通常遵照H.264标准的装置。在由ITU-T研究组所作且注明日期为2005年3月的ITU-T建议H.264(用于通用视听服务的高级视频译码)中描述H.264标准，其在本文中可被称为H.264标准或H.264规范或者H.264/AVC标准或规范。

联合视频工作组(JVT)继续致力于对H.264/MPEG-4 AVC的可缩放视频译码(SVC)扩展。举例来说，由JVT所建立的联合可缩放视频模型(JSVM)实施用于在可缩放视频中使用的工具，其可在系统10内用于本发明中所描述的各种译码任务。关于精细粒度SNR可缩放性(FGS)译码的详细信息可参见联合草案文献，且尤其是参见SVC修正的联合草案8(JD8)(修订本2)(托马斯·韦根(Thomas Wiegand)、加里·苏利万(GarySullivan)、朱利安·赖歇尔(Julien Reichel)、海寇·许瓦尔兹(Heiko Schwarz)及马蒂亚斯·维恩(Mathias Wien)，“SVC修正的联合草案8(修订本2)(Joint Draft 8 of SVCAmendment(revision 2))”，JVT-U201，2006年10月，杭州，中国)。此外，本文中所描述的技术的一个实施方案的额外细节可参见由叶颜(Yan Ye)及鲍宜良(Yiliang Bao)于2007年4月在美国加利福尼亚州圣何塞的第23届会议上提交给ISO/IEC MPEG及ITU-T VCEG(ISO/IEC JTC1/SC29/WG11及ITU-T SG16 Q.6)联合视频工作组(JVT)的提议文献JVT-W117以及由叶颜(Yan Ye)及鲍宜良(Yiliang Bao)于2007年1月在摩洛哥马拉喀什的第22届会议上提交给JVT的提议文献JVT-V115。

在一些方面中，对于视频广播，本发明中所描述的技术可应用于增强型H.264视频译码以用于在使用仅前向链路(FLO)空中接口规范“用于陆地移动多媒体多播的仅前向链路空中接口规范(Forward Link Only Air Interface Specification for Terrestrial MobileMultimedia Multicast)”(其将被公布为技术标准TIA-1099(“FLO规范”))的陆地移动多媒体多播(TM3)系统中传递实时视频服务。也就是说，通信信道15可包含用于根据FLO规范等来广播无线视频信息的无线信息信道。FLO规范包括界定适合于FLO空中接口的位流语法与语义及解码过程的实例。或者，可根据例如DVB-H(数字视频广播-手持式)、ISDB-T(集成服务数字广播-陆地)或DMB(数字媒体广播)等其它标准来广播视频。

因此，源装置12可为移动无线终端、视频串流服务器或视频广播服务器。然而，本发明中所描述的技术并不限于任何特定类型的广播、多播或点到点系统。在广播的情况下，源装置12可将若干信道的视频数据广播到多个接收装置，所述接收装置中的每一者可类似于图1的接收装置16。作为实例，接收装置16可包含无线通信装置，例如通常称为蜂窝式无线电电话的移动手持机。

视频编码器22及视频解码器28各自可经实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器22及视频解码器28中的每一者可包括于一个或一个以上编码器或解码器中，所述编码器或解码器中的任一者可集成为相应移动装置、订户装置、广播装置、服务器等中的组合式编码器/解码器(编解码器)的一部分。另外，源装置12及接收装置16各自可包括适当的调制、解调、频率转换、过滤及放大器组件以用于对经编码视频的传输及接收(如果适用的话)，其包括足以支持无线通信的射频(RF)无线组件及天线。然而，出于易于说明起见，图1中将此些组件概述为源装置12的调制器/发射器24及接收装置16的接收器/解调器26。

视频序列包括一系列视频帧。视频编码器22对个别视频帧内的像素块进行操作以便对视频数据进行编码。所述视频块可具有固定或变化的大小，且可根据所指定的译码标准而在大小方面有所不同。可将每一视频帧划分为一系列切片。每一切片可包括一系列宏块，其可被布置成若干子块。作为实例，ITU-T H.264标准支持以各种块大小(例如对于亮度分量的16乘16、8乘8、4乘4以及对于色度分量的8乘8)的帧内预测，以及以各种块大小(例如对于亮度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4以及对于色度分量的对应经缩放大小)的帧间预测。

较小视频块可提供较佳分辨率，且可用于包括较高详细等级的对视频帧的定位。一般来说，宏块(MB)及各种子块可大体上被称为视频块。另外，切片可被视为一系列视频块，例如MB及/或子块。每一切片可为可独立解码的单元。在预测之后，可对8×8残余块或4×4残余块执行变换，且如果使用帧内16×16预测模式，则可将额外变换应用于色度分量或亮度分量的4×4块的DC系数。

在基于帧内或帧间的预测性译码之后，可将额外译码技术应用于所传输的位流。这些额外译码技术可包括变换技术(例如在H.264/AVC中所使用的4×4或8×8整数变换或者离散余弦变换DCT)以及熵译码(例如可变长度译码(VLC)、霍夫曼(Huffman)译码及/或游程长度译码)。

根据本发明的技术，使用上取样技术来产生用于在对增强层视频数据进行译码(即，编码或解码)时使用的经上取样视频数据。可将基础层视频数据上取样到对应增强层视频块的空间分辨率，且可在对增强层视频数据进行译码时将所述经上取样数据用作参考。作为此上取样过程的一部分，本发明的技术识别其中内插技术为较佳的情形以及其中所谓的“最近相邻者”复制技术为较佳的其它情形。此外，内插可涉及产生经上取样值的加权平均值，其中所述加权平均值被界定于基础层的两个或两个以上值之间。对于最近相邻者复制，将经上取样层值界定为在空间上最紧密接近经上取样像素位置的基础层像素位置的值。通过在上取样的特定情形中使用内插以及在其它情形中使用最近相邻者复制，可改进对增强层视频块的译码。

上取样可改变块边界。举例来说，如果基础层及增强层各自界定4乘4像素视频块，则根据增强层的空间分辨率来对基础层进行上取样以界定更多像素可导致基础层的块边界不同于经上取样数据的块边界。可利用此观测，使得关于内插或最近相邻者技术的决策可基于经上取样值是否对应于增强层的边缘像素位置(即，增强层中的块边界)以及此些位置是否也对应于基础层的块边界之间的位置。

编码器22及解码器28可执行各自执行本文中所描述的上取样技术的互逆方法。编码器22可使用上取样来对增强层信息进行编码，且解码器28可使用相同的上取样过程来对增强层信息进行解码。术语“译码”大体上指代编码或解码。

图2为说明视频编码器50的实例的框图，所述视频编码器50包括用以将基础层视频数据上取样到与增强层视频数据相关联的空间分辨率的上取样器45。接着使用经上取样数据来对增强层视频数据进行译码。视频编码器50可对应于图1中的源装置12的增强层编码器34。也就是说，出于简单起见，图2中并未说明基础层编码组件。因此，可将视频编码器50视为增强层编码器。在一些情况下，还可结合基础层编码模块或单元来实施视频编码器50的所说明组件，例如以支持基础层及增强层的可缩放视频译码的金字塔式编码器设计。

视频编码器50可执行对视频帧内的块的帧内及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。对于帧间译码，视频编码器50执行运动估计以跟踪匹配视频块在两个或两个以上邻近帧之间的移动。对于帧内译码，应用使用来自同一帧内的邻近块的像素的空间预测以形成用于正被译码的块的预测性块。图2中并未说明用于帧内译码的空间预测组件。

如图2中所示，视频编码器50接收待编码的视频帧内的当前视频块31(例如，增强层视频块)。在图2的实例中，视频编码器50包括运动估计单元33、参考帧存储装置35、运动补偿单元37、块变换单元39、上取样器45、量化单元41、逆量化单元42、逆变换单元44及熵译码单元46。还可包括去块过滤器32以对块边界进行过滤以便移除成块假象。视频编码器50还包括加法器48、加法器49A及49B以及加法器51。图2说明用于视频块的帧间译码的视频编码器50的时间预测组件。尽管出于易于说明起见而在图2中并未展示，但视频编码器50还可包括用于一些视频块的帧内译码的空间预测组件。

运动估计单元33将视频块31与一个或一个以上邻近视频帧中的块进行比较，以产生一个或一个以上运动向量。所述邻近帧可从参考帧存储装置35中检索，所述参考帧存储装置35可包含任何类型的存储器或数据存储装置以存储从先前经编码块重构的视频块。可针对具有可变大小(例如，16×16、16×8、8×16、8×8或更小的块大小)的块而执行运动估计。运动估计单元33(例如)基于速率失真模型而识别邻近帧中的与当前视频块31最紧密匹配的块，且确定所述块之间的位移。在此基础上，运动估计单元33产生运动向量(MV)(或在双向预测的情况下产生多个MV)，所述MV指示当前视频块31与用以对当前视频块31进行译码的预测性块之间的位移的量值及轨迹。

运动向量可具有二分之一或四分之一像素精度，或甚至更精细的精度，从而允许视频编码器50以比整数像素定位高的精度来跟踪运动且获得较佳预测块。当使用具有分数像素值的运动向量时，在运动补偿单元37中实行内插操作。运动估计单元33可使用速率失真模型来识别视频块的最佳运动向量。使用所得运动向量，运动补偿单元37通过运动补偿来形成预测视频块。

视频编码器50通过在加法器48处从原始当前视频块31中减去由运动补偿单元37产生的预测视频块来形成残余视频块。块变换单元39将变换(例如离散余弦变换(DCT))应用于所述残余块，从而产生残余变换块系数。此时，通过使用加法器49A从增强层残余信息中减去基础层残余信息来应用进一步的压缩。上取样器45接收基础层残余信息(例如，从基础层编码器)且对所述基础层残余信息进行上取样以产生经上取样信息。接着(经由加法器49A)从正被译码的增强层残余信息中减去此经上取样信息。

如下文中更详细地描述，上取样器45可识别其中内插为优选的情形以及其中所谓的“最近相邻者”复制技术为优选的其它情形。内插涉及产生经上取样值的加权平均值，其中所述加权平均值被界定于基础层的两个值之间。对于最近相邻者复制，经上取样值被界定为在空间上最紧密接近经上取样像素位置的基础层像素位置的值。根据本发明，上取样器45在上取样的特定情形中使用内插且在其它情形中使用最近相邻者技术。明确地说，由上取样器45所作的关于是执行内插还是最近相邻者技术的决策可基于经上取样值是否对应于增强层中的边缘像素位置。这与常规的上取样技术形成对比，所述常规的上取样技术在确定是进行内插还是使用最近相邻者技术时通常仅考虑基础层像素位置。出于简单起见，以一维形式描述本发明中的内插及最近相邻者实例，但通常将在水平维度及垂直维度两者中顺序地应用所述一维内插或最近相邻者技术。还可包括额外过滤器47以在上取样器45进行上取样之前对基础层信息的块边缘进行过滤。尽管在图2中被描绘为位于上取样器45之前，但额外过滤器47也可被放置于上取样器45之后以对经上取样视频数据中那些从对应于两个不同基础层译码块的两个基础层像素内插的像素位置进行过滤。在任一情况下，由过滤器47进行的此额外过滤是任选的，且稍后在本发明中更详细地进行阐述。

量化单元41对残余变换块系数进行量化以进一步减小位速率。加法器49A从上取样器45接收经上取样信息且被定位于加法器48与块变换单元39之间。明确地说，加法器49A从块变换单元39的输出减去经上取样数据块。以类似型式，定位于逆变换单元44与加法器51之间的加法器49B也从上取样器45接收经上取样信息。加法器49B将经上取样数据块加回到逆变换单元44的输出。

空间预测译码以非常类似于时间预测译码的方式来操作。然而，时间预测译码依赖于邻近帧(或其它经译码单元)的块来执行译码，而空间预测依赖于共同帧(其它经译码单元)内的块来执行译码。空间预测译码对经帧内译码块进行译码，而时间预测译码对经帧间译码块进行译码。此外，出于简单起见，图2中并未展示空间预测组件。

熵单元46根据熵译码技术(例如可变长度译码、二进制算术译码(CABAC)、霍夫曼译码、游程长度译码、经译码块模式(CBP)译码等)来对经量化变换系数进行译码，以便进一步减小所传输信息的位速率。熵单元46可选择VLC表以提升译码效率。在熵译码之后，可将经编码视频传输到另一装置。另外，逆量化单元42及逆变换单元44分别应用逆量化及逆变换以重构残余块。加法器49B加回来自上取样器45的经上取样数据(其表示基础层残余块的经上取样版本)，且加法器51将最后经重构的残余块加到由运动补偿单元37所产生的运动补偿预测块，以产生经重构的视频块以供存储于参考帧存储装置35中。去块过滤器32可在存储参考帧之前执行去块过滤。去块过滤在一些实例中可为任选的。

根据本发明，上取样器45针对经上取样视频块的一个或一个以上像素位置而内插值，所述一个或一个以上像素位置对应于两个不同基础层视频块的两个不同边缘之间的位置。

在一个实例中，上取样器45针对以下像素位置而基于基础层视频数据来内插经上取样视频数据的第一值：(i)经上取样视频数据的对应于增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中增强层视频块的内部像素位置中的至少一些内部像素位置对应于不同基础层视频块之间的位置；以及(ii)经上取样视频数据的对应于增强层视频块的边缘像素位置且并非位于不同基础层视频块之间的像素位置。上取样器45可针对以下像素位置而基于基础层视频数据中的最近相邻者的值来界定经上取样视频数据的第二值：(iii)经上取样视频数据的对应于增强层视频块的边缘像素位置且位于不同基础层视频块之间的像素位置。

在另一实例中，上取样器45针对以下像素位置而基于基础层视频数据来内插经上取样视频数据的第一值：(i)经上取样视频数据的对应于增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中增强层视频块的内部像素位置中的至少一些内部像素位置对应于不同基础层视频块之间的位置；以及(ii)经上取样视频数据的对应于增强层视频块的边缘像素位置且并非位于不同基础层视频块之间的像素位置。在此情况下，上取样器45可针对以下像素位置而基于基础层视频数据中的最近相邻者的值来界定经上取样视频数据的第二值：(iii)经上取样视频数据的对应于增强层视频块的边缘像素位置且位于不同基础层视频块之间的像素位置；以及(iv)经上取样视频数据的对应于增强层视频块的内部像素位置且当所述两个不同基础层视频块界定不同译码模式时位于不同基础层视频块之间的像素位置。所述不同译码模式可包含帧内译码模式及帧间译码模式。在此情况下，上取样器45不仅考虑与经上取样值相关联的位置(即，所述经上取样值是否对应于增强层中的块边界以及所述值是否落在基础层中的块边界之间)，而且还考虑所述两个基础层视频块是否是使用不同译码模式(例如，帧间或帧内译码模式)来译码的。

图3为说明视频解码器60的实例的框图，所述视频解码器60可对应于图1的视频解码器28或另一装置的解码器。视频解码器60包括上取样器59，所述上取样器59执行与图2的上取样器45的功能类似的功能。也就是说，如同上取样器45，上取样器59针对增强层视频块的一个或一个以上像素位置而内插经上取样视频块的值，所述一个或一个以上像素位置对应于两个不同基础层视频块的两个不同边缘之间的位置。另外，如同上取样器45，上取样器59可以本文中所描述的方式而在内插与最近相邻者复制之间进行选择。还可使用运动上取样器61来对与基础层相关联的运动向量进行上取样。还可使用任选的过滤器65以在由上取样器59执行的上取样之前对基础层数据的块边界进行过滤。尽管图3中未描绘，但过滤器65还可被放置于上取样器59之后且用于对经上取样视频数据中从对应于两个不同基础层译码块的两个基础层像素内插的那些像素位置进行过滤。

视频解码器60可包括用于对增强层信息进行熵解码的熵单元52A，且可包括用于对基础层信息进行熵解码的另一熵单元52B。图3中并未展示帧内预测组件，但如果视频解码器60支持帧内及帧间预测译码，则可使用所述帧内预测组件。增强层路径可包括逆量化单元56A及逆变换单元58A，且基础层路径可包括逆量化单元56B及逆变换单元58B。可通过加法器57对基础层路径及增强层路径中的信息进行组合。然而，在此组合之前，通过上取样器59根据本文中所描述的技术来对基础层信息进行上取样。

视频解码器60可执行对视频帧内的块的帧间解码。在图3的实例中，视频解码器60包括熵单元52A及52B、运动补偿单元54、逆量化单元56A及56B、逆变换单元58A及58B以及参考帧存储装置62。视频解码器60还包括加法器64。视频解码器60还可包括对加法器64的输出进行过滤的去块过滤器53。此外，加法器57在经由上取样器59对基础层路径进行上取样之后将基础层路径及增强层路径中的信息进行组合。运动上取样器61可对与基础层相关联的运动向量进行上取样，使得此些运动向量对应于增强层视频数据的空间分辨率。

对于增强层视频块，熵单元52A接收经编码视频位流并应用熵解码技术来对信息进行解码。这可产生经量化残余系数、宏块及子块译码模式以及运动信息(其可包括运动向量及块分割)。在由熵单元52A执行解码之后，运动补偿单元54接收所述运动向量以及来自参考帧存储装置62的一个或一个以上经重构参考帧。逆量化单元56A对经量化块系数进行逆量化(即，解量化)，且逆变换单元58A将逆变换(例如，逆DCT)应用于所述系数以产生残余块。将逆变换单元58A的输出与作为上取样器59的输出的经上取样基础层信息进行组合。加法器57促进此组合。运动补偿单元54产生经运动补偿块，所述经运动补偿块通过加法器64而与残余块求和以形成经解码块。去块过滤器53对所述经解码块进行过滤以便移除成块假象。接着将经过滤块放置于参考帧存储装置62中，所述参考帧存储装置62提供来自运动补偿的参考块且还向驱动显示装置(例如图1的装置30)产生经解码视频。

SVC可支持多种层间预测技术以改进译码性能。举例来说，当对增强层宏块进行译码时，可使用对应的宏块模式、运动信息以及来自基础层或先前层的残余信号。明确地说，基础层或先前层中的某些残余块可与对应增强层残余块相关。对于这些块，应用残余预测可减少增强层残余能量并改进译码性能。

在SVC中，可使用与宏块相关联的一位旗标ResPred来指示是否使用残余预测，所述旗标ResPred可被译码为宏块等级语法元素。如果ResPred＝1，则在从增强层残余物减去基础层残余块之后对所述增强层残余物进行译码。当增强层位流表示具有较高空间分辨率的视频信号时，在将基础层残余信号用于层间预测之前将所述基础层残余信号上取样到增强层的分辨率。这是图2及图3中的上取样器45及59的功能(即，产生经上取样视频块)。在SVC联合草案8(JD8)中，提议将双线性过滤器用于上取样器，以便对基础层残余信号进行上取样，其中基础层块边界上具有一些例外。

SVC JD8支持二元空间可缩放性及扩展空间可缩放性(ESS)两者。在二元空间可缩放性中，增强层视频帧在每一维度中为基础层视频的两倍大，且在宏块边界上发生剪切(如果有的话)。在ESS中，基础层与增强层视频信号之间的任意缩放比率及剪切参数是允许的。当使用ESS时，基础层与增强层之间的像素对准可为任意的。

图4及图5给出分别针对为2∶1及5∶3的缩放比率的像素在基础层及增强层中的相对定位的实例。在图4及图5中，标记“B”指代与基础层相关联的像素位置，且标记“E”指代与经上取样数据相关联的位置(其对应于增强层的位置)。所述经上取样视频块在对增强层信息进行译码时用作参考。在图5的中心像素位置中的标记“B E”意味着相同像素位置在基础层中及在具有增强层的分辨率的经上取样数据中重叠。

如图4及图5中所示，在两个维度中发生从较低分辨率的基础层到增强层的较高分辨率的上取样。然而，此二维上取样可容易地经由用于每一像素位置的连续一维上取样过程来完成。举例来说，在图5中，基础层视频数据的3×3像素阵列(标记为B)首先在水平方向上被上取样以变成中间值的5×3像素阵列(标记为X)。接着，所述5×3像素阵列X在垂直方向上被上取样以变成对应于增强层空间分辨率的经上取样视频数据的最终5×5像素阵列(标记为E)。请注意，在图5中，经上取样像素位置以及像素在上取样之前的位置可共同定位；举例来说，中心像素三次被标记为B、E及X。在水平及垂直上取样过程期间，可根据本发明来应用关于是使用内插还是最近相邻者复制的决策。

在以下论述中，在水平维度中论述内插及最近相邻者复制技术。然而，应了解，可在垂直及水平方向上应用连续线性技术以进行二维上取样。

当使用空间可缩放性时，对基础层残余信号进行上取样。所产生的经上取样数据具有与增强层视频信息相同的空间维度，且被用作增强层残余物的预测数据。此外，SVCJD8提议使用双线性过滤器来进行此上取样。对于二元空间可缩放性，图6中展示用以当在水平方向上进行双线性上取样时导出权数的像素距离。以与水平方向相同的方式来完成垂直维度中的双线性上取样。

图6展示基础层块中的一行像素以及对应于增强层的空间分辨率的经上取样块中的一行像素。如图6中所示，根据等式(1)及(2)来导出像素位置e0及e1处的经上取样残余值p(e0)及p(e1)，其中b0及b1为基础层中的最近整数像素位置。

p(e0)＝(1-1/4)*p(b0)+1/4*p(b1)    (1)

p(e1)＝(1-3/4)*p(b0)+3/4*p(b1)    (2)

对于缩放比率为5∶3的ESS，图7中展示用于在水平方向上进行双线性上取样的权数。此外，以与水平方向相同的方式来完成在垂直维度中的双线性上取样。

在图7中，如在等式(3)到(7)中来导出像素位置e0到e4处的经上取样残余值p(e0)到p(e4)，其中b0到b4为基础层中用于内插的整数像素位置，且e0到e4为经上取样层中的像素位置，所述经上取样层对应于增强层的空间分辨率。

p(e0)＝(1-4/5)*p(b0)+4/5*p(b1)    (3)

p(e1)＝(1-2/5)*p(b1)+2/5*p(b2)    (4)

p(e2)＝p(b2)                      (5)

p(e3)＝(1-3/5)*p(b2)+3/5*p(b3)    (6)

p(e4)＝(1-1/5)*p(b3)+1/5*p(b4)    (7)

跨越块边缘的不连续性存在于基础层中的经重构残余信号中。存在不连续性的位置依据用以对基础层视频进行译码的变换大小而定。当使用4×4块变换时，不连续性存在于4×4块边界上。当使用8×8块变换时，不连续性存在于8×8块边界上。在JD8中，如果用于双线性内插的两个基础层像素(例如，图6中的b0及b1)属于两个不同块，则停用双线性内插。实际上，通过从基础层中的最近相邻像素复制来导出经上取样值。

在图6中的二元空间可缩放性的实例中，如果位置b0及b1处的像素属于两个块，则使用等式(8)及(9)而非(1)及(2)来导出e0及e1处的像素：

p(e0)＝p(b0)            (8)

p(e1)＝p(b1)            (9)

在ESS中，基础层中的译码块边界并未与增强层中的译码块边界对准。因此，对应于增强层分辨率的经上取样块可含有从不同基础层译码块内插的像素。对于具有5∶3空间比率的ESS(图7)，如同在图8中，可找到块对准的实例。在图8中，像素B0到B3属于一个基础层译码块且像素B4到B5属于不同基础层译码块(假定使用4×4变换)。在此情况下，信号不连续性可存在于像素B3与B4之间。在对应于增强层的空间分辨率的经上取样层中，从基础层像素B0到B3内插或复制像素E0到E4，且从基础层像素B3到B5内插或复制像素E5到E7。假定被标记为e0到e7的经上取样像素属于一个8×8经上取样译码块，则来自基础层的信号不连续性将被转移到所述8×8经上取样层中。明确地说，因为b3及b4处的基础层像素属于两个基础层块，所以根据常规技术，位置e5处的经上取样像素将从位置b4处的基础层像素来复制而不是从b3及b4处的像素来内插。此强制复制(根据JD8中所界定的常规技术)可加剧8×8增强层块内的信号不连续性的问题。这又可转化为较不准确的残余预测。

在本发明中，概述自适应残余上取样方案。所述自适应残余上取样方案可通过考虑基础层与增强层之间的相对块对准来减轻经上取样数据块内的信号不连续性。为了进一步改进经上取样残余信号质量，可将自适应低通过滤应用于基础层中的残余信号(在上取样之前)及/或增强层中的残余信号(在上取样之后)。举例来说，图2及图3的过滤器47及65分别可包含促进在上取样之后对增强层进行此过滤的低通过滤器。尽管在图2及图3中将低通过滤描绘为在上取样之前被应用于基础层中的残余信号，但此低通过滤器(图2及图3中的元件47及65)还可位于上取样器45之后及上取样器59之后，以及加法器49A与加法器57之前。

概括来说，在如SVC JD8中所指定的残余上取样过程中，针对经上取样数据中的每一像素位置，首先确定对应的基础层像素位置。如果基础层像素在给定方向(水平或垂直)上属于同一基础层译码块，则调用所述方向上的双线性内插以获得经上取样数据中的值。否则(基础层像素在给定方向上属于不同的基础层译码块)，通过从基础层中的最近相邻像素进行复制来确定经上取样数据中的值。

如当前在SVC JD8中所指定的残余上取样可加剧增强层块内的信号不连续性的问题，在其中基础与增强层块对准可为任意的扩展空间可缩放性的情况下尤为如此。此信号不连续性可使经上取样信号失真并将其精确度降低为预测信号(当用于残余预测时)。

根据本发明，可依据基础层与增强层块之间的对准来确定关于是调用内插还是从最近相邻像素复制的决策。将图8作为实例。对应于经上取样像素e5的位置的增强层像素位于处于增强层分辨率下的8×8译码块内。在此情况下，代替从位置b4处的基础层像素进行复制或p(e5)＝p(b4)，可调用位置b3及b4处的基础层像素之间的双线性内插来减轻信号不连续性且改进预测精确度。也就是说，可使用等式(10)来导出e5处的经上取样像素值：

p(e5)＝(1-3/5)*p(b3)+3/5*p(b4)    (10)

仅当以下条件两者均成立时才可调用从最近相邻像素的复制：

C1.待内插的经上取样像素位于增强层译码块边界上；及

C2.内插过程中所涉及的基础层像素属于不同的基础层译码块。

视频译码系统可支持一个以上块变换。举例来说，在H.264/AVC中，针对亮度块支持4×4及8×8整数块变换两者，而仅将4×4变换应用于色度块。对于色度分量，存在对4×4块的DC系数的额外DC变换。由于这并未改变成块假象发生于4×4块边界处的事实，所以在本发明的论述中并未考虑此变换。

在视频位流中将应用于残余信号的块变换编码为宏块等级语法元素。在SVC的情形中，当实行残余上取样时，应用于基础层译码块的块变换类型为编码器及解码器两者所已知。对于增强层，解码器可能知道用于对增强层残余物进行译码的块变换类型。然而，在编码器侧处，当正对基础层残余信号进行上取样时，将用于对增强层残余物进行译码的实际块变换仍是未知的。一种解决方案是基于上文针对在模式决策过程中所尝试的不同块变换类型以不同方式界定的规则来对基础层残余物进行上取样。

可使用两种替代方法来减轻此问题并提供用于使编码器及解码器两者决定增强层译码块大小且因此识别译码块边界的共同规则：

[译码块规则A.]可将增强层译码块大小假定为对于亮度分量为8×8且对于色度分量为4×4；或

[译码块规则B.]可将增强层译码块大小假定为对于亮度及色度分量两者均为8×8。

一旦使用以上规则中的任一者来决定基础层中及增强层中的译码块，便可如下决定内插过程中所涉及的像素是否位于译码块边界上：

a.如果待用于经上取样像素的内插中的基础层像素为基础层译码块内的最后像素或如果其为基础层译码块内的第一像素，则可认为所述基础层像素在给定方向(水平或垂直)上位于基础层译码块边界上。

b.如果待内插的经上取样像素为增强层译码块内的最后像素或如果其为增强层译码块内的第一像素，则可认为所述经上取样像素在给定方向(水平或垂直)上位于增强层块边界上。

这些规则将译码块边界视为在每一侧上为1个像素宽。然而，可认为译码块边界在每一侧上具有除1个像素以外的宽度。此外，基础层及增强层可具有对译码块边界的不同界定。举例来说，基础层可将译码块边界界定为在每一侧上为一个像素宽，而增强层可将译码块边界界定为在每一侧上宽于一个像素，或反之亦然。

值得注意的是，本发明的范围并不受双线性内插的使用限制。可将基于基础层与增强层之间的块对准的上取样决策应用于任何内插方案。2∶1及5∶3空间比率以及针对这些比率的对应块对准及内插等式中所给出的对应权数作为实例而提供于上文，但并不打算限制本发明的范围。此外，可应用所揭示的方案以在其它视频译码系统及/或标准(其中可使用除4×4及8×8之外的译码块大小)中进行残余上取样。内插还可使用位于待内插的像素的任一侧上的若干像素的加权平均值。

为了进一步减轻基础层残余物(其可显现为经上取样数据内的内部像素)中的跨越块边界的信号不连续性的问题，在上取样之前，对基础层残余信号进行低通过滤可减少此不连续性且改进经上取样残余物的质量。举例来说，可在应用等式(13)以获得图8中的e5处的像素值之前对基础层中的位置b3及b4处的像素值实行等式(11)及(12)中的运算。此外，这可经由位于上取样器45(图2)或上取样器59(图3)之前的过滤器47及65(例如，低通过滤器)来实施。

$\hat{p}\left(b3\right)=1/4*p\left(b2\right)+1/2*p\left(b3\right)+1/4*p\left(b4\right)---\left(11\right)$

$\hat{p}\left(b4\right)=1/4*p\left(b3\right)+1/2*p\left(b4\right)+1/4*p\left(b5\right)---\left(12\right)$

$\hat{p}\left(e5\right)=(1-3/5)*\hat{p}\left(b3\right)+3/5*\hat{p}\left(b4\right)---\left(13\right)$

在等式(11)及(12)中，将[1，2，1]平滑过滤器用作实例。或者，可在(11)及(12)中使用经修改的具有较小平滑效应(例如，具有抽头系数[1，6，1]而非[1，2，1])的低通过滤器。此外，可在实行上取样之前将自适应低通过滤器应用于基础层残余信号，所述自适应低通过滤器依据基础层不连续性的性质及量值来调整过滤强度。可仅将所述低通过滤器应用于基础层块边界处的像素(图8中的b3及b4)，或者，还可将其应用于靠近块边界的像素(例如，图8中的b2及b5)。

关于在上取样之前是否将低通过滤器应用于基础层信号的决策可基于所涉及的增强层及基础层像素的位置。举例来说，如果以下条件两者均成立，则可将额外低通过滤器应用于基础层像素：

1.待用于内插过程中的基础层像素属于不同的基础层译码块；

2.待内插的经上取样像素对应于增强层译码块内的内部像素。可使用上文所解释的译码块规则A或译码块规则B来确定经上取样译码块。

用以减少经上取样译码块内部的像素处的信号不连续性的另一种方式是在内插之后将低通过滤器应用于经上取样信号。这可通过对将在上取样器45及59之后应用的在图2及图3中的过滤器47及65进行重新排序来实现。将图8中的位置e5处的像素用作实例，在使用等式(10)及(11)来获得p(e5)之后，可应用以下等式：

$\hat{p}\left(e5\right)=1/4*p\left(e4\right)+1/2*p\left(e5\right)+1/.4*p\left(e6\right)---\left(14\right)$

在等式(14)中，p(e4)及p(e6)为位置e4及e6处的经上取样像素值。此外，将[1，2，1]平滑过滤器用作实例。还可应用替代性低通过滤。举例来说，可应用经修改的具有抽头系数[1，6，1]的平滑过滤器。或者，可应用基于信号不连续性的性质及量值的自适应低通过滤。

关于是否应用额外低通过滤器的决策可基于所涉及的经上取样像素及基础层像素的位置。举例来说，如果以下条件两者均成立，则可应用额外低通过滤器：

1.经上取样像素对应于增强层译码块内的内部像素。可使用译码块规则A或译码块规则B(如上文所陈述)或任何其它译码块规则来确定增强层译码块；及

2.在内插过程中所使用的基础层像素属于不同的基础层译码块。

SVC支持残余预测以改进增强层中的译码性能。在空间可缩放性中，在将基础层残余信号用于残余预测之前对其进行上取样。跨越基础层译码块的信号不连续性可能存在于基础层残余物中，且此信号不连续性可被转移到经上取样信号中。在ESS的情况下，可显现此继承性不连续性的位置可为任意的。为了改进经上取样信号的质量，在本发明中论述用于可缩放视频译码的自适应残余上取样方案。

在残余上取样期间，SVC JD8中的现有方案防止来自不同基础层译码块的像素之间的内插。相反，通过本发明的所提议的自适应上取样方案，可在上取样过程中考虑基础层与增强层之间的相对块对准。明确地说，当待上取样的像素对应于增强层译码块的内部像素时，可使用内插而非从最近相邻像素复制来减少增强层译码块内的信号不连续性。

此外，如上文所提及，可在内插之前及之后将额外低通过滤应用于残余信号上以进一步减少可能存在于增强层译码块内的信号不连续性。明确地说，如果经上取样像素对应于对应的增强层译码块的内部像素，且所涉及的基础层像素位于基础层译码块边界上或靠近基础层译码块边界，则可应用以下过程：

1.在内插之前，可将平滑过滤器或自适应低通过滤器应用于位于基础层译码块边界上或靠近基础层译码块边界的基础层像素；

2.在内插之后，可将平滑过滤器或自适应低通过滤器应用于作为增强层译码块中的内部像素的增强层像素。

在决定在残余上取样期间是调用内插还是最近相邻者复制时将考虑的另一因素是所涉及的基础层块的译码模式(经帧间译码与经帧内译码)。在SVC中，仅将上取样应用于来自经帧间译码块的残余信号。在JD8中，当基础层视频块为经帧内译码的时，将其残余信号在基础层残余图像中复位为零。当译码模式改变时，这必然伴有跨越基础层残余块的强信号不连续性。因此，如果两个基础层像素属于具有不同译码模式的块，则在所述两个基础层像素之间不应用内插可能是有益的。换句话说，可使用以下决策：

1.如果所涉及的两个基础层像素属于两个基础层译码块(其中一者经帧内译码，且另一者经帧间译码)，则使用最近相邻者复制。

可将以上规则与如本发明中所陈述的基于块对准的自适应内插决策规则组合。当组合时，自适应内插决策可变为以下：

当以下条件1及2中的任一者成立时，可调用从最近相邻像素复制：

1.如果内插过程中所涉及的基础层像素属于不同的基础层译码块且所述基础层译码块具有不同的译码模式，或

2.以下条件两者均成立：

a.待内插的经上取样像素位于增强层译码块边界上。

b.内插过程中所涉及的基础层像素属于不同的基础层译码块。

在下文的伪码中，可在残余上取样及预测期间将加下划线条件添加到JD8中所陈述的逻辑，以便实施符合本发明的技术。

//令b0及b1为内插中所使用的两个基础层像素

//令w为双线性内插中所使用的权数参数

//令e为待导出的经上取样像素

如果(b0或b1属于经帧内译码的基础层译码块或

(b0及b1属于两个基础层译码块且

e位于增强层块边界上))

{

  p(e)＝(w＞1/2)？p(b1):p(b0)

}

否则

{

  p(e)＝(1-w)*p(b0)+w*p(b1)

}

基础层块大小是在基础层译码中所使用的实际块大小。可将语法元素FRext界定为块标头的一部分。如果FRext断开，则增强层块大小也已知为4×4。然而，如果在编码器侧处4×4变换及8×8变换两者均被允许(即，FRext被接通)用于增强层，则在执行残余上取样时增强层中的块大小(即，变换大小)仍未知。在此情形(FRext针对增强层为接通的)中，可将增强层块大小假定为对于亮度为8×8且对于色度为4×4。也就是说，对于亮度，如果e＝8*m-1或e＝8*m(m为整数)，则位置e处的经上取样像素被视为块边界像素。对于色度，如果e＝4*m-1或e＝4*m，则位置e处的经上取样像素被视为块边界像素。

对于解码，不需要语法元素改变。可如下修改JD8(子条款G.8.10.3)的解码过程，其中以下划线展示所述修改。

对于用于残余预测的双线性内插，输入为：

…

·变量blkSize(对于亮度，blkSize＝8或4，且对于色度，blkSize＝4)

·阵列transBlkType[x，y]，其中x＝0..mb-1，且y＝0..nb-1

此过程的输出为阵列resInterp[x，y]，其中x＝0..m-1且y＝ys..ye-1。

·令变量temp1如下导出

-如果transBlkIdx[x1，y1]等干transBlkIdx[x2，y1]或0＜(x％blkSize)＜(blkSize-1) 且transBlkType[x1，y1]等于transBlkType[x2，y2]

temp1＝r[x1，y1]*(16-(posX[x]％16))+r[x2，y1]*(posX[x]％16)(G-544)

…

·令变量temp2如下导出

-如果transBlkIdx[x1，y2]等于transBlkIdx[x2，y2]或0＜(x％blkSize)＜(blkSize-1) 且transBlkType[x1，y2]等于transBlkType[x2，y2]

temp2＝r[x1，y2]*(16-(posX[x]％16))+r[x2，y2]*(posX[x]％16)(G-547)

…

·令resInterp如下导出

-如果transBlkIdx[x1 y1]等于transBlkIdx[x1，y2]或0＜(y％blkSize)＜(blkSize-1) 且transBlkType[x1，y1]等于transBlkType[x1，y2]

resInterp[x，y]＝(temp1*(16-(posY[y]％16))+temp2*(posY[y]％16)+(128))＞＞8)(G-550)

…

已根据JVT-V302中所指定的核心实验2(CE2)测试条件来执行了模拟，且所述模拟展示了当使用本发明的技术时视频质量的峰值信噪比(PSNR)改进(相对于JD8中所陈述的常规技术)。在ESS的情况下，所提议的对残余上取样的较小改变提供非常简单且有效的方式来减少增强层译码块内的经上取样残余物中的成块假象。模拟结果展示对于所有CE2测试条件，所提议的改变可提升译码性能(与JSVM_7_13相比)。另外，所提议的方案通过抑制经重构的增强层视频中的不合意成块假象而大大地改进视觉质量。

图9为说明符合本发明的技术的流程图。将从编码器的观点来描述图9，但解码器将执行类似过程。如图9中所示，基础层编码器32对基础层信息进行译码(200)，且增强层编码器34对增强层信息进行译码(202)。作为增强层译码过程的一部分，增强层编码器34(例如，图2中所示的视频编码器50)接收基础层信息(204)。过滤器47可执行对基础层信息的块边界的任选过滤(206)。上取样器45使用本文中所界定的用以在内插或最近相邻者复制之间进行选择的各种技术及规则来对基础层信息进行上取样以产生经上取样视频块(208)。还可在上取样器45之后针对从基础层块边界像素内插的增强层视频像素(例如，图8及等式14中的像素e5)而应用任选过滤器47(210)，且视频编码器50使用经上取样数据来对增强层信息进行译码(212)。

本发明中所描述的技术可在一个或一个以上处理器中实施，所述处理器例如为通用微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效逻辑装置。

本文中所描述的技术可以硬件、软件、固件或其任何组合来实施。被描述为模块或组件的任何特征可一起被实施于集成逻辑装置中或单独地实施为离散但可共同操作的逻辑装置。如果以软件实施，则所述技术可至少部分地由包含指令的计算机可读媒体实现，所述指令在被执行时执行上文所描述的方法中的一者或一者以上。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包含随机存取存储器(RAM)(例如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁或光学数据存储媒体等。另外或替代地，所述技术至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式携载或传送代码且可由计算机存取、读取及/或执行。

程序代码可由一个或一个以上处理器、DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路来执行。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者或适合用于实施本文中所描述的技术的任何其它结构。在本发明中，术语“处理器”意欲涵盖一个或一个以上微处理器、DSP、ASIC、FPGA或逻辑的任何组合。另外，在一些方面中，本文中所描述的功能性可被提供于经配置以用于编码及解码的专用软件模块或硬件模块内或者并入在组合式视频编码器-解码器(编解码器)中。

如果以硬件实施，则本发明可针对于一种电路，例如集成电路、芯片组、ASIC、FPGA、逻辑或其各种组合，其经配置以执行本文中所描述的技术中的一者或一者以上。

已描述了本发明的各种实施例。这些及其它实施例属于所附权利要求书的范围内。

Claims (32)

1.一种用于以空间可缩放性来对视频数据进行译码的方法，所述方法包含：

基于基础层视频数据而产生经上取样视频数据，其中所述经上取样视频数据对应于增强层视频数据的空间分辨率；及

基于所述经上取样视频数据而对所述增强层视频数据进行译码，

其中产生所述经上取样视频数据包括针对所述经上取样视频数据的一个或一个以上像素位置而内插值，所述一个或一个以上像素位置对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

2.根据权利要求1所述的方法，其中所述产生经上取样视频数据的步骤包含：

针对以下像素位置而基于所述基础层视频数据来内插所述经上取样视频数据的第一值：

(i)所述经上取样视频数据的对应于所述增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中所述增强层视频块的所述内部像素位置中的至少一些内部像素位置对应于所述不同基础层视频块之间的位置；及

(ii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且不位于所述不同基础层视频块之间的像素位置；及

针对以下像素位置而基于所述基础层视频数据中的最近相邻者的值来界定所述经上取样视频数据的第二值：

(iii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且位于所述不同基础层视频块之间的像素位置。

3.根据权利要求1所述的方法，其中所述产生经上取样视频数据的步骤包含：针对以下像素位置而基于所述基础层视频数据来内插所述经上取样视频数据的第一值：

(i)所述经上取样视频数据的对应于所述增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中所述增强层视频块的所述内部像素位置中的至少一些内部像素位置对应于所述不同基础层视频块之间的位置；及

(ii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且不位于所述不同基础层视频块之间的像素位置；及

针对以下像素位置而基于所述基础层视频数据中的最近相邻者的值来界定所述经上取样视频数据的第二值：

(iii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且位于所述不同基础层视频块之间的像素位置；及

(iv)所述经上取样视频数据的对应于所述增强层视频块的内部像素位置且当所述两个不同基础层视频块界定不同译码模式时位于所述不同基础层视频块之间的像素位置。

4.根据权利要求3所述的方法，其中所述不同译码模式包含帧内译码模式及帧间译码模式。

5.根据权利要求1所述的方法，其中所述译码步骤包含编码或解码。

6.根据权利要求1所述的方法，其进一步包含以下步骤：在针对所述经上取样视频数据的一个或一个以上像素位置而内插值之前，对与所述不同基础层视频块相关联的像素值进行过滤，所述一个或一个以上像素位置对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

7.根据权利要求1所述的方法，其进一步包含以下步骤：对所述经上取样视频数据中的经内插值进行过滤，所述经内插值对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

8.一种以空间可缩放性来对视频数据进行译码的设备，其包含：

上取样器，其经配置以基于基础层视频数据而产生经上取样视频数据，其中所述经上取样视频数据对应于增强层视频数据的空间分辨率；及

视频译码单元，其经配置以基于所述经上取样视频数据而对所述增强层视频数据进行译码，

其中所述设备针对所述经上取样视频数据的一个或一个以上像素位置而内插值，所述一个或一个以上像素位置对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

9.根据权利要求8所述的设备，其中所述上取样器为所述视频译码单元的一部分。

10.根据权利要求8所述的设备，其中所述设备包含具有视频译码能力的无线通信装置。

11.根据权利要求8所述的设备，其中所述设备包含集成电路。

12.根据权利要求8所述的设备，其中所述设备针对以下像素位置而基于所述基础层视频数据来内插所述经上取样视频数据的第一值：

(i)所述经上取样视频数据的对应于所述增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中所述增强层视频块的所述内部像素位置中的至少一些内部像素位置对应于所述不同基础层视频块之间的位置；及

(ii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且不位于所述不同基础层视频块之间的像素位置；且

针对以下像素位置而基于所述基础层视频数据中的最近相邻者的值来界定所述经上取样视频数据的第二值：

(iii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且位于所述不同基础层视频块之间的像素位置。

13.根据权利要求8所述的设备，其中所述设备包括过滤器，所述过滤器对所述经上取样视频数据中的经内插值进行过滤，所述经内插值对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

14.根据权利要求8所述的设备，其中所述设备针对以下像素位置而基于所述基础层视频数据来内插所述经上取样视频数据的第一值：

(i)所述经上取样视频数据的对应于所述增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中所述增强层视频块的所述内部像素位置中的至少一些内部像素位置对应于所述不同基础层视频块之间的位置；及

(ii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且不位于所述不同基础层视频块之间的像素位置；且

针对以下像素位置而基于所述基础层视频数据中的最近相邻者的值来界定所述经上取样视频数据的第二值：

(iii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且位于所述不同基础层视频块之间的像素位置；及

(iv)所述经上取样视频数据的对应于所述增强层视频块的内部像素位置且当所述两个不同基础层视频块界定不同译码模式时位于所述不同基础层视频块之间的像素位置。

15.根据权利要求14所述的设备，其中所述不同译码模式包含帧内译码模式及帧间译码模式。

16.根据权利要求8所述的设备，其中所述视频译码单元包含：

基础层译码单元，其用以对所述基础层视频数据进行编码；及

增强层译码单元，其用以对所述增强层视频数据进行编码，其中所述增强层译码单元包括所述上取样器，且其中所述上取样器产生所述经上取样视频数据。

17.根据权利要求8所述的设备，其中所述视频译码单元包含对所述基础层视频数据及所述增强层视频数据进行解码的组合式基础/增强层解码单元，其中所述组合式基础/增强层解码单元包括所述上取样器，且其中所述上取样器产生所述经上取样视频数据。

18.根据权利要求8所述的设备，其进一步包含过滤器，所述过滤器在所述设备针对所述经上取样视频数据的一个或一个以上像素位置而内插值之前对与所述不同基础层视频块相关联的像素值进行过滤，所述一个或一个以上像素位置对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

19.一种包含指令的计算机可读媒体，所述指令当在处理器中执行时致使所述处理器以空间可缩放性来对视频数据进行译码，其中所述指令致使所述处理器：

基于基础层视频数据而产生经上取样视频数据，其中所述经上取样视频数据对应于增强层视频数据的空间分辨率；及

基于所述经上取样视频数据而对所述增强层视频数据进行译码，

其中产生所述经上取样视频数据包括针对所述经上取样视频数据的一个或一个以上像素位置而内插值，所述一个或一个以上像素位置对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

20.根据权利要求19所述的计算机可读媒体，其中所述指令致使所述处理器：针对以下像素位置而基于所述基础层视频数据来内插所述经上取样视频数据的第一值：

(i)所述经上取样视频数据的对应于所述增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中所述增强层视频块的所述内部像素位置中的至少一些内部像素位置对应于所述不同基础层视频块之间的位置；及

(ii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且不位于所述不同基础层视频块之间的像素位置；且针对以下像素位置而基于所述基础层视频数据中的最近相邻者的值来界定所述经上取样视频数据的第二值：

(iii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且位于所述不同基础层视频块之间的像素位置。

21.根据权利要求19所述的计算机可读媒体，其中所述指令致使所述处理器对所述经上取样视频数据中的经内插值进行过滤，所述经内插值对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

22.根据权利要求19所述的计算机可读媒体，其中所述指令致使所述处理器：针对以下像素位置而基于所述基础层视频数据来内插所述经上取样视频数据的第一值：

(i)所述经上取样视频数据的对应于所述增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中所述增强层视频块的所述内部像素位置中的至少一些内部像素位置对应于所述不同基础层视频块之间的位置；及

(ii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且不位于所述不同基础层视频块之间的像素位置；且

针对以下像素位置而基于所述基础层视频数据中的最近相邻者的值来界定所述经上取样视频数据的第二值：

(iii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且位于所述不同基础层视频块之间的像素位置；及

(iv)所述经上取样视频数据的对应于所述增强层视频块的内部像素位置且当所述两个不同基础层视频块界定不同译码模式时位于所述不同基础层视频块之间的像素位置。

23.根据权利要求22所述的计算机可读媒体，其中所述不同译码模式包含帧内译码模式及帧间译码模式。

24.根据权利要求19所述的计算机可读媒体，其中译码包含编码或解码。

25.根据权利要求19所述的计算机可读媒体，其进一步包含致使所述处理器在针对所述经上取样视频数据的一个或一个以上像素位置而内插值之前对与所述不同基础层视频块相关联的像素值进行过滤的指令，所述一个或一个以上像素位置对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

26.一种用于以空间可缩放性来对视频数据进行译码的装置，所述装置包含：

用于基于基础层视频数据而产生经上取样视频数据的装置，其中所述经上取样视频数据对应于增强层视频数据的空间分辨率；及

用于基于所述经上取样视频数据而对所述增强层视频数据进行译码的装置，

其中所述用于产生所述经上取样视频数据的装置包括用于针对所述经上取样视频数据的一个或一个以上像素位置而内插值的装置，所述一个或一个以上像素位置对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

27.根据权利要求26所述的装置，其中所述用于产生经上取样视频数据的装置包含：

用于针对以下像素位置而基于所述基础层视频数据来内插所述经上取样视频数据的第一值的装置：

(i)所述经上取样视频数据的对应于所述增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中所述增强层视频块的所述内部像素位置中的至少一些内部像素位置对应于所述不同基础层视频块之间的位置；及

(ii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且不位于所述不同基础层视频块之间的像素位置；及

用于针对以下像素位置而基于所述基础层视频数据中的最近相邻者的值来界定所述经上取样视频数据的第二值的装置：

(iii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且位于所述不同基础层视频块之间的像素位置。

28.根据权利要求26所述的装置，其进一步包含用于对所述经上取样视频数据中的经内插值进行过滤的装置，所述经内插值对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

29.根据权利要求26所述的装置，其中所述用于产生经上取样视频数据的装置包含：用于针对以下像素位置而基于所述基础层视频数据来内插所述经上取样视频数据的第一值的装置：

(i)所述经上取样视频数据的对应于所述增强层视频数据中所界定的增强层视频块的内部像素位置的像素位置，其中所述增强层视频块的所述内部像素位置中的至少一些内部像素位置对应于所述不同基础层视频块之间的位置；及

(ii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且不位于所述不同基础层视频块之间的像素位置；及

用于针对以下像素位置而基于所述基础层视频数据中的最近相邻者的值来界定所述经上取样视频数据的第二值的装置：

(iii)所述经上取样视频数据的对应于所述增强层视频块的边缘像素位置且位于所述不同基础层视频块之间的像素位置；及

(iv)所述经上取样视频数据的对应于所述增强层视频块的内部像素位置且当所述两个不同基础层视频块界定不同译码模式时位于所述不同基础层视频块之间的像素位置。

30.根据权利要求29所述的装置，其中所述不同译码模式包含帧内译码模式及帧间译码模式。

31.根据权利要求26所述的装置，其中所述用于译码的装置包含用于编码的装置或用于解码的装置。

32.根据权利要求26所述的装置，其进一步包含用于在针对所述经上取样视频数据的一个或一个以上像素位置来内插值之前对与所述不同基础层视频块相关联的像素值进行过滤的装置，所述一个或一个以上像素位置对应于所述基础层视频数据中所界定的不同基础层视频块之间的位置。

Images