CN101449476B

CN101449476B - 用于空间可缩放视频编码的具有降低的复杂度的减少块伪像的方法和系统

Info

Publication number: CN101449476B
Application number: CN2006800168580A
Authority: CN
Inventors: 孙式军
Original assignee: Sharp Corp
Current assignee: Dolby International AB
Priority date: 2005-03-18
Filing date: 2006-02-28
Publication date: 2012-05-23
Anticipated expiration: 2026-02-28
Also published as: EP1859389A2; US7961963B2; EP1859389A4; WO2007064347A2; JP2010016911A; JP4454678B2; EP1859534A4; JP5154635B2; JP2011083022A; WO2007064347A3; CN101379511B; JP2010016910A; US20060209959A1; KR20080003808A; JP2008538057A; JP4975078B2; KR100959436B1; EP1859534A2; JP4751928B2; CN101379511A

Abstract

本发明的实施例包括用于在空间可缩放视频编码中对用于滤波操作的块边界进行表征的系统和方法。本发明的某些实施例包括被设计成用于H.264/MPEG-4AVC的可缩放视频编码扩展的方法和系统。

Description

用于空间可缩放视频编码的具有降低的复杂度的减少块伪像的方法和系统

相关引用

本申请要求由Shijun Sun发明的、提交于2005年3月18日的题为“Extendedspatial scalability with picture-level adaptation(具有图片级自适应的扩展空间可缩放性)”的美国临时专利申请No.60/663,161的优先权；本申请还要求由Shijun Sum发明的、提交于2005年5月20日的题为“Direct interpolation for up-sampling inextended spatial scalability(用于扩展空间可缩放性中的上采样的直接内插)”的美国临时专利申请No.60/683,060的优先权；本申请还要求由Shijun Sum发明的、提交于2005年6月1日的题为“Deblocking Filter Method with Reduced Complexity forSpatial Scalable Video Coding(用于空间可缩放视频编码的具有降低的复杂度的去块滤波方法)”的美国临时专利申请No.60/686,676的优先权；本申请也是由ShijunSun和Shawmin Lei发明的、提交于2002年3月29日题为“Method and Apparatusfor Controlling Loop Filtering or Post Filtering in Block Based Motion CompensationedVideo Coding(用于在基于块的运动补偿视频编码中控制环路滤波或后置滤波的方法和装置)”的美国临时专利申请No.10/112,683的部分延续，而该美国临时专利申请No.10/112,683又是由Shijun Sun等人发明的、提交于2001年3月26日的题为“Method and Apparatus for Controlling Loop Filtering or Post Filtering in BlockBased Motion Compensationed Video Coding(用于在基于块的运动补偿视频编码中控制环路滤波或后置滤波的方法和装置)”的美国临时专利申请No.09/817,701的延续；本申请还是由Shijun Sun发明的、提交于2004年3月11日的题为“AdaptiveFilering Based Upon Boundary Strength(基于边界强度的自适应滤波)”的美国临时专利申请No.10/799,384的部分延续，而该美国临时专利申请No.10/799,384又是由Shijun Sun等人发明的、提交于2002年9月11日的PCT专利申请No.PCT/JP02/09306的延续，该PCT专利申请No.PCT/JP02/09306又是由Shijun Sun和Shawmin Lei发明的、提交于2001年9月14日的题为“Adaptive Filering BasedUpon Boundary Strength(基于边界强度的自适应滤波)”的美国临时专利申请No.09/953,329的延续。

发明领域

本发明的各实施例包括用于图像块边界滤波控制的方法和系统。本发明的某些实施例包括用于表征用于控制去块滤波器(deblocking filter)操作的空间可缩放性增强层内的相邻块之间的块边界的方法和系统。

背景

通过援引结合于此的H.264/MPEG-4AVC〔ITU-T VCEG和ISO/IEC MPEG联合视频组的“Advanced Video Coding(AVC)-4^thEdition(高级视频编码第四版)”，ITU-T Rec.H.264和ISO/IEC 14496-10(MPEG-Part 10)，2005年1月〕是一种为了压缩效率而使用宏块预测及其后的残余编码以降低视频序列中的时间和空间冗余性的视频编解码器规范。空间可缩放性是指可在以任何所支持的空间分辨率保持速率-失真性能的同时去除比特率的诸部分的功能。单层H.264/MPEG-4AVC不支持空间可缩放性。空间可缩放由H.264/MPEG-4AVC的可缩放视频编码(SVC)扩展支持。

通过援引结合于此的H.264/MPEG-4AVC的SVC扩展〔联合可缩放视频模型(JSVM)的工作文档1.0(WD-1.0)(MPEG Doc.N6901)〕是其中空间层之间的冗余性被层间预测机制所充分利用的分层视频编解码器。H.264/MPEG-4AVC的SVC扩展的设计中包括了3项层间预测技术：层间运动预测、层间残留预测、以及层间帧内纹理预测。

基于块的运动补偿视频编码被使用在诸如H.261、H.263、H.264、MPEG-1、MPEG-2、以及MPEG-4等许多视频压缩标准中。有损压缩过程会在已解码图像中造成被称为图像伪像的视觉伪像。块伪像(blocking artifacts)沿着图像中的块边界出现并且是由变换系数的粗略量化所引起的。

图像滤波技术可被用于减少重建的图像中的伪像。重建的图像是在逆变换和解码之后生成的图像。这些技术中的经验法则是应保存图像边缘同时平滑图像的其余部分。基于围绕图像边缘的一个或一组特定像素的特性来谨慎选择低通滤波器。

跨图像块边界延伸的非相关图像像素被特别地滤波以减少块伪像。然而，该滤波会在图像中引入模糊伪像。如果相邻块之间仅有极少或没有块伪像，则低通滤波器不必要地在图像中并入了模糊而同时又浪费了处理资源。

以前，SVC仅着眼于二进空间可缩放性。二进空间可缩放性是指其中两个接连的空间层之间的图片尺寸的比率是2的幂的配置。已提出了管理其中接连的空间层之间的图片尺寸的比率不是2的幂并且较高层图片可以包含在对应的较低层图片中不存在的区域的配置的新工具，这被称为具有修剪窗口的非二进缩放。

所有的层间预测方法都包括图片上采样。图片上采样是从较低分辨率图像生成较高分辨率图像的过程。一些图片上采样过程包括样本内插。SVC设计中使用的现有上采样过程基于H.264中指定的用于帧间预测的四分之一亮度样本内插过程。在被应用于空间可缩放编码时，该现有方法具有以下两个缺点：该内插分辨率被限于四分之一样本，因此不支持非二进缩放；以及需要半样本内插来获得四分之一样本定位，从而使得该方法在计算上较为繁琐。克服这些局限的图片上采样过程是合乎需要的。

概述

本发明的各实施例包括用于图像编码和解码的方法和系统。本发明的某些实施例包括用于表征空间可缩放性增强层内的相邻块之间的块边界的方法和系统。在某些实施例中，相邻块中的至少一个使用层间纹理预测来编码。在所述相邻块中的一个满足指定准则时，块边界可以用边界强度指示符来表征。

在结合附图考虑本发明的以下具体说明的基础上，本发明的以上和其它目的、特征和优点将更加容易理解。

附图说明

图1是示出了如何根据相邻图像块之间的相似性选择性地跳过去块滤波的示图。

图2是示出了具有相似运动矢量的两个相邻图像块的示图。

图3是示出了如何为图像块之一标识变换系数的示图。

图4是示出了如何在两个相邻图像块之间比较残余变换系数的示图。

图5是示出了如何对图像进行编码和解码的框图。

图6是示出了如何在编解码器中选择性地跳过去块滤波的框图。

图7是基于现有块的图像滤波技术的表示。

图8是示出了用于确定要滤波的边界和要使用的相应滤波器的强度的技术的框图。

图9是用以解释本发明的其它实施例的附图。

图10是用以解释本发明的其它实施例的附图。

图11是用以解释本发明的其它实施例的附图。

图12是用以解释本发明的其它实施例的附图。

图13是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于相邻块中的编码参数的相似性。

图14是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有相似运动矢量的相邻块。

图15是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有指向同一参考帧的相似运动矢量的相邻块。

图16是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有指向单个参考帧中的相邻参考块的相似运动矢量的相邻块。

图17是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有包括相似的D.C变换系数的参数的相邻块。

图18是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有包括相似的A.C变换系数的参数的相邻块。

图19是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于亮度图像中具有包括相似运动矢量以及参考帧中的相似运动矢量目标的参数的相邻块。

图20是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于亮度图像中具有包括相似运动矢量、参考帧中的相似运动矢量目标以及相似变换系数的参数的相邻块。

图21是描述本发明的一个实施例的步骤的流程图，其中图像被分裂为分离的亮度和色度通道并且每个亮度或色度图像中的相邻块之间的去块滤波取决于亮度图像中具有包括相似运动矢量的参数的相邻块。

图22是描述本发明的一个实施例的步骤的流程图，其中图像被分裂为分离的亮度和色度通道并且每个亮度或色度图像中的相邻块之间的去块滤波取决于亮度图像中具有包括相似运动矢量、参考帧中的相似运动矢量目标以及相似变换系数的参数的相邻块。

图23是示出了本发明的某些实施例中基础空间层与增强空间层之间的几何关系的示图。

图24是示出了本发明的某些实施例中经上采样的基础层图片与增强层图片之间的几何关系的示图。

图25是示出了4×4的块的像素的示图。

图26是示出了8×8的块内的4×4的块的示图。

图27是示出了预测宏块的8×8个块的示图。

图28是示出了基于相邻块属性来表征块边界的一个示例性方法的流程图。

图29是示出了基于相邻块属性来表征块边界的一个替换性示例性方法的流程图。

图30是示出了基于相邻块属性来表征块边界的另一替换性示例性方法的流程图。

示例性实施例的详细描述

参照附图，本发明的实施例将得到最好的理解，在全部附图中，相同部分用相同的附图标记来表示。以上所列附图作为该详细描述的一部分而被明确地包括在内。

容易理解的是，如此处在附图中一般性地描述和示出的本发明的各组件也可以用各种不同的配置来安排和设计。因此，以下本发明的方法和系统的实施例的更详细描述并无意限制本发明的范围，而仅表示本发明当前的优选实施例。

本发明的各实施例中的元素可以用硬件、固件和/或软件来体现。虽然在此披露的示例性实施例可能仅描述了这些形式中的一种，然而应该理解的是，本领域的技术人员将能够以这些形式中的任意一种来实现这些元素而仍落于本发明的范围之内。

常规的滤波过程每次考虑单个重建的图像帧。基于块的视频编码技术可使用运动矢量来估计像素块的运动。在编码器和解码器两者处都可得到运动矢量信息，然而常规滤波过程并没有使用它。例如，如果两个相邻块关于同一参考图像帧共享相同的运动矢量(对于多参考帧系统)每个块的图像残余之间可能没有显著差异，因此不需要被滤波。实际上，图像的相邻部分关于同一参考帧具有相同运动，因此将可以预期图像残余之间没有显著差异。在许多情形中，这种两个相邻块的块边界可能已经在参考帧中被滤波，因此不应该针对当前帧被再次滤波。如果使用去块滤波器而不考虑这种运动矢量信息，那么常规滤波过程可能在诸帧间一次又一次地对相同的边界进行滤波。这种不必要的滤波不仅导致不必要的模糊而且还导致了额外的滤波器计算。

图1示出了根据图像块之间的相似性来选择性地对块伪像滤波的图像12。应该理解的是该图像同样可以使用非方形块或任何其它像素集。某些块14之间的边界包括块伪像18。一般而言，块伪像是可能由编码和/或解码过程所引起的位于块14之间的任何图像不连续性。可使用低通滤波器或其它滤波器来减少相邻图像块的边界处存在的块伪像。

例如，块伪像24存在于块20与22之间。可在块20与22之间的边界26处使用低通滤波器来去除或减少块伪像24。低通滤波器例如从该边界26的两侧选择一组像素28。从像素组28导出平均像素值或任何其它统计度量。然后将每个单独像素与该平均像素值相比较。然后，组28中落于该平均像素值的预定范围之外的任何像素都将用该平均像素值来代替。

如上所述，如果相邻像素之间仅有少许或没有块伪像24，则像素组28可能会被不必要地滤波而导致图像中的模糊。跳过模式滤波方案可将相邻图像块的运动估计和/或补偿信息用作选择性地滤波的基础。如果运动估计和补偿信息足够相似，则可以跳过滤波。这避免了不必要的图像模糊并且显著减少了所需的滤波操作次数或任何其它适当值。

作为一个示例，可在编码过程中确定相邻图像块30和32具有相似的编码参数。因此，可以跳过对跨过相邻块30与32之间的边界31延伸的像素组34的去块滤波。跳过模式滤波可被用于图像12中相邻块之间的任何水平、垂直、或其它任何边界。

图2示出了参考帧42、参考帧48、以及当前正被编码或解码的当前帧40。将块44和46的编码参数相比较以确定在两个相邻块44与46之间是否应该跳过去块滤波。可以比较的编码参数之一是块44和46的运动矢量(MV)。

运动矢量MV1从当前图像帧40中的块44指向参考图像42中相关联的块44’。运动矢量MV2从当前图像帧40中的块46指向参考帧42中相关联的块46’。跳过模式滤波检查运动矢量MV1和MV2是否指向同一参考帧42中的相邻块。如果运动矢量指向同一参考帧中的相邻块(MV1＝MV2)，则可以跳过去块滤波。该运动矢量信息可以与其它编码信息一起使用以决定是否在两个图像块44和46之间跳过去块滤波。

在编码和解码过程中可使用一个以上的参考帧。例如，可以有另一参考帧48。相邻块44和46可以具有指向不同参考帧的运动矢量。在一个示例中，跳过去块滤波的决策取决于这两个相邻块的运动矢量是否指向同一参考帧。例如，图像块44可具有指向参考帧48的运动矢量49，而图像块46可具有指向参考帧42的运动矢量MV2。在该示例中，由于运动矢量49和MV2指向不同参考帧，所以不跳过去块滤波。

图3示出了可被用来决定是否选择性地跳过去块滤波的编码参数的另一示例。将来自图像帧40的图像块44与先前如图2中所示地为运动矢量MV所指向的来自参考帧42的参考块44相比较。根据图像块44和参考块44’之间的比较输出残余块44”。对残余块44”执行变换50以创建变换系数的变换块44”。在一个示例中，变换50是离散余弦变换。变换块44”包括D.C.分量52和A.C.分量53。

D.C分量52是指图像块44中最低频率的变换系数。例如，表示图像块44中的平均能量的系数。A.C分量53是指表示图像块44中最高频率分量的变换系数。例如，表示图像块44中像素之间的较大能量差异的变换系数。

图4示出了经变换的残余块44”和46”。在处理器54中将来自两个经变换的块44”和46”的D.C.分量52相比较。如果D.C.分量相同或在彼此的某一范围内，则处理器54通知去块滤波器操作56跳过两个相邻块44和46的边界之间的去块滤波。如果D.C.分量52不相似，则不发起跳过通知，且块44和46之间的边界被去块滤波。

在一个示例中，可将跳过模式滤波结合在国际电信联盟电信部门(ITU-T)提出的H.26L编码方案中。H.26L方案使用4×4的整数离散余弦变换(DCT)块。在需要的情况下，可以仅检查两个相邻块的D.C分量。然而，也可同样地检查某些有限的低频A.C.系数，特别是当图像块为诸如9×9或16×16块等较大的大小时。例如，可以将块44”的上部的D.C.分量52和三个较低频率的A.C.变换系数53与块46”的上部的D.C.分量52和三个较低频率的A.C.变换系数53相比较。可使用D.C.和/或任意A.C变换系数的不同组合来标识两个相邻块44和46之间的相对相似性。

处理器54还可接收在编码过程中生成的其它编码参数55。这些编码参数包括如前所述的相邻块44和46的运动矢量和参考帧信息。处理器54可使用这些编码参数中的部分或全部来确定是否在相邻块44和46之间跳过去块滤波。对该图像执行的其它编码和变换功能可在相同的处理器54或不同的处理单元中执行。在所有或大部分编码都在同一处理器中实现的情形中，跳过模式通过设置滤波例程中的跳过参数来简单地启用。

图5示出了在基于块的运动补偿编码器解-码器(编解码器)60中如何使用跳过模式滤波。编解码器60被用于帧间编码。来自当前帧的输入视频块从框62被送进比较器64。帧缓冲框80的输出根据所估计的运动矢量(以及可能的参考帧编号)生成参考块81。输入视频块与参考块81之间的差异在框66中被变换并且随后在框68中被量化。被量化的变换块在框70中被可变长度编码器(VLC)编码并随后被发送、存储等。

编解码器60的编码部分通过在框72中首先逆量化(IQ)经变换的图像来重建经变换和量化的图像。经逆量化的图像然后在框74中被逆变换以生成重建的残余图像。该重建的残余图像然后在框76中被添加到参考块81以生成重建的图像块。一般而言，重建的图像块在框78中被环路滤波以减少由量化和变换处理引起的块伪像。该经滤波的图像然后在框80中被缓冲以形成参考帧。框80中的帧缓冲将重建的参考帧用于运动估计和补偿。参考块81在比较器64中被与输入视频块相比较。经编码的图像在节点71处从编码部分输出并且然后被存储或发送。

在编解码器60的解码器部分中，可变长度解码器(VLD)在框82中对已编码图像进行解码。已解码图像在框84中被逆量化并在框86中被逆变换。来自框86的重建的残余图像在在求和框88中被添加到参考块91，然后在框90中被环路滤波以减少块伪像，并在框92中被缓冲作为参考帧。参考块91根据接收到的运动矢量信息从框92生成。来自框90的环路滤波输出可以任选地在框94中被后置滤波以进一步减少图像伪像，然后在框96中被显示为视频图像。可在框78、90和94中的滤波功能的任意组合中执行跳过模式滤波方案。

视频编码过程中可得到的运动估计和补偿信息被用于确定何时跳过框78、90和/或94中的去块滤波。由于这些编码参数已经在编码和解码过程中生成，所以没有必须专门为跳过模式滤波生成或传输的附加编码参数。

图6示出了在图5的编码器和解码器中的滤波器78、90、和/或94中如何使用跳过模式滤波的进一步细节。首先在框100中标识任意两个相邻块“i”和“k”之间的块间边界。这两个块可以在图像帧中水平或垂直地相邻。决策框102将块j的运动矢量mv(j)与块k的运动矢量mv(k)相比较。首先确定这两个相邻块j和k是否具有指向同一参考帧的相同运动矢量。换言之，相邻块的运动矢量指向同一参考帧(ref(j)＝ref(k))中的相邻块(mv(j)＝mv(k))。

然后确定这两个相邻块的残余系数是否相似。如果相邻块的图像残余之间没有显著差异，例如这两个块j和k具有相同或相似的D.C.分量(dc(j)dc(k))，则跳过框104中的去块滤波。跳过模式滤波然后移到框106中的下一块间边界并在决策框102中进行下一比较。可对水平相邻块或垂直相邻块两者执行跳过模式滤波。

在一个实施例中，仅使用相邻图像块的参考帧和运动矢量信息来确定块跳过。在其它实施例中，仅使用D.C.和/或A.C.残余系数来确定块跳过。在其它实施例中，运动矢量、参考帧和残余系数全部被用来确定块跳过。

可将跳过模式滤波方案应用于经空间子采样的色度通道。例如在具有4:2:0色彩格式序列的情形中，块边界的跳过模式滤波可仅依赖于该图像的亮度分量的运动矢量和D.C.分量的相等。如果运动矢量和D.C.分量相同，则对相邻图像块的亮度和色度分量两者都跳过去块滤波。在另一实施例中，对相邻块的每个亮度和色度分量分开地考虑运动矢量和D.C.分量。在该情形中，相邻块的一个亮度或色度分量可以被去块滤波而同一相邻块的其它亮度或色度分量不被去块滤波。

参照图7，一些已知技术定义“块强度”参数以供环路滤波器控制环路滤波过程。图像的每个块具有与该块相关联并且控制在其全部4个块边界上执行的滤波的强度值。块强度值是基于比特流中可得到的运动矢量和变换系数导出的。然而，在考虑对块的所有四个边缘使用块强度值之后，本发明人意识到这导致去除一些边缘处的某些块伪像但又沿其它边缘不必要地引起模糊。

与逐块方式的滤波形成对比，本发明人意识到应该结合其它信息以逐边缘的方式作出滤波判定。其它信息可包括例如块的块内编码、具有残余信息的块的运动估计、没有残余信息的块的运动估计、以及没有具有足够差异的残余的块的运动估计。这些信息特性中的一个、两个、三个或四个可被用来以逐边缘的方式提高滤波能力。基于不同的特性集，可根据需要修改滤波。

对于每个块边界优选地定义一个控制参数，即边界强度Bs。参照图8，共享一公共边界的一对块被表示为j和k。第一框110检查这两个块中的任意一个是否为帧内编码的。如果任意一个为帧内编码的，则边界强度在框112被设为3。框110确定是否这两个块都没有进行运动预测。如果没有使用运动预测，则该块源自帧本身并且相应地应在边界上执行滤波。由于帧内编码块边界通常包括块伪像，所以这通常是恰当的。

如果块j和k两者都至少部分地是从先前或将来的帧预测的，则在框114检查块j和k以确定是否有任何系数被编码。这些系数可以是例如离散余弦变换系数。如果块j和k中的任意一个包括非零系数，则块中的至少一个使用一般被称为残余的该系数表示根据先前或将来的帧的预测以及对块的修改。如果块j和k中的任意一个包括非零系数(并且是经运动预测的)，则边界强度在框116被设为2。这表示图像被预测但该预测使用残余来纠正的事件。因此，图像可能包括块伪像。

如果块j和k两者都是经运动预测的并且不包括一般被称为残余的非零系数，则在框118作出判定以检查边界的任何一侧的像素是否与另一侧足够不同。这也可同样被用来确定残余是否足够小。如果存在足够的差异，则可能存在块伪像。首先作出判定以确定这两个块是否使用不同参考帧，即R(j)≠R(k)。如果块j和k来自两个不同参考帧，则边界强度在框120被分配值1。或者，检查两个图像块的运动矢量的绝对差以确定在垂直或水平方向中的任一方向上是否大于或等于1个像素，即，|V(j，x)-V(k，x)|≥1像素或|V(j，y)-V(k，y)|≥1像素。根据需要也可同样使用其它阈值，包括根据使用的测试的小于或大于。如果运动矢量的绝对差大于或等于1，则边界强度被分配值1。

如果两个块j和k都是经运动预测的、没有残余、基于同一帧、并且具有轻微的差异，则边界强度值被分配0值。如果边界强度值被分配0值，则该边界不被滤波或者根据边界强度的值自适应地滤波。应该理解的是，根据需要在边界强度为0时系统也可轻微地滤波。

边界强度值，即1、2、和3被用于控制环路滤波器中的像素值自适应范围。根据需要，每个不同边界强度可以是一不同滤波的基础。例如，在某些实施例中，可使用三种滤波器，其中在Bs＝1时使用第一滤波器，在Bs＝2时使用第二滤波器而在Bs＝3时使用第三滤波器。应该理解的是，相比于产生较显著差异的其它滤波，未滤波可通过最小滤波来执行。在图8所示的示例中，Bs的值越大，滤波越大。滤波可通过任何合适的技术来执行，诸如ISO/IEC MPEG的联合视频组(JVT)的联合委员会草案(CD)中描述的方法以及用于滤除图像伪像的其它已知方法。

跳过模式滤波可与编码或解码多个图像帧的任何系统一起使用。例如，DVD播放器、录像机、或通过诸如电视频道或因特网等通信信道发送图像数据的任何系统。应该理解的是，系统可使用量化参数作为编码参数，或者单用或者与其它编码参数一起使用。另外，应该理解的是，系统也可不单独使用量化参数或为了滤波而根本不使用量化参数。

以上描述的跳过模式滤波可用执行部分或所有操作的专用处理器系统、微控制器、可编程逻辑器件或微处理器来实现。以上所述操作的一部分可以用软件来实现，而其它操作可以用硬件来实现。

为方便起见，各操作被描述为各种互联的功能块或不同的软件模块。然而这并不是必需的，在许多情形中这些功能块或模块被等效地集合到没有清晰边界的单个逻辑器件、程序或操作中。总之，这些功能块和软件模块或所述特征可以单独或结合硬件或软件中的其它操作来实现。

在如图9所示的本发明的某些实施例中，图像数据902可被输入到包括如以上针对本发明的某些实施例所述的自适应滤波部分的图像数据编码装置904中。图像数据编码装置904的输出是已编码图像数据，并且随后可被存储在任何计算机可读存储介质906上。存储介质可包括，但并不限于，盘介质、存储卡介质、或数字磁带介质。存储介质906可用作短期存储设备。已编码图像数据可以从存储介质906中读出并由包括如以上针对本发明的某些实施例所述的自适应滤波部分的图像数据解码装置908解码。可为发送到显示器或其它设备的输出已解码图像数据910提供已解码图像数据。

在如图10所示的本发明的某些实施例中，图像数据1002可被编码并且已编码图像可随后被存储在存储介质1006上，并且图像数据解码装置1008与图9中所示的相同。在图10中，Bs数据编码部分1012接收每个块边界的边界强度值Bs并通过包括DPCM、多值游程长度编码、具有无损特征的变换编码等在内的任何数据编码方法来编码。边界强度Bs可如图8中所示地生成。已编码边界强度可随后被存储在存储介质1006上。在一个示例中，已编码边界强度可与已编码图像数据分开存储。在其它示例中，已编码边界强度和已编码图像数据可于存储在存储介质1006上之前被多路复用。

已编码边界强度可由Bs数据解码部分1014从存储介质1006读取并解码以将已解码边界强度输入到图像数据解码装置1008中。当在图像数据解码装置1008中利用已解码边界强度来执行本发明的自适应滤波时，不需要重复图8中所示的过程来生成边界强度，而这可节省自适应滤波的处理能力。

在如图11所示的本发明的某些实施例中，图像数据1102可被输入到包括如上针对本发明的某些实施例所述的自适应滤波部分的图像数据编码装置1104中。图像数据编码装置1104的输出是已编码图像并且可随后通过诸如LAN、WAN或因特网1106等网络来发送。已编码图像数据可由同样与网络1106通信的图像解码装置1108接收和解码。图像数据解码装置1108包括如上针对本发明的某些实施例所述的自适应滤波部分。可为发送到显示器或其它设备的输出已解码图像数据1110提供已解码图像数据。

在如图12所示的本发明的某些实施例中，图像数据1202可被编码且已编码数据可随后通过诸如LAN、WAN或因特网1206等网络来发送。图像数据编码装置1204和图像数据解码装置1208的基本过程与图11中相同。在图12中，Bs数据编码部分1212接收每个块的边界强度值Bs，并通过包括DPCM、多值游程长度编码、具有无损特征的变换编码等在内的任何数据编码方法来编码。边界强度Bs可如图11中所示地生成。已编码边界强度可随后通过网络1206发送。在一个示例中，已编码边界强度可与已编码图像数据分开发送。在其它示例中，已编码边界强度和已编码图像数据可于通过网络1206发送前被多路复用。

已编码边界强度可由Bs数据解码部分1114从网络1206读取并解码以将已解码边界强度输入到图像数据解码装置1208来执行本发明的自适应滤波，不需要重复图11中所示的生成边界强度的过程从而节省了自适应滤波的处理能力。

本发明的某些实施例可参照图13来说明。在这些系统和方法中，标识视频帧中的相邻块150并标识这些相邻块的编码参数。然后比较这些相邻块的编码参数以确定它们的相似性154。在编码参数不相似时，沿相邻块之间的边界应用去块滤波器156。当编码参数相似时，跳过去块滤波且该过程进入下一步骤158。同样地，当执行去块滤波时，该过程在滤波后进入下一步骤158。

在如图14所示的本发明的某些实施例中，编码参数是运动矢量。在这些实施例中，标识视频帧中的相邻块160并且标识包括运动矢量的编码参数162。比较这些运动矢量以确定它们的相似性164。在运动矢量不相似时，可在相邻块之间执行去块滤波166且该过程可进入下一步骤168。当运动矢量相似时，跳过去块滤波并且直接实现下一步骤168。

如图15所示的本发明的其它实施例可使用多个编码参数来确定是否跳过滤波。在这些实施例中，标识相邻块170并且确定这些相邻块的编码参数172。这些编码参数可包括运动矢量属性，该属性包括运动矢量的目标帧。当相邻块的运动矢量不相似时174，可在相邻块之间执行去块滤波176。当运动矢量相似时174，可使用其它参数来进一步限定滤波过程。在该示例中，可比较运动矢量来确定它们是否指向同一参考帧178。如果矢量不是指向同一参考帧，则可在块之间执行去块滤波176。如果矢量指向同一参考帧，则可跳过滤波并且该过程可进入下一步骤179。

可使用其它运动矢量参数来确定滤波。在如图16所示的实施例中，矢量所指向的块的位置是可被用来确定滤波选项的参数。在这些实施例中，标识相邻块200并且标识相邻块的编码参数202。然后比较运动矢量以确定它们的相似性204。如果矢量不相似，则可继续进行去块滤波208。如果运动矢量相似，则作另一比较以确定相邻块的运动矢量是否指向同一参考帧。如果矢量不是指向同一参考帧，则可继续进行去块滤波208。如果矢量指向同一参考帧，则可比较矢量所指向的块210。当运动矢量不是指向同一参考帧中的相邻块时，则可继续进行去块滤波208。当运动矢量指向同一参考帧中的相邻块时，可跳过去块滤波并且可执行下一步骤212。以这种方式，参考一个参考帧中的相邻块并且之间可能没有显著伪像的相邻块不被去块滤波。这种去块滤波跳过避免了由滤波过程引起的任何模糊和图像退化。同时还节省了处理时间，因为避免了不必要的滤波。由此改善了图像质量并且该过程中仅需要较少计算。应该注意，可使用这些运动矢量参数的各种组合来确定滤波跳过。这些众多组合并没有被具体说明，然而应被认为在本领域的技术人员所能领会的范围内且旨在落入所附权利要求的范围内。

本发明的其它实施例可使用变换系数来确定是否应进行去块滤波。参照图17，标识一帧中的相邻块180并且标识相邻块的编码参数182。这些编码参数可包括运动矢量参数以及变换系数。

然后比较运动矢量184以确定相似性。如果运动矢量不相似，则可执行去块滤波186。如果运动矢量相似，则分析运动矢量数据以确定运动矢量是否指向同一参考帧。如果运动矢量不是指向同一参考帧185，则可继续进行滤波186。

如果运动矢量指向同一参考帧185，则可比较变换系数以进一步限定滤波过程。在该示例中，可针对相邻块比较通过离散余弦变换(DCT)方法或其它方法得到的DC变换系数。如果DC变换系数不相似187，则可执行去块滤波186。如果DC变换系数相似，则可跳过滤波并且该方法和系统可进入下一步骤188。

本发明的其它实施例可利用AC变换系数来确定滤波选项。参照图18，与关于图17所述的相似的实施例被示为具有评价AC变换系数的额外步骤。在这些实施例中，标识块190及其编码参数191。还比较运动矢量中的相似性192、运动矢量目标帧193以及DC变换系数194。当这些参数中存在相似性时，比较AC变换系数196，并且如果它们相似，则跳过去块滤波并且执行该过程中的下一步骤197。如果AC系数不相似，则在相邻块之间执行滤波并且该过程进入下一步骤197。

AC变换系数在较大块中更可能有重要性，但是也可在利用诸如4×4块等较小块的方法中使用。

在本发明的某些实施例中，图像可根据图像的格式和所利用的色彩空间而被分为各种亮度和色度通道。在以下示例中，描述了YUV色彩空间，然而，在这些实施例中也可使用许多其它格式和色彩空间。可使用CieLAB、YcfCb以及其它空间。在替换实施例中，可使用诸如RGB等色彩空间。

本发明的某些实施例可参照图19进行说明。在这些实施例中，从图像提取亮度数据并且创建亮度图像220。然后标识亮度图像中的相邻块222并且还标识相邻块的编码参数224。如在其它实施例中一样，比较相邻块的运动矢量以确定相似性226。当运动矢量不相似时，执行去块滤波230，当矢量相似时执行进一步分析以确定矢量是否指向同一参考帧228。当矢量指向不同参考帧时，在原始图像当中对应于亮度图像中的相邻块的相邻块之间执行去块滤波230。当矢量指向同一参考帧时，跳过去块滤波并在没有先前滤波的情况下执行下一步骤232。在执行滤波时，在滤波过程之后执行下一步骤232。因此，使用对亮度通道中的数据的分析来确定包含亮度和色度数据两者的原始图像中的滤波处理。

在图20所示的其它相关实施例中，创建亮度图像240并且标识亮度和原始图像中的对应的相邻块242。还标识亮度图像块的编码参数244。随后，比较运动矢量以确定相似性246。如果不存在显著相似性，则在原始图像的相邻块之间执行滤波252。如果运动矢量相似，则比较运动矢量的目标帧以确定矢量是否指向同一参考帧。如果矢量不是指向同一参考帧，则执行滤波。如果矢量指向同一参考帧，则比较亮度(Y)图像的变换系数。如果Y变换系数不相似，则执行滤波。如果变换系数相似，则跳过滤波并且执行下一步骤254。同样地在任何滤波操作之后执行下一步骤254。

图像还可被进一步分为通常对应于亮度和色度通道的分量通道。在本发明的某些实施例中，可根据对该通道唯一的参数来对每个通道进行滤波。

作为一个示例，可参照图21说明各实施例，其中图像被分为单独的亮度(Y)和多个色度(U，V)通道260。在这些实施例中，标识图像中对应于每个通道的相邻块262、272、282。还标识每个通道中的这些块的诸如运动矢量数据等编码参数264、274、284。然后如其它实施例中一样可比较这些编码参数以确定相似性。在这些示例性实施例中，可使用信道特有运动矢量的运动矢量相似性来确定每个通道中的滤波选项。当一个通道图像的运动矢量不相似时266、276、286，在该特定通道中的相邻块之间执行滤波270、280、290。如果运动矢量相似，则比较目标参考帧268、278、288。当通道中相邻块的矢量指向同一参考帧时，跳过滤波。当矢量指向不同参考帧时，执行滤波270、280、290。

如在其它实施例中一样，这些被通道化的实施例可利用变换系数数据来限定滤波选项。如图22中所示，关于图21所述的方法和系统可进一步比较通道变换系数310、322、334。当系数不相似时，执行滤波312、324、336。当系数相似时，跳过滤波。

应该注意，可采用参数的各种组合来限定每个通道中的滤波操作。DC和AC变换系数可被用于这些实施例。此外，可使用各种通道和通道组合来确定滤波选项和执行滤波。例如，在某些实施例中，两个色度通道可被组合在一起并一同分析。来自一个通道的数据和参数也可用于确定另一通道中的滤波选项。例如，可比较从U色度通道取得的参数以确定V色度通道中的滤波选项，反之亦然。

本发明的某些实施例涉及H.264/AVC的可缩放视频编码扩展。某些实施例涉及用于解决空间可缩放视频编码的图片上采样问题的滤波。更具体地，本发明的某些实施例提供了为H.264/MPEG-4AVC的可缩放视频编码、特别是为JVT(MPEG和VCEG的联合视频组)在2005年4月采用的扩展空间可缩放(ESS)视频编码特征所设计的上采样过程。

当前，通过援引结合于此的JSVM WD-1.0[MPEG Doc.N6901]仅解决了二进空间可缩放性，即其中两个接连的空间层的图片宽度和高度(按照像素数目计算)之比等于2的配置。这在诸如用于广播的SD到HD可缩放性等更为一般性的应用中将明显是一个局限性。

通过援引结合于此的[MPEG Doc.m11669]提出了一种工具，其提供了扩展空间可缩放性，即其中两个接连的空间层的图片宽度和高度之比不必等于2的幂，并且较高层的图片可包含相应的较低层图片中不存在的区域(通常在图片边界周围)的管理配置。该提案[MPEG Doc.m11669]将WD-1.0[MPEG Doc.N6901]的层间预测扩展到用于较高层与较低层图片尺寸之比不是2的幂的更为一般的情形。

本发明的实施例提供了将扩展空间可缩放性，即具有修剪窗口的非二进缩放应用于图片层从而更好地满足了更为普遍的应用的需求的方法。为了支持空间可缩放性的图片级自适应，本发明的实施例提供了对先前提出的层间预测方法的进一步改进。另外，现有提案未解决的若干问题也在这些实施例中得到了解决。

为了说明书和权利要求书起见，术语“图片”可包括像素阵列、数字图像、数字图像的细分、数字图像的数据通道或图像数据的其它表示。

图23示出了对应于图像图片的两张图片。

本发明的实施例涉及两个或多个接连的空间层，较低层(被认为是基层)253和较高层(被认为是增强层)251。这些层可通过以下几何关系(图1中所示)来联系。增强层图片的宽度250和高度252可分别被定义为w_enh和h_enh。以这种方式，基层图片的尺寸可被定义为w_base254和h_base256。基层253可以是增强层图片251当中位于增强层图片坐标系统中的坐标262(x_orig，y_orig)处、尺寸为w_extract258和h_extract260的子区域的经二次采样264的版本。参数(x_orig，y_orig，w_extract，h_extract，w_base，h_base)定义较高层图片251与较低层图片253之间的几何关系。

本发明的实施例解决的一个问题是知道已解码基层时增强层的宏块的编码/解码。如图24中所示，增强层的宏块可能没有对应于块(在增强层图片的边界上)的基层，或者有对应于宏块的一个到多个基层。因此，与WD-1.0[MPEG Doc.N6901]中不同的层间预测管理是必要的。图2示出了重叠于经上采样的基层图片272——其中宏块边界由虚线274标记——与增强层图片——其中宏块边界由实线276标记——之间的宏块。

[MPEG Doc.m11669]已经提出w_extract和h_extract被限于16的倍数。该约束限制了图片级自适应。相反，本发明的实施例将w_extract和h_extract限于2的倍数。本发明的实施例还要求x_orig和y_orig为2的倍数以避免对色度上/下采样中可能的相移进行调整时的复杂度。先前还没有解决色度相移问题。

图23中示出的尺寸和其它参数可由以下符号或变量名来表示。

scaled_base_left_offset＝x_orig

scaled_base_top_offset＝y_orig

scaled_base_right_offset＝w_enh-x_orig-w_extract

scaled_base_bottom_offset＝h_enh-y_orig-h_extract

scaled_base_width＝w_extract

scaled_base_height＝h_extract

层间运动预测

给定的较高层宏块可使用“BASE_LAYER_MODE”或“QPEL_REFINEMENT_MODE”来利用使用经缩放的基层运动数据的层间预测。如在WD-1.0[MPEG Doc.N6901]中一样，这些宏块模式指示包括宏块分割在内的运动/预测信息是直接从基层导出的。通过继承来自基层的运动数据可以构造预测宏块MB_pred。当使用“BASE_LAYER_MODE”时，宏块分割以及参考索引和运动矢量都是预测宏块MB_pred中的那一些。“QPEL_REFINEMENT_MODE”相类似，但具有四分之一样本运动矢量改进。

已经提出在以下四个步骤中导出MB_pred：

-对MB_pred的每个4×4块，继承来自基层运动数据的运动数据，

-对MB_pred的每个8×8块，进行分割选择，

-对MB_pred，进行模式选择，以及

-运动矢量缩放。

然而，本发明的实施例提供了支持图片级自适应的若干等效方案的修改。

4×4块继承

图25示出了具有4个角281、282、283、284的4×4块b 280。该过程包括检查块的4个角281、282、283、284中的每一个。令(x,y)为角像素c在高层坐标系统中的位置。令(X_base,Y_base)为基层坐标系统中的相应位置，定义如下：

\{\begin{matrix} x_{base} = [(x - x_{orig}) \cdot w_{base} + w_{exiract} / 2] / w_{extract} \\ \begin{matrix}  \end{matrix} x_{base} = [(y - y_{orig}) \cdot h_{base} + h_{exiract} / 2] / h_{extract} \end{matrix} - - - (1)

像素(x,y)处相同位置的宏块就是包含像素(x_base,y_base)的基层宏块。同样地，像素(x,y)处相同位置的8×8块是包含像素(x_base,y_base)的基层8×8块，而像素(x,y)处相同位置的4×4块是包含像素(x_base,y_base)的基层4×4块。

b的运动数据继承过程可描述如下：

-对每个角c，每个列表listx(listx＝list0或list1)的参考索引r(c,listx)和运动矢量mv(c,listx)被设置为相同位置的基层4×4块的参考索引和运动矢量。

-对每个角，如果相同位置的宏块不存在或处于帧内模式，则b被设为帧内块。

-否则，对每个列表listx

○如果没有一个角使用该列表，则该列表没有参考索引和运动矢量被设置为b。

○否则

■为b设置的参考索引r_b(listx)为这4个角的现有参考索引的最小值：

r_{b} (listx) = \min_{c} (r (c, listx)) - - - (2)

■为b设置的运动矢量mv_b(listx)为这4个角的现有运动矢量的平均值，且具有参考索引r_b(listx)

8×8分割选择

一旦设置了每个4×4块运动数据，就需要一合并过程以确定其所属的8×8块的实际分割并避免被禁止的配置。以下，8×8块的4×4块如图26中所指示地被标识。

对于每个8×8块B，可应用以下过程：

-如果这4个4×4块已被分类为帧内块，则B被认为是帧内块。

-否则，实现B分割选择：

○应用用于为每个4×4块分配相同的参考索引的以下过程：

对于每个列表listx

■如果没有4×4块使用该列表，则该列表没有参考索引和运动矢量被设为B

■否则

●将B的参考索引r_B(listx)计算为这4个4×4块的现有参考索引的最小值：

r_{B} (listx) = \min_{b} (r_{b} (listx)) - - - (3)

●计算具有相同参考索引r_B(listx)的4×4块的平均运动矢量mv_mean(listx)

●(1)被分类为帧内块或者(2)没有使用该列表或者(3)具有与r_B(listx)不同的参考索引r_b(listx)的4×4块被强制将r_B(listx)和mv_mean(listx)作为参考索引和运动矢量。

○然后实现B的分割模式的选择。如果两个4×4块的运动矢量相同，则认为这两个块相同。合并过程被应用如下：

■如果b₁与b₂相同并且b₃与b₄相同，则

●如果b1与b3相同，则选择BLK_8×8

●否则选择BLK_8×4

●否则如果b₁与b₃相同并且b₂与b₄相同，则选择BLK_4×8

●否则选择BLK_4×4

预测宏块模式选择

在以下实施例中，可实现用以确定MB_pred模式的过程。以下，宏块300的8×8块301-304如图27中所指示地被标识。

在以下情形中认为两个8×8块相同：

-两个8×8块中的一个或两个都被分类为帧内块

或者

-两个块的分割模式都是BLK_8×8并且如果每个8×8块的list0和list1的参考索引和运动矢量都存在则彼此相同。

使用以下过程完成模式选择：

-如果所有8×8块都被分类为帧内块，则MB_pred被分类为INTRA宏块

-否则，MB_pred是INTER宏块。其模式选择如下实现：

○被分类为帧内的8×8块被强制进行BLK_8×8分割。它们的参考索引和运动矢量被如下计算。令B_INTRA为这样一个8×8块。

对于每个列表listx

■如果没有8×8块使用该列表，则不向B_INTRA分配该列表的参考索引和运动矢量

■否则，应用以下步骤：

●将参考索引r_min(listx)计算为8×8块的现有参考索引中的最小值：

r_{\min} (listx) = \min_{B} (r_{B} (listx)) - - - (4)

●计算具有相同参考索引r_min(listx)的4×4块的平均运动矢量mv_mean(listx)

●将r_min(listx)分配给B_INTRA并且B_INTRA的每个4×4块被强制将r_min(listx)和mv_mean(listx)作为参考索引和运动矢量。

○然后实现B的分割模式的选择。如果两个8×8块的分割模式为BLK_8×8并且如果每个8×8块的list0和list1的参考索引和运动矢量如果存在就相同，则认为这两个块相同。合并过程被应用如下：

■如果B₁与B₂相同并且B₃与B₄相同，则

●如果B1与B3相同，则选择MODE_16×16

●否则选择MODE_16×8

■否则如果B₁与B₃相同并且B₂与B₄相同，则选择MODE_8×16

■否则选择MODE_8×8

运动矢量缩放

运动矢量重新缩放可被应用于如上导出的预测宏块MB_pred的每个现有运动矢量。运动矢量mv＝(d_x，d_y)可使用下式被缩放为矢量mv_s＝(d_sx，d_sy)。

\{\begin{matrix} d_{sx} = (d_{x} \cdot w_{extract} + {sign [d_{x}] \cdot w}_{base} / 2 {) / w}_{base} + 4 \cdot (x_{orig, r} - x_{orig}) \\ d_{sy} = (d_{y} \cdot h_{extract} + {sign [d_{y}] \cdot h}_{base} / 2 {) / h}_{base} + 4 \cdot (y_{orig, r} - y_{orig}) \begin{matrix}  \end{matrix} \end{matrix} - - - (5)

其中sign[x]在x为正时等于1，在x为负时等于-1，以及在x等于0时等于0。具有下标“r”的符号表示相应参考图片的几何参数。

层间纹理预测

纹理上采样

在本发明的某些实施例中，层间纹理预测可以基于和层间运动预测相同的原理。基层纹理上采样可以采用两瓣或三瓣Lanczos加窗的sinc函数来实现。这些滤波器被认为在减少混叠、锐度、以及最小振铃(ringing)方面提供了最佳的折衷。两瓣Lanczos加窗sinc函数可以定义如下：

Lanczos 2 (x) = \{\begin{matrix} \frac{\sin (πx)}{πx} \frac{\sin (π \frac{x}{2})}{π \frac{x}{2}}, | x | < 2 \\ 0, | x | &GreaterEqual; 2 \end{matrix} - - - (6)

可对整个帧处理上采样步骤或逐块地处理上采样步骤。对于帧内纹理预测，在帧边界上使用反复填充(repetitive padding)。对于残余预测，在块边界上(取决于变换，4×4或8×8)使用反复填充。

在一个示例性实施例中，根据Lanczos2函数，以下表1中针对以相对于基层图片中相应分量的样本网格的十六分之一样本间隔为单位的16个不同内插相位定义了16个4抽头的上采样滤波器。

对于当前层中位置(x，y)处的亮度样本，相对于基层图片中相应样本的相移将被推导为：

\{\begin{matrix} p_{x, L} = [(x - x_{orig}) \cdot w_{base} \cdot 16] / w_{extract} - 16 \cdot [(x - x_{orig}) \cdot w_{base} / w_{extract}] \\ p_{y, L} = [(y - y_{orig}) \cdot h_{base} \cdot 16] / h_{extract} - 16 \cdot [(y - y_{orig}) \cdot h_{base} / h_{extract}] \end{matrix} - - - (7)

表1：用于上采样的4抽头内插滤波器

相位	(4抽头)内插滤波器系数
					e[-1]	e[0]	e[1]	e[2]
	0	0	128	0					0
1					-4	127	5	0
	2	-8	124	13					-1
3					-10	118	21	-1
	4	-11	111	30					-2
5					-11	103	40	-4
	6	-10	93	50					-5
7					-9	82	61	-6
	8	-8	72	72					-8

9	-6	61	82	-9
					10	-5	50	93	-10
11	-4	40	103	-11
					12	-2	30	111	-11
13	-1	21	118	-10
					14	-1	13	124	-8
15	0	5	127	-4

对于当前层中位置为色度样本坐标系中(x_c，y_c)处的色度样本，相对于基层图片中相应样本的相移可以被推导为：

\{\begin{matrix} p_{x, c} = [(x_{c} - x_{orig, c}) \cdot w_{base, c} \cdot 16] / w_{extract, c} - 16 \cdot [(x_{c} - x_{orig, c}) \cdot w_{base, c} / w_{extract, c}] \\ p_{y, c} = [(y_{c} - y_{orig, c}) \cdot h_{base, c} \cdot 16] / h_{extract, c} - 16 \cdot [(y_{c} - y_{orig, c}) \cdot h_{base, c} / h_{extract, c}] \end{matrix} - - - (8)

其中，

w_base，c＝w_base·BasePicMbWidthC/16 (9)

w_extract，c＝w_extract·MbWidthC/16 (10)

h_base，c＝h_base·BasePicMbHeightC/16 (11)

h_extract，c＝h_extract·MbHeightC/16 (12)

x_orig，c＝x_orig·MbWidthC/16 (13)

y_orig，c＝y_orig·MbHeightC/16 (14)

根据所导出的每一相移，可从表1中选择一4抽头滤波器来进行内插。

层间帧内纹理预测

在WD-1.0[MPEG Doc.N6901]中，I_BL模式要求所有相应的基层宏块为帧内编码。在本发明的实施例中，可放松该要求以允许相应的基层宏块为帧间编码或不存在。

为了生成在I_BL模式中被编码的宏块的帧内预测信号，基层信号当中处于相同位置处的块(若有的话)被直接去块并且作内插。对于4个输入样本(X[n-1]、X[n]、X[n+1]、X[n+2])，4抽头内插滤波器的输出值Y将被推导为：

Y＝Clip1_Y((e[-1]X[n-1]+e[0]X[n]+e[1]X[n+1]+e[2]X[n+2]+64)/128) (15)

Clip1_Y(x)＝min(max(0，x)，(1＜＜BitDepth_Y)-1)，其中BitDepth_Y表示亮度通道数据的位深度，(亮度样本情形)，或者

Y＝Clip1_C((e[-1]X[n-1]+e[0]X[n]+e[1]X[n+1]+e[2]X[n+2]+64)/128) (16)

Clip1_C(x)＝min(max(0，x)，(1＜＜BitDepth_C)-1)，其中BitDepth_C表示色度通道数据的位深度，(色度样本情形)

由于在等式15和16中应用了舍入操作，所以滤波顺序可被指定为先水平或先垂直。建议首先在水平方向上执行滤波操作，然后在垂直方向上执行滤波操作。该上采样过程只有在启用了如下所定义的extend_spatial_scalability(扩展空间可缩放性)时才被调用。

在上采样滤波操作之后，将使用常量值来填充修剪窗口外的图像区域。该常量对于亮度情形将为(1＜＜(BitDepth_Y-1))或者对于色度情形将为(1＜＜(BitDepth_C-1))。

层间残余预测

与层间帧内纹理预测相似，在对基层残余进行上采样时可应用同样的4抽头滤波器或其它滤波器，但采用与等式15和16中不同的舍入和限幅函数(clippingfunction)。

对于4个输入残余样本(X[n-1]、X[n]、X[n+1]、X[n+2])，滤波器的输出值Y将被推导为：

Y＝Clip1_Y，r((e[-1]X[n-1]+e[0]X[n]+e[1]X[n+1]+e[2]X[n+2])/128) (17)

(对于亮度残余样本情形)，或者

Y＝Clip1_C，r((e[-1]X[n-1]+e[0]X[n]+e[1]X[n+1]+e[2]X[n+2])/128) (18)

(对于色度残余情形)

残余上采样的限幅函数被定义为：

Clip1_Y，r(x)＝Clip3(1-(1＜＜BitDepth_Y)，(1＜＜BitDepth_Y)-1，x) (19)

Clip1_C，r(x)＝Clip3(1-(1＜＜BitDepth_C)，(1＜＜BitDepth_C)-1，x) (20)

其中，Clip3(a，b，x)＝min(max(a，x)，b)。

类似地，在上采样滤波操作之后，将使用常量值来填充包括修剪窗口外的图像区域在内的没有残余预测可用的像素位置。对于所有色彩分量，常量都将为0。

句法和语义变化

表格形式的句法

本发明的实施例可利用下文中以较大的粗体文字指示的以下变化。主要变化是在符号的序列参数集中添加了extend_spatial_scalability，并且相应地在与将在基层上采样过程中应用的几何变换有关的序列参数集以及slice_data_in_scalabe_extension()(可缩放扩展中的片数据)中添加了以下4个参数：

scaled_base_left_offset_divided_by_two

scaled_base_top_offset_divided_by_two

scaled_base_right_offset_divided_by_two

scaled_base_bottom_offset_divided_by_two

可缩放扩展中的序列参数集句法

seq_parameter_set_rbsp(){	C	描述符
			......	...	...
extended_spatial_scalability	0	u(2)
			if(extended_spatial_scalability＝＝1){
scaled_base_left_offset_divided_by_two	0	ue(v)
			scaled_base_top_offset_divided_by_two	0	ue(v)
scaled_base_right_offset_divided_by_two	0	ue(v)
			scaled_base_bottom_offset_divided_by_two	0	ue(v)
}
				...	...
rbsp_trailing_bits()	0
			}

可缩放扩展中的片数据句法

slice_data_in_scalable_extension(){	C	描述符
			if(extended_spatial_scalability＝＝2){
scaled_base_left_offset_divided_by_two	2	ue(v)
			scaled_base_top_offset_divided_by_two	2	ue(v)
scaled_base_right_offset_divided_by_two	2	ue(v)
			scaled_base_bottom_offset_divided_by_two	2	ue(v)
}
			if(extended_spatial_scalability)

HalfSpatResBaseFlag＝0
	else
HalfSpatResBaseFlag＝half_spat_res_base_pic()
	......	...	...
}

可缩放扩展中的宏块层句法

macroblock_layer_in_scalable_extension(){	C	描述符
			if(base_id_plus！＝0&&adaptive_prediction_flag){
base_mode_flag	2	ae(v)
			if(！base_mode_flag&&(HalfSpatResBaseFlag‖extended_spatial_scalability)&&！intra_base_mb(CurrMbAddr))
base_mode_refinement_flag	2	ae(v)
			}
......	...	...
			}

语义

可缩放扩展中的序列参数集句法

extended_spatial_scalability指定与用于基层上采样的几何参数有关的句法元素的存在。当extended_spatial_scalability等于0时，比特流中不存在几何参数。当extended_spatial_scalability等于1时，序列参数集中存在几何参数。当extended_spatial_scalability等于2时，slice_data_in_scalable_extension中存在几何参数。值3为extended_spatial_scalability预留。当extended_spatial_scalability不存在时，可推断其等于0。

scaled_base_left_offset_divided_by_two指定经上采样的基层图片的左上像素与当前图片的左上像素之间的水平偏移的一半。当scaled_base_left_offset_divided_by_two不存在时，可推断其等于0。

scaled_base_top_offset_divided_by_two指定经上采样的基层图片的左上像素与当前图片的左上像素之间的垂直偏移的一半。当scaled_base_top_offset_divided_by_two不存在时，可推断其等于0。

scaled_base_right_offset_divided_by_two指定经上采样的基层图片的右下像素与当前图片的右下像素之间的水平偏移的一半。当scaled_base_right_offset_divided_by_two不存在时，可推断其等于0。

scaled_base_bottom_offset_divided_by_two指定经上采样的基层图片的右下像素与当前图片的右下像素之间的垂直偏移的一半。当scaled_base_bottom_offset_divided_by_two不存在时，可推断其等于0。

所有几何参数都被指定为以相对于当前层中的亮度采样网格的一个样本间隔为单位的无符号整数。随后根据以下几何参数来定义几个附加符号(scaled_base_left_offset、scaled_base_top_offset、scaled_base_right_offset、scaled_base_bottom_offset、scaled_base_width、scaled_base_height)：

scaled_base_left_offset＝2·scaled_base_left_offset_divided_by_two

scaled_base_top_offset＝2·scaled_base_top_offset_divided_by_two

scaled_base_right_offset＝2·scaled_base_right_offset_divided_by_two

scaled_base_bottom_offset＝2·scaled_base_bottom_offset_divided_by_two

scaled_base_width＝PicWidthInMbs·16-scaled_base_left_offset-

scaled_base_right_offset

scaled_base_height＝PicHeightInMapUnits·16-scaled_base_top_offset-

scaled_base_bottom_offset

可缩放扩展中的片数据句法

片数据中的句法元素的语义与序列参数集中的相同句法元素的语义相同。

解码过程

对预测数据的解码过程

相比于WD-1.0[MPEG Doc.N6901]，必须添加以下过程。对于每个宏块，应用以下处理：

-如果extended_spatial_scalability等于1或2并且base_layer_mode_flag等于1，则使用如第3节中所述的过程导出包括宏块分割的运动矢量字段。与WD-1.0[MPEG Doc.N6901]中一样，如果所有相应的基层宏块都是帧内编码的，则当前宏块模式被设为I_BL。

-否则，如果extended_spatial_scalability等于1或2并且base_layer_mode_flag等于0，则发信号表示基层改进模式。基层改进模式与基层预测模式相类似。宏块分割以及参考索引和运动矢量根据第3节导出。然而，对于每个运动矢量，另外将一个四分之一样本运动矢量改进mvd_ref_1X(对于每个运动矢量分量为-1、0或+1)发送并添加至所导出的运动矢量。

其余过程与WD-1.0[MPEG Doc.N6901]中相同。

子带图片的解码过程

相比于WD-1.0[MPEG Doc.N6901]，必须添加以下过程：

如果extended_spatial_scalability等于1或2，则通过以下过程生成I_BL模式中MB的帧内预测信号。

-对相同位置处的基层块/宏块进行滤波。

-通过内插去块后的块生成帧内预测。内插是使用第4节中所述的过程来执行的。

其余过程与WD-1.0[MPEG Doc.N6901]中相同。

否则，如果extended_spatial_scalability等于1或2，并且residual_prediction_flag等于1，则应用以下处理：

-基层块的残余信号被上采样并被添加至当前宏块的残余信号。内插是使用第4节中所述的过程来执行的。

对环路滤波器的改动

当extended_spatial_scalability等于1或2时，在对I_BL模式下的块进行过滤器强度判定期间应对环路滤波器施加一个小的改动。

-如果相邻块是帧内编码但不是处于I_BL模式，则Bs为4(这第一部分与WD-1.0[MPEG Doc.N6901]中相同)。

-否则，如果任一相邻块具有系数，则Bs为2。

-否则，如果相邻块不处于I_BL模式，则Bs为1。

-否则，Bs为0。

6抽头滤波器实施例

本发明的某些实施例被设计成用于H.264/MPEG-4AVC的可缩放视频编码，尤其用于JVT(MPEG和VCEG的联合视频组)在2005年4月采样的扩展空间可缩放(ESS)视频编码特征。

在当前SVC设计中，上采样过程基于在H.264中被指定用于帧间预测的四分之一样本内插过程。该方法在被应用于空间可缩放编码时遗传了两个缺点：(1)内插分辨率被限于四分之一样本；以及(2)为了到达四分之一样本位置必须执行半样本内插。

本发明的某些实施例通过(1)更精细的内插分辨率和(2)直接内插消除了这些缺点。因此，这些实施例在改善了经上采样的图片的质量的同时降低了计算复杂度。

本发明的示例性实施例的上采样技术是基于采用16个6抽头滤波器的直接内插的。滤波器选择是根据从0到15以十六分之一的图片样本为单位的内插位置或相位来进行的。该组滤波器被设置成与SVC的半样本内插过程和H.264的半样本亮度帧间预测后向兼容。因此，从硬件/软件实现的观点来看，这些实施例的技术是H.264的自然扩展。

常规的空间可缩放视频编码系统通常处理空间或分辨率缩放因子为2或2的幂的情形。在2005年4月，扩展空间可缩放性被采纳到SVC联合可缩放视频模型(JSVM)来处理其中空间缩放因子不限于2的幂的更为一般的情形。然而，层间纹理预测的上采样过程仍是一个正在研发的问题。在2005年4月的JVT会议期间，作出了对纹理上采样暂时采纳H.264中指定的四分之一亮度样本内插过程的决定。

在本发明的这些实施例中，针对上述参照图23的实施例所描述的相同的几何关系也适用。

在上述实施例中，以相对于基层图片中相应分量的整数样本网格的十六分之一样本间隔为单位针对16个不同的内插相位定义了一组16个4抽头上采样滤波器。然而，4抽头滤波器与早先的H.264设计并不向后兼容。因此，这些实施例可包括新的一组16个6抽头滤波器和相应的滤波过程。在一个示例性实施例中，可使用表2中所述的6抽头滤波器。在另一实施例中，可使用表3中所述的6抽头滤波器。

表2：第一示例性16相位内插滤波器

相位	(6抽头)内插滤波器系数
							e[-2]	e[-1]	e[0]	e[1]	e[2]	e[3]
	0	0	0	32	0	0							0
1							0	-2	32	2	0	0
	2	1	-3	31	4	-1							0
3							1	-4	30	7	-2	0
	4	1	-4	28	9	-2							0
5							1	-5	27	11	-3	1
	6	1	-5	25	14	-3							0
7							1	-5	22	17	-4	1

8	1	-5	20	20	-5	1
							9	1	-4	17	22	-5	1
10	0	-3	14	25	-5	1
							11	1	-3	11	27	-5	1
12	0	-2	9	28	-4	1
							13	0	-2	7	30	-4	1
14	0	-1	4	31	-3	1
							15	0	0	2	32	-2	0

表3：第二示例性16相位内插滤波器

相位	(6抽头)内插滤波器系数
							e[-2]	e[-1]	e[0]	e[1]	e[2]	e[3]
	0	0	0	32	0	0							0
1							0	-2	32	2	0	0
	2	1	-3	31	4	-1							0
3							1	-4	30	6	-1	0
	4	1	-4	28	9	-2							0
5							1	-4	27	11	-3	0
	6	1	-5	25	14	-3							0
7							1	-5	22	17	-4	1
	8	1	-5	20	20	-5							1
9							1	-4	17	22	-5	1
	10	0	-3	14	25	-5							1
11							0	-3	11	27	-4	1
	12	0	-2	9	28	-4							1
13							0	-1	6	30	-4	1
	14	0	-1	4	31	-3							1
15							0	0	2	32	-2	0

给定增强图片层中以整数亮度样本为单位的亮度样本位置(x，y)，它在基图片中以基图片的十六分之一亮度样本为单位的相应位置(p_x，L，p_y，L)可被推导为：

\{\begin{matrix} p_{x, L} (x) = [(x - x_{orig}) \cdot w_{base} \cdot R_{L} + \frac{R_{L}}{2} (w_{base} - w_{extract})] / / w_{extract} \\ p_{y, L} (y) = [(y - y_{orig}) \cdot h_{base} \cdot R_{L} + \frac{R_{L}}{2} (h_{base} - h_{extract})] / / h_{extract} \end{matrix} - - - (21)

其中R_L＝16(对于十六分之一分辨率内插情形)，如在图23中(x_orig，y_orig)表示在当前图片中以当前图片的单个亮度样本为单位的修剪窗口的左上角的位置一样，(w_base，h_base)是以基图片的单个亮度样本为单位的基图片的分辨率，(w_extract，h_extract)是以当前图片的单个亮度样本为单位的修剪窗口的分辨率，而“//”表示简化的除法运算符。

类似地，给定增强图片中以单个色度样本为单位的色度样本位置(x_c，y_c)，它在基图片中以十六分之一的基图片色度样本为单位的相应位置可被推导为：

\{\begin{matrix} p_{x, c} (x_{c}) = [(x_{c} - x_{orig, c}) \cdot w_{base} \cdot R_{C} + \frac{R_{C}}{4} (2 + p_{enh, x}) w_{base, c} - \frac{R_{C}}{4} (2 + p_{base, x}) w_{extract, c}] / / w_{extract, c} \\ p_{y, c} (y_{c}) = [(y_{c} - y_{orig}) \cdot h_{base} \cdot R_{C} + \frac{R_{C}}{4} (2 + p_{enh, y}) h_{base, c} - \frac{R_{C}}{4} (2 + p_{base, y}) w_{extract, c}] / / h_{extract} \end{matrix} - - - (22)

其中R_C＝16，(x_orig，c，y_orig，c)表示在当前图片中以当前图片的单个色度样本为单位的修剪窗口的左上角的位置，(w_base，h_base)是以基图片的单个色度样本为单位的基图片的分辨率，(w_extract，h_extract)是以当前图片的单个色度样本为单位的修剪窗口的分辨率，(p_base，x，P_base，y)表示以基图片的四分之一色度样本为单位的基图片的相对色度相移，以及(p_enh，x，P_enh，y)表示以当前图片的四分之一色度样本为单位的当前图片的相对色度相移。

可基于由等式21和22推导出的内插位置从表2或表3选择一6抽头滤波器。在某些实施例中，当内插位置为半样本位置时，滤波器与H.264中针对半亮度样本内插定义的滤波器相同。因此，对本发明的这些实施例的技术可应用类似的硬件/软件模块。

对于层间残余上采样，可使用类似的直接内插方法，但用双线性内插滤波器来代替如上所述的用于纹理上采样的6抽头滤波器或4抽头滤波器。

在某些示例性实施例中，内插过程如下：

1.定义宏块的左上亮度样本在增强图片中的位置(xP，yP)。当chroma_format_idc不等于0即色度通道存在时，定义同一宏块的左上色度样本的位置(xC，yC)。

2.导出该宏块在基层图片中的相对位置，

\{\begin{matrix} xB = p_{x, L} (xP) > > 4 \\ yB = p_{y, L} (yP) > > 4 \end{matrix} - - - (23)

\{\begin{matrix} xB 1 = (p_{x, L} (xP + 15) + 15) > > 4 \\ yB 1 = (p_{y, L} (yP + 15) + 15) > > 4 \end{matrix} - - - (24)

并且当chroma_format_idc不等于0时，

\{\begin{matrix} xCB = p_{x, C} (xC) > > 4 \\ yCB = p_{y, C} (yC) > > 4 \end{matrix} - - - (25)

1

\{\begin{matrix} xCB 1 = (p_{x, C} (xC + MbWidthC - 1) + 15) > > 4 \\ yCB 1 = (p_{y, C} (yC + MbHeightC - 1) + 15) > > 4 \end{matrix} - - - (26)

其中，MbWidthC和MbHeightC分别表示水平和垂直方向上每MB的色度样本数。

3.纹理内插过程

该过程的输入包括：

●基图片中的整数亮度样本位置(xB，yB)和(xB1，yB1)

●基图片的亮度样本数组base_L[x，y]，x＝-2+xB..(xB1+2)并且y＝-2+yB..(yB1+2)

●当chroma_format_idc不等于0时，

○基图片中整数色度样本位置(xCB，yCB)和(xCB1，yCB1)

○基图片的两个色度样本数组base_Cb[x，y]和base_Cr[x，y]，x＝-2+xCB..(xCB1+2)

以及y＝-2+yCB..(yCB1+2)

该过程的输出包括

●亮度样本宏块数组pred_L[x，y]，x＝0..15以及y＝0..15

●当chroma_format_idc不等于0时，两个色度样本宏块数组pred_Cb[x，y]和pred_Cr[x，y]，x＝0..MbWidthC-1以及y＝0..MbHeightC-1

x＝0..15并且y＝0..15的亮度样本pred_L[x，y]推导如下：

●令x＝-2+xB..(xB1+2)并且y＝0..15的temp_L[x，y]为临时亮度样本数组。

●x＝-2+xB..(xB1+2)并且y＝0..15的每个temp_L[x，y]推导如下

○基层中相应的分数样本位置yf推导如下。

yf＝P_y，L(y+yP)

○令yInt和yFace定义如下

yInt＝(yf＞＞4)

yFace＝yf％16

○使用yFace作为相位从表2中选择j＝-2..3的一6抽头滤波器e[j]，并将temp_L[x，y]推导为

temp_L[x，y]＝base_L[x，yInt-2]*e[-2]+base_L[x，yInt-1]*e[-1]+base_L[x，yInt]*e[0]+base_L[x，yInt+1]*e[1]+base_L[x，yInt+2]*e[2]+base_L[x，yInt+3]*e[3]

●x＝0..15并且y＝0..15的每个样本pred_L[x，y]推导如下。

○基层中相应的分数样本位置xf推导如下。

xf＝P_x，L(x+xP)

○令xInt和xFace定义如下

xInt＝(xf＞＞4)

xFace＝xf％16

○使用xFace作为相位从表2中选择j＝-2..3的一6抽头滤波器e[j]，并将pred_L[x，y]推导为

pred_L[x，y]＝Clip1_Y((temp_L[xInt-2，y]*e[-2]+temp_L[xInt-1，y]*e[-1]+temp_L[xInt，y]*e[0]+temp_L[xInt+1，y]*e[1]+temp_L[xInt+2，y]*e[2]+temp_L[xInt+3，y]*e[3]+512)/1024)

当chroma_format_idc不等于0时，x＝0..MbWidthC-1、y＝0..MbHeightC-1的色度样本pred_C[x，y](C为Cb或Cr)推导如下。

●令x＝-2+xCB..(xCB1+2)且y＝0..MbHeightC-1的tmp1_Cb[x，y]和tmp1_Cr[x，y]为临时色度样本数组

●x＝-2+xCB..(xCB 1+2)、y＝0..MbHeightC-1且C为Cb和Cr的每个temp_C[x，y]推导如下

○基层中相应的分数样本位置yfC推导如下。

yfC＝p_y，C(y+yC)

○令yIntC和yFaceC定义如下

yIntC＝(yfC＞＞4)

yFaceC＝yfC％16

○使用yFaceC作为相位从表2中选择j＝-2..3的一6抽头滤波器e[j]，并将temp_C[x，y]推导为

temp_C[x，y]＝base_C[x，yIntC-2]*e[-2]+base_C[x，yIntC-1]*e[-1]+

base_C[x，yIntC]*e[0]+base_C[x，yIntC+1]*e[1]+

base_C[x，yIntC+2]*e[2]+base_C[x，yIntC+3]*e[3]

●x＝0..MbWidthC-1、y＝0..MbHeightC-1且C为Cb和Cr的每个样本pred_C[x，y]推导如下。

○基层中相应的分数样本位置xfC推导如下。

xfC＝p_x，C(x+xC)

○令xIntC和xFaceC定义如下

xIntC＝(xfC＞＞4)

xFaceC＝xfC％16

○使用xFaceC作为相位从表2中选择j＝-2..3的一6抽头滤波器e[j]，并将

predC[x，y]推导为

pred_C[x，y]＝Clip1_C((temp_C[xIntC-2，y]*e[-2]+temp_C[xIntC-1，y]*e[-1]+

temp_C[xIntC，y]*e[0]+tempC[xIntC+1，y]*e[1]+

temp_C[xIntC+2，y]*e[2]+temp_C[xIntC+3，y]*e[3]+512)/1024)

4.纹理内插过程

该过程的输入包括：

●basePic(基图片)中的整数亮度样本位置(xB，yB)和(xB1，yB1)

●亮度残余样本数组resBase_L[x，y]，x＝-xB..xB1并且y＝yB..yB1

●当chroma_format_idc不等于0时，

○basePic中的整数色度样本位置(xCB，yCB)和(xCB1，yCB1)

○两个色度残余样本数组resBase_Cb[x，y]和resBase_Cr[x，y]，x＝xCB..xCB1并且

y＝yCB..yCB1

该过程的输出包括

●亮度样本数组resPred_L[x，y]，x＝0..15并且y＝0..15

●当chroma_format_idc不等于0时，两个色度样本数组resPred_Cb[x，y]和resPred_Cr[x，y]，x＝0..MbWidthC-1并且y＝0..MbHeightC-1

x＝0..15并且y＝0..15的亮度残余样本resPred_L[x，y]推导如下：

●令x＝xB..xB1并且y＝0..15的temp_L[x，y]为临时亮度样本数组。

●x＝-xB..xB1并且y＝0..15的每个temp_L[x，y]推导如下

○基层中相应的分数样本位置yf推导如下

yf＝P_y，L(y+yP)

○令yInt和yFace定义如下

yInt＝(yf＞＞4)

yFace＝yf％16

○将temp_L[x，y]推导为

temp_L[x，y]＝resBase_L[x，yInt]*(16-yFrac)+resBase_L[x，yInt+1]*yFrac

●x＝0..15并且y＝0..15的每个残余样本resPred_L[x，y]推导如下。

○基层中相应的分数样本位置xf推导如下。

xf＝P_x，L(x+xP)

○令xInt和xFace定义如下

xInt＝(xf＞＞4)

xFace＝xf％16

○将resPred_L[x，y]推导为

resPred_L[x，y]＝Clip1_Y，r((temp_L[xInt，y]*(16-xFrac)+temp_L[xInt+1，y]*xFrac)/256)，Clip1_Y，r(x)＝Clip3(1-(1＜＜BitDepth_Y)，(1＜＜BitDepth_Y)-1，x)，其中BitDepth_Y表示色度通道数据的位深度。

当chroma_format_idc不等于0时，x＝0..MbWidthC-1、y＝0..MbHeightC-1的色度残余样本resPred_C[x，y](C为Cb或Cr)推导如下。

●令x＝xCB..xCB1且y＝0..MbHeightC-1的tmp1_Cb[x，y]和tmp1_Cr[x，y]为临时色度样本数组

●x＝xCB..xCB1、y＝0..MbHeightC-1且C为Cb和Cr的每个temp_C[x，y]推导如下

○基层中相应的分数样本位置yfC推导如下。

yfC＝p_y，C(y+yC)

○令yIntC和yFaceC定义如下

yIntC＝(yfC＞＞4)

yFaceC＝yfC％16

○将temp_C[x，y]推导为

temp_C[x，y]＝resBase_C[x，yInt]*(16-yFrac)+resBase_C[x，yInt+1]*yFrac

●x＝0..MbWidthC-1、y＝0..MbHeightC-1且C为Cb和Cr的每个样本resPred_C[x，y]推导如下。

○基层中相应的分数样本位置xfC推导如下。

xfC＝p_x，C(x+xC)

○令xIntC和xFaceC定义如下

xIntC＝(xfC＞＞4)

xFaceC＝xfC％16

○将resPred_C[x，y]推导为

resPred_C[x，y]＝Clip1_C，r((temp_C[xIntC，y]*(16-xFrac)+temp_C[xIntC+1，y]*xFrac)/256)，Clip1_C，r(x)＝Clip3(1-(1＜＜BitDepth_C)，(1＜＜BitDepth_C)-1，x)，其中BitDepth_C表示色度通道数据的位深度。

本发明的某些实施例包括用于空间可缩放视频编码的去块滤波器。在这些实施例中的某一些当中，滤波方法被设计成用于H.264/MPEG-4AVC的可缩放视频编码(SVC)扩展，尤其用于JVT(MPEG和VCEG的联合视频组)在2005年4月采纳的扩展空间可缩放(ESS)视频编码特征。

在现有方法中，滤波过程跨可能具有各种空间分辨率的所有层是相同的。使用层间纹理预测的块编码在滤波过程中被认为是帧内编码块。此现有方法在应用于空间可缩放编码时有两个缺点：(1)来自较低分辨率层的预测可能会不必要地被模糊以及由此引起的(2)该过程不必要地花费了更多的计算周期。

本发明的实施例通过跳过对某些块边界的滤波操作、通过对不同的块边界应用不同的滤波器、通过改变不同的块边界上滤波器的剧烈程度(aggressiveness)或者通过针对特定的块边界调节滤波器特性消除了这两个缺点。因此，这些实施例降低了计算复杂度并改善了经上采样的图片的质量。

在这些实施例中，将使用层间纹理预测编码的块认为是帧间块，所以应用了现有AVC设计中用于帧间块的滤波判定。在某些实施例中，可将以上关于无空间可缩放编码情形下的相邻块所述的自适应块边界滤波应用于空间可缩放编码。被采纳到H.264中的这些方法可被应用于空间可缩放视频编码。

在本发明的某些实施例中，用于图像块边界的去块滤波器可用一控制参数边界强度(Bs)来表征，它具有0到4范围或其它范围内的值。Bs值越高，应用于相应边界的滤波操作越强。当Bs等于0时，可以跳过或最小化滤波操作。

在当前的SVC设计中，基于层间纹理预测的宏块预测模式被称为I_BL模式。使用现有方法，与I_BL宏块有关的所有块边界都必须被滤波，即对于所有块边界Bs＞0。

本发明的实施例包括用于空间可缩放编码，即SVC空间可缩放性类型(SpatialScalabilityType)中的符号不等于0时处于I_BL中的块的滤波强度判定方法。其目的是降低计算复杂度并避免使来自基层的预测模糊。

在某些实施例中，对于处于I_BL模式的块，块与相邻块之间边界的Bs可以如下推导：

1.如果相邻块是帧内编码但不是处于I_BL模式，则Bs为4。

2.否则，如果任一相邻块有非零系数，则Bs为2。

3.否则，如果相邻块不是处于基于相同基层图片的I_BL模式，则Bs为1。

4.否则，Bs为0。

在与JVT的SVC扩展有关的本发明的实施例中，如果空间可缩放性类型不等于0并且亮度样本p₀或q₀中任意一个在用I_BL宏块预测模式编码的宏块中，则变量bS推导如下：

●如果亮度样本p₀或q₀中任意一个在用帧内预测模式而不是I_BL模式编码的宏块中，则将输出等于4的bS值；

●否则，如果以下条件中一个为真，则将输出等于2的bS值，

i.包含样本p₀的亮度块或者包含样本q₀的亮度块包含非零变换系数级，

ii.对于包含样本p₀的亮度块或者包含样本q₀的亮度块，句法元素nal_unit_type等于20且residual_prediction_flag等于1，且如在子款S.8.5.14中所导出的预测数组resPredX包含非零样本，其中X指示适用的分量L、Cb或Cr；

●否则，如果以下条件中一个为真，则将输出等于1的bS值，

i.亮度样本p₀或q₀中任意一个在使用帧间预测模式编码的宏块中，

ii.亮度样本p₀或q₀在具有不同base_id_plus1的两个单独的片中

●否则，将输出等于0的Bs值；

●否则，如果样本p₀或q₀两者都在使用I_BL宏块预测模式编码的宏块中，则将输出等于1的Bs值。

本发明的某些实施例可参照图28来说明。在这些实施例中，可针对各种滤波方法的应用来表征空间可缩放性增强层内相邻块之间的边界。这些滤波方法可以与可被用来触发各种滤波方法或调节滤波参数的边界强度指示符312、316和320相关联。

在这些实施例中，分析被块边界分开的两个相邻块的特性以表征与各块相邻的块边界。在某些实施例中，表征了各块之间的边界。

在示例性实施例中，首先分析块特性以确定这些块中是否有一个是使用层间纹理预测来编码的310。如果所述相邻块中至少一个是采用层间纹理预测来编码的，则随后分析这些块以确定是否有块已采用帧内预测方法而不是层间纹理预测来编码311。如果这些块中的一个已采用帧内预测方法而不是层间纹理预测来编码，则使用第一边界强度指示符来表征该目标边界312。

如果这些块中的一个还没有采用不同于层间纹理预测的帧内预测方法来编码，则分析该块特性以确定相邻块或者被用于预测相邻块之一的块当中的任意一块是否具有非零变换系数314。如果相邻块或者被用于预测相邻块之一的块当中的有一个块具有非零变换系数，则用第二边界强度指示符来表征目标边界316。

如果这些块中的一个还没有采用不同于层间纹理预测的帧内预测方法来编码311并且相邻块或者被用于预测相邻块之一的块当中没有一个块具有非零变换系数314，则作出判定以确定相邻块是否是参照不同的参考块来预测的318。如果相邻块是参照不同的参考块来预测的318，则使用第三边界强度指示符来表征目标边界320。

如果这些块中的一个还没有采用不同于层间纹理预测的帧内预测方法来编码，相邻块或者被用于预测相邻块之一的块当中没有一个块具有非零变换系数314并且相邻块不是参照不同的参考块来预测的318，则使用第四边界强度指示符来表征目标强度320。

在某些实施例中，可使用边界强度指示符来触发特定的边界滤波选项。在某些实施例中，可针对每个指示符使用不同的滤波方法。在某些实施例中，可关于指示符来调节滤波方法参数。在某些实施例中，指示符可触发对边界进行多剧烈的滤波。在某些示例性实施例中，第一边界强度指示符将触发对边界的最剧烈滤波，而第二、第三和第四边界强度指示符将按该顺序触发剧烈程度渐弱的滤波。在某些实施例中，第四边界强度指示符或另一指示符将触发对相关联的边界根本不进行任何滤波。

本发明的某些实施例可参照图29进行说明。在这些实施例中，可针对各种滤波方法的应用来表征空间可缩放性增强层内相邻块之间的边界。这些滤波方法可以与可被用来触发各种滤波方法或调节滤波参数的边界强度指示符340、344、348和352相关联。

在示例性实施例中，首先分析块特性以确定这些块是否在空间可缩放性层中330。然后作出另一判断以确定这些块中的一个块是否是使用层间纹理预测来编码的332。如果所述相邻块当中的至少一个块是使用层间纹理预测来编码的，则随后分析这些块以确定是否有一个块已采用不同于层间纹理预测的帧内预测方法来编码334。如果这些块中的一个块已采用不同于层间纹理预测的帧内预测方法来编码，则使用第一边界强度指示符来表征目标边界336。

如果这些块中没有一个块是采用不同于层间纹理预测的帧内预测方法来编码的，则分析块边界以确定相邻块中是否有一个块具有非零变换系数338。如果相邻块中有一个块具有非零变换系数，则使用第二边界强度指示符来表征目标边界340。

如果这些块中没有一个块是采用不同于层间纹理预测的帧内预测方法来编码的，则分析块特性以确定被用于预测相邻块之一的块是否具有非零变换系数342。如果被用于预测相邻块之一的块具有非零变换系数，则使用第三边界强度指示符来表征目标边界344。

如果这些块中没有一个块是采用不同于层间纹理预测的帧内预测方法来编码的334，并且相邻块或者被用于预测相邻块之一的块当中没有一个块具有非零变换系数338、342，则作出判断以确定相邻块中的一个块是否是使用帧间预测模式来编码的346。如果相邻块中的一个块是使用帧间预测模式来编码的346，则可使用第四边界强度指示符来表征目标边界348。

如果这些块中没有一个块是采用不同于层间纹理预测的帧内预测方法来编码的334，并且相邻块或者被用于预测相邻块之一的块当中没有一个块具有非零变换系数338、342，则作出判断以确定相邻块是否是参照不同参考块来预测的350。如果相邻块是参照不同参考块来预测的350，则使用第五边界强度指示符来表征目标边界352。

如果这些块中没有一个块是采用不同于层间纹理预测的帧内预测方法来编码的334，并且相邻块或者被用于预测相邻块之一的块当中没有一个块具有非零变换系数338、342，这些块没有以帧内预测模式编码346并且相邻块不是参照不同参考块来预测的350，则可使用第六边界强度指示符来表征目标边界354。

本发明的某些实施例可参照图30来说明。在这些实施例中，可针对各种滤波方法的应用来表征空间可缩放性增强层内相邻块之间的边界。这些滤波方法可以与可被用来触发各种滤波方法或调节滤波参数的边界强度指示符367、371和373相关联。在某些实施例中，边界强度指示符为0指示滤波操作跳过。

在这些实施例中，空间可缩放性类型必须为非零360。随后作出另一判断以确定来自这些块之一的亮度样本是否是使用层间纹理预测(I_BL)来编码的362。如果所述相邻块中的至少一个是使用I_BL来编码的，则随后分析这些块以确定是否有一个块已采用不同于I_BL的帧内预测方法来编码364。如果这些块中的一个已采用不同于I_BL的帧内预测方法来编码，则使用第一边界强度指示符来表征目标边界365。在某些实施例中，第一边界强度指示符将触发最强或最剧烈的去块滤波操作。在某些实施例中，该第一指示符将等于4。

如果这些块中没有一个块是采用不同于I_BL的帧内预测方法来编码的，则分析块特性以确定相邻块当中任意一块的亮度样本是否具有非零变换系数366。如果相邻块当中任意一块的亮度样本具有非零变换系数，则使用第二边界强度指示符来表征目标边界367。在某些实施例中，该第二边界强度指示符将触发中间或者第二最剧烈的去块滤波操作。在某些实施例中，该第二指示符将等于2。

如果这些块中没有一个块是采用不同于I_BL的帧内预测方法来编码的364并且来自任意块的亮度样本当中没有一个具有非零变换系数，则可作出判断以确定被用于预测相邻块之一的块是否具有非零变换系数368。如果被用于预测相邻块之一的块具有非零变换系数，则可再次使用第二边界强度指示符来表征目标边界367。

如果这些块中没有一个块是采用不同于I_BL的帧内预测方法来编码的364并且相邻块或被用于预测相邻块之一的块当中没有一个块具有非零变换系数366、368，则作出判断以确定相邻块中一个块的亮度样本是否是使用帧间预测模式来编码的370。如果相邻块中一个块的亮度样本是采用帧间预测模式来编码的370，则可使用第三边界强度指示符来表征目标边界371。在某些实施例中，该第三边界强度指示符将触发较弱或第三最剧烈的去块滤波操作。在某些实施例中，该第三指示符将等于1。

如果这些块中没有一个块是采用不同于I_BL的帧内预测方法来编码的364、相邻块或被用于预测相邻块之一的块当中没有一个块具有非零变换系数366、368，并且相邻块的亮度样本不是以帧间预测模式来编码的370，则可作出判断以确定来自相邻块中任意一个块的亮度样本是否是参照不同的参考块来预测的372。如果相邻块中的任意一个块的亮度样本是参照不同的参考块来预测的370，则可再次使用第三边界强度指示符来表征目标边界371。

如果这些块中没有一个块是采用不同于I_BL的帧内预测方法来编码的364，相邻块或被用于预测相邻块之一的块当中没有一个块具有非零变换系数366、368，相邻块的亮度样本不是以帧间预测模式来编码的370，并且相邻块的亮度样本不是参照不同的参考块来预测的372，则可使用第四边界强度指示符来表征目标边界373。在某些实施例中，第四边界强度指示符可触发最弱或第四最剧烈的去块滤波操作。在某些实施例中，该第四指示符可指示不应发生滤波。在某些实施例中，该第三指示符将等于0。

为了简便起见，各操作是作为各个互联的功能块或分离的软件模块来说明的。然而这并不是所必需的，而是在许多情形中这些功能块或模块被等效地综合在没有清晰界限的单个逻辑器件、程序或操作中。总之，各功能块和软件模块或所述的特征都可单独实现，或者以硬件或软件形式与其它操作加以组合来实现。

以上说明书中所采用的术语和措辞是以说明而非限制的形式来使用的，并且这些术语和措辞的使用无意排除所示和所述特征或者其部分的等效方案，应该认识到的是本发明的范围仅由所附权利要求书来定义和限定。

Claims

1.一种用于表征空间可缩放性增强层内的相邻块之间的块边界的方法，其中所述相邻块中的至少一个块是使用层间纹理预测来编码的，所述方法包括：

当所述相邻块中的一个块使用不同于所述层间纹理预测的帧内预测模式来编码时，用第一边界强度指示符来表征所述块边界。

2.如权利要求1所述的方法，其特征在于，还包括：

当所述相邻块没有使用不同于所述层间纹理预测的帧内预测模式来编码；并且

所述相邻块以及被用于预测所述相邻块的块当中的任意一个块具有非零变换系数时，用第二边界强度指示符来表征所述块边界。

3.如权利要求1所述的方法，其特征在于，还包括：

当所述相邻块没有使用不同于所述层间纹理预测的帧内预测模式来编码；

并且所述相邻块是参照不同的参考块来预测时，用第二边界强度指示符来表征所述块边界。

4.如权利要求2所述的方法，其特征在于，还包括：

所述相邻块以及被用于预测所述相邻块的块全部都没有变换系数；并且

所述相邻块是参照不同的参考块来预测时，用第三边界强度指示符来表征所述块边界。

5.如权利要求4所述的方法，其特征在于，还包括：

所述相邻块不是参照不同的参考块来预测时，用第四边界强度指示符来表征所述块边界。

6.如权利要求2所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑。

7.如权利要求3所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑。

8.如权利要求4所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑，而所述第二边界强度指示符触发比所述第三边界强度指示符更剧烈的平滑。

9.如权利要求5所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑，所述第二边界强度指示符触发比所述第三边界强度指示符更剧烈的平滑，并且所述第三边界强度指示符触发比所述第四边界强度指示符更剧烈的平滑。

10.一种用于表征空间可缩放增强层内的相邻块之间的块边界的方法，其中所述相邻块中的至少一个块是使用层间纹理预测来编码的，所述方法包括：

a)当来自所述相邻块中的一个块的亮度样本使用不同于所述层间纹理预测模式的帧内预测模式来编码时，用第一边界强度指示符来表征所述块边界；

b)在下列情形下用第二边界强度指示符来表征所述块边界，

i)来自所述相邻块中的每一个块的亮度样本中没有一个是采用不同于所述I_BL模式的帧内预测模式来编码的；以及

ii)所述相邻块以及被用于预测所述相邻块的块当中的任意一个块具有非零变换系数；

c)在下列情形下用第三边界强度指示符来表征所述块边界，

i)来自所述相邻块中的每一个块的亮度样本中没有一个是采用不同于所述层间纹理预测模式的帧内预测模式来编码的；以及

ii)所述相邻块以及被用于预测所述相邻块的块全部都没有变换系数；并且

iii)所述相邻块是参照不同的参考块来预测的；

d)在下列情形下用第四边界强度指示符来表征所述块边界，

i)来自所述相邻块中的每一个块的亮度样本中没有一个是采用不同于所述层间纹理预测的帧内预测模式来编码的；以及

iii)所述相邻块不是参照不同的参考块来预测的。

11.如权利要求10所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑，所述第二边界强度指示符触发比所述第三边界强度指示符更剧烈的平滑，并且所述第三边界强度指示符触发比所述第四边界强度指示符更剧烈的平滑。

12.一种用于表征空间可缩放性增强层内的相邻块之间的块边界的系统，其中所述相邻块中的至少一个块是使用层间纹理预测来编码的，所述系统包括：

预测模式分析器，用于当所述相邻块之一使用不同于所述层间纹理预测的帧内预测模式来编码时用第一边界强度指示符来表征所述块边界。

13.如权利要求12所述的系统，其特征在于，还包括：

系数分析器，用于当所述相邻块没有使用不同于所述层间纹理预测的帧内预测模式来编码；并且所述相邻块以及被用于预测所述相邻块的块当中的任意一个块具有非零变换系数时，用第二边界强度指示符来表征所述块边界。

14.如权利要求12所述的系统，其特征在于，还包括：

预测参考块分析器，用于当所述相邻块没有使用不同于所述层间纹理预测的帧内预测模式来编码；并且所述相邻块是参照不同的参考块来预测时，用第二边界强度指示符来表征所述块边界。

15.如权利要求13所述的系统，其特征在于，还包括：

a)第二预测参考块分析器，用于在下列情形下用第三边界强度指示符来表征所述块边界，

i)所述相邻块没有使用不同于所述层间纹理预测的帧内预测模式来编码；

iii)所述相邻块是参照不同的参考块来预测的。

16.如权利要求15所述的系统，其特征在于，还包括：

块边界分析器，用于当所述相邻块没有使用不同于所述层间纹理预测的帧内预测模式来编码；所述相邻块以及被用于预测所述相邻块的块全部都没有变换系数；并且所述相邻块不是参照不同的参考块来预测时，用第四边界强度指示符来表征所述块边界。

17.如权利要求13所述的系统，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑。

18.如权利要求14所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑。

19.如权利要求15所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑，而所述第二边界强度指示符触发比所述第三边界强度指示符更剧烈的平滑。

20.如权利要求16所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的平滑，所述第二边界强度指示符触发比所述第三边界强度指示符更剧烈的平滑，并且所述第三边界强度指示符触发比所述第四边界强度指示符更剧烈的平滑。