CN104620576B

CN104620576B - 可缩放视频译码中的替代变换

Info

Publication number: CN104620576B
Application number: CN201380043728.6A
Authority: CN
Inventors: 马尔塔·卡切维奇; 郭立威; 李想; 陈建乐
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2012-08-21
Filing date: 2013-08-19
Publication date: 2018-12-04
Anticipated expiration: 2033-08-19
Also published as: WO2014031544A1; EP2888878A1; CN104620576A; US9319684B2; JP6129969B2; US20140056361A1; JP2015530040A

Abstract

根据某些方面，一种用于对视频数据进行译码的设备包含存储器及与所述存储器通信的处理器。所述存储器存储视频块信息。所述视频块信息包含参考层块信息。所述处理器基于所述视频块信息的参数确定可用以对所述视频块信息进行译码的变换功能。所述处理器可对所述视频块信息进行编码或解码。在所述参数为预定值时所述变换功能可为替代变换，且在所述参数不为所述预定值时所述变换功能可为初等变换。所述替代变换包含以下各者中的一者：离散正弦变换DST、类型‑I DST、类型‑III DST、类型‑IV DST、类型‑VII DST、离散余弦变换DCT、不同类型的DCT及卡‑洛变换KLT。

Description

可缩放视频译码中的替代变换

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称作参考帧。

空间或时间预测导致对块的预测块进行译码。残余数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据来编码。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

某一基于块的视频译码和压缩利用可缩放技术。可缩放视频译码(SVC)指使用基础层和一或多个可缩放增强层的视频译码。对于SVC来说，基础层通常载运具有基础质量水平的视频数据。一或多个增强层载运额外视频数据以支持较高的空间、时间和/或SNR水平。在一些状况下，可以比加强层的发射更可靠的方式来发射基础层。

发明内容

在一个实施例中，提供一种用于对视频信息进行编码或解码的设备。所述设备包括经配置以存储与基础层及增强层相关联的视频信息的存储器单元。所述设备进一步包括操作性地耦合到所述存储器单元的处理器。所述处理器经配置以使用由与视频块信息与相邻视频块信息之间的差相关的阈值确定的变换功能对视频块信息进行编码或解码。

在一个实施例中，经配置以对视频信息进行译码的设备包含存储器及处理器。所述存储器经配置以存储与增强层相关联的视频块信息。处理器操作性地耦合到存储器，且经配置以从存储器检索视频块信息，并对视频信息进行译码，所述处理器经进一步配置以：基于视频块信息的参数确定变换功能；及使用所述所确定的变换功能对视频块信息进行译码。

在另一实施例中，视频块信息的参数包括译码模式。在另一实施例中，译码模式包括帧内基础层(帧内BL)模式或一般化残差预测(GRP)。在另一实施例中，为了确定变换功能，处理器经配置以：确定视频块信息的参数是否为预定值；及响应于确定视频块信息的参数不为预定值，确定变换功能为初等变换；或响应于确定视频块信息的参数为预定值，确定变换功能为替代变换。在另一实施例中，替代变换包含以下各者中的一者：离散正弦变换(DST)、类型-I DST、类型-III DST、类型-IV DST、类型-VII DST、离散余弦变换(DCT)、不同类型的DCT及卡-洛变换(KLT)。在另一实施例中，在以下各者中的一者处用信号发出视频信息的参数：帧层级、切片层级、译码单元层级及变换块单元层级。在另一实施例中，视频信息的参数包括以下各者中的至少一者：辅助信息、译码单元大小、变换单元大小、帧类型、帧大小、量化参数(QP)、时间层信息及经剖析的残差系数信息。在另一实施例中，参数包括来自基础层的信息。在另一实施例中，视频块信息的参数包括与视频块信息与相邻视频块信息之间的差相关的阈值。在另一实施例中，在视频块信息与相邻块信息之间的差降到阈值以下时，变换功能包括基于非余弦的变换。在另一实施例中，在视频块信息与相邻块信息之间的差在阈值以上时，变换功能包括余弦变换。在另一实施例中，处理器经配置以接收使用高阶语法或经编码为旗标的阈值。在另一实施例中，使用二进制化用信号发出所确定的变换。在另一实施例中，二进制化包括以下各者中的至少一者：截断一元码及固定长度码。在另一实施例中，设备包括编码器。在另一实施例中，设备包括解码器。在另一实施例中，设备选自由以下各者中的一或多者组成的群组：桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。

在另一实施例中，一种对视频信息进行编码的方法包含接收与参考层相关联的视频块信息；基于视频块信息的参数确定变换功能；及使用所确定的变换功能对视频块信息进行编码。

在另一实施例中，一种对视频信息进行解码的方法包含接收与参考层相关联的视频块信息；基于视频块信息的参数确定变换功能；及使用所确定的变换功能对视频块信息进行解码。

在另一实施例中，视频译码装置经配置以对视频数据进行解码，且视频译码装置包含：用于基于与参考层相关联的视频块信息的参数确定变换功能的装置；及用于使用所确定的变换功能对视频块信息进行译码的装置。

在又一实施例中，非暂时性计算机可读媒体包含在执行时致使设备进行以下操作的代码：基于与参考层相关联的视频块信息的参数确定变换功能；及使用变换对视频块信息进行译码。

附图说明

图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。

图2为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3为说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。

图4为说明根据本发明的方面的三个不同维度上的可缩放性的框图。

图5为说明根据本发明的方面的SVC位流的实例结构的框图。

图6为说明根据本发明的方面的位流中的实例SVC存取单元的框图。

图7为展示如在帧内BL模式期间所使用的在增强层中的当前块及在对应参考或基础层中的相同位置块的概念图。

图8为说明根据本发明的方面的用于译码例程的方法的实施例的流程图。

具体实施方式

附图说明若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”，等)开始的元件未必暗示所述元件具有特定次序。而是，此些序数词仅用于指相同或类似类型的不同元件。

例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由配置成水平及垂直线的像素构成。单个图像中的像素的数目通常有数万个。每一像素通常含有明度及色度信息。在未压缩的情况下，将从图像编码器传达到图像解码器的信息的数量太过巨大以致其不可能呈现实时图像传输。为了减少待发射的信息的量，已开发出例如JPEG、MPEG及H.263标准等数个不同压缩方法。

本发明中描述的技术通常涉及可缩放视频译码(SVC)及3D视频译码。举例来说，技术可与高效率视频译码(HEVC)可缩放视频译码(SVC)扩展相关，及供所述HEVC SVC扩展使用或在所述HEVC SVC扩展内使用。在SVC扩展中，可存在多个视频信息层。在极底层级处的层可充当基础层(BL)，且在极顶部的层可充当增强型层(EL)。“增强型层”有时被称作“增强层”，且这些术语可互换地使用。所有在中间的层可充当EL或BL，或EL及BL两者。举例来说，在中间的层可为在其下方的层(例如基础层或任何介入增强层)的EL，且同时充当在其上方的增强层的BL。

仅出于说明的目的，用仅包含两个层(例如，例如基础层等较低层级层及例如增强型层或增强层等较高层级层等)的实例描述本发明中所描述的技术。应理解本发明中描述的实例也可扩展到具有多个基础层及增强层的实例。

一般来说，视频译码标准可包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-TH.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其SVC及多视图视频译码(MVC)扩展。近来，新的视频译码标准(即高效率视频译码(HEVC))的设计已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)定案。下文中被称作HEVC WD10的最新HEVC草案说明书可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_ Geneva/wg11/JCTVC-L1003-v34.zip获得。对HEVC WD10的完整引用为文件JCTVC-L1003_v34，布洛斯等人的“高效率视频译码(HEVC)文本说明书草案10”(ITU-T SG16WP3及ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23日)。对HEVC的多视图扩展(即MV-HEVC)也是由JCT-3V开发的。下文中被称作MV-HEVC WD3的最新MV-HEVC草案说明书可从http://phenix.it-sudparis.eu/jct2/ doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zip下载到。被称为SHVC的对HEVC的可缩放扩展也是由JCT-VC开发的。下文中被称作SHVC WD1的SHVC的新近工作草案(WD)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/ JCTVC-L1008-v1.zip获得。

JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化模型。HM假设视频译码装置根据(例如)ITU-TH.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。

可缩放视频译码(SVC)可用以提供质量(也被称作信噪比(SNR))可缩放性、空间可缩放性(例如，分辨率按比例缩放)及/或时间可缩放性(例如，帧率按比例缩放)。举例来说，在一个实施例中，参考层(例如，基础层)包含足以显示在第一质量水平处的视频的视频信息，且增强层包含相对于参考层的额外视频信息以使得参考层及增强层一起包含足以显示在高于第一层级(例如，较少噪声、较大分辨率、较佳帧率等)的第二质量水平处的视频的视频信息。增强层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因数可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能(但不限制)EL的空间分辨率大于BL的空间分辨率。

在H.264的SVC扩展中，可使用针对SVC提供的不同层来执行对当前块的预测。此预测可被称作层间预测。在SVC中可利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残差预测。层间帧内预测使用基础层中的位于同一地点的块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。

在层间残差预测中，基础层的残差可用于预测增强层中的当前块。可将所述残差界定为对视频单元的时间预测与源视频单元之间的差。在残差预测中，还在预测当前块中考虑基础层的残差。举例来说，可使用来自增强层的残差、来自增强层的时间预测及/或来自基础层的残差来重建当前块。可根据以下等式重建当前块：

其中表示当前块的重建，r_e表示来自增强层的残差，P_e表示来自增强层的时间预测，且r_b表示来自基础层的残差预测。

为了使用用于增强层中的宏块(“MB”)的层间残差预测，基础层中的相同位置宏块应为帧间MB，且可根据增强层的空间分辨率对相同位置基础层宏块的残差进行上取样(例如，因为SVC中的层可具有不同空间分辨率)。在层间残差预测中，增强层的残差与经上取样基础层的残差之间的差可在位流中译码。可基于基础层及增强层的量化步长之间的比率来规格化基础层的残差。

H.264的SVC扩展提供用于运动补偿的单循环解码以便维持解码器的低复杂度。一般来说，如下通过添加当前块的时间预测及残差来执行运动补偿：

其中表示当前帧、r表示残差，且P表示时间预测。在单循环解码中，可使用单一运动补偿循环来解码SVC中的每一支持的层。为了实现此，使用受约束的帧内预测来译码用于对较高块进行层间帧内预测的所有块。在受约束的帧内预测中，在不参考来自相邻经帧间译码MB的任何样本的情况下对帧内模式MB进行帧内译码。另一方面，HEVC允许用于SVC的多循环解码，其中可使用多个运动补偿循环来解码SVC层。举例来说，首先充分解码基础层，且随后解码增强层。

等式(1)中制定的残差预测可为H.264SVC扩展中的有效技术。然而，可在HEVCSVC扩展中进一步提高其性能，尤其在多循环解码用于HEVC SVC扩展中时。

在多循环解码的情况下，可使用差域运动补偿来取代残差预测。在SVC中，可使用像素域译码或差域译码来译码增强层。在像素域译码中，对于非SVC HEVC层，可译码用于增强层像素的输入像素。另一方面，在差域译码中，可译码用于增强层的差值。所述差值可为用于增强层的输入像素与对应的经缩放基础层经重建像素之间的差。此些差值可用于对差域运动补偿的运动补偿中。

对于使用差域的帧间译码，基于增强层参考图片中的对应经预测块样本与经缩放基础层参考图片中的对应经预测块样本之间的差值来确定当前经预测块。所述差值可被称为差预测块。将位于同一地点的基础层经重建样本添加到差预测块以便获得增强层经重建样本。

图1为说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述般地进行使用，术语“视频译码器”一般是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码及视频解码。

如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码的视频数据。目的地装置14可对由源装置12产生的经编码的视频数据进行解码。源装置12及目的地装置14可包括广泛范围的装置，包含桌上型计算机、笔记型(例如，膝上型等)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-car computer)或其类似者。在一些实例中，源装置12及目的地装置14可经装备以用于无线通信。

目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，信道16可包括使源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据例如无线通信协定等通信标准调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。所述通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它装备。

在另一实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。在另一实例中，信道16可包含存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网络服务器(例如，用于网站等)、FTP服务器、网络连接存储(NAS)装置，及本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接等)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。

本发明的技术不限于无线应用或设定。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、例如经由因特网的流式传输视频发射(例如，动态自适应HTTP流式传输(DASH)等)、用于存储于数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些状况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，视频摄影机)、含有先前俘获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统等来源，或此些来源的组合。

视频编码器20可经配置以对所俘获的、预先俘获的或计算机生成的视频数据进行编码。可经由源装置12的输出接口22将经编码的视频数据直接发射到目的地装置14。也可将经编码的视频数据存储到存储媒体或文件服务器上以用于稍后由目的地装置14存取以进行解码及/或回放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些状况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由信道16接收经编码视频数据。经编码视频数据可包含由视频编码器20产生的表示所述视频数据的多种语法元素。语法元素可描述块及其它经译码单元(例如GOP)的特性及/或处理。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储文件服务器的经编码视频数据包含在一起。

显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。

尽管图1的实例中未展示，但视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用的话，MUX-DEMUX单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

再次，图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输，或其类似者。编码装置可编码数据且将数据存储到存储器，及/或解码装置可从存储器检索数据且解码数据。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器及/或从存储器检索数据且解码数据的装置执行编码及解码。

视频编码器20及视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可将软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件执行指令从而执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

一般来说，HM的工作模型描述视频帧或图片可以分成包含明度及色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以定义最大译码单元(LCU，依据像素数目来说，其为最大译码单元)的大小。切片包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果一个CU分裂成四个子CU，则对应于CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可以提供相对应的CU的语法数据。举例来说，四叉树中的一个节点可包括一个分裂旗标，这表明对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可以递归地来定义，且可以取决于CU是否分裂成子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16x16大小的CU不进一步分裂，那么这四个8x8子CU将也被称作叶CU，虽然16x16CU从未分裂。

CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以界定树块可以分裂的最大次数，被称作最大CU深度，并且还可界定译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”指代HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块和子块)。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可以是正方形或非正方形(例如，矩形等)形状。

HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可以使用一种被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度等)、运动向量所指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单位(TU)。变换单元可以使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它的子TU。当TU未经进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共享相同的帧内预测模式。也就是说，总体上应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的对应叶TU设在同一位置。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。

此外，叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。

作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分割区的部分由“n”指示，接着是用“上方”、“下方”、“左侧”或“右侧”指示。因而，举例来说，“2NxnU”是指水平地分割的2Nx2NCU，其中上方有2Nx0.5N PU，而下方有2Nx1.5N PU。

在本发明中，“NxN”与“N乘N”可互换使用来根据垂直及水平尺寸指代视频块的像素尺寸，例如，16x16像素或16乘16像素。大体来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。一块中的像素可布置成若干行和若干列。此外，块可能不一定在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可以计算CU的TU的残余数据。PU可包括描述在空间域(还被称作像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。残余数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。

在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。

在量化之后，视频编码器20可以扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列正面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20可对与经编码的视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。

为了执行CABAC，视频编码器20可以向待发射的符号指派上下文模型内的一个上下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。可建构VLC中的码字以使得相对较短代码对应于更有可能的符号，而较长代码对应于不太可能的符号。(例如)与对待发射的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。

视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码相对应的帧的编码/预测模式。

图2为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，模式选择单元40可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

视频编码器20可以执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指若干基于时间的译码模式中的任一者。

如图2所示，视频编码器20接收视频帧内的待编码的当前视频块。在图1的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。对于视频块重建，视频编码器20还包含反量化单元58、反变换单元60，和求和器62。还可包含解块滤波器(图2中未展示)以将块边界滤波，以从经重建的视频移除成块假影。在需要时，解块滤波器通常对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但是必要时，此些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，为了为每一视频数据块选择一种适当的译码模式。

此外，分割单元48可以基于先前译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可以将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化等)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。

模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一者，且将所得的经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据，且提供到求和器62以重建经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的移位。预测块是经发现在像素差方面密切地匹配待译码的块的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可以计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一个识别存储在参考帧存储器64中的一个或多个参考图片。运动估计单元42向熵编码单元56和运动补偿单元44发送计算出的运动向量。

由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。此外，在一些实例中，运动估计单元42与运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44便可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44对于色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。

作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测或计算。确切地说，帧内预测单元46可以确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可以例如在分开的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所述测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率失真值。

在针对一块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可以编码指示选定帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，及对最可能帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可以执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可以基于相邻块。在熵编码单元56的熵译码之后，可以将经编码位流发射到另一装置(例如视频解码器30)，或者将所述视频存档用于稍后发射或检索。

反量化单元58和反变换单元60分别应用反量化和反变换，以重建像素域中的残余块，(例如)以用于稍后用作参考块。运动补偿单元44可以通过将残差块添加到参考帧存储器64的帧中的一者的预测块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建的残余块以计算子整数像素值以用于运动估计。求和器62将经重建的残余块相加到由运动补偿单元44产生的运动补偿预测块以产生经重建视频块用于存储在参考帧存储器64中。经重建的视频块可由运动估计单元42和运动补偿单元44用作用于对后续视频帧中的块进行帧间译码的参考块。

在未图示的另一实施例中，滤波器模块可从求和器62接收经重建视频块。滤波器模块可执行解块操作以减少与CU相关联的视频块中的成块假影。在执行一或多个解块操作之后，滤波器模块可将CU的经重建视频块存储到经解码图片缓冲器中。运动估计单元42及运动补偿单元44可使用含有所述经重建视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元46可使用经解码图片缓冲器中的经重建视频块来对处于与CU同一图片中的其它PU执行帧内预测。因此，在滤波器模块将解块滤波器应用于与边缘相关联的样本之后，可至少部分基于与边缘相关联的样本产生经预测的视频块。视频编码器20可输出包含一或多个语法元素的位流，所述语法元素的值至少部分基于经预测的视频块。

图3为说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元72及/或帧内预测单元74可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82及求和器80。视频解码器30在一些实例中可执行一般与关于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可以接收在视频切片层级和/或视频块层级处的语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号表示的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测块。可以从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可以基于存储在参考帧存储器82中的参考图片使用默认建构技术建构参考帧列表--列表0和列表1。运动补偿单元72通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。

反量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数反量化，例如解量化。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数(QP)Y以确定应应用的量化程度及同样确定应应用的反量化程度。

反变换单元78对变换系数应用反变换(例如，反DCT、反整数变换，或概念上类似的反变换过程)，以便产生像素域中的残余块。

在运动补偿单元72基于运动向量及其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与由运动补偿单元72产生的相对应的预测性块加总来形成经解码视频块。求和器80表示可以执行此求和运算的一或多个组件。如果需要的话，还可应用解块滤波器以对经解码块进行滤波，以便移除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考帧存储器82中，参考帧存储器82存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频用于稍后在显示装置(例如图1的显示装置32)上呈现。

在未图示的另一实施例中，在求和器80重建CU的视频块之后，滤波器模块可执行解块操作以减小与所述CU相关联的成块假影。在滤波器模块执行解块操作以减小与CU相关联的成块假影之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器中。经解码的图片缓冲器可提供参考图片以用于后续运动补偿、帧内预测及在例如图1的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器中的视频块对其它CU的PU执行帧内预测或帧间预测操作。

在典型视频编码器中，将原始视频序列的帧分割成矩形区或块，所述矩形区或块经编码于帧内模式(I模式)或帧间模式(P模式)中。使用例如DCT译码等某一种类的变换译码对块进行译码。然而，基于纯变换的译码可仅减少特定块内的像素间相关，而不考虑像素的块间相关，且仍可产生用于发射的高位速率。当前数字图像译码标准还可采用减少块之间的像素值的相关的某些方法。

一般来说，从经先前译码的帧及发射的帧中的一者中预测在P模式中编码的块。块的预测信息可由二维(2D)运动向量表示。对于在I模式中编码的块，经预测的块使用从相同帧内的已经编码的相邻块的空间预测而形成。预测误差(例如，正被编码的块与经预测的块之间的差)可表示为某一离散变换的一组加权基底函数。预测误差也可被称作残余数据。通常在8x8或4x4块的基础上执行变换。随后量化权重(例如，变换系数)。量化引入信息的损耗，且因此经量化系数具有比原始精度低的精度。

经量化变换系数与运动向量及一些控制信息一起可形成完整的经译码序列表示，且被称作语法元素。在从编码器发射到解码器之前，可对所有语法元素进行熵译码以便进一步减少其表示所需要的位数。

在解码器中，可通过首先以与在编码器中相同的方式建构块的预测及通过将经压缩预测误差添加到预测来获得当前帧中的块。可通过使用经量化系数对变换基底函数进行加权而发现经压缩预测误差。经重建帧与原始帧之间的差可被称作重建误差。

在H.264/AVC中，将视频帧或切片分割成大小为16x16的正方形块以用于编码及解码。此些块被称作宏块。在当前高效率视频译码(HEVC)中，将视频帧或切片分割成可变大小的正方形块以用于编码及解码。在HEVC中，此些块可被称作译码单元或CU。举例来说，CU的大小可为64x64、32x32、16x16或8x8。不同于宏块，可将较大大小的CU分裂成数个较小大小的CU。非分裂CU及宏块在其概念及功能性方面彼此类似。

一旦确定宏块或非分裂CU，便可将块进一步分裂成数个分割区以用于预测。在HEVC中，此分割区也可被称作预测单元或PU。

可缩放视频译码

在图4中展示了在不同维度上的可缩放性的实例。在实例中，在三个维度上启用可缩放性。在时间维度上，可通过时间可缩放性(T)支持具有7.5Hz、15Hz或30Hz的帧率。当支持空间可缩放性(S)时，可启用不同分辨率(例如QCIF、CIF及4CIF)。对于每一特定空间分辨率及帧率，可添加SNR(Q)层以提高图片质量。一旦已以此可缩放方式编码视频内容，便可使用提取器工具来根据应用要求调适实际递送的内容，所述应用要求可取决于(例如)客户端或传输信道。在图4中展示的实例中，每一立方体含有具有相同帧率(时间层级)、空间分辨率及SNR层的图片。可通过在任何维度上添加那些立方体(图片)来实现更好的表示。当启用两个、三个或甚至更多可缩放性时，支持组合的可缩放性。

根据一个SVC实施方案，具有最低空间及质量层的图片与H.264/AVC兼容。在最低时间层级处的图片形成时间基础层，所述时间基础层可通过在较高时间层级处的图片来增强。除H.264/AVC兼容层之外，可添加若干空间及/或SNR增强层以提供空间及/或质量可缩放性。SNR可缩放性还被称作质量可缩放性。每一空间或SNR增强层自身可为时间上可缩放的，具有与H.264/AVC兼容层相同的时间可缩放性结构。对于一个空间或SNR增强层，其所取决于的较低层还被称作所述特定空间或SNR增强层的基础层。

在图5中展示SVC译码结构的实例。具有最低空间及质量层的图片(层0及层1的具有QCIF分辨率的图片)与H.264/AVC兼容。其中，最低时间层级的那些图片形成时间基础层，如图5的层0中所展示。此时间基础层(层0)可使用较高时间层级(层1)的图片来增强。除H.264/AVC兼容层之外，可添加若干空间及/或SNR增强层以提供空间及/或质量可缩放性。举例来说，增强层可为具有与层2相同的分辨率的CIF表示。在此实例中，层3是SNR增强层。如所述实例中所展示，每一空间或SNR增强层自身可为在时间上可缩放的，具有与H.264/AVC兼容层相同的时间可缩放性结构。而且，增强层可增强空间分辨率及帧率两者。举例来说，层4提供4CIF增强层，其进一步将帧率从15Hz增加到30Hz。

如图6中所展示，相同时间实例中的经译码切片在位流次序上是连续的，且在SVC的情况下形成一个存取单元。那些SVC存取单元接着遵循解码次序，所述解码次序可不同于显示次序且(例如)是由时间预测关系来决定。

在可缩放译码中，存在用于增强层的特殊译码模式，其被称作“帧内BL模式”。在帧内BL模式中，使用基础层中的对应块的纹理来预测块中的纹理。图7中说明实例。如果增强图像具有比基础层图像大的大小，那么基础层中的块可需要上取样。可对预测误差(其被称作残差)进行变换、量化及熵编码。

一般化残差预测(“GRP”)为用于可缩放视频译码的帧间模式，其中加权因子用以重建当前图片。在一个实施例中，GRP可表达为：

其中表示当前层中的当前帧的重建，P_c表示来自相同层的时间预测，r_r指示来自参考层的残差预测，且w为需要在位流中进行译码或基于经先前译码信息导出的加权因数。应注意可在单循环解码及多循环解码两者的状况下应用此架构。

在多循环解码的情境下，GRP可进一步描绘为

其中P_r指示用于参考层中的当前图片的时间预测，表示参考层中的当前图片的完全重建。

在视频译码期间，对残基进行变换。通常，离散余弦变换(“DCT”)用以执行所述变换。然而，帧内BL块及GRP块残基的特性可不同于其它块类型。因此，DCT可能并非在译码效率方面的最佳选择。根据某些实施例，使用用于帧内BL块译码及GRP块译码的替代变换为合乎需要的，如下文所进一步详述。

替代变换

在例如图2的视频编码器20等视频编码器或例如图3的视频解码器30等视频解码器中，大多数块译码模式中可使用初等变换。举例来说，对于常规经帧间译码块(无论运动向量值、预测方向、单向预测或双向预测)及无损译码模式，初等变换DCT用以对残基进行编码。根据这一实施例，不同于初等变换的变换(例如，替代变换，例如本文中所描述的替代变换中的一者)可用于帧内BL块译码及GRP块译码。

离散正弦变换

用于帧内BL块及GRP块的一个替代变换可为离散正弦变换(DST)。存在不同类型的DST变换。在一个实例中，类型-I DST可用于帧内BL模式。在另一实例中，类型-IIIDST可用于帧内BL模式及GRP模式。在又另一实例中，类型-VII DST(其用于HEVC帧内预测)也可以用于帧内BL。在又另一实例中，类型-IV DST也可以用于帧内BL。

下文为这些实例DST变换中的一些的公式：

类型-I(N-点)：

类型-II(N-点)：

类型-III(N-点)：

用于帧内BL的变换可为上文标准DST的变化。举例来说，所使用的变换可为DST的整数版本，因此可移除来自浮点实施方案的可能失配。

自适应变换

在此实施例中，帧内BL可使用DCT、不同类型的DCT、DST、不同类型的DST、KLT或一些其它变换。用于帧内BL模式及GRP块的变换的选择可为自适应的。

举例来说，在一些实施例中，选择可为预定义的，且由视频编码器20及视频解码器30两者已知，或选择可为用户定义的，且被用信号发出到解码器。信号可在帧层级、切片层级、CU层级或TU层级处。在一个实例中，在CU层级处发射旗标。如果旗标＝1，那么DST用于此CU中的所有变换。如果旗标＝0，那么DCT用于此CU中的所有变换。在另一实例中，仅对于某些CU模式发射旗标。举例来说，仅对于经编码为具有非零加权的帧内BL模式或GRP模式的CU，对于所述CU发射旗标。在又另一实例中，仅对于某些CU大小发射此旗标。举例来说，仅对于具有大于阈值的大小的CU发射所述旗标。在又另一实例中，仅对于具有某些CU大小的某些CU模式发射此旗标。举例来说，仅对于帧内BL CU或GRP CU发射所述旗标，其中大小>＝NxN。在又另一实例中，对于CU发射此旗标，但其仅选择用于大于此CU中的阈值的TU大小的变换。对于小于此阈值的CU，总是使用DST或DCT。

可基于辅助信息(如CU大小、TU大小、帧类型、帧大小、QP、时间层信息、经剖析的残差系数信息(例如，最后非零系数的位置、非零系数的数目、系数的振幅等))自适应地确定变换选择(包含应用的模式及上文所描述的阈值大小)。

选择也可以基于来自基础层的信息或来自增强层及基础层两者的信息。举例来说，选择可基于增强层的QP及/或基础层的QP，及/或增强层的QP与基础层的QP之间的差(或比率)。类似地，选择可基于增强层及基础层的帧大小/速率。

选择也可以基于基础层中的对应块，Blk_BL。举例来说，选择可基于Blk_BL的像素特性。像素特性可为(例如)纹理的方向、像素的振幅、像素值的平均值、像素值的方差及Blk_BL的梯度方向/值。选择也可以基于Blk_BL的译码模式，例如Blk_BL是否为帧内、帧间或跳过模式、帧内预测等。选择也可以通过测试Blk_BL上的不同变换及选择给出在Blk_BL处的最佳性能(例如，最佳能量压缩特性)的变换来导出。

额外块模式

在一些实施例中，上文所描述的帧内BL变换方法可扩展到其它块模式，包括(但不限于)一般化残差预测模式。

相邻区

在一个实施例中，译码器(例如，视频编码器20和/或视频解码器30)确定在增强层处的变换块BLK_EL及在基础层处的对应块BLK_BL(例如，位于基础层内的相同或按比例缩放位置处的相同位置块)。Neigh_EL可定义BLK_EL的相邻区，且Neigh_BL可定义BLK_BL的对应相邻区。用于BLK_EL的变换的选择是基于Neigh_EL及Neigh_BL。举例来说，如果Neigh_EL与Neigh_BL之间的DC的差大于阈值，那么可使用DCT，否则可使用DST。阈值可使用高阶语法进行发射或在辅助信息上可为自适应的，如本文中的一些其它实施例中所描述。在另一实施例中，变换选择可经编码为旗标(例如，使用CABAC译码)，且上下文索引可基于Neigh_EL及Neigh_BL自适应地确定。下文描述一个实施方案的详细实例。

基于层级的选择

在另一实施例中，可在TU层级(变换块层级)处选择变换。对于使用适当预测模式的每一TU，如果存在任何残差，那么可用信号发出所选择的变换。对于每一变换大小可选择若干变换。在一个实例中，每一变换大小具有相同数目个可能变换。在另一实例中，仅明度块使用变换选择。在另一实例中，具有不同大小的块使用不同数目个变换。举例来说，较大块可使用4或8个变换，因为大块的发信号的不利较少。另一方面，较小块(例如，4x4)使用2个可能变换或仅1个可能变换，因此对于此大小发信号是不必要的。TU层级的以上变换选择方法也可以适用于CU层级。

在另一实例中，仅对具有给定大小(及不同于0的残差)的CU的第一变换执行发信号。随后，假设具有所述大小的CU中的剩余TU使用相同类型的变换。以此方式，TU中的每一变换大小可使用其类型的变换，且使发信号降低到CU与TU层级之间的粒度。

二进制化

在一些实施例中，可使用多种二进制化用信号发出选择。在一个实例中，可使用截断一元码。在另一实例中，可使用固定长度码。在另一实例中，假定最可能的变换。举例来说，第一旗标用信号发出所选择的变换是否为最可能的变换。如果旗标为0，那么其意味着将使用另一变换，且进一步发信号可指示将使用的变换的数目(通常，使用例如一元或固定长度等其它二进制化方法中的一者)。举例来说，如果五个变换是可能的，那么第一旗标可指示变换是否为最可能的变换(例如，类型III的DST)。如果不是，那么两个其它二进位可用信号发出使用剩余四个变换中的哪一者。另外，译码器可假设存在一个以上最可能的变换，例如在用于帧内预测的最可能模式(MPM)的状况下。在此状况下，将二进制化划分成两个部分。第二部分可使用上下文(CABAC)，或如果需要较高输送量，那么其可使用旁路模式(其比常规CABAC模式更快)来译码。

如果CABAC用以对二进位进行译码，那么可将上下文指派给每一二进位。上下文选择取决于TU大小或深度、CU大小或深度及/或二进制化的二进位。另外，如果二进制化具有固定长度，那么所选择的上下文可取决于所选择的变换的数目的二进制化的经先前译码二进位的值。

可对某些块大小执行发信号。举例来说，在4x4层级处发信号的成本可能很高；因此，变换选择可适用于大于4x4的变换。

变换实例

在此实例中，如下使用类型3DST变换的变化：

4x4变换

8x8变换

16x16变换

32x32变换

const short g_aiS32[32][32]＝

{

{4,9,13,18,22,26,30,35,39,43,47,50,54,57,61,64,67,70,73,75,78,80,82,84,85,87,88,89,90,90,90,64},

{13,26,39,50,61,70,78,84,88,90,90,89,85,80,73,64,54,43,30,18,4,-9,-22,-35,-47,-57,

-67,-75,-82,-87,-90,-64},

{22,43,61,75,85,90,90,84,73,57,39,18,-4,-26,-47,-64,-78,-87,-90,-89,-82,-70,-54,-35,-13,9,30,50,67,80,88,64},

{30,57,78,89,90,80,61,35,4,-26,-54,-75,-88,-90,-82,-64,-39,-9,22,50,73,87,90,84,67,43,13,-18,-47,-70,-85,-64},

{39,70,88,89,73,43,4,-35,-67,-87,-90,-75,-47,-9,30,64,85,90,78,50,13,-26,-61,-84,-90,-80,-54,-18,22,57,82,64},

{47,80,90,75,39,-9,-54,-84,-90,-70,-30,18,61,87,88,64,22,-26,-67,-89,-85,-57,-13,35,73,90,82,50,4,-43,-78,-64},

{54,87,85,50,-4,-57,-88,-84,-47,9,61,89,82,43,-13,-64,-90,-80,-39,18,67,90,78,35,-22,-70,-90,-75,-30,26,73,64},

{61,90,73,18,-47,-87,-82,-35,30,80,88,50,-13,-70,-90,-64,-4,57,90,75,22,-43,-85,-84,-39,26,78,89,54,-9,-67,-64},

{67,90,54,-18,-78,-87,-39,35,85,80,22,-50,-90,-70,-4,64,90,57,-13,-75,-88,-43,30,84,82,26,-47,-89,-73,-9,61,64},

{73,87,30,-50,-90,-57,22,84,78,9,-67,-89,-39,43,90,64,-13,-80,-82,-18,61,90,47,-35,-88,-70,4,75,85,26,-54,-64},

{78,80,4,-75,-82,-9,73,84,13,-70,-85,-18,67,87,22,-64,-88,-26,61,89,30,-57,-90,-35,54,90,39,-50,-90,-43,47,64},

{82,70,-22,-89,-54,43,90,35,-61,-87,-13,75,78,-9,-85,-64,30,90,47,-50,-90,-26,67,84,4,-80,-73,18,88,57,-39,-64},

{85,57,-47,-89,-13,80,67,-35,-90,-26,73,75,-22,-90,-39,64,82,-9,-88,-50,54,87,4,-84,-61,43,90,18,-78,-70,30,64},

{88,43,-67,-75,30,90,13,-84,-54,57,82,-18,-90,-26,78,64,-47,-87,4,89,39,-70,-73,35,90,9,-85,-50,61,80,-22,-64},

{90,26,-82,-50,67,70,-47,-84,22,90,4,-89,-30,80,54,-64,-73,43,85,-18,-90,-9,88,35,-78,-57,61,75,-39,-87,13,64},

{90,9,-90,-18,88,26,-85,-35,82,43,-78,-50,73,57,-67,-64,61,70,-54,-75,47,80,-39,-84,30,87,-22,-89,13,90,-4,-64},

{90,-9,-90,18,88,-26,-85,35,82,-43,-78,50,73,-57,-67,64,61,-70,-54,75,47,-80,-39,84,30,-87,-22,89,13,-90,-4,64},

{90,-26,-82,50,67,-70,-47,84,22,-90,4,89,-30,-80,54,64,-73,-43,85,18,-90,9,88,-35,-78,57,61,-75,-39,87,13,-64},

{88,-43,-67,75,30,-90,13,84,-54,-57,82,18,-90,26,78,-64,-47,87,4,-89,39,70,-73,-35,90,-9,-85,50,61,-80,-22,64},

{85,-57,-47,89,-13,-80,67,35,-90,26,73,-75,-22,90,-39,-64,82,9,-88,50,54,-87,4,84,-61,-43,90,-18,-78,70,30,-64},

{82,-70,-22,89,-54,-43,90,-35,-61,87,-13,-75,78,9,-85,64,30,-90,47,50,-90,26,67,-84,4,80,-73,-18,88,-57,-39,64},

{78,-80,4,75,-82,9,73,-84,13,70,-85,18,67,-87,22,64,-88,26,61,-89,30,57,-90,35,54,-90,39,50,-90,43,47,-64},

{73,-87,30,50,-90,57,22,-84,78,-9,-67,89,-39,-43,90,-64,-13,80,-82,18,61,-90,47,35,-88,70,4,-75,85,-26,-54,64},

{67,-90,54,18,-78,87,-39,-35,85,-80,22,50,-90,70,-4,-64,90,-57,-13,75,-88,43,30,-84,82,-26,-47,89,-73,9,61,-64},

{61,-90,73,-18,-47,87,-82,35,30,-80,88,-50,-13,70,-90,64,-4,-57,90,-75,22,43,-85,84,-39,-26,78,-89,54,9,-67,64},

{54,-87,85,-50,-4,57,-88,84,-47,-9,61,-89,82,-43,-13,64,-90,80,-39,-18,67,-90,78,-35,-22,70,-90,75,-30,-26,73,-64},

{47,-80,90,-75,39,9,-54,84,-90,70,-30,-18,61,-87,88,-64,22,26,-67,89,-85,57,-13,-35,73,-90,82,-50,4,43,-78,64},

{39,-70,88,-89,73,-43,4,35,-67,87,-90,75,-47,9,30,-64,85,-90,78,-50,13,26,-61,84,-90,80,-54,18,22,-57,82,-64},

{30,-57,78,-89,90,-80,61,-35,4,26,-54,75,-88,90,-82,64,-39,9,22,-50,73,-87,90,-84,67,-43,13,18,-47,70,-85,64},

{22,-43,61,-75,85,-90,90,-84,73,-57,39,-18,-4,26,-47,64,-78,87,-90,89,-82,70,-54,35,-13,-9,30,-50,67,-80,88,-64},

{13,-26,39,-50,61,-70,78,-84,88,-90,90,-89,85,-80,73,-64,54,-43,30,-18,4,9,-22,35,-47,57,-67,75,-82,87,-90,64},

{4,-9,13,-18,22,-26,30,-35,39,-43,47,-50,54,-57,61,-64,67,-70,73,-75,78,-80,82,-84,85,-87,88,-89,90,-90,90,-64}}；

在此实例中，上文DST变换可适用于帧内BL模式及GRP模式。对于帧内BL模式，DST可适用于所有变换大小。举例来说，在HEVC中，允许4x4、8x8、16x16及32x32变换，且DST也可适用于4x4、8x8、16x16、32x32变换大小。对于GRP模式，DST仅适用于所选择的变换大小，例如4x4、8x8及16x16变换。此外，可仅在基础层图像具有在用于一般化残差预测模式的预测中的最高权重时应用DST。在一个HEVC SVC扩展编解码器中，对于GRP存在三个不同权重设定：权重索引＝0、1或2。在此状况下，DST可仅适用于权重索引＝2。

此外，在此实例中，可基于增强层与基础层之间的QP差选择性地停用DST。举例来说，使QPBL为基础层图像的QP，且QPEL为增强层图像的QP。如果QPBL-QPEL>＝QP_Th，那么使用DCT。否则，如果满足较早(上文)定义的其它条件(帧内BL模式、变换大小)，那么可使用DST。在此实例中，将QP_th设定为6，作为视频编码器20及视频解码器30两者的背景(例如，初始)知识。对于不同模式，QP值可能不同，且还可使用某一高阶语法显式地发射。

下文为其中显式地用信号发出DST及DCT的选择的另一详细实例。

在此实例中，对于具有大于NxN的大小的每一帧内BL CU，发射旗标。如果旗标＝1，那么使用DST。如果旗标＝0，那么使用DCT。对于具有其它大小的帧内BL CU，总是使用DST。使用CABAC对旗标进行编码，且CABAC上下文索引＝CU深度。类似地，对于每一GRP CU，发射旗标以指示DST还是DCT用于此CU的残基。对于所有GRP CU或具有非零加权的GRP CU可用信号发出旗标。在用CABAC对旗标进行译码时，经先前译码CU信息可用作上下文。例如CU深度等当前CU的信息也可用作旗标的上下文。在CU深度被用作上下文时，上下文可用于帧内BLCU及GRP CU两者的变换旗标。或者，不同上下文可用于帧内BL CU及GRP CU。

此外，例如DCT、DST及基于训练的KLT等两个以上变换可用于例如帧内BL CU及GRPCU等CU。在此状况下，在CU层级处发射变换索引。对于每一CU可发射索引，或对于具有某些类型的CU有条件地发射所述索引。一般来说，可在序列层级、图片层级、切片层级或其它层级处启用或停用此特征(自适应变换)。在停用所述特征时，仅初等变换用于所有CU。

图8为说明视频译码的方法的一个实施例的流程图。所述方法可由编码器(例如，图2的视频编码器20)或解码器(例如，图3的视频解码器30)或上文关于图1到3所描述的装置中的任一者实施。方法800开始于框802。在框804处，确定视频信息的块的类型。举例来说，可确定用以对块进行译码的译码的类型。在一些实施例中，视频信息的块的类型是指增强层中的块的相邻区。视频信息的块的类型还可以指基础(或参考)层中的对应块的相邻区。在框806处，方法800确定块类型是否为预定类型。举例来说，其可确定块类型是帧内BL还是GRP块译码。

如果块类型不为预定类型，那么方法800前进到框808。如果块类型为预定类型，那么方法800前进到框810。在框808处，使用初等变换对视频信息进行译码。举例来说，可使用DCT对视频信息进行译码。在框810处，使用替代变换对视频信息进行译码。举例来说，可使用DST、DST类型(例如，类型-I DST、类型-III DST、类型-IV DST、类型-VII DST)、DCT、不同类型的DCT、KLT等对视频信息进行译码。在一些实施例中，在框810处，方法使用自适应变换技术，例如上文所论述的自适应技术中的任一者。

在一些实施例中，额外信息包含在视频信息位流或其它信号中译码的旗标。信号可在帧层级、切片层级、CU层级、TU层级或其它层级处出现。在一些实施例中，额外信息包含辅助信息，例如CU大小、TU大小、帧类型、帧大小、量化参数(QP)、时间层信息、经剖析的残差系数信息等。在一些实施例中，额外信息包含来自基础层或增强层及基础层两者的信息，如上文所论述。在框812处，视频译码方法结束。

可使用多种不同技术及技艺中的任一者来表示本文中所揭示的信息及信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。

结合本文中所揭示的配置而描述的各种说明性逻辑块、模块、电路和算法步骤可被实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但所述实施方案决定不应被解释为会导致脱离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为模块或组件的任何特征可共同实施于集成的逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传达程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。

程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在某些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(CODEC)中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可以在广泛多种装置或设备中实施，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

下文参考附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中阐述的任何数目的方面来实施一设备或实践一方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提到了优选方面的一些益处和优点，但本发明的范围不意在限于特定益处、用途或目的。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是作为实例而在图中以及在优选实施例的以下描述中得以说明。详细描述和图式仅说明本发明，而不是限制由所附权利要求书及其等效者界定的本发明的范围。

已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims

1.一种经配置以对视频信息进行译码的设备，所述设备包括：

存储器，其经配置以存储与参考层及增强层相关联的视频信息；及

处理器，其操作性地耦合到所述存储器且经配置以：

从所述存储器检索所述视频信息；

确定与所述增强层中的增强层EL块相关联的译码模式；

确定与所述EL块相关联的所述译码模式是否为多个EL译码模式当中的译码模式的预定集合中的一者；及

基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定，使用离散正弦变换对所述EL块进行译码。

2.根据权利要求1所述的设备，其中译码模式的所述预定集合包含帧内BL模式或一般化残差预测GRP模式中的至少一者。

3.根据权利要求2所述的设备，其中所述处理器经进一步配置以基于与所述EL块相关联的所述译码模式为所述GRP模式的确定，使用所述增强层中的时间预测子及所述参考层中的相同位置参考层块的残差对所述EL块进行译码。

4.根据权利要求1所述的设备，其中所述处理器经进一步配置以基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定，使用替代变换对所述EL块进行译码。

5.根据权利要求1所述的设备，其中所述离散正弦变换包括以下各者中的一者：类型-IDST、类型-III DST、类型-IV DST或类型-VII DST。

6.根据权利要求1所述的设备，其中在以下各者中的一者处用信号发出译码模式的所述预定集合中的至少一者：帧层级、切片层级、译码单元层级或变换单元层级。

7.根据权利要求1所述的设备，其中所述处理器经进一步配置以基于以下各者中的至少一者确定是否使用所述离散正弦变换对所述EL块进行译码：辅助信息、译码单元大小、变换单元大小、帧类型、帧大小、量化参数QP、时间层信息或经剖析的残差系数信息。

8.根据权利要求1所述的设备，其中所述处理器经进一步配置以基于来自所述参考层的信息确定是否使用所述离散正弦变换对所述EL块进行译码。

9.根据权利要求1所述的设备，其中所述处理器经进一步配置以基于与所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差相关的阈值确定是否使用所述离散正弦变换对所述EL块进行译码。

10.根据权利要求1所述的设备，其中在所述处理器确定与所述EL块相关联的所述译码模式不为译码模式的所述预定集合中的一者时，所述处理器经进一步配置以在所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差降到阈值以下时，使用基于非余弦的变换对所述EL块进行译码。

11.根据权利要求1所述的设备，其中在所述处理器确定与所述EL块相关联的所述译码模式不为译码模式的所述预定集合中的一者时，所述处理器经进一步配置以在所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差超过阈值时，使用余弦变换对所述EL块进行译码。

12.根据权利要求9所述的设备，其中所述处理器经配置以接收或发射使用高阶语法或旗标的所述阈值。

13.根据权利要求1所述的设备，其中使用二进制化用信号发出所述离散正弦变换。

14.根据权利要求13所述的设备，其中所述二进制化包括以下各者中的至少一者：截断一元码或固定长度码。

15.根据权利要求1所述的设备，其中所述设备包括编码器。

16.根据权利要求1所述的设备，其中所述设备包括解码器。

17.根据权利要求1所述的设备，其中所述设备选自由以下各者中的一或多者组成的群组：桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。

18.一种对视频信息进行编码的方法，所述方法包括：

接收与参考层及增强层相关联的视频信息；

确定与所述增强层中的增强层EL块相关联的译码模式；

基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定，使用离散正弦变换对所述EL块进行编码。

19.根据权利要求18所述的方法，其中译码模式的所述预定集合包含帧内BL模式或一般化残差预测GRP模式中的至少一者。

20.根据权利要求19所述的方法，其进一步包括基于与所述EL块相关联的所述译码模式为所述GRP模式的确定，使用所述增强层中的时间预测子及所述参考层中的相同位置参考层块的残差对所述EL块进行编码。

21.根据权利要求18所述的方法，其进一步包括基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定，使用替代变换对所述EL块进行编码。

22.根据权利要求19所述的方法，其中所述离散正弦变换包括以下各者中的一者：类型-I DST、类型-III DST、类型-IV DST或类型-VII DST。

23.根据权利要求18所述的方法，其进一步包括在以下各者中的一者处用信号发出译码模式的所述预定集合中的至少一者：帧层级、切片层级、译码单元层级或变换单元层级。

24.根据权利要求18所述的方法，其进一步包括基于以下各者中的至少一者确定是否使用所述离散正弦变换对所述EL块进行编码：辅助信息、译码单元大小、变换单元大小、帧类型、帧大小、量化参数QP、时间层信息或经剖析的残差系数信息。

25.根据权利要求18所述的方法，其进一步包括基于来自所述参考层的信息确定是否使用所述离散正弦变换对所述EL块进行编码。

26.根据权利要求18所述的方法，其进一步包括基于与所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差相关的阈值确定是否使用所述离散正弦变换对所述EL块进行编码。

27.根据权利要求18所述的方法，其进一步包括基于与所述EL块相关联的所述译码模式不为译码模式的所述预定集合中的一者的确定，在所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差降到阈值以下时，使用基于非余弦的变换对所述EL块进行编码。

28.根据权利要求18所述的方法，其进一步包括基于与所述EL块相关联的所述译码模式不为译码模式的所述预定集合中的一者的确定，在所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差超过阈值时使用余弦变换对所述EL块进行编码。

29.根据权利要求26所述的方法，其进一步包括传达使用高阶语法或旗标的所述阈值。

30.根据权利要求18所述的方法，其中使用二进制化用信号发出所述离散正弦变换。

31.根据权利要求30所述的方法，其中所述二进制化包括以下各者中的至少一者：截断一元码或固定长度码。

32.一种对视频信息进行解码的方法，所述方法包括：

接收与参考层及增强层相关联的视频信息；

确定与所述增强层中的增强层EL块相关联的译码模式；

基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定，使用离散正弦变换对所述EL块进行解码。

33.根据权利要求32所述的方法，其中译码模式的所述预定集合包含帧内BL模式或一般化残差预测GRP模式中的至少一者。

34.根据权利要求33所述的方法，其进一步包括基于与所述EL块相关联的所述译码模式为所述GRP模式的确定，使用所述增强层中的时间预测子及所述参考层中的相同位置参考层块的残差对所述EL块进行解码。

35.根据权利要求32所述的方法，其进一步包括基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定，使用替代变换对所述EL块进行解码。

36.根据权利要求35所述的方法，其中所述离散正弦变换包括以下各者中的一者：类型-I DST、类型-III DST、类型-IV DST或类型-VII DST。

37.根据权利要求32所述的方法，其进一步包括在以下各者中的一者处接收译码模式的所述预定集合中的至少一者：帧层级、切片层级、译码单元层级或变换单元层级。

38.根据权利要求32所述的方法，其进一步包括基于以下各者中的至少一者确定是否使用所述离散正弦变换对所述EL块进行解码：辅助信息、译码单元大小、变换单元大小、帧类型、帧大小、量化参数QP、时间层信息或经剖析的残差系数信息。

39.根据权利要求32所述的方法，其进一步包括基于来自所述参考层的信息确定是否使用所述离散正弦变换对所述EL块进行解码。

40.根据权利要求32所述的方法，其进一步包括基于与所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差相关的阈值确定是否使用所述离散正弦变换对所述EL块进行解码。

41.根据权利要求32所述的方法，其进一步包括基于与所述EL块相关联的所述译码模式不为译码模式的所述预定集合中的一者的确定，在所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差降到阈值以下时，使用基于非余弦的变换对所述EL块进行解码。

42.根据权利要求32所述的方法，其进一步包括基于与所述EL块相关联的所述译码模式不为译码模式的所述预定集合中的一者的确定，在所述EL块与在所述增强层中的与所述EL块相邻的相邻块之间的差超过阈值时使用余弦变换对所述EL块进行解码。

43.根据权利要求40所述的方法，其进一步包括接收作为高阶语法或旗标的所述阈值。

44.根据权利要求32所述的方法，其中使用二进制化用信号发出所述离散正弦变换。

45.根据权利要求44所述的方法，其中所述二进制化包括以下各者中的至少一者：截断一元码或固定长度码。

46.一种经配置以对视频信息进行译码的视频译码装置，所述视频译码装置包括：

用于接收与参考层及增强层相关联的视频信息的装置；

用于确定与所述增强层中的增强层EL块相关联的译码模式的装置；

用于确定与所述EL块相关联的所述译码模式是否为多个EL译码模式当中的译码模式的预定集合中的一者的装置；及

用于基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定使用离散正弦变换对所述EL块进行译码的装置。

47.根据权利要求46所述的视频译码装置，其中译码模式的所述预定集合包含帧内BL模式或一般化残差预测GRP译码模式中的至少一者。

48.根据权利要求46所述的视频译码装置，其进一步包括用于基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定使用替代变换对所述EL块进行译码的装置。

49.根据权利要求48所述的视频译码装置，其中所述离散正弦变换包括以下各者中的一者：类型-I DST、类型-III DST、类型-IV DST或类型-VII DST。

50.一种非暂时性计算机可读媒体，其包括在被执行时致使设备进行以下操作的代码：

接收与参考层及增强层相关联的视频信息；

确定与所述增强层中的增强层EL块相关联的译码模式；

51.根据权利要求50所述的非暂时性计算机可读媒体，其中所述代码进一步致使所述设备基于与所述EL块相关联的所述译码模式为译码模式的所述预定集合中的一者的确定，使用替代变换对所述EL块进行译码。

52.根据权利要求51所述的非暂时性计算机可读媒体，其中所述离散正弦变换包括以下各者中的一者：类型-I DST、类型-III DST、类型-IV DST或类型-VII DST。

53.根据权利要求50所述的非暂时性计算机可读媒体，其中使用二进制化用信号发出所述离散正弦变换。