CN103891279A - 用于帧内预测译码的最大概率变换 - Google Patents

Abstract

一种视频译码器可经配置以：确定视频数据块的帧内译码模式；基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换；以及对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。所述最大概率变换可为非正方形变换。

Description

用于帧内预测译码的最大概率变换

本申请案主张2011年10月11日申请的第61／545,901号美国临时申请案的优先权，所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码，且更特定来说，涉及用于经译码视频数据的译码特性的信令。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264／MPEG-4第10部分高级视频译码(AVC)定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术，以更有效地发射和接收数字视频信息。

视频压缩技术执行空间预测和／或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干视频块。可进一步分割每一视频块。使用关于相邻视频块的空间预测来编码经帧内译码的(I)帧或切片中的视频块。经帧间译码的(P或B)帧或切片中的视频块可使用关于同一帧或切片中的相邻宏块或译码单元的空间预测或关于其它参考帧的时间预测。

发明内容

本发明描述用于在经编码视频位流中用信号通知视频数据块的选定变换大小的技术。根据本发明的技术，可基于所述块的帧内预测模式来确定最大概率变换。所述最大概率变换可为正方形变换或非正方形变换。第一语法元素可用信号通知所述所确定的最大概率变换是否为用于对所述变换块进行译码的实际变换大小。如果所述实际变换是所述最大概率变换，那么在所述经编码位流中不需要用信号通知其它语法元素。如果所述实际变换不是所述最大概率变换，那么额外的语法元素可用信号通知哪一变换(除了所述最大概率变换之外)是用于对所述块进行译码的所述实际变换。

在一个实例中，一种对视频数据进行译码的方法包含：确定视频数据块的帧内译码模式；基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换，其中所述最大概率变换是非正方形变换；以及对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。

在另一实例中，一种视频译码装置包含视频译码器，所述视频译码器经配置以：确定视频数据块的帧内译码模式；基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换，其中所述最大概率变换是非正方形变换；以及对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。

在另一实例中，一种用于视频译码的装置包含：用于确定视频数据块的帧内译码模式的装置；用于基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换的装置，其中所述最大概率变换是非正方形变换；以及用于对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码的装置。

在另一实例中，一种计算机可读存储媒体存储指令，所述指令可操作以致使一个或一个以上处理器：确定视频数据块的帧内译码模式；基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换，其中所述最大概率变换是非正方形变换；以及对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。

一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。

附图说明

图1为说明可利用本发明中所描述的技术的实例性视频编码及解码系统的框图。

图2A和2B是说明应用于最大译码单元(LCU)的四叉树分割的实例的概念图。

图3是说明四叉树分割的实例的概念图。

图4A和4B是四叉树变换单元分区的概念图。

图5A和5B是非正方形变换单元分区的概念图。

图6是说明可实施本发明中所描述的技术的视频编码器的实例的框图。

图7展示帧内预测模式和方向的实例。

图8是说明对经编码视频序列进行解码的视频解码器的实例的框图。

图9是说明根据本发明的技术的用于用信号通知变换的实例性方法的流程图。

具体实施方式

视频译码器通过利用空间和时间冗余来压缩视频数据。举例来说，视频译码器可通过相对于同一图片的先前经译码相邻块来预测当前块而利用空间冗余。相对于同一图片的先前经译码相邻块来预测当前块有时被称作帧内预测或帧内模式。同样，视频译码器可通过相对于先前经译码图片的数据来预测当前块而利用时间冗余。相对于先前经译码帧的块来预测当前块有时被称作帧间预测或帧间模式。在帧内预测和帧间预测两者中，视频译码器从已被译码的块来预测当前块，且随后计算所述块的残余数据以作为所述块的实际值与所述块的所预测值之间的差。

如将在下文更详细地阐释，可变换、扫描并量化一组残余值以界定一组变换系数。包含变换系数的数据结构通常被称作变换单元(TU)。各种形状和大小的TU可用于传输并重构经编码视频数据。本发明描述用于经编码视频位流中用信号通知将用于特定视频数据块的TU的大小的技术。更特定来说，本发明描述用于利用帧内预测模式与变换大小之间的关系的技术，其可减少与用信号通知变换大小相关联的位开销。

如将在下文更详细地阐释，新兴的HEVC标准允许视频块的四叉树型TU分区结构。通过使用四叉树分解，可将较大的正方形块分裂为四个较小的正方形块。四个较小的正方形块中的每一者还可各自被分裂为四个更小的块，且以此类推，直到达到最小的块大小为止。在层级1分解下，整个变换块被分裂为四个四分之一大小的块。在层级2处，四个四分之一大小的变换块中的一者或一者以上被进一步分裂为四个1／16大小的变换块。在层级3处，1／16大小的变换块中的一者或一者以上被进一步分裂为四个更小的变换块。举例来说，可基于作为对视频数据进行编码的部分而确定的速率-失真优化计算来确定变换块是否需要进行进一步分裂。层级0处的TU意味着整个译码单元一起被变换而不需要进一步分裂。在此情况下，TU具有与译码单元相同的大小。

已提出使用非正方形变换来用于经帧内预测块。在此些例子中，TU可具有矩形形状。假设2N×2N表示正方形变换。非正方形变换可因此表示为hN×2N及2N×hN，其中hN表示N的值的一半，且2N表示N的值的两倍。因此，2N×2N TU可被分裂为四个垂直变换(即，四个hN×2N变换)或四个水平变换(即，四个2N×hN变换)。在当前技术的一个实例中，视频编码器可首先在经编码位流中用信号通知旗标(NS_Flag)，以向视频解码器用信号通知是否使用正方形变换(即，N×N)，其中，例如，设定为0的NS_Flag用信号通知选择了变换N×N，且设定为1的NS_Flag用信号通知选择了两个非正方形变换(hN×2N及2N×hN)中的一者。在其中选择了两个非正方形变换中的一者的情况下(即，NS_Flag=1)，可需要传输额外的旗标(NS_Dir)，其中，例如设定为0的NS_Dir指示选择了变换大小hN×2N，且设定为1的NS_Dir指示选择了变换大小2N×hN。

根据上文所描述的信令方法，当选择N×N变换时使用一个旗标，而当选择了非正方形变换hN×2N或2N×hN时使用两个旗标。当N×N是最大概率变换时，此信令技术可产生位节省，这是因为使用最少的信令位(在此实例中的1个旗标)来用于N×N变换。然而，在一些例子中，最可能的变换可为与N×N变换相对的非正方形变换。举例来说，用于特定视频数据块的最可能的变换是正方形变换还是非正方形变换可取决于用于对块进行译码的帧内预测模式。根据本发明的技术，当用于块的最大概率变换大小是非正方形变换时，视频编码器可在经编码位流中用信号通知指示所述最大概率变换是否为用于对所述块进行译码的实际变换的旗标。因此，当非正方形变换是最大概率变换时，可通过使用一个旗标来用于用信号通知非正方形变换来实现位节省，这与上文所描述的两个旗标相对。因此，在一些例子中，本发明的技术通过使用最少的信令位来用于最大概率变换而改进变换信令方法。

在一个实例中，视频编码器可首先选择用于译码单元的帧内预测模式，且随后如上文所描述选择变换。每一帧内预测模式k可具有相关联的最大概率变换(MPT)，其可为(例如)N×N、hN×2N或2N×hN中的一者。视频编码器可产生旗标(MPT_Flag)以供包含在经编码位流中以用信号通知选定变换是否为用于当前帧内预测模式k的MPT(k)。举例来说，设定为1的MPT_Flag意味着选定变换是MPT(k)，而设定为0的MPT_Flag可意味着选定变换不是MPT(k)。在其中MPT_Flag被设定为0的例子中，可传输额外旗标(MPT_ResMode)来用信号通知选择了另外两个变换中的哪一者。

作为一实例，假设用于当前预测块的帧内预测模式是模式1，且hN×2N是与此帧内预测模式相关联的MPT，即，hN×2N=MPT(1)。如果选定的帧内预测模式是hN×2N，那么可在经编码位流中用信号通知设定为1的MPT_Flag，而不需要任何其它额外位来用信号通知变换。如果选定的帧内预测模式是N×N，那么用信号通知设定为0的MPT_Flag，随后是设定为0的MPT_ResMode。如果选定的帧内预测模式是2N×hN，那么用信号通知设定为0的MPT_Flag，随后是设定为1的MPT_ResMode。

在一些例子中，用于帧内预测模式的最大概率变换MPT(k)可预先界定，且对于视频编码器和视频解码器两者是已知的。在其它例子中，用于帧内预测模式的最大概率变换MPT(k)可由视频编码器确定，且在经编码位流中使用高层级语法用信号通知，所述高层级语法例如为序列参数集(SPS)、图片参数集(PPS)、调适参数集(APS)等。在又其它例子中，MPT与帧内预测模式k之间的映射MPT(k)可为块大小自适应的，其中对于不同的块大小，MPT(k)可不同，甚至在帧内预测模式相同时也如此。类似地，MPT(k)还可基于其它信息(例如，QP、帧间预测方向、块类型等)而为自适应的。

在一些例子中，用于帧内预测模式的最大概率变换MPT(k)可基于大量已被编码的块的选定变换。。举例来说，如果对于当前帧中已被编码的具有相同帧内预测模式k的所有块，变换N×N是最频繁出现的变换，那么可将MPT(k)设定为N×N变换以用于对当前块进行编码。在此实例中，可通过视频编码器和视频解码器两者来跟踪此类变换出现的频率，使得可在视频编码器和视频解码器两者处动态地调整最大概率变换到帧内预测模式的映射，而不在经编码位流中显式地用信号通知所述映射。

图1为说明可利用如本发明中所描述的用于用信号通知变换大小的技术的实例性视频编码及解码系统10的框图。如图1中所示，系统10包含源装置12，所述源装置经由通信信道16将经编码视频发射到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者。在一些情况下，源装置12和目的地装置14可包括无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电电话，或可在通信信道16上(在此情况下，通信信道16为无线的)传送视频信息的任何无线装置。

然而，涉及对表示视频数据块的变换大小的语法数据进行译码的本发明的技术不一定受限于无线应用或环境。举例来说，这些技术可适用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、经编码到存储媒体上的经编码的数字视频，或其它情况。因此，通信信道16可包括适合于发射经编码视频数据的无线媒体或有线媒体的任何组合。另外，通信信道16既定表示其中视频编码装置可能将数据发射到视频解码装置的许多方式中的仅一种方式。举例来说，在系统10的其它配置中，源装置12可能产生经编码视频以供目的地装置14解码且将经编码视频存储在存储媒体或文件服务器上，使得目的地装置14可在需要时存取所述经编码视频。

在图1的实例中，源装置12包含视频源18、视频编码器20、调制器／解调器(调制解调器)22和发射器24。目的地装置14包含接收器26、调制解调器28、视频解码器30，和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对表示视频数据块的帧内预测模式的语法数据进行译码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而不是包含集成式显示装置。

图1的所说明的系统10仅为一个实例。用于对表示视频数据块的选定变换的语法数据进行译码的技术可由任何数字视频编码和／或解码装置来执行。尽管一般来说，本发明的技术是由视频译码装置来执行，但所述技术还可由视频编码器／解码器(通常被称作“CODEC”)来执行。另外，本发明的技术还可由视频预处理器来执行。源装置12及目的地装置14仅为此些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以大体上对称的方式操作以使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频回放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前所俘获的视频的视频档案，和／或来自视频内容提供者的视频馈送。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，一般来说，本发明中所描述的技术可适用于视频译码，且可适用于无线及／或有线应用。在每一情况下，可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码的视频信息可接着由调制解调器22根据通信标准来调制，且经由发射器24而发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包括放大器、滤波器及一个或一个以上天线。

目的地装置14的接收器26经由信道16接收信息，且调制解调器28解调所述信息。再次地，视频编码过程可实施本文中所描述的用以对表示视频数据块的帧内预测模式的语法数据进行译码的技术中的一者或一者以上。经由信道16传送的信息可包含由视频编码器20界定的语法信息，所述语法信息还由视频解码器30使用，所述语法信息包含描述宏块和其它经译码单元(例如，GOP)的特性和／或处理的语法元素。显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在图1的实例中，通信信道16可包括任一无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。通信信道16可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信信道16一般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。

视频编码器20和视频解码器30可根据例如ITU-T H.264标准(或者被称作MPEG4第10部分，高级视频译码(AVC))的视频压缩标准而操作。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

ITU-T H.264／MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)与ISO／IEC运动图片专家组(MPEG)一起制定，作为被称为联合视频小组(JVT)的共同伙伴关系的产物。在一些方面中，本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用音视频服务的高级视频译码(AdvancedVideo Coding for generic audiovisual services)”中描述了H.264标准，其在本文中可被称作H.264标准或H.264规范或H.264／AVC标准或规范。联合视频小组(JVT)继续致力于对H.264／MPEG-4AVC的扩展。

视频编码器20和视频解码器30各自可经实施为例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，所述视频编码器和视频解码器中的任一者可作为组合式编码器／解码器(CODEC)的一部分而集成于相应相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器等中。

一视频序列通常包含一系列视频帧。图片群组(GOP)一般包括一系列一个或一个以上视频帧。GOP可在GOP的标头、GOP的一个或一个以上帧的标头或其它地方中包含语法数据，所述语法数据描述包含于GOP中的帧的数目。每一帧可包含帧语法数据，所述帧语法数据描述相应帧的编码模式。频编码器20通常对个别视频帧内的视频块进行操作以便编码视频数据。一视频块可对应于一宏块或一宏块的一分区。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧可包含多个切片。每一切片可包含多个宏块，所述多个宏块可布置成若干分区，所述分区还被称作子块。

作为一实例，ITU-T H.264标准支持各种块大小(例如，针对亮度分量的16×16、8×8或4×4，和针对色度分量的8×8)的帧内预测，以及各种块大小(例如，针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4，和针对色度分量的对应缩放的大小)的帧间预测。在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将具有在垂直方向上的16个像素(y=16)和在水平方向上的16个像素(x=16)。同样地，N×N块一般具有在垂直方向上的N个像素和在水平方向上的N个像素，其中N表示非负整数值。一块中的像素可布置在若干行和若干列中。此外，块无需一定在水平方向上具有与在垂直方向上相同数目的像素。举例来说，块可包括N×M个像素，其中M不一定等于N。小于16×16的块大小可被称作ITU-T H.264中的16×16宏块的分区。

视频块可包含像素域中的像素数据的块，或(例如)在对表示经译码的视频块与预测视频块之间的像素差异的残余视频块数据应用例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换之后的在变换域中的变换系数的块。在一些情况下，视频块可包括变换域中的经量化变换系数块。

较小视频块可提供较好分辨率，且可用于包含高等级的细节的视频帧的位置。一般来说，可将宏块和有时被称作子块的各种分区视为视频块。另外，可将切片视为多个视频块，例如若干宏块和／或若干子块。每一切片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。

正在开发新的视频译码标准，例如高效率视频译码(HEVC)标准。新兴的HEVC标准还可被称作H.265。标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置模型。HM假设视频译码装置有优于根据(例如)ITU-T H.264／AVC的装置的若干能力。举例来说，H.264提供九种帧内预测模式，而HM(例如)基于正被帧内预测译码的块的大小而提供多达三十三种帧内预测模式。被称作“HEVC工作草案8(HEVC Working Draft8)”或“WD8”的HEVC的最近的草案描述于布洛斯(Bross)等人的文献JCTVC-J1003“高效率视频译码(HEVC)文本规范草案8(High efficiency video coding(HEVC)text specification draft8)”，ITU-T SG16WP3和ISO／IEC JTC1／SC29／WG11的视频译码联合合作小组(JCT-VC)第10次会议：瑞典斯德哥尔摩，2012年7月11日至20日，其截止2012年10月3日为止可从

http：／／phenix.int-evry.fr／jct／doc_end_user／documents／10_Stockholm／wg11／JCTVC-J1003-v8.zip下载。

HM将视频数据块称作译码单元(CU)。位流内的语法数据可定义最大译码单元(LCU)，其为在像素数目方面的最大译码单元。一般来说，CU具有与H.264的宏块类似的目的，只不过CU不具有大小区别。因此，CU可被分裂为若干子CU。一般来说，在本发明中对CU的参考可涉及图片的最大译码单元或LCU的子CU。LCU可被分裂成若干子CU，且每一子CU可被分裂成若干子CU。位流的语法数据可界定LCU可被分裂的最大倍数，被称作CU深度。因此，位流还可界定最小译码单元(SCU)。本发明还使用术语“块”来指代CU、预测单元(PU)或TU中的任一者。

LCU可与四叉树数据结构相关联。一般来说，四叉树数据结构每个CU包含一个节点，其中根节点对应于LCU。如果将CU分裂为四个子CU，那么对应于CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于子CU中的一者。所述四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，从而指示对应于所述节点的CU是否被分裂为子CU。可递归地界定CU的语法元素，且所述语法元素可取决于CU是否被分裂为子CU。

未分裂的CU可包含一个或一个以上预测单元(PU)。一般来说，PU表示对应CU的全部或一部分，且包含用于检索PU的参考样本的数据。举例来说，在对PU进行帧内预测模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，在对PU进行帧间模式编码时，PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和／或运动向量的参考列表(例如，列表0或列表1)。界定PU的CU的数据还可描述(例如)将CU分割为一个或一个以上PU。分割模式在CU未被译码、被帧内预测模式编码还是被帧间预测模式编码之间可不同。

具有一个或一个以上PU的CU还可包含一个或一个以上TU。在使用PU进行预测之后，视频编码器可计算CU的对应于PU的部分的残余值。可变换、扫描并量化一组残余值以界定一组变换系数。TU界定包含变换系数的数据结构。TU不一定受限于PU的大小或形状。因此，TU可比同一CU的对应PU更大或更小，且TU可为正方形或非正方形。在一些实例中，TU的最大大小可对应于对应CU的大小。

图2A和2B是说明实例性四叉树250和对应的LCU272的概念图。图2A描绘实例性四叉树250，所述四叉树包含以分层方式布置的节点。在例如四叉树250等四叉树中的每一节点可为不具有子节点的叶节点或具有四个子节点。在图2A的实例中，四叉树250包含根节点252。根节点252具有四个子节点，包含叶节点256A到256C(叶节点256)和节点254。因为节点254不是叶节点，所以节点254包含四个子节点，所述四个子节点在此实例中是叶节点258A到258D(叶节点258)。

四叉树250可包含描述对应的LCU(例如，此实例中的LCU272)的特性的数据。举例来说，四叉树250通过其结构可描述LCU分裂为子CU。假设LCU272具有2N×2N的大小。在此实例中，LCU272具有四个子CU276A到276C(子CU276)以及274，其各自大小为N×N。子CU274进一步分裂为四个子CU278A到278D(子CU278)，其各自大小为N／2×N／2。在此实例中，四叉树250的结构对应于LCU272的分裂。也就是说，根节点252对应于LCU272，叶节点256对应于子CU276，节点254对应于子CU274，且叶节点258对应于子CU278。

四叉树250的节点的数据可描述对应于节点的CU是否分裂。如果CU分裂，那么在四叉树250中可存在四个额外节点。在一些实例中，可类似于以下伪码来实施四叉树的节点：

split_flag值可为表示对应于当前节点的CU是否分裂的一位值。如果CU未分裂，那么split_flag值可为‘0’，而如果CU分裂，那么split_flag值可为‘1’。关于四叉树250的实例，分裂旗标值的阵列可为101000000。

在一些实例中，可使用相同的帧内预测模式对子CU276和子CU278中的每一者进行帧内预测编码。因此，视频编码器122可提供根节点252中的帧内预测模式的指示。另外，子CU的某些大小可具有用于特定帧内预测模式的多个可能的变换。视频编码器122可提供用于根节点252中的此些子CU的变换的指示。举例来说，大小为N／2×N／2的子CU可具有多个可用的可能变换。视频编码器122可用信号通知在根节点252中使用的变换。因此，视频解码器128可基于在根节点252中用信号通知的帧内预测模式以及在根节点252中用信号通知的变换来确定要应用于子CU278的变换。

因此，根据本发明的技术，视频编码器122不需要用信号通知要应用于根节点256和根节点258中的子CU276和子CU278的变换，而是可替代地仅用信号通知帧内预测模式，且在一些实例中，用信号通知要应用于根节点252中的子CU的某些大小的变换。以此方式，这些技术可减少用信号通知LCU(例如，LCU272)的每一子CU的变换函数的开销成本。

在一些实例中，用于子CU276和／或子CU278的帧内预测模式可不同于用于LCU272的帧内预测模式。视频编码器122和视频解码器130可用函数来配置，所述函数将在根节点252处用信号通知的帧内预测模式映射到对于子CU276和／或子CU278可用的帧内预测模式。所述函数可提供LCU272可用的帧内预测模式到用于子CU276和／或子CU278的帧内预测模式的多对一的映射。

图3展示如上文所引入的四叉树型TU分区结构的实例。新兴的HEVC标准允许四叉树型TU分区结构。举例来说，如图3中所示，具有实线的整个块300表示原始译码单元。虚线指示根据四叉树结构的变换块分解的一个实例性结果。当然，此结果是许多可能的分解中的仅一者。在图3的实例中，存在三个层级的变换分解。在层级1分解下，整个变换块被分裂为四个四分之一大小的块(图3中的块322、324、326和328)。在层级2下，第二四分之一大小的变换块进一步分裂为四个1／16大小的变换块(图3中的块332、334、336和338)。在层级3下，第四1／16大小的变换块(块336)进一步分裂为四个更小的变换块(块342、344、346和348)。举例来说，可基于速率-失真优化来确定变换块是否需要进行进一步分裂。图3中所示的实例是所谓的四叉树分解结构，在此情况下，块不分裂或分裂为四个四分之一大小的块。层级0处的TU意味着整个译码单元一起被变换而不需要进一步分裂。在此情况下，TU具有与译码单元相同的大小。

根据一些译码方法，对于经帧内预测块，仅允许正方形形状的TU(例如，图3中所示的TU)。另外，根据一些译码方法，所述TU一直与经帧内预测块的预测单元对准。图4A和4B中展示实例。在图4A的实例中，将块分割为四个四分之一大小的块。在图4B的实例中，第二四分之一大小的块进一步被分割为具有1／16原始块大小的大小的四个更小的块。基于HEVC的当前实施方案，可单独地预测、变换和重构图6A和6B中所示的每一块。变换块(或TU)大小可与预测块(或预测单元)大小相同。

图5A和5B展示非正方形变换的实例，其可用于经帧内预测块。在此些例子中，TU可具有矩形形状。可启用图5A和5B的实例以作为对上文所描述的正方形形状变换的补充。换句话说，对于给定块，可使用图4A和4B以及图5A和5B中所示的实例。举例来说，在分解层级1下，块可选择图4A中所示的变换分区。所述块还可选择图5A和图5B中所示的变换分区。在视频编码器20处，可测试所有这些三个不同预测和TU分区，其中向视频解码器30用信号通知选定的分区单元和TU。

假设N×N表示图4A中所示的变换4，hN×2N表示图5A中所示的变换，且2N×hN表示图5B中所示的变换。在一个实例中，视频编码器20可首先用信号通知旗标(NS_Flag)，以向视频解码器30用信号通知是否使用正方形变换N×N，其中，设定为0的NS_Flag用信号通知选择了变换N×N，且设定为1的NS_Flag用信号通知选择了两个非正方形变换(hN×2N及2N×hN)中的一者。在其中选择了两个非正方形变换中的一者的情况下(即，NS_Flag=1)，可需要用信号通知额外的旗标(NS_Dir)，其中，设定为0的NS_Dir指示选择了变换大小hN×2N，且设定为1的NS_Dir指示选择了变换大小2N×hN。以此方式启用非正方形形状变换以作为对正方形形状变换的补充可提高译码效率。

根据上文所描述的信令方法，当选择N×N变换时使用一个旗标，而当选择了非正方形变换hN×2N或2N×hN时使用两个旗标。当N×N是帧内预测译码中的最大概率变换时，此可产生位节省，这是因为使用最少的信令位(在此实例中的1个旗标)来用于最频繁出现的变换模式。然而，在一些例子中，用于不同帧内预测方向(例如，图4中所示的35种帧内预测方向模式)的最可能变换可不同。根据本发明的技术，当非正方形变换是最大概率模式时，可通过使用一个旗标来用于用信号通知非正方形变换来实现位节省，这与上文所描述的两个旗标相对。因此，在一些例子中，本发明的技术通过使用最少的信令位来用于最大概率变换而改进变换信令方法。

根据本发明的技术，视频编码器20可使用帧内预测模式编码对某些视频数据块进行编码，且提供指示用于对块进行编码的选定帧内预测模式的信息。视频编码器20可使用帧内预测模式对任何类型的帧或切片(例如，除了P帧或P切片以及B帧或B切片之外的I帧或I切片)的块进行帧内预测编码。当视频编码器20确定块应被帧内预测模式编码时，视频编码器20可执行速率-失真分析以选择最适当的帧内预测模式。举例来说，视频编码器20可计算一个或一个以上帧内预测模式的速率-失真值，且选择所述模式中的具有可接受的速率-失真特性的一个模式。

视频编码器20还可经配置以确定所述块的编码上下文。所述上下文可包含所述块的各种特性，例如可依据像素尺寸而确定的块大小、预测单元(PU)类型(例如，在HEVC的实例中，2N×2N、N×2N、2N×N、N×N)、短距离帧内预测(SDIP)类型(例如，2N×N／2、N／2×2N、2N×1、1×2N)、H.264的实例中的宏块类型、块的译码单元(CU)深度，或视频数据块的大小的其它测量。在一些实例中，所述上下文可对应于用于上方相邻块、左边相邻块、左上相邻块、右上相邻块或其它相邻块的帧内预测模式中的任一者或全部如何。在一些实例中，所述上下文可包含用于一个或一个以上块的帧内预测模式以及用于正被编码的当前块的大小信息两者。还可基于来自相邻块的数据或可提供关于所述块的上下文信息的其它数据来界定其它上下文，或将所述其它上下文用于块。

在任何情况下，视频编码器20可包含将所述块的上下文映射到当前块的各种译码特性的配置数据。举例来说，基于块的上下文，配置数据可指示一个或一个以上最大概率帧内预测模式。在一些实例中，视频编码器20可经配置以基于所述上下文开始分析以用于选择具有最大概率模式的帧内预测模式。在一些实例中，当最大概率模式实现合适的速率-失真特性时，视频编码器20可选择所述最大概率模式。在其它实例中，视频编码器20不需要以最大概率模式来开始选择过程。

在用以产生预测数据和残余数据的帧内预测或帧间预测译码之后，且在用以产生变换系数的任何变换(例如，H.264／AVC中所使用的4×4或8×8整数变换或离散余弦变换DCT)之后，可执行对变换系数的量化。量化一般指代其中将变换系数量化以可能地减少用于表示系数的数据量的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间下舍入到m位值，其中n大于m。

在量化之后，可(例如)根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码方法来执行对经量化数据的熵译码。经配置以用于熵译码的处理单元，或另一处理单元可执行其它处理功能，例如经量化系数的零游程长度译码和／或语法信息的产生，所述语法信息例如为经译码块模式(CBP)值、宏块类型、译码模式、经译码单元(例如，帧、切片、宏块或序列)的最大宏块大小，等等。

视频解码器30可最终例如从调制解调器28和接收器26接收经编码视频数据。根据本发明的技术，视频解码器30可接收表示用于对视频数据块进行编码的帧内预测模式的经编码数据。视频解码器30可经配置而以大体上类似于视频编码器20的方式来确定块的译码上下文。另外，视频解码器30可包含对视频编码器20类似的配置数据，例如最大概率模式的指示、帧内预测模式索引表以及每一译码上下文的VLC表等。

视频编码器20和视频解码器30各自可在可适用时经实施为例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合等多种合适编码器和解码器电路中的任一者。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，所述视频编码器和视频解码器中的任一者可被集成为组合式视频编码器／解码器(CODEC)的一部分。包含视频编码器20和／或视频解码器30的设备可包括集成电路、微处理器和／或无线通信装置，例如蜂窝式电话。

图6为说明可实施用于对指示用于特定CU的变换的信息进行译码的技术的视频编码器20的实例的框图。视频编码器20可执行对视频帧内的块(包含宏块、或宏块的分区或子分区)的帧内译码和帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。帧内预测模式(I模式)可指代若干基于空间的压缩模式中的任一者，且帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指代若干基于时间的压缩模式中的任一者。

如图6所示，视频编码器20接收视频帧内的待编码的当前视频块。在图6的实例中，视频编码器20包含模式选择单元40、运动补偿单元44、运动估计单元42、帧内预测处理单元46、存储器64、求和器50、变换处理单元52、量化单元54以及熵译码单元56。对于视频块重构，视频编码器20还包含反量化单元58、反变换处理单元60，以及求和器62。还可包含各种环路滤波器(图6中未图示)，例如解块滤波器、样本自适应偏移滤波器和／或自适应环路滤波器，从而对经重构视频块进行滤波。在需要时，环路滤波器将通常对求和器62的输出进行滤波。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分为多个视频块。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以提供时间压缩。帧内预测处理单元46可相对于在与待译码的块相同的帧或切片中的一个或一个以上相邻块执行对所接收视频块的帧内预测译码，以提供空间压缩。

模式选择单元40可基于误差结果且基于包含正被译码的当前块的帧或切片的帧或切片类型来选择译码模式中的一者(例如，帧内或帧间)，且将所得的经帧内或帧间译码的块提供给求和器50以产生残余块数据，且提供给求和器62以重构经编码块，以在参考帧或参考切片中使用。一般来说，帧内预测涉及相对于相邻的先前经译码的块来预测当前块，而帧间预测涉及用以在时间上预测当前块的运动估计和运动补偿。

运动估计单元42与运动补偿单元44代表视频编码器20的帧间预测元件。运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。运动估计是产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示预测参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测块是经发现在像素差异方面密切地匹配待译码的块的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。运动向量还可指示宏块的分区的位移。运动补偿可涉及基于运动估计所确定的运动向量来获取或产生预测块。而且，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。

运动估计单元42通过将经帧间译码的帧的视频块与参考帧存储装置64中的参考帧的视频块进行比较来计算经帧间译码的帧的视频块的运动向量。运动补偿单元44还可内插参考帧(例如，I帧或P帧)的子整数像素。作为一实例，ITU H.264标准描述了两个列表：列表0，其包含具有比正被编码的当前帧早的显示次序的参考帧；以及列表1，其包含具有比正被编码的当前帧晚的显示次序的参考帧。因此，存储于参考帧存储装置64中的数据可根据这些列表进行组织。

运动估计单元42将来自参考帧存储装置64的一个或一个以上参考帧的块与当前帧(例如，P帧或B帧)的待编码的块进行比较。当参考帧存储装置64中的参考帧包含用于子整数像素的值时，由运动估计单元42计算的运动向量可指代参考帧的子整数像素位置。运动估计单元42和／或运动补偿单元44还可经配置以在没有子整数像素位置的值存储于参考帧存储装置64中时计算存储于参考帧存储装置64中的参考帧的子整数像素位置的值。运动估计单元42将计算出的运动向量发送到熵译码单元56和运动补偿单元44。由运动向量识别的参考帧块可称作预测块。运动补偿单元44可基于帧间预测块计算预测数据。

帧内预测处理单元46可对当前块进行帧内预测，以作为如上文所描述的由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案。具体来说，帧内预测处理单元46可确定用以对当前块进行编码的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且帧内预测处理单元46(在一些实例中，或为模式选择单元40)可从所测试的模式中选择将使用的适当的帧内预测模式。举例来说，帧内预测处理单元46可使用对各种所测试的帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试的模式中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与曾被编码以产生所述经编码块的原始未经编码块之间的失真(或误差)量，以及用于产生所述经编码块的位速率(即，位数目)。帧内预测处理单元46可根据各种经编码块的失真和速率计算比率，以确定哪一帧内预测模式展现出用于所述块的最佳的速率-失真值。

图7展示可与HEVC一起使用的帧内预测模式和对应模式索引的实例。图7的箭头表示预测方向，数字表示模式索引。下表1提供在CU大小与可用于对HEVC规范的一个中间版本中的那种大小的CU进行编码的帧内预测模式的数目之间的对应关系。如可从表1看到，8×8、16×16和32×32CU可使用图4中所示的35种帧内预测模式，而4×4和64×64CU使用一组更少的帧内预测模式。

表1

译码单元大小	帧内预测模式的数目
		4×4	18
8×8	35
		16×16	35

译码单元大小	帧内预测模式的数目
		32×32	35
64×64	4

HEVC当前允许35中不同的帧内预测模式。这些模式包含一个DC模式、一个平面模式以及33种不同的方向预测模式。在方向预测模式下，预测是基于沿着由所述模式指示的某一方向的相邻块重构的像素来执行。在图7中展示与不同的预测模式相关联的方向。

在任何情况下，在选择了用于块的帧内预测模式之后，帧内预测处理单元46可将指示用于所述块的选定帧内预测模式的信息提供给熵译码单元56。熵译码单元56可根据本发明的技术对指示所述选定帧内预测模式的信息进行编码。

在(例如)使用帧内预测或帧间预测对当前块进行预测之后，视频编码器20可通过从正被译码的原始视频块减去由运动补偿单元44或帧内预测处理单元46计算的预测数据而形成残余视频块。求和器50表示执行此减法运算的组件。变换处理单元52可对残余块应用变换(例如，离散余弦变换(DCT)或概念上类似的变换)，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换，例如由H.264标准定义的变换。也可使用子波变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换处理单元52对残余块应用所述变换，从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。量化单元54量化残余变换系数以进一步减小位率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。

在一个实例中，在选择了用于每一预测单元的帧内预测模式(例如，图6中所示的35中的一者)之后，视频编码器20可如上文所描述选择变换。每一帧内预测模式k可具有相关联的最大概率变换MPT(k)，其可为(例如)N×N、hN×2N或2N×hN中的一者。视频编码器20可产生旗标(MPT_Flag)以供包含在经编码位流中以用信号通知选定变换是否为用于当前帧内预测模式k的MPT(k)。举例来说，设定为1的MPT_Flag指示选定变换是MPT(k)，而设定为0的MPT_Flag可指示选定变换不是MPT(k)。在其中MPT_Flag被设定为0的例子中，可产生额外旗标(MPT_ResMode)来用信号通知选择了另外两个变换中的哪一者。

作为一实例，假设用于当前PU的帧内预测模式是模式1，且hN×2N是与此帧内预测模式相关联的MPT，即，hN×2N=MPT(1)。如果选定的帧内预测模式是hN×2N，那么可在从视频编码器20到视频解码器30的经编码位流中用信号通知设定为1的MPT_Flag，而不需要其它位来用信号通知变换。如果选定的帧内预测模式是N×N，那么用信号通知设定为0的MPT_Flag，随后是设定为0的MPT_ResMode。如果选定的帧内预测模式是2N×hN，那么用信号通知设定为0的MPT_Flag，随后是设定为1的MPT_ResMode。

在一些例子中，用于帧内预测模式的最大概率变换MPT(k)可预先界定，且对于视频编码器20和视频解码器30两者是已知的。在其它例子中，用于帧内预测模式的最大概率变换MPT(k)可由视频编码器20确定，且可使用高层级语法向视频解码器30用信号通知，所述高层级语法例如为(序列参数集)、PPS(图片参数集)、APS(调适参数集)等。在又其它例子中，MPT与帧内预测模式k之间的映射MPT(k)可为块大小自适应的，其中对于不同的块大小，MPT(k)可不同，甚至在帧内预测模式相同时也如此。类似地，MPT(k)还可基于其它信息(例如，QP、帧间预测方向、块类型等)而为自适应的。

在一些例子中，用于帧内预测模式的最大概率变换MPT(k)可基于大量已被编码的块的选定变换。举例来说，如果对于当前帧中已被编码的具有相同帧内预测模式k的所有块而言变换N×N是最频繁出现的变换，那么可将MPT(k)设定为N×N变换以用于对当前块进行编码。在此实例中，可通过视频编码器20和视频解码器30两者来跟踪此类变换出现的频率，使得可在视频编码器20和视频解码器30两者处动态地调整最大概率变换到帧内预测模式的映射，而不在视频编码器20与视频解码器30之间显式地用信号通知所述映射。

在量化之后，熵译码单元56对经量化变换系数进行熵译码。举例来说，熵译码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)，或另一熵译码技术。在熵译码单元56进行的熵译码之后，可将经编码视频发射到另一装置或加以存档以用于稍后发射或检索。在上下文自适应二进制算术译码的情况下，上下文可基于相邻块和／或块大小。

在一些情况下，视频编码器20的熵译码单元56或另一单元可经配置以执行除了上文所描述的对帧内预测模式进行熵译码和译码之外的其它译码功能。举例来说，熵译码单元56可经配置以确定块和分区的经译码块样式(CBP)值。而且，在一些情况下，熵译码单元56可执行对其宏块或分区中的系数的游程长度译码。具体来说，熵译码单元56可应用z形扫描或其它扫描样式以扫描宏块或分区中的变换系数，且编码零游程以用于进一步压缩。熵译码单元56还可用适当的语法元素建构标头信息以用于在经编码视频位流中进行发射。

反量化单元58和反变换处理单元60分别应用反量化和反变换，以重构像素域中的残余块，(例如)以用于稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储装置64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构的残余块以计算子整数像素值以在运动估计中使用。加法器62将经重构残余块添加到由运动补偿单元44产生的运动补偿预测块以产生经重构视频块以供存储于参考帧存储装置64中。经重构视频块可由运动估计单元42和运动补偿单元44用作用以对后续视频帧中的块进行帧间译码的参考块。

以此方式，视频编码器20表示一种视频编码器的实例，其经配置以：确定视频数据块的帧内译码模式；基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换；以及对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。所述最大概率变换可为非正方形变换。视频编码器20可通过产生指示所述最大概率变换是否为用于对视频数据块进行编码的变换的旗标来对所述最大概率变换是否为用于对视频数据块进行编码的变换的指示进行译码。响应于所述最大概率变换不是用于对视频数据块进行编码的变换，视频编码器20可产生除了所述最大概率变换之外的变换的指示，其中除了所述最大概率变换之外的所述变换是用于对视频数据块进行编码的变换。可从由N×N、hN×2N和2N×hN组成的变换群组选择所述变换，其中N表示变换的尺寸的大小，hN表示N的值的一半，且2N表示N的值的两倍。

视频编码器30还可维持最大概率变换到帧内预测模式的映射。所述映射可为固定的、从视频编码器20向视频解码器用信号通知，或可为自适应的。如果所述映射是自适应的，那么所述映射可例如基于块大小而为自适应的。所述映射可基于已在特定帧内预测模式下针对先前经编码视频块选择变换的频繁度的频率。

图8是说明对经编码视频序列进行解码的视频解码器30的实例的框图。在图5的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测处理单元74、反量化单元76、反变换处理单元78、存储器82以及求和器80。视频解码器30在一些实例中可执行一般与关于视频编码器20(图6)所描述的编码回合互逆的解码回合。运动补偿单元72可基于从熵解码单元70接收的运动向量而产生预测数据。

运动补偿单元72可使用在位流中所接收的运动向量来识别参考帧存储装置82中的参考帧中的预测块。帧内预测处理单元74可使用在位流中所接收的帧内预测模式以从空间上邻近的块形成预测块。具体来说，图5的实例中的视频解码器30包含配置数据84。配置数据84大体上类似于图6的配置数据66，原因在于配置数据84包含描述经帧内预测块的上下文、用于每一上下文的最大概率帧内预测模式等的信息。

熵解码单元70可接收表示用于对经编码视频数据块进行解码的帧内预测模式的数据。熵解码单元70可例如基于经编码块的左边相邻块和顶部相邻块的帧内预测模式和／或经编码块的大小来确定经编码块的上下文。基于所述上下文，熵解码单元70可确定用于对所述块进行解码的一个或一个以上最大概率帧内预测模式。

帧内预测处理单元74可(例如)使用相邻的先前经解码的块的像素来使用帧内预测模式的指示来对经编码块进行帧内预测。对于其中所述块被帧间预测模式编码的实例，运动补偿单元72可接收界定运动向量的信息，以便检索用于经编码块的经运动补偿预测数据。在任何情况下，运动补偿单元72或帧内预测处理单元74可将界定预测块的信息提供给求和器80。

反量化单元76将提供于位流中且由熵解码单元70解码的经量化的块系数反量化(即，解量化)。逆量化过程可包含(例如)如由H.264解码标准界定或如由HEVC测试模型执行的常规过程。反量化过程还可包含使用由编码器20针对每一宏块计算的用以确定量化的程度且同样应该应用的反量化的程度的量化参数QP_Y。

反变换单元58对变换系数应用反变换(例如，反DCT、反整数变换，或概念上类似的反变换过程)，以便产生像素域中的残余块。运动补偿单元72产生经运动补偿的块，可能执行基于内插滤波器的内插。待用于具有子像素精度的运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。

运动补偿单元72使用语法信息中的一些来确定用于对经编码视频序列的帧进行编码的块的大小、描述经编码视频序列的帧的每一块如何被分割的分区信息、指示如何对每一分区进行编码的模式、用于每一经帧间编码块或分区的一个或一个以上参考帧(以及参考帧列表)，以及用以对经编码视频序列进行解码的其它信息。

在一个实例中，在确定了用于每一预测单元的帧内预测模式(例如，图6中所示的35中的一者)之后，视频解码器30可随后确定用于与PU相关联的TU的变换大小。每一帧内预测模式k可具有相关联的最大概率变换MPT(k)，其可为(例如)N×N、hN×2N或2N×hN中的一者。视频解码器30可接收经编码位流中的旗标(MPT_Flag)以用信号通知选定变换是否为用于当前帧内预测模式k的MPT(k)。举例来说，设定为1的MPT_Flag指示选定变换是MPT(k)，而设定为0的MPT_Flag可指示选定变换不是MPT(k)。在其中MPT_Flag被设定为0的例子中，可接收额外旗标(MPT_ResMode)来用信号通知选择了另外两个变换中的哪一者。

作为一实例，假设用于当前PU的帧内预测模式是模式1，且hN×2N是与此帧内预测模式相关联的MPT，即，hN×2N=MPT(1)。如果选定的帧内预测模式是hN×2N，那么可由视频解码器30在经编码位流中接收设定为1的MPT_Flag。如果选定的帧内预测模式是N×N，那么可由视频解码器30在经编码位流中接收设定为0的MPT_Flag，随后是设定为0的MPT_ResMode。如果选定的帧内预测模式是2N×hN，那么可接收设定为0的MPT_Flag，随后是设定为1的MPT_ResMode。

在一些例子中，用于帧内预测模式的最大概率变换MPT(k)可预先界定，且对于视频编码器20和视频解码器30两者是已知的。在其它例子中，用于帧内预测模式的最大概率变换MPT(k)可由视频编码器20确定，且使用高层级语法向视频解码器30用信号通知，所述高层级语法例如为SPS(序列参数集)、PPS(图片参数集)、APS(调适参数集)、切片标头、块标头或另一类型的语法内的元素。在又其它例子中，MPT与帧内预测模式k之间的映射MPT(k)可为块大小自适应的，其中对于不同的块大小，MPT(k)可不同，甚至在帧内预测模式相同时也如此。类似地，MPT(k)还可基于其它信息(例如，QP、帧间预测方向、块类型等)而为自适应的。

在一些例子中，用于帧内预测模式的最大概率变换MPT(k)可基于大量已被编码的块的选定变换。。举例来说，如果对于当前帧中已被编码的具有相同帧内预测模式k的所有块，变换N×N是最频繁出现的变换，那么可将MPT(k)设定为N×N变换以用于对当前块进行编码。在此实例中，可通过视频编码器20和视频解码器30两者来跟踪此类变换出现的频率，使得可在视频编码器20和视频解码器30两者处动态地调整最大概率变换到帧内预测模式的映射，而不在视频编码器20与视频解码器30之间显式地用信号通知所述映射。

求和器80对残余块与由运动补偿单元72或帧内预测处理单元74产生的对应预测块进行求和以形成经解码块。如果需要的话，还可应用解块滤波器以对经解码块进行滤波，以便移除成块性假影。接着将经解码的视频块存储于参考帧存储装置82中，所述参考帧存储装置提供用于后续运动补偿的参考块且还产生用于在显示装置(例如，图1的显示装置32)上呈现的经解码视频。

以此方式，视频解码器30表示一种视频解码器的实例，其经配置以：确定视频数据块的帧内译码模式；基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换；以及对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。所述最大概率变换可为非正方形变换。视频解码器30可对所述最大概率变换是否为用于对视频数据块进行编码的变换的指示进行译码包括接收指示所述最大概率变换是否为用于对视频数据块进行编码的变换的旗标。响应于所述旗标指示所述最大概率变换是用于对视频数据块进行编码的变换，视频解码器30可基于所述最大概率变换来重构所述视频数据块。响应于所述最大概率变换不是用于对视频数据块进行编码的变换，视频解码器30可接收除了所述最大概率变换之外的变换的指示，且基于除了所述最大概率变换之外的所述变换来重构所述视频数据块。可从由N×N、hN×2N和2N×hN组成的变换群组选择所述变换，其中N表示变换的尺寸的大小，hN表示N的值的一半，且2N表示N的值的两倍。

视频解码器30还可维持最大概率变换到帧内预测模式的映射。所述映射可为固定的、从视频编码器向视频解码器30用信号通知，或可为自适应的。如果所述映射是自适应的，那么所述映射可例如基于块大小而为自适应的。所述映射可基于已在特定帧内预测模式下针对先前经编码视频块选择变换的频繁度的频率。

图9是说明根据本发明的技术的用于用信号通知变换大小的实例性方法的流程图。将参考一般的视频译码器来描述图9的技术。所述一般的视频译码器可例如为例如视频编码器20等视频编码器，或例如视频解码器30等视频解码器。

所述视频译码器确定视频数据块的帧内预测模式(910)。所述视频译码器基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换(920)。所述最大概率变换可为正方形变换或非正方形变换。所述视频译码器对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码(930)。可从由N×N、hN×2N和2N×hN组成的变换群组选择所述变换，其中N表示变换的尺寸的大小，hN表示N的值的一半，且2N表示N的值的两倍。

所述视频译码器可维持最大概率变换到帧内预测模式的映射。所述映射可为固定的或从视频编码器向视频解码器用信号通知。所述映射还可为自适应的。所述映射可例如基于块大小而为自适应的。所述映射还可基于已在特定帧内预测模式下针对先前经编码视频块选择变换的频繁度的频率。

当视频译码器是视频编码器时，所述视频译码器可通过产生指示所述最大概率变换是否为用于对视频数据块进行编码的变换的旗标来对所述最大概率变换是否为用于对视频数据块进行编码的变换的指示进行译码。响应于所述最大概率变换不是用于对视频数据块进行编码的变换，所述视频译码器可产生除了所述最大概率变换之外的作为用于对视频数据块进行编码的变换的变换的指示。

当视频译码器是视频解码器时，所述视频解码器可通过接收指示所述最大概率变换是否为用于对视频数据块进行编码的变换的旗标来对所述最大概率变换是否为用于对视频数据块进行编码的变换的指示进行译码。响应于所述旗标指示所述最大概率变换是用于对视频数据块进行编码的变换，所述视频译码器可基于所述最大概率变换来重构所述视频数据块。响应于所述最大概率变换不是用于对视频数据块进行编码的变换，所述视频译码器可接收除了所述最大概率变换之外的变换的指示，且基于除了所述最大概率变换之外的所述变换来重构所述视频数据块。

在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和／或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对于非暂时的有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地重现数据，而光盘使用激光光学地重现数据。以上各者的组合也应包含在计算机可读媒体的范围内。

可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和／或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和／或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一个或一个以上处理器)来提供。

已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (41)

1.一种对视频数据进行译码的方法，所述方法包括：

确定视频数据块的帧内预测模式；

基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换，其中所述最大概率变换是非正方形变换；

对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。

2.根据权利要求1所述的方法，其中所述方法包括对视频数据进行编码的方法，且其中对所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的所述指示进行译码包括产生指示所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的旗标。

3.根据权利要求2所述的方法，其进一步包括：

响应于所述最大概率变换不是用于对所述视频数据块进行编码的所述变换，产生除了所述最大概率变换之外的变换的指示，其中除了所述最大概率变换之外的所述变换是用于对所述视频数据块进行编码的所述变换。

4.根据权利要求1所述的方法，其中所述方法包括对视频数据进行解码的方法，且其中对所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的所述指示进行译码包括接收指示所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的旗标。

5.根据权利要求4所述的方法，其进一步包括：

响应于所述旗标指示所述最大概率变换是用于对所述视频数据块进行编码的所述变换，基于所述最大概率变换来重构所述视频数据块。

6.根据权利要求4所述的方法，其进一步包括：

响应于所述最大概率变换不是用于对所述视频数据块进行编码的所述变换，接收除了所述最大概率变换之外的变换的指示；

基于除了所述最大概率变换之外的所述变换来重构所述视频数据块。

7.根据权利要求1所述的方法，其进一步包括：

维持最大概率变换到帧内预测模式的映射。

8.根据权利要求7所述的方法，其中所述映射是固定的。

9.根据权利要求7所述的方法，其中用信号通知所述映射以作为经译码位流的一部分。

10.根据权利要求7所述的方法，其中所述映射是基于已在特定帧内预测模式下针对先前经编码视频块选择变换的频繁度的频率。

11.根据权利要求7所述的方法，其中所述映射是自适应的。

12.根据权利要求11所述的方法，其中所述映射是基于块大小而自适应的。

13.根据权利要求1所述的方法，其中从由N×N、hN×2N和2N×hN组成的群组选择所述变换，其中N表示变换的尺寸的大小，hN表示N的值的一半，且2N表示N的值的两倍。

14.一种视频译码装置，所述装置包括：

视频译码器，其经配置以：确定视频数据块的帧内译码模式；基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换，其中所述最大概率变换是非正方形变换；以及，对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。

15.根据权利要求14所述的视频译码装置，其中所述视频译码器包括视频编码器，且其中对所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的所述指示进行译码包括产生指示所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的旗标。

16.根据权利要求15所述的视频译码装置，其中所述视频译码器进一步经配置以响应于所述最大概率变换不是用于对所述视频数据块进行编码的所述变换而产生除了所述最大概率变换之外的变换的指示，其中除了所述最大概率变换之外的所述变换是用于对所述视频数据块进行编码的所述变换。

17.根据权利要求14所述的视频译码装置，其中所述视频译码器包括视频解码器，且其中对所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的所述指示进行译码包括接收指示所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的旗标。

18.根据权利要求17所述的视频译码装置，其中所述视频译码器进一步经配置以

响应于所述旗标指示所述最大概率变换是用于对所述视频数据块进行编码的所述变换，基于所述最大概率变换来重构所述视频数据块。

19.根据权利要求17所述的视频译码装置，其进一步包括：

响应于所述最大概率变换不是用于对所述视频数据块进行编码的所述变换，接收除了所述最大概率变换之外的变换的指示；

基于除了所述最大概率变换之外的所述变换来重构所述视频数据块。

20.根据权利要求14所述的视频译码装置，其中所述视频译码器进一步经配置以维持最大概率变换到帧内预测模式的映射。

21.根据权利要求20所述的视频译码装置，其中所述映射是固定的。

22.根据权利要求20所述的视频译码装置，其中所述映射被用信号通知以作为经译码位流的一部分。

23.根据权利要求20所述的视频译码装置，其中所述映射是基于已在特定帧内预测模式下针对先前经编码视频块选择变换的频繁度的频率。

24.根据权利要求20所述的视频译码装置，其中所述映射是自适应的。

25.根据权利要求24所述的视频译码装置，其中所述映射是基于块大小而自适应的。

26.根据权利要求14所述的视频译码装置，其中所述变换选自由N×N、hN×2N和2N×hN组成的群组，其中N表示变换的尺寸的大小，hN表示N的值的一半，且2N表示N的值的两倍。

27.根据权利要求14所述的视频译码装置，其中所述视频译码装置包括以下各者中的至少一者：

集成电路；

微处理器；以及，

包含所述视频译码器的无线通信装置。

28.一种用于视频译码的装置，所述装置包括：

用于确定视频数据块的帧内预测模式的装置；

用于基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换的装置，其中所述最大概率变换是非正方形变换；

用于对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码的装置。

29.根据权利要求28所述的装置，其中所述装置包括视频编码器，且其中所述用于对所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的所述指示进行译码的装置包括用于产生指示所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的旗标的装置。

30.根据权利要求29所述的装置，其进一步包括：

用于响应于所述最大概率变换不是用于对所述视频数据块进行编码的所述变换而产生除了所述最大概率变换之外的变换的指示的装置，其中除了所述最大概率变换之外的所述变换是用于对所述视频数据块进行编码的所述变换。

31.根据权利要求28所述的装置，其中所述装置包括视频解码器，且其中所述用于对所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的所述指示进行译码的装置包括用于接收指示所述最大概率变换是否为用于对所述视频数据块进行编码的所述变换的旗标的装置。

32.根据权利要求31所述的装置，其进一步包括：

用于响应于所述旗标指示所述最大概率变换是用于对所述视频数据块进行编码的所述变换而基于所述最大概率变换来重构所述视频数据块的装置。

33.根据权利要求32所述的装置，其进一步包括：

用于响应于所述最大概率变换不是用于对所述视频数据块进行编码的所述变换而接收除了所述最大概率变换之外的变换的指示的装置；

用于基于除了所述最大概率变换之外的所述变换来重构所述视频数据块的装置。

34.根据权利要求28所述的装置，其进一步包括：

用于维持最大概率变换到帧内预测模式的映射的装置。

35.根据权利要求34所述的装置，其中所述映射是固定的。

36.根据权利要求34所述的装置，其中所述映射被用信号通知以作为经译码位流的一部分。

37.根据权利要求34所述的装置，其中所述映射是基于已在特定帧内预测模式下针对先前经编码视频块选择变换的频繁度的频率。

38.根据权利要求34所述的装置，其中所述映射是自适应的。

39.根据权利要求38所述的装置，其中所述映射是基于块大小而自适应的。

40.根据权利要求28所述的装置，其中所述变换选自由N×N、hN×2N和2N×hN组成的群组，其中N表示变换的尺寸的大小，hN表示N的值的一半，且2N表示N的值的两倍。

41.一种计算机可读存储媒体，其存储可操作以致使一个或一个以上处理器进行以下操作的指令

确定视频数据块的帧内预测模式；

基于针对所述视频数据块而确定的所述帧内预测模式来识别最大概率变换，其中所述最大概率变换是非正方形变换；

对所述最大概率变换是否为用于对所述视频数据块进行编码的变换的指示进行译码。

Images