CN102204251A - 使用大于4×4和8×8的变换的视频译码 - Google Patents

Abstract

在视频处理系统中，提供一种用于应用大于8×8的变换和非矩形变换且产生用于视频解码的指示所述变换的变换大小语法元素的方法和系统。可由编码器基于视频块的预测块大小和所述视频块的内容来产生所述变换大小语法元素。另外，可根据用以在编码过程期间从4×4、8×8和更大变换大小进行选择的一组规则来产生所述变换大小语法元素。解码器可基于所述变换大小语法元素和由所述编码器使用的所述规则来执行逆变换。可将所述变换大小语法元素作为经编码视频位流的一部分发射到所述解码器。

Description

使用大于4×4和8×8的变换的视频译码

优先权主张

本申请案主张2008年10月3日申请的第61/102,783号美国临时申请案以及2009年5月18日申请的第61/179,228号美国临时申请案的权益，每一临时申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及使用大于8×8的变换大小来对视频数据进行编码和解码。

背景技术

可将数字视频能力并入到大范围的装置内，包括数字电视、数字直播系统、例如无线电电话手持机等无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分高级视频译码(AVC)等视频压缩技术，以更高效地发射且接收数字视频。视频压缩技术执行空间和时间预测以减少或移除视频序列中固有的冗余。

视频压缩通常包括空间预测和/或时间预测。特定来说，帧内编码(intra-coding)依靠空间预测来减少或移除给定经译码单元内的视频块之间的空间冗余，所述给定经编码单元可包含视频帧、视频帧的片段等。相比之下，帧间编码(inter-coding)依靠时间预测来减少或移除视频序列的连续的经译码单元的视频块之间的时间冗余。针对帧内编码，视频编码器基于同一经译码单元内的其它数据来执行空间预测以压缩数据。针对帧间编码，视频编码器执行运动估计和运动补偿以追踪两个或两个以上相邻的经译码单元的匹配视频块的移动。

在空间或时间预测后，通过从正被译码的原始视频块减去在预测过程期间产生的预测视频块而产生残余块。所述残余块因此指示预测块与正被译码的当前块之间的差。视频编码器可应用变换、量化和熵译码过程来进一步减小与残余块的通信相关联的位速率。变换技术可将一组像素值变成变换系数，所述变换系数在频域中表示像素值的能量。将量化应用于变换系数，且量化一般涉及限制与任一给定系数相关联的位的数目的过程。在熵编码前，视频编码器将量化系数块扫描成一维系数向量。视频编码器对量化变换系数的所述向量进行熵编码以进一步压缩残余数据。

视频解码器可执行熵解码操作以检索所述系数。还可在解码器处执行逆扫描以从接收到的一维系数向量形成二维块。视频解码器接着将所述系数进行逆量化和逆变换以获得重构的残余块。视频解码器接着基于包括运动信息的预测信息来解码预测视频块。视频解码器接着将预测视频块添加到对应的重构的残余块以便产生重构的视频块且产生经解码的视频信息序列。

发明内容

本申请案的系统、方法和装置各自具有若干方面，所述方面中无单一方面单独负责其合意属性。在不限制由所附权利要求书表达的本申请案的范围的情况下，现将简要论述其较突出的特征。在考虑此论述后，且尤其在阅读标题为“具体实施方式”的章节后，将理解本申请案的范例特征可如何提供一些改进，其中(尤其)包括(例如)改进的视频译码效率。

在一个实施例中，存在一种编码视频数据的方法，所述方法包含：基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；选择具有第一变换大小的变换以应用于所述残余块；产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；将所述选定变换应用于所述残余块以产生残余变换系数；以及基于所述标头数据和所述残余变换系数来产生视频信号。

在另一实施例中，存在一种解码视频数据的方法，所述方法包含：接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块。

在另一实施例中，存在一种用于编码视频数据的设备，所述设备包含：用于基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块的装置；用于从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块的装置；用于选择具有第一变换大小的变换以应用于所述残余块的装置；用于产生指示所述选定变换的标头数据的装置，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；用于将所述选定变换应用于所述残余块以产生残余变换系数的装置；以及用于基于所述标头数据和所述残余变换系数来产生视频信号的装置。

在另一实施例中，存在一种用于解码视频数据的设备，所述设备包含：用于接收指示视频帧内的至少一个块的视频信号的装置，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；用于将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块的装置；用于基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小的装置；用于对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块的装置；以及用于将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块的装置。

在另一实施例中，存在一种编码视频数据的系统，所述系统包含：预测单元，其经配置以基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；求和器，其经配置以从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；处理器，其经配置以选择具有第一变换大小的变换以应用于所述残余块且产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；块变换单元，其经配置以将所述选定变换应用于所述残余块以产生残余变换系数；以及熵编码单元，其经配置以基于所述标头数据和所述残余变换系数来产生视频信号。

在另一实施例中，存在一种解码视频数据的系统，所述系统包含：接收器，其经配置以接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；预测单元，其经配置以将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；处理器，其经配置以基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；逆变换单元，其经配置以对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及求和器，其经配置以将所述经解码残余块添加到所述预测视频块以获得经解码的视频块。

附图说明

图1为说明用于视频信号的编码和解码的源装置和目的装置的框图。

图2为图1的视频编码器的一实施例的框图。

图3为设定用于将图1的编码器所使用的变换的类型信令到图1的解码器的旗标值的过程的一实施例的流程图。

图4为设定用于将图1的编码器所使用的变换的类型信令到图1的解码器的旗标值的过程的另一实施例的流程图。

图5为选择正确的逆变换以用于解码根据图3的过程编码的视频数据的过程的一实施例的流程图。

图6为选择正确的逆变换以用于解码根据图4的过程编码的视频数据的过程的另一实施例的流程图。

图7为图1的视频解码器的一实施例的框图。

具体实施方式

以下详细描述针对某些具体实施例。然而，可以大量不同方式来应用本文中的教示。在此描述中，对图式进行参考，其中始终用相似数字表示相似部分。

一个实施例针对用于视频编码和解码的变换大小语法元素。通过在图像和视频信号的编码和解码过程中实施一组简化的变换选择规则和指导方针，有可能创建低位速率语法。如所描述，变换大小语法是在编码器处指示特定变换大小的方式以及在解码器处解译所述变换大小的方式。变换大小语法元素可用以指示将使用的变换大小且可包括包含若干位的旗标值。注意，以下详细描述可通常互换地使用术语“视频”、“图像”与“图片”。因此，本发明的各个方面的范围不应受术语之间的差异的概念限制。

图1为说明执行如本发明中所描述的译码技术的视频编码和解码系统10的框图。如图1中所示，系统10包括经由通信信道16将经编码视频数据发射到目的装置14的源装置12。源装置12可包括视频源18、视频编码器20和发射器22。源装置12的视频源18可包括视频俘获装置(例如，视频摄影机)、含有先前俘获的视频的视频档案，或来自视频内容提供者的视频馈入。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频与计算机产生的视频的组合。在一些情况下，源装置12可为无线电话或视频电话，在此情况下，视频源18可为电话上的视频摄影机。在每一情况下，所俘获、预先俘获或计算机产生的视频可由视频编码器20编码以经由发射器22和通信信道16从源装置12发射到目的装置14。

视频编码器20从视频源18接收视频数据。从视频源18接收的视频数据可为一系列视频帧。视频编码器20将所述系列的帧分为译码单元且处理所述译码单元以编码所述系列的视频帧。举例来说，译码单元可为整个帧或帧的部分(即，片段)。因此，在一些情况下，可将帧分为片段。视频编码器20将每一译码单元分为像素块(本文中被称作视频块或块)且对个别译码单元内的视频块进行操作以便编码视频数据。因而，译码单元(例如，帧或片段)可含有多个视频块。换句话说，视频序列可包括多个帧，一帧可包括多个片段，且一片段可包括多个视频块。

视频块可具有固定或变化的大小，且大小可根据规定的译码标准而不同。作为一实例，国际电信联盟标准化部门(ITU-T)H.264/MPEG-4第10部分高级视频译码(AVC)(在下文中为“H.264/MPEG-4第10部分AVC”标准)支持以各种块大小(例如，针对亮度分量的16×16、8×8或4×4像素，和针对色度分量的8×8像素)进行的帧内预测。可以各种块大小(例如，针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4像素，和针对色度分量的对应按比例缩放的大小)来执行帧间预测。在H.264中，举例来说，可将16乘16像素的每一视频块(常被称作宏块(MB))再分为更小大小的子块且在子块中加以帧内或帧间预测。一般来说，可认为MB和各种子块为视频块。因此，可认为MB为视频块，且如果被分割或再分割，那么可认为MB自身定义视频块的集合。

针对视频块中的每一者，视频编码器20为所述块选择块类型。块类型可指示是使用帧间预测还是帧内预测来预测所述块，且指示所述块的预测块大小。举例来说，H.264/MPEG-4第10部分AVC标准支持若干帧间和帧内预测块类型，包括帧间16×16、帧间16×8、帧间8×16、帧间8×8、帧间8×4、帧间4×8、帧间4×4、帧内16×16、帧内8×8和帧内4×4。如以下详细地描述，视频编码器20可针对待编码的视频块中的每一者选择所述块类型中的一者。

视频编码器20还为所述视频块中的每一者选择预测模式。在经帧内编码的视频块的情况下，预测模式可确定使用一个或一个以上先前编码的视频块来预测当前视频块的方式。在H.264/MPEG-4第10部分AVC标准中，举例来说，视频编码器20可为每一帧内4×4块选择以下九个可能的单向预测模式中的一者：垂直预测模式、水平预测模式、DC预测模式、对角向下-向左预测模式、对角向下-向右预测模式、垂直-向右预测模式、水平-向下预测模式、垂直-向左预测模式和水平-向上预测模式。可使用类似的预测模式来预测每一帧内8×8块。针对帧内16×16块，视频编码器20可选择以下四个可能的单向模式中的一者：垂直预测模式、水平预测模式、DC预测模式和平面预测模式。在一些情况下，视频编码器20可从一组预测模式选择预测模式，所述组预测模式不仅包括单向预测模式，而且还包括定义所述单向模式的组合的一个或一个以上多向预测模式。举例来说，所述一个或一个以上多向预测模式可为组合两个单向预测模式的双向预测模式。

在选择用于视频块的预测模式后，视频编码器20使用选定的预测模式产生预测视频块。从原始视频块减去预测视频块以形成残余块。残余块包括一组像素差值，所述组像素差值量化原始视频块的像素值与所产生的预测块的像素值之间的差。可以二维块格式(例如，像素差值的二维矩阵或阵列)来表示残余块。

在产生残余块后，视频编码器20可在编码所述块前对残余块执行若干其它操作。视频编码器20可将变换(例如，整数变换、DCT变换、定向变换或小波变换)应用于像素值的残余块以产生变换系数的块。变换系数可为残余块的频域表示。因此，视频编码器20将残余像素值转换为变换系数(也称作残余变换系数)。残余变换系数可被称作变换块或系数块。当应用不可分离式变换时，残余变换系数可为系数的一维表示，或者当应用可分离式变换时，残余变换系数可为系数的二维表示。不可分离式变换可包括不可分离式定向变换。可分离式变换可包括可分离式定向变换、DCT变换、整数变换和小波变换。

在变换后，视频编码器20执行量化以产生量化变换系数(也称作量化系数或量化残余系数)。再次，可以一维向量格式或二维块格式来表示量化系数。量化通常指代系数经量化而有可能减少用来表示所述系数的数据量的过程。量化过程可减小与所述系数中的一些或全部相关联的位深度。如本文中所使用，术语“系数”可表示变换系数、量化系数或其它类型的系数。在一些情况下，可将本发明的技术应用于残余像素值、量化残余像素值，以及变换系数和量化变换系数。

当使用可分离式变换且以二维块格式来表示系数块时，视频编码器20将系数从二维格式扫描到一维格式。换句话说，视频编码器20可扫描来自二维块的系数以将所述系数串行化为一维系数向量。根据本发明的方面中的一者，视频编码器20可基于所收集的统计量来调整用以将系数块转换为一维的扫描次序。统计量可包含对二维块的每一位置中的给定系数值为零还是非零的可能性的指示，且可(例如)包含与二维块的系数位置中的每一者相关联的计数、机率或其它统计度量。在一些情况下，可仅针对块的系数位置的子集来收集统计量。当评估扫描次序时(例如，在特定数目个块之后)，可改变扫描次序，使得在块内的经确定为具有非零系数的机率较低的系数位置之前扫描块内的经确定为具有非零系数的机率较高的系数位置。以此方式，初始扫描次序可适于更高效地使非零系数聚集在一维系数向量的开始处且使零值系数聚集在一维系数向量的结束处。因为在一维系数向量的开始处在非零系数之间存在较短的零连串(run of zeros)且在一维系数向量的结束处存在一个较长的零连串，所以此又可减少在熵译码上花费的位的数目。

在扫描所述系数后，视频编码器20使用多种熵译码方法(例如，上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、运行长度译码等)中的任一者来编码所述译码单元的视频块中的每一者。源装置12经由发射器22和信道16将经编码视频数据发射到目的装置14。通信信道16可包含任何无线或有线通信媒体(例如，射频(RF)频谱或者一个或一个以上物理发射线)或无线媒体与有线媒体的任何组合。通信信道16可形成基于包的网络(例如，局域网、广域网或全球网络(例如，因特网))的一部分。通信信道16通常表示用于将经编码视频数据从源装置12发射到目的装置14的任何适合的通信媒体或不同通信媒体的集合。

目的装置14可包括接收器24、视频解码器26和显示装置28。接收器24(其为一个接收视频信号的装置)经由信道16从源装置12接收经编码的视频位流。视频解码器26应用熵解码以解码经编码的视频位流以获得经译码单元的经译码视频块的标头信息、运动向量和量化残余系数。如上所述，由源装置12编码的量化残余系数被编码为一维向量。视频解码器26因此扫描经译码视频块的量化残余系数以将一维系数向量转换为量化残余系数的二维块。与视频编码器20一样，视频解码器26可收集指示视频块中的给定系数位置为零还是非零的可能性的统计量，且借此以与编码过程中所使用的方式相同的方式来调整扫描次序。因此，可由视频解码器26应用相反的自适应扫描次序，以便将串行化的量化变换系数的一维向量表示转换回到量化变换系数的二维块。

视频解码器26使用经解码的标头信息和经解码的残余信息来重构经译码单元的块中的每一者。特定来说，视频解码器26可使用作为标头信息的一部分而包括的预测和运动信息来产生用于当前视频块的预测视频块，且组合所述预测块与对应的残余视频块以重构所述视频块中的每一者。目的装置14可经由显示装置28向用户显示所述重构的视频块。显示装置28可包含多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、发光二极管(LED)显示器、有机LED显示器或另一类型的显示单元。

在一些情况下，源装置12和目的装置14可以大体上对称的方式操作。举例来说，源装置12和目的装置14可各自包括视频编码和解码组件。因此，系统10可支持装置12、14之间的单向或双向视频发射(例如)以用于视频串流、视频广播或视频电话。包括视频编码和解码组件的装置还可形成普通的编码、归档和重放装置(例如，数字视频记录器(DVR))的一部分。

视频编码器20和视频解码器26可根据多种视频压缩标准中的任一者而操作，视频压缩标准例如：由动画专家组(MPEG)在MPEG-1、MPEG-2和MPEG-4中定义的标准；ITU-T H.263标准；H.264/MPEG4第10部分AVC标准；电影与电视工程师协会(SMPTE)421M视频CODEC标准(通常被称作“VC-1”)；由中国音频视频译码标准工作组定义的标准(通常被称作“AVS”)；以及由标准团体定义的或由一组织作为专属标准所开发的任何其它视频译码标准。尽管在图1中未图示，但在一些方面中，视频编码器20和视频解码器26各自可分别与音频编码器和解码器集成，且可包括适当的MUX-DEMUX单元或其它硬件和软件以处置共同数据流或单独的数据流中的音频和视频两者的编码。以此方式，源装置12和目的装置14可对多媒体数据进行操作。适用时，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

在一些方面中，针对视频广播，本发明中所描述的技术可应用于增强型H.264视频译码，以用于在陆地移动多媒体多播(TM3)系统中使用仅前向链路(FLO)空中接口规范“陆地移动多媒体多播的仅前向链路空中接口规范(Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)”来传递实时视频服务，所述规范作为技术标准TIA-1099(“FLO规范”)在2007年7月公布。也就是说，通信信道16可包含用以根据FLO规范或类似者来广播无线视频信息的无线信息信道。FLO规范包括定义位流语法和语义的实例和适合于FLO空中接口的解码过程。

或者，可根据例如DVB-H(手持式数字视频广播)、ISDB-T(陆地集成服务数字广播)或DMB(数字媒体广播)等其它标准来广播视频。因此，源装置12可为移动无线终端、视频串流服务器或视频广播服务器。然而，本发明中所描述的技术不限于任何特定类型的广播、多播或点对点系统。在广播的情况下，源装置12可向多个目的装置广播视频数据的若干信道，所述目的装置中的每一者可类似于图1的目的装置14。因此，虽然图1中针对视频广播应用展示了单一目的装置14，但源装置12将通常向许多目的装置同时广播视频内容。

在其它实例中，发射器22、通信信道16和接收器24可经配置以用于根据任何有线或无线通信系统进行通信，有线或无线通信系统包括以太网、电话(例如，POTS)、电缆、电力线以及光纤系统和/或无线系统中的一者或一者以上，所述无线系统包含下列中的一者或一者以上：码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、正交频分多址(OFDM)系统、时分多址(TDMA)系统(例如，GSM(全球移动通信系统)、GPRS(通用包无线电服务)或EDGE(增强型数据GSM环境))、TETRA(陆地集群无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率1xEV-DO(第一代仅演进数据)或1xEV-DO Gold Multicast系统、IEEE 802.18系统、MediaFLO.TM.系统、DMB系统、DVB-H系统或用于两个或两个以上装置之间的数据通信的另一方案。

视频编码器20和视频解码器26各自可实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器20和视频解码器26中的每一者可包括于一个或一个以上编码器或解码器中，其中任一者可集成为相应移动装置、订户装置、广播装置、服务器等中的组合式编码器/解码器(CODEC)的一部分。此外，源装置12和目的装置14各自可包括在适用时用于对经编码视频的发射和接收的适当的调制、解调、频率转换、滤波和放大器组件，所述组件包括射频(RF)无线组件和足以支持无线通信的天线。然而，为了易于说明，在图1中将此类组件概述为源装置12的发射器22和目的装置14的接收器24。

图2为说明视频编码器20的一实例的框图。视频解码器26可包括与视频编码器20类似的组件。视频编码器20可执行视频帧内的块的帧内和帧间编码。帧内编码依靠空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间编码依靠时间预测来减少或移除相邻帧内的视频中的时间冗余。针对帧间编码，视频编码器20执行运动估计以追踪两个或两个以上相邻帧之间的匹配视频块的移动。

如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块21。在图2的实例中，视频编码器20包括运动预测单元23、参考帧存储装置25、块变换单元29、量化单元31、逆量化单元33、逆变换单元35、熵译码单元37、模式决策单元43、空间预测单元47和解块滤波器49。视频编码器20还包括求和器39、求和器41和开关51。视频编码器20还可包括用于扫描量化系数的扫描单元(未图示)。图2说明视频编码器20的用于视频块的帧间编码的时间预测组件和用于视频块的帧内编码的空间预测组件。开关51可受模式决策单元43控制且可用以在空间预测视频块或时间预测视频块之间作出选择以作为用于输入视频块的预测视频块。

为了评估帧间编码，运动预测单元23比较视频块21与一个或一个以上相邻视频帧中的块以产生一个或一个以上运动向量。可从参考帧存储装置25检索所述相邻帧。可对具有可变大小(例如，16×16、16×8、8×16、8×8或更小块大小)的块执行运动估计。运动预测单元23(例如，基于速率失真模型)识别相邻帧中的最紧密匹配于当前视频块21的块，且确定所述块之间的位移。基于此操作，运动预测单元23产生指示所述位移的量值和轨迹的运动向量。

运动向量可具有二分之一或四分之一像素精度，或者甚至更精细的精度，从而允许视频编码器20以比整数像素位置高的精度来追踪运动且获得更好的预测块。当使用具有分数像素值的运动向量时，可在运动预测单元23中进行内插操作。举例来说，在AVC/H.264标准中，为了获得在二分之一像素位置处的亮度信号，可使用具有系数(1，-5，20，20，-5，1)/32的6分接头式维纳(Wiener)滤波器。为了获得在四分之一像素位置处的亮度信号，可使用对在整数像素位置处的值和在二分之一像素位置处的内插值的双线性滤波。在针对色度分量的分数像素内插中也可使用双线性滤波器，其可具有高达1/8像素精度。在使用速率失真模型来识别视频块的最佳运动向量后，运动预测单元23通过运动补偿来输出预测视频块。

在替代方案中，为了评估帧内编码，使用空间预测单元47以使用同一译码单元(例如，同一帧)中的已译码的块来形成预测视频块。举例来说，可比较视频块21与在与视频块21相同的帧中的其它已译码的块。在一些实施例中，可从参考帧存储装置25检索已译码的块。在一些实施例中，可使用各种空间预测方法。举例来说，在H.264/MPEG-4AVC中，可对大小为4×4、8×8和/或16×16的视频块执行定向空间预测。另外，可将总共9个预测方向用于4×4和8×8亮度块。可将总共4个预测方向用于16×16亮度块和色度块。可在同一译码单元内执行其它类型的空间预测。举例来说，可使用与运动估计类似的过程在当前译码单元的已译码的部分中识别当前视频块的匹配视频块。另外，可确定匹配视频块与当前视频块之间的位移量且接着作为当前视频块的经译码视频标头数据的一部分加以信令。模式决策单元43可基于预定义的准则(例如，拉格朗日(Lagrangian)速率失真模型)选择最佳空间预测模式(例如，预测块大小、预测方向或预测视频块的位移等)。

视频编码器20通过在求和器39(其为一种用于从原始块减去预测块的装置)处从原始当前视频块21减去由运动预测单元23或空间预测单元47产生的预测视频块而形成残余视频块。块变换单元29(其为一种用于应用变换的装置)将变换应用于残余块。可由模式决策单元43对块变换单元29指示将使用的变换的大小和类型。量化单元31量化变换系数以进一步减小位速率。熵译码单元37(其为一种用于产生视频信号的装置)对量化系数进行熵译码以更进一步减小位速率。视频解码器26执行逆操作以重构经编码视频。

逆量化单元33和逆变换单元35分别应用逆量化和逆变换以重构所述残余块。求和器41将重构的残余块添加到预测块以产生重构的视频块以用于存储于参考帧存储装置25中。由运动预测单元23或空间预测单元47使用所述重构的视频块来编码在当前视频帧或后续视频帧中的后续视频块。

在对当前视频帧21中的给定块执行运动补偿时，运动预测单元23可使用一组固定的滤波器对来自参考帧的参考块进行内插。如果当前块经单向预测，那么需要一个参考块，或如果当前块经双向预测，那么需要两个参考块。在H.264中，在一些情况下可使用在正向和反向方向中的多个参考帧。在运动预测单元23中使用的实际滤波器视运动向量的分数部分而定。举例来说，如果运动向量在给定维度中指向参考帧中的二分之一像素位置以获得所述二分之一像素位置的值，那么在具有二分之一像素运动向量的所述维度中使用例如(1，-5，20，20，-5，1)/32等6分接头式滤波器。如果两个运动向量分量均指向整数位置，那么可在不执行任何内插滤波操作的情况下直接使用来自参考帧存储装置25中的参考帧的像素值。

图7为说明视频解码器26的一实例的框图。将经编码位流馈入到系统700中。所述位流的部分可对应于不同视频块。另外，那些视频块中的若干视频块可构成单一视频帧。在熵解码单元702处对所述位流的对应于给定视频块的一部分进行熵解码以形成包含量化残余变换系数的残余块。接着可在逆扫描单元(未图示)处逆扫描所述残余块。还可在逆量化单元706处逆量化所述残余块且在逆变换单元708处逆变换所述残余块以形成经解码的残余块。熵解码单元702可基于接收到的标头数据来确定要执行的逆变换的类型和/或大小(如下文所论述)。产生预测视频块且在添加单元710处将其添加到经解码的残余块。

可使用两种类型的预测方法(帧内和帧间)中的一者来形成所述预测视频块。空间预测单元716使用在同一视频帧中(或如果使用视频片段作为译码单元，那么在同一视频片段中)的已译码的块以产生帧内预测块。运动补偿单元718使用存储于参考帧存储装置720处的先前和/或未来帧以产生帧间预测块。视指示用以编码所述视频块的译码模式的接收到的标头数据而定，可切换开关722以调用空间预测单元716或运动补偿单元718来产生帧内或帧间预测块。接着在添加单元710处将预测块添加到经解码的残余块以产生经解码的视频块。

接着将所得重构的视频块发送到解块滤波单元712，在解块滤波单元712处，可在块边缘处对其进行滤波以防止可能在视觉上无吸引力的块假影(blocking artifact)。产生的输出为最终的经解码的视频块。可将最终的经解码的视频块存储于参考帧存储装置720中以用于在相同的或其它的视频帧中的其它视频块的重构。

为了适当地解码经编码视频流，解码器应知晓已使用哪种类型的变换来编码视频数据。解码器可接着应用对应于在编码器处使用的正变换的适当的逆变换。因此，需要将指示用以编码视频块的变换的类型的数据作为视频位流的一部分发送到解码器来适当地解码所述视频块。

如关于图2所描述，块变换单元29将变换应用于残余视频块。对残余块应用变换提供了所要的能量集中，其在与量化和熵译码组合时实现高压缩效率。在流行的基于块的视频译码系统(例如MPEG2和H.264/AVC)中使用的变换的实例包括8×8DCT变换以及4×4和8×8整数变换。

H.264/AVC标准为提供高译码效率的最新视频译码标准。H.264/AVC使用各种类型的块变换。针对经帧内(空间预测)和帧间(时间预测)预测的块，H.264/AVC使用基于4×4DCT变换的4×4整数变换或基于8×8DCT变换的8×8整数变换。

针对视频信号的色度信号，对每一块中的2×2DC分量应用额外层次的2×2哈达马德(Hadamard)变换。

针对视频信号的亮度信号，如下选择变换。首先确定块是经帧内预测还是经帧间预测。如果块经帧间预测，那么接下来确定块大小是否小于8×8。如果块小于8×8，那么使用4×4整数变换。如果块不小于8×8，那么使用4×4或8×8整数变换。

如果块经帧内预测，那么确定所述块是否使用INTRA_16×16模式加以预测。如果所述块使用INTRA_16×16模式加以预测，那么将4×4整数变换应用于所述块且对每一块中的4×4DC分量应用额外层次的4×4哈达马德变换。如果所述块并非使用INTRA_16×16模式加以预测，那么在所述块使用INTRA_4×4模式加以预测的情况下使用4×4整数变换，且在所述块使用INTRA_8×8模式加以预测的情况下使用8×8整数变换。

在可对块使用4×4或8×8变换的情况下，变换的选择视正在使用的H.264/AVC规范而定。在并非高规范的任何H.264规范(例如，基线规范、扩展的基线规范、主规范)下，仅使用4×4整数变换。在H.264/AVC高规范(即，保真度范围扩展)下，还可对亮度信号使用基于8×8DCT变换的8×8整数变换。通过额外语法元素transform_size_8×8_flag来信令对4×4或8×8整数变换的选择。在可使用4×4或8×8变换(例如，具有不小于8×8的大小的经帧间编码的块)的情况下，将transform_size_8×8_flag与经编码视频数据一起发送到解码器。如果transform_size_8×8_flag经设定为1，那么对残余块应用8×8整数变换；否则(如果transform_size_8×8_flag经设定为0)，对残余块应用4×4整数变换。

在H.264/AVC中，可对例如16×16、16×8、8×16、8×8、8×4、4×8和4×4等各种块大小执行运动预测(即，运动分割)。虽然在对象边缘和具有大量细节的区域周围通常使用较小运动分割，但在较平滑的区域周围通常选择较大运动分割。因此，在运动预测后的残余块也通常较平滑，即，其往往含有较多的低频分量。针对此类信号，应用较大的变换可提供较好的能量集中。用于选择运动分割和变换大小的方法和编码器描述于第5,107,345号美国专利、第6,996,283号美国专利和第6,600,836号美国专利中，所述专利全部在此以引用的方式并入。如上所述，H.264/AVC针对被帧间译码的视频块仅使用4×4和8×8整数变换。4×4和8×8整数变换由transform_size_8×8_flag的值指示，所述值当前限于1位大小。因此，无法指示具有在H.264中使用的当前语法的额外变换大小，因为1位的transform_size_8×g_flag可仅信令两种变换类型。以下描述允许指示由编码器和解码器使用的额外变换大小的语法和语法元素。在一些实施例中，语法元素包含指示变换大小的2位旗标值。可包括所述旗标值作为发送到解码器的标头信息的一部分。

在以下实施例中，可结合所描述的方法而使用经帧间预测的视频块或经帧内预测的视频块。即，可通过运动补偿或空间预测来形成视频块的预测块。在使用运动补偿的实施例中，预测块大小等于运动分割大小；因此，可互换地使用术语“预测块”与“运动分割”。另外，在使用空间预测的实施例中，预测块大小等于所使用的空间预测块的大小。因此，可互换地使用“预测块”与“帧内预测块”或“空间预测块”。举例来说，可针对使用INTRA_16×16和INTRA_8×8预测予以译码的视频块使用多个变换选择。除了4×4变换之外，还可将16×16、16×8、8×16或8×8变换应用于经INTRA_16×16预测的视频块；且将8×8变换应用于经INTRA_8×8预测的视频块。针对经帧内预测的块，可以类似于经帧间预测的视频块的方式进行对变换大小的信令。可将变换大小旗标语法元素与预测块大小语法元素组合；且可使用变换大小旗标语法元素的可变长度译码。

以下描述的语法使用旗标值以及给定块的预测块大小两者来指示变换大小。块的预测块大小与旗标值的组合允许指示比当使用旗标值与变换大小之间的1对1对应关系时多的变换大小。举例来说，在变换大小与旗标值之间的1对1对应关系中，2位旗标将仅指示4个不同变换大小，其中每一旗标值指示单一变换大小。然而，通过进一步利用块的预测块大小，可针对旗标使用相同数目个位而指示额外变换大小。举例来说，如果旗标值00指示变换大小应等于块的预测块大小且预测块大小可具有N个不同块大小，那么单一旗标值00可指示N个不同变换大小。因此，在一个实施例中，旗标值中的一者或一者以上可指示正使用的变换大小等于块的预测块大小。在另一实施例中，可使用可变长度译码来译码旗标值。

图3为在编码器处设定旗标值的过程300的示范性实施例，所述旗标值信令由编码器20针对给定视频块所使用的变换大小。可在模式决策单元43处确定每一视频块的预测块大小，且可在块变换单元29处执行变换(见图2)。可由模式决策单元43进行预测块大小的选择和对块使用的变换大小的选择。在过程300的第一步骤302处，确定给定块的预测块大小是否大于8×8。如果预测块大小不大于8×8，那么过程继续到步骤306。或者，如果预测块大小大于8×8，那么过程继续进行到步骤338。

在步骤306处，确定预测块大小是否小于8×8。如果预测块大小小于8×8，那么过程300继续进行到步骤310，在步骤310中将4×4变换应用于块。过程300接着继续到步骤314，在步骤314中不设定将发送到解码器的旗标值。或者，如果在步骤306处确定预测块大小不小于8×8，那么过程继续进行到步骤318，在步骤318中确定将对块使用的变换大小是否为8×8。如果确定将不使用8×8变换大小，那么过程300继续到步骤322，在步骤322中将4×4变换应用于块，且过程300接着继续到步骤326，在步骤326中设定将发送到解码器的值为0的1位旗标。在替代方案中，在步骤318处确定将使用8×8变换，过程继续到步骤330，在步骤330中将8×8变换应用于块，且过程接着继续到步骤334，在步骤334中设定将发送到解码器的值为1的1位旗标。

如果在步骤302处确定预测块大小大于8×8，那么过程继续进行到步骤338。在步骤338处，在编码器处自动或手动地确定是否将对给定块使用大于8×8的变换大小。如果将不使用大于8×8的变换大小，那么过程300继续到步骤342，在步骤342中确定将对给定块使用的变换大小是否为8×8。如果将使用的变换大小不是8×8，那么过程300继续到步骤346，在步骤346中将4×4变换应用于块，且过程300接着继续到步骤350，在步骤350中设定将发送到解码器的1位旗标值0。在替代方案中，如果将使用的变换大小为8×8，那么过程300继续到步骤354，在步骤354中将8×8变换应用于块，且过程300接着继续到步骤358，在步骤358中设定将发送到解码器的2位旗标值10。

如果在步骤338处确定将使用的变换大小大于8×8，那么过程300继续到步骤362。在步骤362处确定给定块的预测块大小是否为16×16。如果确定预测块大小为16×16，那么过程300继续进行到步骤366，在步骤366中将16×16变换应用于所述块，且过程300接着继续进行到步骤382。或者，如果在步骤362处确定预测块大小不是16×16，那么过程300继续到步骤370，在步骤370中确定预测块大小是否为8×16。如果确定预测块大小为8×16，那么过程300继续到下一步骤374，在步骤374中将8×16变换应用于所述块，且过程300接着继续到步骤382。或者，如果确定预测块大小不是8×16，那么过程300继续到下一步骤374，在步骤374中将16×8变换应用于所述块，且过程300接着继续到步骤382。在步骤382处，设定将发送到解码器的2位旗标值11。

根据过程300，旗标值对应于以下变换类型：

表1

旗标值	预测块大小	变换/逆变换大小
			无旗标	4×4、4×8、8×4	4×4
0	8×8	4×4
			1	8×8	8×8
0	8×8、8×16、16×8、16×16	4×4
			10	8×8、8×16、16×8、16×16	8×8
11	8×16	8×16
			11	16×8	16×8
11	16×16	16×16

所属领域的一般技术人员将认识到，可省略过程300的步骤中的一些，或可添加新步骤以实现相同结果。另外，可按不同次序进行所述步骤中的一些。应注意，可重排列旗标值(例如，0为8×8变换且10为4×4变换)。

图4为在编码器处设定旗标值的另一过程400的示范性实施例，所述旗标值信令由编码器20针对给定视频块所使用的变换大小。可在模式决策单元43处确定预测块大小，且可在块变换单元29处执行变换。由模式决策单元43进行预测块大小的选择和对块使用的变换大小的选择。在过程400的第一步骤402处，确定给定块的预测块大小是否大于8×8。如果预测块大小不大于8×8，那么过程继续到步骤406。或者，如果预测块大小大于8×8，那么过程继续进行到步骤438。

在步骤406处，确定预测块大小是否小于8×8。如果预测块大小小于8×8，那么过程400继续进行到步骤410，在步骤410中将4×4变换应用于块。过程400接着继续到步骤414，在步骤414中不设定将发送到解码器的旗标值。或者，如果在步骤406处确定预测块大小不小于8×8，那么过程继续进行到步骤418，在步骤418中确定将对块使用的变换大小是否为8×8。如果确定将不使用8×8变换大小，那么过程400继续到步骤422，在步骤422中将4×4变换应用于块，且过程400接着继续到步骤426，在步骤426中设定将发送到解码器的值为0的1位旗标。在替代方案中，在步骤418处确定将使用8×8变换，过程继续到步骤430，在步骤430中将8×8变换应用于块，且过程接着继续到步骤434，在步骤434中设定将发送到解码器的值为1的1位旗标。

如果在步骤402处确定预测块大小大于8×8，那么过程继续进行到步骤438。在步骤438处确定预测块大小是否为16×16。如果预测块大小为16×16，那么过程400继续进行到步骤442，在步骤442中确定将应用于块的变换大小是否为8×8。如果确定将使用的变换大小为8×8，那么过程400继续进行到步骤446，在步骤446中将8×8变换应用于给定块，且过程400接着继续进行到步骤450，在步骤450中设定将发送到解码器的值为00的两位旗标。或者，如果在步骤442处确定将应用的变换大小不是8×8，那么过程442继续进行到步骤454，在步骤454中确定是否将对所述块应用16×16变换。如果将应用16×16变换，那么过程400继续到步骤458，在步骤458中将16×16变换应用于给定块，且过程400接着继续到步骤462，在步骤462中设定将发送到解码器的值为01的两位旗标。如果改为在步骤454处确定将应用的变换大小不为16×16，那么过程400继续到步骤466，在步骤466中确定将应用于所述给定块的变换大小是否为16×8。如果将应用的变换大小为16×8，那么过程400继续到步骤470，在步骤470中将16×8变换应用于所述给定块，且过程400接着继续到步骤474，在步骤474中设定将发送到解码器的值为10的两位旗标。在替代方案中，如果在步骤466处确定将应用于所述块的变换大小不是16×8，那么过程400继续到步骤478，在步骤478中将8×16变换应用于所述给定块，且过程400接着继续到步骤482，在步骤482中设定将发送到解码器的值为11的两位旗标。

如果在步骤438处确定预测块大小不是16×16，那么过程400继续到步骤484，在步骤484中确定将应用于所述给定块的变换大小是否为8×8。如果将应用的变换为8×8，那么过程400继续到步骤492，在步骤492中将8×8变换应用于所述块，且过程400接着继续到步骤426，在步骤426中设定将发送到解码器的1位旗标值0。在替代方案中，如果在步骤484处确定将应用于所述块的变换大小不是8×8，那么过程继续到步骤486，在步骤486中确定预测块大小是否为16×8。如果预测块大小为16×8，那么过程400继续到步骤488，在步骤488中对块执行16×8变换，且过程400接着继续到步骤434。在替代方案中，如果在步骤486处确定预测块大小不是16×8，那么过程400继续到步骤490，在步骤490中对块执行8×16变换，且过程400接着继续到步骤434。在步骤434处，设定将发送到解码器的值为1的一位旗标。

根据过程400，旗标值对应于以下变换类型：

表2

旗标值	预测块大小	变换/逆变换大小
			无旗标	4×4、4×8、8×4	4×4
0	8×8	4×4
			0	8×16、16×8	8×8
1	8×8	8×8

1	8×16	8×16
			1	16×8	16×8
00	16×16	8×8
			01	16×16	16×16
10	16×16	16×8
			11	16×16	8×16

所属领域的一般技术人员将认识到，可省略过程400的步骤中的一些，或可添加新步骤以实现相同结果。另外，可按不同次序进行所述步骤中的一些。应注意，可重排列旗标值(例如，00为16×16变换且01为8×8变换)。

图5为用于在解码器26处对由编码器20使用过程300予以编码的块执行逆变换的过程500的示范性实施例。可包括(尤其)熵解码单元、空间预测单元、运动补偿单元、逆量化单元、逆变换单元、熵解码单元和求和器等组件的解码器26为一种执行过程500的步骤的装置。另外，解码器26的各种组件可用以执行过程500的不同步骤。在步骤502处确定预测块大小是否大于8×8。如果预测块大小大于8×8，那么过程继续进行到步骤518，在步骤518中，解码器寻找1位或2位旗标值且基于旗标值和预测块大小来执行逆变换。表1中展示了将使用的逆变换的类型。或者，如果在步骤502处确定预测块大小不大于8×8，那么过程500继续到步骤506，在步骤506中确定预测块大小是否小于8×8。如果预测块大小小于8×8，那么过程500继续进行到下一步骤510，在步骤510中执行4×4逆变换。如果改为在步骤506处确定预测块大小不小于8×8，那么过程继续进行到步骤514，在步骤514中，解码器寻找1位旗标值且基于旗标值来执行逆变换。表1中展示了将使用的逆变换的类型。

图6为用于在解码器26处对由编码器20使用过程400予以编码的块执行逆变换的过程600的示范性实施例。解码器26(其可为处理器)为一种执行过程600的步骤的装置。在步骤602处确定预测块大小是否大于8×8。如果预测块大小大于8×8，那么过程继续进行到步骤618，在步骤618中确定预测块大小是否为16×16。如果预测块大小为16×16，那么过程600继续到步骤622，在步骤622中，解码器寻找2位旗标值且根据旗标值对块执行逆变换。表2中展示了将使用的逆变换的类型。或者，如果在步骤618处确定预测块大小不是16×16，那么过程600继续到步骤626，在步骤626中，解码器寻找1位旗标值且基于1位值和运动分割大小来执行逆变换。表2中展示了将使用的逆变换的类型。

如果在步骤602处确定预测块大小不大于8×8，那么过程600继续到步骤606，在步骤606中确定预测块大小是否小于8×8。如果预测块大小小于8×8，那么过程600继续进行到下一步骤610，在步骤610中执行4×4逆变换。如果改为在步骤606处确定预测块大小不小于8×8，那么过程继续进行到步骤614，在步骤614中，解码器寻找1位旗标值且基于旗标值来执行逆变换。表2中展示了将使用的逆变换的类型。

过程300、400、500和600描述用于确定对视频块使用的变换的大小的特定语法。所属领域的一般技术人员将认识到，所述过程仅为编码并解码块并且设定旗标值的示范性过程。应注意，可使用具有额外步骤、较少步骤或具有经重排列的步骤的其它过程来实现与表1或表2中所展示的语法相同的语法。另外，所属领域的一般技术人员将认识到，可改变指派给每一变换指示的特定旗标值。另外，可形成类似于在表1和表2中见到的语法的语法。

还应注意，可使用额外变换大小(例如，32×32)和预测块大小(例如，32×32)以编码并解码块并且设定旗标值。举例来说，虽然针对旗标值仍仅使用2个位(如上所述)，但旗标可指示32×32的变换大小。举例来说，在过程300中，步骤362可确定预测块大小是否等于32×32，且步骤370可确定预测块大小是否等于16×32。接着可修改步骤366、374和378以使得在每一步骤处分别对块执行32×32、16×32或32×16变换。因此，在步骤358处设定的旗标值将指示32×32、16×32或32×16的变换，而不是16×16、8×16或16×8的变换。可进行额外修改以使用旗标值与预测块大小的组合来指示额外变换大小。

将旗标值的位作为经编码视频数据的一部分沿着通信信道16发送。视编码方案而定，沿着所发送的位流，旗标值的位的放置可不同。旗标值可为发送到解码器的标头的一部分。所述标头可含有可识别当前视频块的特定特性(例如，块类型、预测模式、针对亮度和色度的经译码块模式(CBP)、预测块大小和一个或一个以上运动向量)的额外标头语法元素。举例来说，可在视频编码器20内的熵译码单元37处产生这些标头语法元素。

在一个实施例中，标头包括用以指示在编码块中是否存在非零系数的位。如果存在非零系数，那么指示变换大小的位也包括于标头中。如果不存在非零系数，那么不发送变换大小位。在另一实施例中，不管是否存在非零系数，均在每一标头中发送变换大小元素。

本发明中描述的技术可实施于硬件、软件、固件或其任何组合中。描述为单元或组件的任何特征可一起实施于集成式逻辑装置中或单独实施为离散但可交互操作的逻辑装置。如果实施于软件中，那么所述技术可至少部分地由包含指令的计算机可读媒体实现，所述指令在被执行时执行上述方法的一者或一者以上。计算机可读媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体实现，所述计算机可读通信媒体载运或传送呈指令或数据结构的形式的代码且可由计算机存取、读取和/或执行。

所述代码可由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中使用的术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码和解码的专用软件单元或硬件单元内，或并入于组合式视频编码器-解码器(CODEC)中。将不同特征描绘为单元希望突出所说明的装置的不同功能方面，且未必暗示此类单元必须由单独的硬件或软件组件实现。事实上，与一个或一个以上单元相关联的功能性可集成于共同或单独的硬件或软件组件内。

已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (70)

1.一种编码视频数据的方法，所述方法包含：

基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；

从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；

选择具有第一变换大小的变换以应用于所述残余块；

产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；

将所述选定变换应用于所述残余块以产生残余变换系数；以及

基于所述标头数据和所述残余变换系数来产生视频信号。

2.根据权利要求1所述的方法，其中所述标头数据进一步包含指示经译码块模式的第三语法元素，所述第三语法元素包含第二值，且其中如果所述第二值为非零，那么所述第一语法元素依序跟在所述第三语法元素之后。

3.根据权利要求1所述的方法，其中所述第一语法元素的所述第一值对应于多个变换大小。

4.根据权利要求3所述的方法，其中所述第一值基于所述预测视频块的所述预测块大小而映射到所述第一变换大小。

5.根据权利要求1所述的方法，其中所述第一变换大小为大小X×Y，其中X不等于Y。

6.根据权利要求5所述的方法，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。

7.根据权利要求1所述的方法，其中所述第一变换大小等于所述预测视频块的所述预测块大小。

8.根据权利要求1所述的方法，其中所述第一变换大小为N×M，且M和N中的至少一者等于或大于16。

9.根据权利要求1所述的方法，其中产生指示所述选定变换的标头数据包含：

确定所述预测块大小是否大于第一阈值；以及

确定所述预测块大小是否小于第二阈值。

10.根据权利要求9所述的方法，其中所述第一阈值为8×8，且所述第二阈值为8×8。

11.根据权利要求1所述的方法，其中产生指示所述选定变换的标头数据包含：

确定所述预测块大小是否大于第一阈值；以及

确定所述预测块大小是否等于第二值。

12.根据权利要求11所述的方法，其中所述第一阈值为8×8，且所述第二值为16×16。

13.根据权利要求11所述的方法，其中所述第一阈值为8×8，且所述第二值为16×8。

14.根据权利要求1所述的方法，其中所述选定变换为整数变换。

15.根据权利要求1所述的方法，其中所述选定变换为离散余弦变换。

16.根据权利要求1所述的方法，其中所述选定变换为定向变换。

17.一种解码视频数据的方法，所述方法包含：

接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；

将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；

基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；

对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及

将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块。

18.根据权利要求17所述的方法，其中所述标头数据进一步包含指示经译码块模式的第三语法元素，所述第三语法元素包含第二值，且其中如果所述第二值为非零，那么所述第一语法元素依序跟在所述第三语法元素之后。

19.根据权利要求17所述的方法，其中所述第一语法元素的所述第一值对应于多个变换大小。

20.根据权利要求19所述的方法，其中所述第一值基于所述至少一个块的所述预测块大小而映射到所述第一变换大小。

21.根据权利要求17所述的方法，其中所述第一变换大小为大小X×Y，其中X不等于Y。

22.根据权利要求21所述的方法，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。

23.根据权利要求17所述的方法，其中所述第一变换大小等于所述至少一个块的所述预测块大小。

24.根据权利要求17所述的方法，其中所述第一变换大小为N×M，且M和N中的至少一者等于或大于16。

25.根据权利要求17所述的方法，其中确定所述第一变换大小包含：

确定所述预测块大小是否大于第一阈值；以及

确定所述预测块大小是否小于第二阈值。

26.根据权利要求25所述的方法，其中所述第一阈值为8×8，且所述第二阈值为8×8。

27.根据权利要求17所述的方法，其中确定所述第一变换大小包含：

确定所述预测块大小是否大于第一阈值；以及

确定所述预测块大小是否等于第二值。

28.根据权利要求27所述的方法，其中所述第一阈值为8×8，且所述第二值为16×16。

29.根据权利要求27所述的方法，其中所述第一阈值为8×8，且所述第二值为16×8。

30.根据权利要求17所述的方法，其中所述逆变换为整数变换。

31.根据权利要求17所述的方法，其中所述逆变换为离散余弦变换。

32.根据权利要求17所述的方法，其中所述逆变换为定向变换。

33.一种用于编码视频数据的设备，所述设备包含：

用于基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块的装置；

用于从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块的装置；

用于选择具有第一变换大小的变换以应用于所述残余块的装置；

用于产生指示所述选定变换的标头数据的装置，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；

用于将所述选定变换应用于所述残余块以产生残余变换系数的装置；以及

用于基于所述标头数据和所述残余变换系数来产生视频信号的装置。

34.根据权利要求33所述的设备，其中所述用于应用空间预测或运动补偿的装置包含预测单元，所述用于减去的装置包含求和器，所述用于选择所述变换大小的装置包含模式决策单元，所述用于产生标头数据的装置包含熵编码单元，所述用于应用所述选定变换的装置包含块变换单元，且所述用于产生视频信号的装置包含所述熵编码单元。

35.一种用于解码视频数据的设备，所述设备包含：

用于接收指示视频帧内的至少一个块的视频信号的装置，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的运动分割大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；

用于将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块的装置；

用于基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小的装置；

用于对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块的装置；以及

用于将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块的装置。

36.根据权利要求35所述的设备，其中所述用于接收的装置包含接收器，所述用于应用空间预测或运动补偿的装置包含预测单元，所述用于确定所述第一变换大小的装置包含熵解码单元，所述用于应用逆变换的装置包含逆变换单元，且所述用于添加的装置包含求和器。

37.一种用于编码视频数据的系统，所述系统包含：

预测单元，其经配置以将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；

求和器，其经配置以从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；

模式决策单元，其经配置以选择具有第一变换大小的变换以应用于所述残余块；

块变换单元，其经配置以将所述选定变换应用于所述残余块以产生残余变换系数；以及

熵编码单元，其经配置以：产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；且基于所述标头数据和所述残余变换系数来产生视频信号。

38.根据权利要求37所述的系统，其中所述标头数据进一步包含指示经译码块模式的第三语法元素，所述第三语法元素包含第二值，且其中如果所述第二值为非零，那么所述第一语法元素依序跟在所述第三语法元素之后。

39.根据权利要求37所述的系统，其中所述第一语法元素的所述第一值对应于多个变换大小。

40.根据权利要求39所述的系统，其中所述第一值基于所述预测视频块的所述预测块大小而映射到所述第一变换大小。

41.根据权利要求37所述的系统，其中所述第一变换大小为大小X×Y，其中X不等于Y。

42.根据权利要求41所述的系统，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。

43.根据权利要求37所述的系统，其中所述第一变换大小等于所述预测视频块的所述预测块大小。

44.根据权利要求37所述的系统，其中所述第一变换大小为N×M，且M和N中的至少一者等于或大于16。

45.根据权利要求37所述的系统，其中所述熵编码单元进一步经配置以确定所述预测块大小是否大于第一阈值且确定所述预测块大小是否小于第二阈值。

46.根据权利要求45所述的系统，其中所述第一阈值为8×8，且所述第二阈值为8×8。

47.根据权利要求37所述的系统，其中所述熵编码单元进一步经配置以确定所述预测块大小是否大于第一阈值且确定所述预测块大小是否等于第二值。

48.根据权利要求47所述的系统，其中所述第一阈值为8×8，且所述第二值为16×16。

49.根据权利要求47所述的系统，其中所述第一阈值为8×8，且所述第二值为16×8。

50.根据权利要求37所述的系统，其中所述选定变换为整数变换。

51.根据权利要求37所述的系统，其中所述选定变换为离散余弦变换。

52.根据权利要求37所述的系统，其中所述选定变换为定向变换。

53.一种用于解码视频数据的系统，所述系统包含：

接收器，其经配置接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；

预测单元，其经配置以将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；

熵解码单元，其经配置以基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；

逆变换单元，其经配置以对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及

求和器，其经配置以将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块。

54.根据权利要求53所述的系统，其中所述标头数据进一步包含指示经译码块模式的第三语法元素，所述第三语法元素包含第二值，且其中如果所述第二值为非零，那么所述第一语法元素依序跟在所述第三语法元素之后。

55.根据权利要求53所述的系统，其中所述第一语法元素的所述第一值对应于多个变换大小。

56.根据权利要求55所述的系统，其中所述第一值基于所述至少一个块的所述预测块大小而映射到所述第一变换大小。

57.根据权利要求53所述的系统，其中所述第一变换大小为大小X×Y，其中X不等于Y。

58.根据权利要求57所述的系统，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。

59.根据权利要求53所述的系统，其中所述第一变换大小等于所述至少一个块的所述预测块大小。

60.根据权利要求53所述的系统，其中所述第一变换大小为N×M，且M和N中的至少一者等于或大于16。

61.根据权利要求53所述的系统，其中所述熵解码单元进一步经配置以确定所述预测块大小是否大于第一阈值且确定所述预测块大小是否小于第二阈值。

62.根据权利要求61所述的系统，其中所述第一阈值为8×8，且所述第二阈值为8×8。

63.根据权利要求53所述的系统，其中所述熵解码单元进一步经配置以确定所述预测块大小是否大于第一阈值且确定所述预测块大小是否等于第二值。

64.根据权利要求63所述的系统，其中所述第一阈值为8×8，且所述第二值为16×16。

65.根据权利要求63所述的系统，其中所述第一阈值为8×8，且所述第二值为16×8。

66.根据权利要求53所述的系统，其中所述逆变换为整数变换。

67.根据权利要求53所述的系统，其中所述逆变换为离散余弦变换。

68.根据权利要求53所述的系统，其中所述逆变换为定向变换。

69.一种计算机可读媒体，其包含指令，所述指令在被执行时执行包含以下步骤的方法：

基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；

从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；

选择具有第一变换大小的变换以应用于所述残余块；

产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；

将所述选定变换应用于所述残余块以产生残余变换系数；以及

基于所述标头数据和所述残余变换系数来产生视频信号。

70.一种计算机可读媒体，其包含指令，所述指令在被执行时执行包含以下步骤的方法：接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；

将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；

基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；

对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及

将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块。

Images