CN101310536A - 启用对h.264和其它变换编码信息的高效部分解码的视频编码方法 - Google Patents

Abstract

本发明描述用以处理多媒体数据从而启用变换编码数据的高效部分解码的方法和设备。解码器装置接收变换系数，其中所述变换系数与多媒体数据相关联。所述解码器装置确定一组待重建的多媒体样本。在一个方面中，所述组待重建的样本是经变换多媒体样本矩阵的子组。所述解码器装置确定待用于重建所述多媒体样本的一组变换系数。在一个方面中，所述变换系数用于缩放与用于产生所述变换系数的编码方法相关联的部分基础图像，从而产生经重建的多媒体样本。

Description

启用对H.264和其它变换编码信息的高效部分解码的视频编码方法

根据35U.S.C.§119主张优先权

本专利申请案主张2005年9月27日申请的题为“错误隐蔽(ERRORCONCEALMENT)”的第60/721,377号临时申请案的优先权，且所述临时申请案转让给本受让人，并在此明确以引用的方式并入本文中。

技术领域

本发明针对于多媒体信号处理，且更特定来说，针对于视频编码和解码。

背景技术

多媒体信号处理系统(例如视频编码器)可基于例如MPEG-x和H.26x标准的国际标准使用编码方法来编码多媒体数据。这些编码方法一般针对于压缩多媒体数据以供传输和/或存储。压缩广义上是从数据移除冗余部分的过程。

可依据图片序列来描述视频信号，所述图片序列包括帧(整个图片)或半帧(例如，交错视频信号包含图片的交替的奇数行或偶数行的半帧)。如本文所使用，术语“帧”表示图片、帧或半帧。视频编码方法通过使用无损或有损压缩算法压缩每一帧来压缩视频信号。帧内编码(本文称为内部编码)表示使用所述帧来编码一帧。帧间编码(本文称为中间编码)表示基于其它“参考”帧来编码一帧。举例来说，视频信号通常表现出空间冗余，其中在相同帧中彼此接近的视频帧样本的部分至少具有彼此匹配或彼此至少近似匹配的部分。

多媒体处理器(例如视频编码器)可通过将帧分割为(例如)16×16个像素的区块或“宏区块”来编码帧。编码器可进一步将每一宏区块分割为子区块。每一子区块可进一步包含额外子区块。举例来说，宏区块的子区块可包括16×8和8×16个子区块。8×16个子区块中的子区块可包括8×8个子区块等等。如本文所使用，术语“区块”表示宏区块或子区块。

一种基于发展中的业界标准的压缩技术通常称为“H.264”视频压缩。H.264技术定义编码视频位流的语法以及解码此位流的方法。在H.264编码过程的一个方面中，提供输入视频帧来进行编码。所述帧以对应于原始图像的宏区块为单位经处理。每一宏区块可以内部(intra)或中间(inter)模式编码。基于已重建帧或在相同帧中的已重建相邻区块(称为因果相邻者)的部分而形成预测的宏区块。在内部模式下，由当前帧中的先前经编码、解码并重建的因果样本形成宏区块。从正编码的当前宏区块减去一个或一个以上因果相邻宏区块的多媒体样本以产生残余或差异宏区块D。使用区块变换来变换此残余区块D并将其量化以产生X，一组经量化的变换系数。将所述变换系数重新排序并以熵编码。熵编码系数连同用于解码宏区块的其它信息一起变成被传输到接收装置的经压缩位流的一部分。

遗憾的是，在传输过程期间，可能在一个或一个以上宏区块中引入错误。举例来说，一个或一个以上降级传输影响(例如信号衰减)可导致一个或一个以上宏区块中数据的丢失。因此，当在例如无线信道的易出错网络上传递多媒体内容时错误隐蔽已变得关键。错误隐蔽方案使用存在于视频信号中的空间与时间相关性。当遭遇错误时，可在熵解码期间进行恢复。举例来说，当遭遇分组错误时，属于一个或一个以上宏区块或视频片段(通常相邻的宏区块的群组)的数据的全部或部分可能丢失。当片段的视频数据丢失时，可在下一片段处发生解码同步，且可使用空间隐蔽来隐蔽丢失片段的缺失区块。

由于解码器装置可用的解码数据包括经解码并重建的因果相邻者，所以空间隐蔽通常使用因果相邻来隐蔽缺失区块。使用因果相邻来隐蔽丢失的区块的一个原因在于，尤其当使用高度管线化视频硬件解码器核心时，在下一片段的无序重建之后隐蔽当前片段的丢失部分可能非常低效。非因果相邻可提供用于改进空间隐蔽的有价值的信息。需要一种提供非因果相邻多媒体样本的无序重建的有效方法。

发明内容

本发明的系统、方法和装置每一者具有若干方面，其中单个方面并非仅对其所需的属性负责。其较显著的特征不限制权利要求书所表达的本发明范畴，且现将简要论述所述特征。考虑此论述之后，且尤其在阅读题为“具体实施方式”的段落之后，将了解本发明的样本特征如何提供包括改进的错误隐蔽和改进的效率的多媒体编码和解码的优点。

提供一种处理多媒体数据的方法。所述方法包括接收变换系数，其中所述变换系数与多媒体数据相关联。所述方法进一步包括：确定一组待重建的多媒体样本；基于待重建的多媒体样本而确定一组所述接收的变换系数；以及处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

提供一种多媒体数据处理器。所述处理器经配置以接收变换系数，其中所述变换系数与多媒体数据相关联。所述处理器经进一步配置以确定一组待重建的多媒体样本，基于待重建的多媒体样本而确定一组所述接收的变换系数，并处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

提供一种用于处理多媒体数据的设备。所述设备包括用于接收变换系数的接收器，其中所述变换系数与多媒体数据相关联。所述设备进一步包括：第一确定器，其确定一组待重建的多媒体样本；第二确定器，其基于待重建的多媒体样本确定一组所接收的变换系数；以及产生器，其处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

提供一种包括当执行时促使机器处理多媒体数据的指令的机器可读媒体。所述指令促使所述机器接收变换系数，其中所述变换系数与多媒体数据相关联。所述指令进一步使所述机器确定一组待重建的多媒体样本，基于待重建的多媒体样本确定一组所接收的变换系数，并处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

附图说明

图1是说明根据一个方面的多媒体通信系统的方框图。

图2A是说明可用于例如图1中所说明的系统的解码器装置的方面的方框图。

图2B是说明可用于例如图1中所说明的系统的解码器装置的计算机处理器系统实例的方框图。

图3是说明解码例如图1中所说明的系统中的视频流的一部分的方法的一个实例的流程图。

图4是更详细说明解码例如图1中所说明的系统中的视频流的一部分的方法的另一实例的流程图。

图5展示4×4区块和其周围因果相邻像素的详图。

图6展示说明用于描述H.264中的区块的指向性特征的九个指向性模式(0-8)的指向性模式图。

图7说明直接位于一个或一个以上片段边界右下方的内部编码4×4像素区块的一个实例。

图8说明相邻像素和内部编码4×4像素区块内的像素的命名法。

图9说明直接位于片段边界右下方的内部编码16×16Luma宏区块的一个实例。

图10说明直接位于片段边界右下方的内部编码8×8Chroma区块的一个实例。

图11说明直接位于片段边界下方的多媒体样本的一部分。

图12是说明可用于例如图1中所说明的系统的解码器装置的另一实例的方框图。

图13是说明可用于例如图1中所说明的系统的解码器装置150的另一实例的方框图。

具体实施方式

以下详细描述是关于本发明的某些特定样本方面。然而，可以如权利要求书所界定和涵盖的许多不同方式实施本发明。在此描述中，参看图式，其中相同部件始终用相同标号表示。

可依据一系列图片、帧或半帧来表达视频信号的特征。如本文所使用，术语“帧”为广义术语，其可涵盖渐进的视频信号的帧或交错视频信号的帧或半帧。

各个方面包括用于改进多媒体传输系统中编码器和解码器中的处理的系统和方法。多媒体数据可包括运动视频、音频、静态图像或任何其它合适类型的音频视觉数据中的一者或一者以上。方面包括一种以有效的方式解码视频数据的设备和方法，其通过重建非因果多媒体样本并使用经重建样本执行丢失或错误编码的多媒体数据的空间隐蔽来提供改进的错误隐蔽。举例来说，根据一个方面已发现，在为丢失或错误数据估计多媒体隐蔽数据之前产生经重建的因果和/或非因果相邻样本可改进空间隐蔽的质量。在一些实例中，用以原始地编码经重建样本的所重建的多媒体样本和指向性指示符用于估计多媒体隐蔽数据。在另一方面中，已发现，重建待用于空间错误隐蔽的多媒体样本矩阵的子组可进一步改进处理效率。在一些实例中，在预处理器中执行多媒体样本的重建和多媒体隐蔽数据的估计。多媒体隐蔽数据接着可在有效的视频核心处理器中与待解码的原始经编码非因果多媒体数据一起传送，从而进一步改进处理效率。

多媒体通信系统

图1是说明根据一个方面的多媒体通信系统100的功能方框图。系统100包括经由网络140与解码器装置150通信的编码器装置110。在一个实例中，编码器装置从外部源102接收多媒体信号并编码此信号以供在网络140上传输。

在此实例中，编码器装置110包含耦合到存储器114和收发器116的处理器112。处理器112编码来自多媒体数据源的数据并将其提供到收发器116以供在网络140上进行传送。

在此实例中，解码器装置150包含耦合到存储器154和收发器156的处理器152。处理器152可包括通用处理器和/或数字信号处理器和/或特殊应用硬件处理器中的一者或一者以上。存储器154可包括固态或基于磁盘的存储装置或任何可读且可写随机存取存储器装置中的一者或一者以上。收发器156经配置以在网络140上接收多媒体数据，并使其可用于处理器152以便进行解码。在一个实例中，收发器156包括无线收发器。网络140可包含有线或无线通信系统中的一者或一者以上，包括乙太网、电话(例如，POTS)、电缆、电源线和光纤系统中的一者或一者以上，和/或包含码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、时分多址(TDMA)系统中的一者或一者以上的无线系统，例如GSM/GPRS(通用分组无线电服务)/EDGE(增强数据GSM环境)、TETRA(陆地集群无线电)移动电话系统、宽频码分多址(WCDMA)系统、高数据速率(IxEV-DO或IxEV-DO Gold Multicast)系统、IEEE 802.11系统、MediaFLO系统、DMB系统、正交频分多址(OFDM)系统或DVB-H系统。

图2A是说明可用于例如图1中所说明的系统100的系统的解码器装置150的方面的功能方框图。在此方面中，解码器150包含接收器元件202、多媒体样本确定器元件204、变换系数确定器元件206、重建样本产生器元件208和多媒体隐蔽估计器元件210。

接收器202接收经编码视频数据(例如，由图1的编码器110编码的数据)。接收器202可在例如图1的网络140的有线或无线网络上接收经编码数据。在一个方面中，所接收的数据包括表示源多媒体数据的变换系数。将变换系数变换为其中相邻样本的相关性显著减少的域。举例来说，图像通常在空间域中展示出高度空间相关。另一方面，经变换的系数通常彼此正交，从而展示出零相关。可用于多媒体数据的变换的一些实例包括(但不限于)DCT(离散余弦变换)、DFT(离散傅立叶变换)、哈达马德(Hadamard)(或沃尔什哈达马德(Walsh-Hadamard))变换、离散小波变换、DST(离散正弦变换)、哈尔(Haar)变换、斜变换、KL(卡忽南-拉维)变换和整数变换(例如H.264中所使用的变换)。使用所述变换来变换多媒体样本的矩阵或阵列。通常使用二维矩阵，但也可使用一维阵列。所接收的数据也包括指示经编码的区块如何被编码的信息。此信息可包括例如运动向量和帧序列号的中间编码参考信息，以及包括区块尺寸和空间预测指向性指示符的内部编码参考信息，以及其它信息。一些所接收的数据包括指示每一变换系数如何四舍五入的量化参数，指示经变换的矩阵中多少变换系数为非零的非零指示符，和其它指示符。

多媒体样本确定器204确定将重建哪些多媒体样本。在一个方面中，多媒体样本确定器204确定靠近和/或毗连已丢失且可被隐蔽的多媒体数据的区域的相邻多媒体样本或像素。在一个实例中，多媒体样本确定器识别邻近于其中数据的一部分由于错误或信道损耗而已丢失的片段或其它区块群组的边界的像素。在一些实例中，多媒体样本确定器204识别与重建从所确定的像素而在空间上预测到的相邻区块相关联的最少数目的像素。举例来说，经压缩的多媒体数据可包含从个别区块(例如，8×8像素的区块和/或4×4像素区块)或矩阵的变换而产生的变换系数区块。多媒体样本确定器204可识别待重建的经变换区块的多媒体样本的特定子组以便用于隐蔽丢失的数据或用于重建从那些样本预测到的其它区块中的其它经编码多媒体样本。所确定的多媒体样本可包括非因果样本和/或因果样本。

变换系数确定器206确定一组变换系数，所述组变换系数将用于重建经确定将由多媒体样本确定器204重建的多媒体样本中的一些或全部。对于使用哪些变换系数的确定视用于产生变换系数的编码方法而定。变换系数确定也取决于正重建哪些多媒体样本和是否存在具有零值的变换系数(藉此消除使用其的潜在需要)。下文论述哪些变换系数可足够用以重建多媒体样本的细节。

重建样本产生器208基于由多媒体样本确定器204确定的那些样本来重建多媒体样本。经重建样本组可为一整组，例如样本的整个N×N矩阵，其中N为整数。所述样本组可为来自N×N矩阵的样本的子组，例如一行、一列、一行或一列的一部分、一对角线等。重建样本产生器208在重建样本时使用由变换系数确定器206确定的变换系数。重建样本产生器208在重建多媒体样本时也使用基于用于编码变换系数的编码方法的信息。下文论述由重建样本产生器208执行的动作的细节。

多媒体隐蔽估计器210使用由重建样本产生器208计算出的经重建样本来形成隐蔽多媒体样本以替代或隐蔽在传输/接收期间丢失或因错误而被更改的多媒体数据的区域。多媒体隐蔽估计器210在一个方面中使用经重建的样本值来形成隐蔽多媒体数据。在另一方面中，多媒体隐蔽估计器210在估计多媒体隐蔽数据时使用经重建的样本值和所接收的空间预测指向性模式指示符。空间错误隐蔽的更多细节可参阅第11/182,621号申请案(现公开的专利申请案U.S.2006/0013320)“用于空间错误隐蔽的方法和设备(METHODS AND APPARATUS FOR SPATIAL ERROR CONCEALMENT)”，其转让给本受让人。

在一些方面中，图2A的解码器150的元件中的一者或一者以上可经重新布置和/或组合。所述元件可由硬件、软件、固件、中间件、微码或其任何组合实施。下文将参看图3和4中所说明的方法论述由解码器150的元件执行的动作的细节。

图2B是说明可用于例如图1中所说明的系统的解码器装置的计算机处理器系统实例的方框图。此实例的解码器装置150包括预处理器元件220、随机存取存储器(RAM)元件222、数字信号处理器(DSP)元件224和视频核心元件226。

在一个方面中，预处理器220用于执行由图2A的各个元件执行的动作中的一者或一者以上。预处理器解析视频位流并将数据写入到RAM 222。另外，在一个方面中，预处理器220实施多媒体样本确定器204、变换系数确定器206、重建样本产生器208和多媒体隐蔽估计器210的动作。通过在预处理器220中执行这些更有效、计算上较不密集的动作，可以因果次序在高效视频核心226中完成计算上较密集的视频解码。

DSP 224撷取存储于RAM 222中的经解析的视频数据，并将其重新组织以便由视频核心226处理。视频核心226执行解量化(也称为再缩放或缩放)、逆变换和解块功能以及其它视频解压缩功能。视频核心通常以高度优化且管线化的方式实施。因此，当以因果次序解码视频数据时，可以最快的方式解码所述视频数据。通过在预处理器中执行多媒体样本的无序重建和后续空间隐蔽，维持因果次序以用于在视频核心中进行解码，从而允许改进整体解码性能。

图3是说明解码例如图1中所说明的系统中的视频流的一部分的方法的一个实例的流程图。过程300可由例如图2A和2B所示的实例的解码装置执行。过程300启用选定的多媒体样本的重建。过程300可用于以因果次序重建多媒体样本，其中从因果数据预测其它经编码多媒体数据，且可能在其自身重建之前需要重建因果数据。过程300可用于以非因果次序重建多媒体样本。在一个方面中，以某一方式重建非因果数据以便准予以更有效且及时的方式对所有多媒体数据(因果和非因果两者)进行后续重建。

过程300开始于方框305，其中解码器装置接收与多媒体数据位流相关联的变换系数。解码器装置可在例如图1所示的网络140的有线和/或无线网络上接收变换系数。变换系数可表示包括色彩和/或亮度参数(例如分别为色度(chrominance)和亮度(luminance))的多媒体样本。用于产生变换系数的变换可包括(但不限于)DCT(离散余弦变换)、DFT(离散傅立叶变换)、哈达马德(或沃尔什哈达马德)变换、离散小波变换、DST(离散正弦变换)、哈尔变换、斜变换、KL(卡忽南-拉维)变换和整数变换(例如H.264中所使用的变换)。当编码期间产生变换系数时，可以群组(例如一维阵列和/或二维矩阵)来变换多媒体样本。变换系数可经内部编码且可包括或可不包括空间预测。在产生变换系数时使用空间预测的情况下，变换系数可表示残余值，其为由参考值提供的预测符的误差。变换系数可经量化。变换系数可被熵编码。图2A的接收器元件202可执行方框305处的动作。

在接收变换系数之后，过程300在方框310处继续，其中解码器装置确定一组待重建的多媒体样本。待重建的多媒体样本可包括亮度(luma)和色度(chroma)样本。在一些实例中，响应于同步损耗来确定所述组待重建的多媒体样本，同时解码方框305处所接收的多媒体位流。同步损耗可由对应于宏区块的第一片段中所含有的多媒体样本的编码数据的一些或全部的错误接收或损耗而导致。待重建的经确定多媒体样本可包含在宏区块的第二片段中。宏区块的第二片段毗连宏区块的第一片段的丢失部分的至少一部分。如上所述，经确定的多媒体样本相对于多媒体样本的丢失部分可为因果或非因果的。

在一个方面中，在方框310处确定的待重建的多媒体样本可启用与待隐蔽的多媒体数据的丢失部分毗连的其它多媒体样本的重建。举例来说，可参考在方框310处确定为待重建的所确定组的多媒体样本来在空间上预测宏区块的另一片段底部处的内部编码宏区块。因此，通过重建与内部编码区块强烈相关的经确定组的多媒体样本，内部编码区块自身可经由隐蔽过程而经重建。在另一方面中，在方框310处确定为待重建的多媒体样本可包含位于片段边界上或接近片段边界的样本。待重建的样本可包含在编码期间作为群组而变换的相关联的多媒体样本的整个矩阵。待重建的样本也可包含相关联的多媒体样本的矩阵的一部分，例如行、列、对角线或其若干部分和/或组合。图2A的多媒体样本确定器204可执行方框310处的动作。下文论述可重建的多媒体样本的子组的细节。

过程300在方框315处继续，其中解码器装置确定与在方框310处确定为待重建的多媒体样本相关联的一组变换系数。对于使用哪些变换系数来进行重建的确定取决于用于产生变换系数的编码方法。变换系数的确定也取决于重建哪些多媒体样本。举例来说，可确定可重建在方框310处确定的整个组的多媒体样本，或者可确定重建子组。方框315处变换系数的确定也取决于是否存在具有零值的变换系数(藉此否定使用其的潜在需要)。下文论述哪些变换系数可足以重建多媒体样本的细节。图2A的变换系数确定器可执行方框315处的动作。

在方框310处确定所述组待重建的多媒体样本，且在方框315处确定与所确定的多媒体样本相关联的所述组变换系数之后，过程300行进到方框320。在方框320处，解码器装置处理所确定的所述组变换系数以便产生重建的多媒体样本。所执行的处理取决于用于产生变换系数的编码方法。所述处理包括逆变换变换系数，但也可包括其它动作，其中包括(但不限于)熵解码、解量化(也称为再缩放或缩放)等。下文参照图4论述在方框320处执行的处理的实例的细节。

在一些示范性系统中，在例如图2B所示的预处理器220等预处理器中执行过程300中的一些或全部动作。应注意，过程300中的一些方框可组合、省略、重新布置或其任何组合。

图4是更详细地说明在例如图1中所说明的系统中解码视频流的一部分的方法的另一实例的流程图。示范性过程400包括过程300中所包含的方框305到320处执行的所有动作。方框305、310和315与图3所示且在上文论述的实例保持不变。过程400中更详细地说明其中处理变换系数以产生经重建样本的过程300的方框320，其中过程400包含四个方框405、410、420和425。过程400也包括额外方框，其中有估计隐蔽多媒体样本的方框430，和基于所估计的隐蔽多媒体样本产生变换系数的方框435。

解码器装置以与上文所论述的方式类似的方式执行方框305、310和315处的动作。展示方框320的详细实例，其中使变换系数与基础图像相关联以便有效地重建多媒体样本。方框405处，解码器装置将变换系数划分为群组，其中变换系数群组与在方框305处确定为待重建的多媒体样本相关联。在一个方面中，变换系数群组包含在重建过程中在逆变换过程期间修改(加权)共同基础图像的变换系数。下文参照使用H.264的实例论述如何将变换系数划分为群组的细节。

在方框410处，解码器装置基于产生系数的编码方法来计算与每一划分的群组相关联的权数值。在一个方面中，所述权数值是每一群组的经缩放变换系数的和。缩放复制编码方法的逆变换特征。下文参照H.264实例论述缩放和计算权数值的实例。

在方框420处，基于编码变换方法为群组的每一者确定基础图像。基础图像通常为二维正交矩阵，但也可利用一维阵列。使用二维基础图像的部分，其中所述部分取决于重建哪些多媒体样本(如方框310处所确定)。方框410处为每一群组计算的值用于在方框425处修改(或加权)相关联的基础图像。通过组合所有经加权的基础图像，在方框425处重建多媒体样本。下文参照H.264实例论述方框420和425的细节。

产生经重建的多媒体样本之后，过程400在方框430处继续，其中在一些实例中，解码器装置基于经重建的样本而估计隐蔽多媒体样本。在一个方面中，多媒体样本的经重建的样本值用于形成隐蔽多媒体数据。在另一方面中，经重建的样本值和所接收的空间预测指向性模式指示符用于形成多媒体隐蔽数据。空间错误隐蔽的更多细节可参阅第11/182/621号申请案(现公开的专利申请案U.S.2006/0013320)“用于空间错误隐蔽的方法和设备(METHODS AND APPARATUS FOR SPATIAL ERROR CONCEALMENT)”，其转让给本受让人。

在一些实例中，估计的隐蔽多媒体样本被直接使用并嵌入含有同一帧的经重建数据的帧缓冲器中以便接着进行显示，在其它实例中，以复制编码过程的方式变换所估计的隐蔽多媒体样本以便在方框435处产生表示所估计的隐蔽多媒体样本的变换系数。接着将所述变换系数嵌入未解码(仍经编码)的位流，如同其为正常经编码样本一样。接着可将整个位流传递到视频解码器核心(例如图2B中的视频核心226)以进行解码。在这些实例中，过程400的全部或部分可在例如图2B的预处理器220的预处理器中执行，此执行重建和隐蔽估计的方法对于重建随后用于隐蔽由于信道错误而丢失的多媒体数据的其它部分的非因果部分尤其有用。现将参照H.264编码多媒体位流来论述用于改进多媒体样本的重建效率的方法的细节。

H.264位流中的高效部分内部解码

H.264使用空间预测在相邻像素区块中开拓空间相关性。空间预测模式使用4×4、8×8或16×16像素区块左上方的因果相邻来进行空间预测。H.264针对Luma值提供2个空间预测模式，一个模式针对4×4像素区块(本文称为内部4×4编码)，和一个模式针对16×16像素宏区块(本文称为内部16×16编码)。应注意，可使用其它因果和非因果相邻样本来进行空间预测。

图5展示4×4像素区块502和其左上方的周围因果相邻像素(通常展示为504)的详图。举例来说，在H.264编码过程期间，使用因果相邻像素504来产生描述区块502像素的各种预测符、值和/或参数。区块502包含像素(p0-p15)，且使用参考指示符n3、n7、n11、n12、n13、n14和n15来识别因果相邻像素504，其中参考指示符的数目对应于区块502像素的类似位置。

H.264中提供的空间预测模式使用各种指向性模式来从各种因果相邻像素504在空间上预测区块502。图6展示说明用于描述H.264中的内部编码区块的指向性特征的九个指向性模式(0-8)的指向性模式图600。九个指向性模式(或指示符)用于描述区块502的空间预测的指向性特征。举例来说，模式0描述垂直指向性特征，模式1描述水平指向性特征，且模式2描述DC特征，其中可用的因果相邻像素的平均值用作预测的参考。在DC模式下，处于相同片段中的因果相邻像素(直接位于4×4、8×8或16×16像素区块左上方的那些像素)用于计算所述平均值。举例来说，如果经编码的区块毗连上方片段，则计算左侧像素的平均值。如果经编码的区块毗连左上方的另一片段，则使用值128作为DC平均值(H.264中提供的8位范围值的一半)。指向性模式图600中所说明的模式用于H.264编码过程中以产生区块502的预测值。

在H.264的内部4×4编码过程中，可参照4×4区块左上方的像素使用九个指向性模式中的任一者来编码luma值。在内部16×16编码过程中，可参照整个16×16像素区块左上方的像素使用四个模式来编码luma值：i)垂直(模式0)，ii)水平(模式1)，iii)DC(模式2)，和iv)平面(模式3)。在平面预测模式下，假定luma值越过宏区块而空间上且平滑地变化，且基于平面等式形成参考。对于chroma，存在一个预测模式，8×8。在内部8×8chroma编码过程中，可以与内部16×16编码过程中所使用的模式相同的模式预测8×8区块：i)垂直(模式0)，ii)水平(模式1)，iii)DC(模式2)，和iv)平面(模式3)。现将论述重建H.264中编码的预测区块的细节。

预测性(内部或中间)经编码4×4(luma或chroma)区块内的重建信号可表达为：

$r=p+\widetilde{\mathrm{\Δ}}---\left(1\right)$

其中r、p和

分别表示重建信号(原始未压缩信号s的近似值)、预测信号和经压缩残余信号(原始未压缩残余信号的近似值：Δ＝s-p，其中s为原始信号)，此实例中其全部为整数值4×4矩阵。可通过变换系数的逆变换来重建残余值

依据用于编码因果相邻像素的空间预测模式，从所述因果相邻像素获得预测值p。

以下为影响内部4×4编码宏区块内直接位于片段边界下方的像素(H.264中的非因果相邻)的重建的观察数据。在16×16宏区块中，所述区块包括直接位于片段边界下方的最上方四个4×4区块。举例来说，图9中所示的16×16像素宏区块中具有指数b0、b1、b4和b5的区块代表直接位于片段边界AA′下方的区块。

图7展示直接位于片段边界下方的内部4×4编码区块的一个方面。线AA′标记所提及的片段边界，且4×4区块702为正重建的当前区块。片段边界线AA′上方的9个相邻区块704正常应已用于在内部4×4编码过程中执行空间预测，但因为其位于片段边界的另一侧且因此属于另一片段的缘故而不可用。空间预测以及越过片段边界的任何其它预测性编码相依性在H.264中是不允许的，因为片段充当再同步点。

图8说明相邻像素和内部4×4编码区块内的像素的命名法。因为片段边界AA′上方的像素不可用于空间预测，所以可用于预测的区块702的相邻像素为像素{I、J、K、L}。这暗示着针对4×4区块702，可允许的内部4×4编码预测模式为：i)模式1(水平)，ii)模式2(DC)，和iii)模式8(水平向上)。如果图7中的线BB′标记另一片段边界，则像素{I、J、K、L}或{M、A、B、C、D、E、F、G和H}中将无像素可用于空间预测。在此情况下，可用的可允许的内部4×4编码预测模式为模式2(DC)，其中区块702的所有像素的参考值为128。

因此，在最普通的情况下，用于解码和重建直接位于片段边界下方的内部4×4编码区块的一些或所有像素的信息包括：

1.内部4×4预测模式指示符；

2.残余信息(经量化变换系数)；和

3.直接位于4×4区块左侧的4个相邻像素{图8中I、J、K、L}的值。

此充足的数据组可启用当前4×4区块的所有像素值{图8中a、b、c、...、n、o、p}的重建。另外，此数据组足以用于重建像素子组的值{d、h、l、p}，其进而可用于重建直接位于右侧的下一4×4区块。

以下为影响内部16×16编码宏区块内直接位于片段边界下方的像素(H.264中的非因果相邻)的重建的观察数据。此处同样，关键在于直接位于片段边界下方的内部16×16编码宏区块的最上方四个4×4区块(即，图9中具有区块指数b0、b1、b4和b5的那些区块)。

图9展示位于片段边界下方的内部16×16编码宏区块的一个方面。线AA′标记所提及的片段边界，且标注为b0、b1、b4和b5的四个4×4区块构成16×16宏区块的正考虑重建的部分。线AA′上方的17个相邻像素正常应已用于执行内部16×16空间预测，但因为其位于片段边界的另一侧且因此属于另一片段的缘故而不可用。此实例中直接位于线BB′左侧的那些16个相邻像素的潜在可用性暗示着针对当前宏区块的可允许的内部16×16编码空间预测模式为：i)模式1(水平)，和ii)模式2(DC)。当直接位于线BB′左侧的16个相邻像素或位于线AA′上方的17个像素均不可用时(此将为(例如)当线BB′标记另一片段边界(或视频帧的左边界)时的情况)，可允许的内部16×16预测模式为模式2(DC)。

当使用内部16×16预测模式1(水平)来编码当前宏区块时，直接位于线BB′左侧且位于线AA′下方的最顶部四个相邻像素足以用于解码和重建当前16×16宏区块内最顶部四个4×4区块。此与上述启用内部4×4编码宏区块中最顶部四个4×4区块的解码的框架一致。

然而，当使用内部16×16空间预测模式2(DC)来编码当前宏区块，且当前宏区块并非直接位于片段边界右侧或位于左侧帧边界上时，那么直接位于线BB′左侧的所有16个相邻像素用于解码并重建当前MB内最顶部四个4×4区块(以及行中所有其它区块)。此为不合需要的状况。在一个方面中，避免以内部16×16空间预测模式2(DC)直接在片段边界下方进行编码是有益的。需要最顶部4个相邻像素可用于重建片段边界下方的像素(例如，图8中的像素I、J、K和L)。

在一个方面中，直接位于片段边界下方的宏区块的内部16×16编码应限于空间预测模式1(水平)，除非所述宏区块直接位于片段边界右侧，或处于左侧帧边界处。此允许以计算方式有效地重建行中所有最顶部4×4区块的最右侧四个像素。此进而允许以计算方式有效地重建行中所有最顶部4×4区块的最顶部四个像素。

图10展示直接位于片段边界下方的8×8Chroma区块的一个方面。线AA′标记片段边界，且直接位于线AA′下方且位于线BB′右侧的两个4×4区块构成两个Chroma信道(Cr和Cb)中的一者的数据。此实例中，片段边界线AA′上方的九个相邻像素不可用于空间预测，因为其位于片段边界的另一侧且因此其属于另一片段。直接位于线BB′左侧的那些8个相邻像素的可用性暗示着针对当前MB，可允许的chroma信道内部预测模式限于：i)模式0(DC)，和ii)模式1(水平)。当线BB′也为片段边界或视频帧的左边界时，直接位于线BB′左侧的8个相邻像素或直接位于线AA′上方的9个像素均不可用于空间预测。在此情况下，可允许的chroma信道内部预测模式为模式0(DC)。

当使用内部8×8chroma水平预测模式来编码当前内部编码宏区块的chroma信道时，可需要直接位于线BB′左侧的最顶部四个相邻像素用于解码和重建当前MB内最顶部两个4×4chroma区块。应注意，存在两个8×8chroma区块对应于一个16×16luma宏区块。

同样，当使用内部8×8chroma预测模式2(DC)来编码当前内部编码宏区块chroma信道时，直接位于线BB′左侧的8个相邻像素的可用性足以用于解码和重建最顶部两个4×4区块。此同样与上述框架一致。

在一个方面中，直接位于片段边界下方的内部编码宏区块的chroma信道(Cr和Cb)的内部8×8编码应限于空间预测模式1(水平)，除非所述内部编码宏区块直接位于片段边界右侧，或处于左侧帧边界处。此允许在计算上有效地重建行中所有最顶部4×4区块的最右侧四个像素。此进而允许在计算上有效地重建行中所有最顶部4×4区块的最顶部四个像素。此与上述启用内部编码宏区块luma信道中最顶部四个4×4区块的解码的框架一致(内部4×4编码宏区块和内部16×16编码宏区块两者局限之处在于如上所述内部16×16DC空间预测模式的使用)。

H.264中内部编码样本的有效部分解码

已展示4×4像素区块的四个最右侧像素的部分解码允许解码初始4×4区块右侧的内部编码区块的一些和/或所有像素。现将阐述有助于重建针对图8中位置{d、h、l、p]的最终像素值的4×4内部编码区块的残余分量的第四(即，最后)列的有效解码的问题。此实例使用H.264整数变换的基础图像。然而，应注意，可以类似方式操纵其它变换的基础图像，从而允许类似的有效的部分解码。可使用这些方法进行部分解码的其它变换包括(但不限于)DCT(离散余弦变换)、DFT(离散傅立叶变换)、哈达马德(或沃尔什哈达马德)变换、离散小波变换、DST(离散正弦变换)、哈尔变换、斜变换和KL(卡忽南-拉维)变换。

通常，使用变换矩阵[T]的多媒体样本的N×N矩阵[Y]的前向变换将导致变换系数矩阵[w]，其具有以下形式：

[w]＝[T]^T[Y][T]                                         (3)

用于重建多媒体样本矩阵[Y]的相应逆变换为以下形式：

[Y]＝[T][w][T]^T                                         (4)

由等式(3)和(4)表示的变换每一者可视为导致二维(2D)变换的两个一维(1D)变换。举例来说，[Y][T]矩阵乘法运算可视为1D行变换，且[T]^T[Y]矩阵乘法运算可视为1D列变换。所述组合形成2D变换。考虑到N×N矩阵[Y]的2D变换的另一方式为以2D基础图像执行[Y]的N²内积，其中2D基础图像对应于以变换矩阵[T]为特征的2D变换，从而致使一组N²值与所述组变换系数相同。

可通过将变换系数的一者设定为一且将所有其它变换系数设定为零，并对所产生的系数矩阵采用逆变换来计算给定变换[T]的基础图像。举例来说，使用4×4变换系数矩阵[w]，并将w₁₁系数设定为1且将所有其它系数设定为零，且使用H.264整数变换[T_H]，等式(4)结果为：

$\left[Y\right]=\left[T_H\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]{\left[T_H\right]}^T=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& 1& 1\\ 1& 1& 1& 1\\ 1& 1& 1& 1\end{array}\right];---\left(5\right)$

通过对使用[w]中个别变换系数(权数)以加权(缩放)16个(N²)基础图像而形成的16个(N²，其中N＝4)矩阵求和，可计算整个重建的矩阵[Y]。对于计算整个矩阵来说，此与快速变换方法相比并非为有效的方法。然而，与快速变换相比，可通过使用基础图像来更有效地完成子组(例如行或列)的重建。

与针对残余4×4区块的H.264 4×4整数变换过程相关联的16个基础图像可确定为如下，其中sij(对于i，j∈{0，1，2，3})为与第i水平和第j垂直信道相关联的基础图像。

$s00=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& 1& 1\\ 1& 1& 1& 1\\ 1& 1& 1& 1\end{array}\right];---\left(6a\right)$

$s10=\left[\begin{array}{cccc}1& 0.5& -0.5& -1\\ 1& 0.5& -0.5& -1\\ 1& 0.5& -0.5& -1\\ 1& 0.5& -0.5& -1\end{array}\right];---\left(6b\right)$

$s20=\left[\begin{array}{cccc}1& -1& -1& 1\\ 1& -1& -1& 1\\ 1& -1& -1& 1\\ 1& -1& -1& 1\end{array}\right];---\left(6c\right)$

$s30=\left[\begin{array}{cccc}0.5& -1& 1& -0.5\\ 0.5& -1& 1& -0.5\\ 0.5& -1& 1& -0.5\\ 0.5& -1& 1& -0.5\end{array}\right];---\left(6d\right)$

$s01=\left[\begin{array}{cccc}1& 1& 1& 1\\ 0.5& 0.5& 0.5& 0.5\\ -0.5& -0.5& -0.5& -0.5\\ -1& -1& -1& -1\end{array}\right];---\left(6e\right)$

$s11=\left[\begin{array}{cccc}1& 0.5& -0.5& -1\\ 0.5& 0.25& -0.25& -0.5\\ -0.5& -0.25& 0.25& 0.5\\ -1& -0.5& 0.5& 1\end{array}\right];---\left(6f\right)$

$s21=\left[\begin{array}{cccc}1& -1& -1& 1\\ 0.5& -0.5& -0.5& 0.5\\ -0.5& 0.5& 0.5& -0.5\\ -1& 1& 1& -1\end{array}\right];---\left(6g\right)$

$s31=\left[\begin{array}{cccc}0.5& -1& 1& -0.5\\ 0.25& -0.5& 0.5& -0.25\\ -0.25& 0.5& -0.5& 0.25\\ -0.5& 1& -1& 0.5\end{array}\right];---\left(6h\right)$

$s02=\left[\begin{array}{cccc}1& 1& 1& 1\\ -1& -1& -1& -1\\ -1& -1& -1& -1\\ 1& 1& 1& 1\end{array}\right];---\left(6i\right)$

$s12=\left[\begin{array}{cccc}1& 0.5& -0.5& -1\\ -1& -0.5& 0.5& 1\\ -1& -0.5& 0.5& 1\\ 1& 0.5& -0.5& -1\end{array}\right];---\left(6j\right)$

$s22=\left[\begin{array}{cccc}1& -1& -1& 1\\ -1& 1& 1& -1\\ -1& 1& 1& -1\\ 1& -1& -1& 1\end{array}\right];---\left(6k\right)$

$s32=\left[\begin{array}{cccc}0.5& -1& 1& -0.5\\ -0.5& 1& -1& 0.5\\ -0.5& 1& -1& 0.5\\ 0.5& -1& 1& -0.5\end{array}\right];---\left(6l\right)$

$s03=\left[\begin{array}{cccc}0.5& 0.5& 0.5& 0.5\\ -1& -1& -1& -1\\ 1& 1& 1& 1\\ -0.5& -0.5& -0.5& -0.5\end{array}\right];---\left(6m\right)$

$s13=\left[\begin{array}{cccc}0.5& 0.25& -0.25& -0.5\\ -1& -0.5& 0.5& 1\\ 1& 0.5& -0.5& -1\\ -0.5& -0.25& 0.25& 0.5\end{array}\right];---\left(6n\right)$

$s23=\left[\begin{array}{cccc}0.5& -0.5& -0.5& 0.5\\ -1& 1& 1& -1\\ 1& -1& -1& 1\\ -0.5& 0.5& 0.5& -0.5\end{array}\right];---\left(6o\right)$

$s33=\left[\begin{array}{cccc}0.25& -0.5& 0.5& -0.25\\ -0.5& 1& -1& 0.5\\ 0.5& -1& 1& -0.5\\ -0.25& 0.5& -0.5& 0.25\end{array}\right];---\left(6p\right)$

仔细观察所述16个基础图像揭露其最后的行实际上含有四个截然不同的向量(除了缩放因数外)。此直观上应较清楚，因为作为4×1矩阵/向量的最后的列位于四维向量空间中，且因此可确切地由4个基础向量表达。

当在位流中接收经量化的变换系数(即，水平，zij i，j∈{0，1，2，3})时，其被再缩放(解量化)以产生系数w′ij i，j∈{0，1，2，3}。这些经解量化的变换系数w′ij i，j∈{0，1，2，3}接着可解析为群组，所述群组经组合并与基础图像的最后一列(或向量)相乘以模拟逆变换过程(即，产生权数以在合成过程中加权基础图像)。此观察数据暗示着对应于图8中位置{d h l p}的4×4残余信号 ${\left[\begin{array}{cccc}{\widetilde{\mathrm{\Δ}}}_d& {\widetilde{\mathrm{\Δ}}}_h& {\widetilde{\mathrm{\Δ}}}_l& {\widetilde{\mathrm{\Δ}}}_p\end{array}\right]}^T$ 的最后一列的重建表达式可写为：

${\left[\begin{array}{cccc}{\widetilde{\mathrm{\Δ}}}_d& {\widetilde{\mathrm{\Δ}}}_h& {\widetilde{\mathrm{\Δ}}}_l& {\widetilde{\mathrm{\Δ}}}_p\end{array}\right]}^T$

(w′00-w′10+w′20-w′30/2)*[1  1  1  1]^T+

(w′01-w′11+w′21-w′31/2)*[1  0.5  -0.5  -1]^T+

(w′02-w′12+w′22-w′32/2)*[-1  -1  -1  1]^T+

(w′03-w′13+w′23-w′33/2)*[0.5  -1  1  -0.5]^T.              (7)

注意，一旦计算了标量数量w′ij在以上四组括号中的四个不同组合，可使用右移和加法/减法来完成每一基础向量的缩放/计算。接着直接进行经重建样本的计算。通过在帧最左侧处或直接在片段边界右侧开始，已知可使用空间预测模式2(DC)，且所有像素具有参考(或预测)值(参看上文等式(1)中的p)等于128。因此对应于针对此第一最左侧区块的位置{d h l p}的经重建样本[r_d r_h r_l r_p]可计算为：

${\left[\begin{array}{cccc}{r}_d& r_h& r_l& r_p\end{array}\right]}^T={\left[\begin{array}{cccc}{\widetilde{\mathrm{\Δ}}}_d& {\widetilde{\mathrm{\Δ}}}_h& {\widetilde{\mathrm{\Δ}}}_l& {\widetilde{\mathrm{\Δ}}}_p\end{array}\right]}^T+{\left[\begin{array}{cccc}128& 128& 128& 128\end{array}\right]}^T;---\left(8\right)$

其中用等式(7)计算经重建残余值 ${\left[\begin{array}{cccc}{\widetilde{\mathrm{\Δ}}}_d& {\widetilde{\mathrm{\Δ}}}_h& {\widetilde{\mathrm{\Δ}}}_l& {\widetilde{\mathrm{\Δ}}}_p\end{array}\right]}^T.$ 接着可通过使用来自左侧区块的合适的重建值来计算此区块右侧的4×4区块以产生等式(1)中预测信号分量p(所产生的预测信号值取决于使用哪一空间预测模式来编码正重建的4×4区块)。现论述计算位于片段边界下方的其它4×4区块的预测值的实例。

图11说明直接位于片段边界下方的多媒体样本的一部分。像素可包含luma和chroma值。像素位置{q r s t}表示具有像素值[r_q r_r r_s r_t]^T(例如，使用以上等式7计算而得)的先前重建的位置。在重建针对像素位置{d h l p}的残余信号分量值 ${\left[\begin{array}{cccc}{\widetilde{\mathrm{\Δ}}}_d& {\widetilde{\mathrm{\Δ}}}_h& {\widetilde{\mathrm{\Δ}}}_l& {\widetilde{\mathrm{\Δ}}}_p\end{array}\right]}^T$ 之后，将根据等式(1)产生针对相同组位置{d h l p}的预测信号分量值[p_d p_h p_l p_p]^T以完成重建。假定含有像素{d，h，l，p}的内部4×4编码4×4区块直接位于片段边界下方，应已用于产生针对此4×4区块的预测信号的内部4×4空间预测模式可为以下之一：

1.内部4×4空间预测模式1(水平)：

参看图11，预测信号分量值由下式给出：

[p_d p_h p_l p_p]^T＝[r_q r_r r_s r_t]^T，            (9)

包含0加法、0算术移位和0乘法。

2.内部4×4空间预测模式2(DC)：

如果位置{q，r，s，t}处的像素不可用，则预测信号分量值由下式给出：

[p_d p_h p_l p_p]^T＝[128 128 128 128]^T，                        (10)

包含0加法、0算术移位和0乘法。

如果{q，r，s，t}可用，则预测信号分量值由下式给出：

[p_d p_h p_l p_p]^T＝[u u u u]^T，                                   (11)

其中u＝((r_q+r_r+r_s+r_t)+2)＞＞2，，

包含4加法、1算术移位和0乘法。

3.内部4×4空间预测模式8(水平向上)：

预测信号分量值由下式给出：

p_d＝((r_r+2r_s+r_t+2)＞＞2)，                       (12a)

p_h＝((r_s+3r_t+2)＞＞2)＝((r_s+2r_t+r_t+2)＞＞2，     (12b)

p_l＝p_p＝r_t，                                     (12c)

包含6加法、4算术移位和0乘法，或8加法、2算术移位和0乘法。

关于再缩放过程(解量化zij i，j∈{0，1，2，3}以产生w′ij i，j∈{0，1，2，3})的再一项观察可揭露显著节省计算的另一来源。注意，用于缩放zij ij∈{0，1，2，3}的再缩放因数vij i，j∈{0，1，2，3}，除了其与量化参数的相依性外，也拥有4×4矩阵内的以下位置相关结构：

v00  v10  v20  v30

v01  v11  v21  v31

v02  v12  v22  v32

v03  v13  v23  v33

其中包括[v00，v20，v02 v22]、[v11，v31，v13，v33]和[v10，v30，v01，v21，v12，v32，v03，v23]的三组再缩放因数每一者具有给定量化参数QPY的相同值。此可有利地用以减少与从zij产生w′ij相关联的乘法数目，如下文。注意，在上述用于重建4×4残余信号的最后一列的给定经加权基础向量求和公式(等式7)中，加权基础向量[1 1 1 1]^T的第一权数含有w′00与w′20的和而非这两个权数的个别值。因此，不再个别地计算两个值w′00和w′20并因此对其求和(通常应涉及两个整数乘法)，而是我们首先将z00与z20相加，并接着以v00＝v20再缩放此和，以通过一个整数乘法得到(w′00+w′20)的相同最终值。

除了在执行此部分解码的计算步骤方面上的这些直接减少外，也可设计快速算法来计算4×4残余信号的所要的最后一列和第一(最顶部)行。

可导致用于此部分解码过程的计算步骤较少的另一可行事实为，在大多数情况下，在残余信号区块内最多为16个量化系数中，少数几个(通常少于5)实际上为非零。结合此事实的以上内容可用于进一步减少所涉及的乘法数目(几乎减半)。

所属领域的技术人员将认识到，可导出类似于以上等式(7)的公式以重建任何列、行、对角线或任何部分和/或其组合。举例来说，基础图像的顶部行值(以上等式6a到6p)可与相应变换系数w′_ij组合以重建恰好位于片段边界下方的像素(参看图11中的像素位置{A B C D})，所述像素取决于左侧区块中相同的四个像素位置{d h l p]。所属领域的技术人员将明白可使用这些方法重建的多媒体样本的其它子组。

图12是说明可在例如图1中所说明的系统中使用的解码器装置150的另一实例的功能方框图。此方面包括：用于接收变换系数的装置，其中变换系数与多媒体数据相关联；用于确定一组待重建的多媒体样本的第一确定器装置；用于基于待重建的多媒体样本确定一组所接收变换系数的第二确定器装置；和用于处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的重建样本的产生器装置。此方面的一些实例包括：接收装置包含接收器202的情况，第一确定器装置包含多媒体样本确定器204的情况，第二确定器装置包含变换系数确定器206的情况，和产生器装置包含重建样本产生器208的情况。

图13是说明可在例如图1中所说明的系统中使用的解码器装置150的另一实例的功能方框图。此方面包括：用于接收变换系数的装置，其中变换系数与多媒体数据相关联；用于确定一组待重建的多媒体样本的第一确定器装置；用于基于待重建的多媒体样本确定一组所接收变换系数的第二确定器装置；和用于处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的重建样本的产生器装置。此方面的一些实例包括：接收装置包含用于接收的模块1302的情况，第一确定器装置包含用于确定供重建的样本的模块1304的情况，第二确定器装置包含用于确定变换系数的模块1306的情况，和产生器装置包含用于处理变换系数的模块1308的情况。

所属领域的技术人员将了解，可使用多种不同工艺和技术的任一者来表示信息和信号。举例来说，以上描述中可参考的数据、指令、命令、信息、信号、位、符号和码片可由电压、电流、电磁波、磁场或粒子、光学场或粒子，或其任何组合表示。

所属领域的技术人员将进一步了解，结合本文所揭示的实例而描述的各种说明性逻辑区块、模块和算法步骤可实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了清楚地说明硬件与软件的此互换性，上文已依据功能性而描述各种说明性组件、区块、模块、电路和步骤。此功能性实施为硬件还是软件取决于特殊应用和对整体系统的设计约束。熟练的技术人员可针对每一特殊应用以不同方式实施所描述的功能性，但所述实施决策不应理解为脱离所揭示的方法的范畴。

结合本文所揭示的实例而描述的各种说明性逻辑区块、组件、模块和电路可以通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文所描述的功能的任何组合来实施或执行。通用处理器可为微处理器，但或者，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合(例如DSP与微处理器的组合)、多个微处理器、一个或一个以上微处理器与DSP核心或ASIC核心结合，或任何其它此类配置。

结合本文所揭示的实例而描述的方法或算法的步骤可直接实施在硬件中，在由处理器执行的软件模块中，或在两者的组合中。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM、光学存储媒体，或此项技术中已知的任何其它形式存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息或将信息写入存储媒体中。或者，存储媒体可与处理器整合。处理器和存储媒体可驻存于专用集成电路(ASIC)中。ASIC可驻存于无线调制解调器中。或者，处理器和存储媒体可作为离散组件而驻存于无线调制解调器中。

提供对所揭示的实例的先前描述以使所属领域的技术人员能够制造或使用所揭示的方法和设备。所属领域的技术人员将容易明白对这些实例的各种修改，且本文所界定的原理可应用于其它实例，并可添加额外元件。

因此，已描述用以执行多媒体数据的高效部分解码的方法和设备。

Claims (65)

1.一种处理多媒体数据的方法，其包含：

接收变换系数，其中所述变换系数与所述多媒体数据相关联；

确定一组待重建的多媒体样本；

基于所述待重建的多媒体样本确定一组所述接收的变换系数；以及

处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

2.根据权利要求1所述的方法，其中处理包含缩放所述组的所述变换系数。

3.根据权利要求2所述的方法，其中缩放所述变换系数包含解量化。

4.根据权利要求1所述的方法，其中所确定的所述组多媒体样本包含编码其它多媒体样本时所参考的多媒体样本。

5.根据权利要求1所述的方法，其中所确定的所述组多媒体样本包含与多媒体数据的第二片段毗连的多媒体数据的第一片段中的多媒体样本。

6.根据权利要求1所述的方法，其中所述接收的变换系数与作为一组变换的多媒体样本矩阵相关联，且所述经重建样本包含所述多媒体样本矩阵的一子组。

7.根据权利要求1所述的方法，其中处理包含将所确定的所述组变换系数划分为多个群组。

8.根据权利要求7所述的方法，其中所述处理进一步包含针对每一群组计算一值，其中所述计算是基于曾产生所述变换系数的编码方法。

9.根据权利要求8所述的方法，其中所述处理进一步包含：

基于曾产生所述变换系数的所述编码方法针对每一群组确定一阵列；以及

基于所述值和所述阵列产生所述多媒体数据的所述组经重建样本。

10.根据权利要求1所述的方法，其进一步包含基于所述经重建样本估计一组隐蔽多媒体样本。

11.根据权利要求10所述的方法，其进一步包含产生对应于所述组所估计隐蔽多媒体样本的一组变换系数。

12.根据权利要求10所述的方法，其中所述经重建样本与所估计的所述组隐蔽多媒体样本为非因果关系。

13.根据权利要求1所述的方法，其进一步包含：

接收与每一经重建样本相关联的指向性模式指示符；以及

基于所述经重建样本和所述指向性模式指示符估计一组隐蔽多媒体样本。

14.一种多媒体数据处理器，其经配置以：

接收变换系数，其中所述变换系数与多媒体数据相关联；

确定一组待重建的多媒体样本；

基于所述待重建的多媒体样本确定一组所述接收的变换系数；以及

处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

15.根据权利要求14所述的多媒体数据处理器，其中所述多媒体数据处理器进一步经配置以缩放所确定的所述组变换系数。

16.根据权利要求14所述的多媒体数据处理器，其中所述多媒体数据处理器进一步经配置以解量化所确定的所述组变换系数。

17.根据权利要求14所述的多媒体数据处理器，其中所述组多媒体样本包含编码其它多媒体样本时所参考的多媒体样本。

18.根据权利要求14所述的多媒体数据处理器，其中所述组多媒体样本包含与多媒体数据的第二片段毗连的多媒体数据的第一片段中的多媒体样本。

19.根据权利要求14所述的多媒体数据处理器，其中所述接收的变换系数与作为一组变换的多媒体样本矩阵相关联，且所述经重建样本包含所述多媒体样本矩阵的一子组。

20.根据权利要求14所述的多媒体数据处理器，其中所述多媒体数据处理器进一步经配置以将所确定的所述组变换系数划分为多个群组。

21.根据权利要求20所述的多媒体数据处理器，其中所述多媒体数据处理器进一步经配置以针对每一群组计算一值，其中所述计算是基于曾产生所述变换系数的编码方法。

22.根据权利要求21所述的多媒体数据处理器，其中所述多媒体数据处理器进一步经配置以：

基于曾产生所述变换系数的所述编码方法针对每一群组确定一阵列；以及

基于所述值和所述阵列产生所述多媒体数据的所述组经重建样本。

23.根据权利要求14所述的多媒体数据处理器，其中所述多媒体数据处理器进一步经配置以基于所述经重建样本估计一组隐蔽多媒体样本。

24.根据权利要求23所述的多媒体数据处理器，其中所述多媒体数据处理器进一步经配置以产生对应于所述组所估计隐蔽多媒体样本的一组变换系数。

25.根据权利要求23所述的多媒体数据处理器，其中所述经重建样本与所估计的所述组隐蔽多媒体样本为非因果关系。

26.根据权利要求14所述的多媒体数据处理器，其中所述多媒体数据处理器进一步经配置以：

接收与每一经重建样本相关联的指向性模式指示符；以及

基于所述经重建样本和所述指向性模式指示符估计一组隐蔽多媒体样本。

27.一种用于处理多媒体数据的设备，其包含：

接收器，其用以接收变换系数，其中所述变换系数与多媒体数据相关联；

第一确定器，其用以确定一组待重建的多媒体样本；

第二确定器，其用以基于所述待重建的多媒体样本确定一组所述接收的变换系数；以及

产生器，其用以处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

28.根据权利要求27所述的设备，其中所述产生器缩放所确定的所述组变换系数。

29.根据权利要求27所述的设备，其中所述产生器解量化所确定的所述组变换系数。

30.根据权利要求27所述的方法，其中所确定的所述组多媒体样本包含编码其它多媒体样本时所参考的多媒体样本。

31.根据权利要求27所述的方法，其中所确定的所述组多媒体样本包含与多媒体数据的第二片段毗连的多媒体数据的第一片段中的多媒体样本。

32.根据权利要求27所述的设备，其中所述接收的变换系数与作为一组变换的多媒体样本矩阵相关联，且所述经重建样本包含所述多媒体样本矩阵的一子组。

33.根据权利要求27所述的设备，其中所述产生器将所确定的所述组变换系数划分为多个群组。

34.根据权利要求33所述的设备，其中所述产生器针对每一群组计算一值，其中所述计算是基于曾产生所述变换系数的编码方法。

35.根据权利要求34所述的设备，其中所述产生器基于曾产生所述变换系数的所述编码方法针对每一群组确定一阵列，并基于所述值和所述阵列产生所述多媒体数据的所述组经重建样本。

36.根据权利要求27所述的设备，其进一步包含估计器，以基于所述经重建样本估计一组隐蔽多媒体样本。

37.根据权利要求36所述的设备，其中所述估计器产生对应于所述组所估计隐蔽多媒体样本的一组变换系数。

38.根据权利要求36所述的设备，其中所述经重建样本与所估计的所述组隐蔽多媒体样本为非因果关系。

39.根据权利要求27所述的设备，其中所述接收器接收与每一经重建样本相关联的指向性模式指示符，且所述设备进一步包含估计器，以基于所述经重建样本和所述指向性模式指示符估计一组隐蔽多媒体样本。

40.一种用于处理多媒体数据的设备，其包含：

用于接收变换系数的装置，其中所述变换系数与多媒体数据相关联；

第一确定器装置，其用于确定一组待重建的多媒体样本；

第二确定器装置，其用于基于所述待重建的多媒体样本确定一组所述接收的变换系数；以及

产生器装置，其用于处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

41.根据权利要求40所述的设备，其中所述产生器装置缩放所确定的所述组变换系数。

42.根据权利要求40所述的设备，其中所述产生器装置解量化所确定的所述组变换系数。

43.根据权利要求40所述的多媒体数据处理器，其中所述组多媒体样本包含编码其它多媒体样本时所参考的多媒体样本。

44.根据权利要求40所述的多媒体数据处理器，其中所述组多媒体样本包含与多媒体数据的第二片段毗连的多媒体数据的第一片段中的多媒体样本。

45.根据权利要求40所述的设备，其中所述接收的变换系数与作为一组变换的多媒体样本矩阵相关联，且所述经重建样本包含所述多媒体样本矩阵的一子组。

46.根据权利要求40所述的设备，其中所述产生器装置将所确定的所述组变换系数划分为多个群组。

47.根据权利要求46所述的设备，其中所述产生器装置针对每一群组计算一值，其中所述计算是基于曾产生所述变换系数的编码方法。

48.根据权利要求47所述的设备，其中所述产生器装置基于曾产生所述变换系数的所述编码方法针对每一群组确定一阵列，并基于所述值和所述阵列产生所述多媒体数据的所述组经重建样本。

49.根据权利要求40所述的设备，其进一步包含用于基于所述经重建样本估计一组隐蔽多媒体样本的装置。

50.根据权利要求49所述的设备，其中所述估计器装置产生对应于所述组所估计隐蔽多媒体样本的一组变换系数。

51.根据权利要求49所述的设备，其中所述经重建样本与所估计的所述组隐蔽多媒体样本为非因果关系。

52.根据权利要求40所述的设备，其中所述接收器装置接收与每一经重建样本相关联的指向性模式指示符，且所述设备进一步包含用于基于所述经重建样本和所述指向性模式指示符估计一组隐蔽多媒体样本的装置。

53.一种包含指令的机器可读媒体，所述指令在被执行时促使机器：

接收变换系数，其中所述变换系数与多媒体数据相关联；

确定一组待重建的多媒体样本；

基于所述待重建的多媒体样本确定一组所述接收的变换系数；以及

处理所确定的所述组变换系数以产生对应于所确定的所述组多媒体样本的经重建样本。

54.根据权利要求53所述的机器可读媒体，其中所述指令进一步促使所述机器缩放所确定的所述组变换系数。

55.根据权利要求53所述的机器可读媒体，所述指令进一步促使所述机器解量化所确定的所述组变换系数。

56.根据权利要求53所述的机器可读媒体，其中所述组多媒体样本包含编码其它多媒体样本时所参考的多媒体样本。

57.根据权利要求53所述的机器可读媒体，其中所述组多媒体样本包含与多媒体数据的第二片段毗连的多媒体数据的第一片段中的多媒体样本。

58.根据权利要求53所述的机器可读媒体，其中所述接收的变换系数与作为一组变换的多媒体样本矩阵相关联，且所述经重建样本包含所述多媒体样本矩阵的一子组。

59.根据权利要求53所述的机器可读媒体，所述指令进一步促使所述机器将所确定的所述组变换系数划分为多个群组。

60.根据权利要求59所述的机器可读媒体，其中所述指令进一步促使所述机器针对每一群组计算一值，其中所述计算是基于曾产生所述变换系数的编码方法。

61.根据权利要求60所述的机器可读媒体，所述指令进一步促使所述机器：

基于产生所述变换系数的所述编码方法针对每一群组确定一阵列；以及

基于所述值和所述阵列产生所述多媒体数据的所述组经重建样本。

62.根据权利要求53所述的机器可读媒体，所述指令进一步促使所述机器基于所述经重建样本估计一组隐蔽多媒体样本。

63.根据权利要求62所述的机器可读媒体，所述指令进一步促使所述机器产生对应于所述组所估计隐蔽多媒体样本的一组变换系数。

64.根据权利要求62所述的机器可读媒体，其中所述经重建样本与所估计的所述组隐蔽多媒体样本为非因果关系。

65.根据权利要求53所述的机器可读媒体，所述指令进一步促使所述机器：

接收与每一经重建样本相关联的指向性模式指示符；以及

基于所述经重建样本和所述指向性模式指示符估计一组隐蔽多媒体样本。

Images