CN101411204A - 视频压缩中增强帧内插的设备和方法 - Google Patents

Abstract

多方面包括改进多媒体传输系统中的编码器中的处理的系统和方法。其它方面包括多媒体传输系统中的解码器中的处理的方法和系统。举例来说，一方面包含通过按照经内插帧进行编码来减小编码器中的编码大小的方法和设备。其它方面包括经配置以解码参考经内插帧而编码的视频信号的解码器。

Description

视频压缩中增强帧内插的设备和方法

根据35U.S.C.§119主张优先权

本专利申请案主张2006年4月4日申请的题为“编码器辅助式帧速率上转换(EncoderAssisted Frame Rate Up Conversion)”的第60/789,319号美国临时专利申请案的优先权，所述临时专利申请案转让给本受让人，且在此明确以引用的方式并入本文中。

技术领域

本发明涉及多媒体信号处理，且更明确地说，涉及视频编码和解码。

背景技术

例如视频编码器的多媒体处理系统可使用基于国际标准(例如，MPEG-x和H.26x标准)的编码方法来编码多媒体数据。所述编码方法通常针对于压缩多媒体数据以用于传输和/或存储。压缩广义上是从数据中移除冗余的过程。

可按照一图片序列来描述视频信号，所述图片序列包括帧(一完整图片)或场(例如，包含图片的交替奇数行或偶数行的场的交错视频流)。如本文所使用，术语“帧”广泛用于指一图片、一帧或一场。例如视频编码器的多媒体处理器可通过将一帧分割成区块或“宏区块”(例如，16×16像素)而编码所述帧。所述编码器可进一步将每一宏区块分割成子区块。每一子区块可进一步包含额外子区块。举例来说，一宏区块的子区块可包括16×8和8×16子区块。8×16子区块的子区块可包括8×8子区块，等等。如本文所使用，术语“区块”是指一宏区块或一子区块。

视频编码方法通过使用无损或有损压缩算法压缩每一帧或帧区块而压缩视频信号。帧内编码是指使用来自一帧的数据编码那个帧。帧间编码是指预测编码机制，例如包含基于其它“参考”帧编码一帧的机制。举例来说，视频信号常展示时间冗余，其中时间帧序列中彼此靠近的帧具有彼此匹配或彼此至少部分匹配的至少部分。编码器可利用此时间冗余来减小经编码数据的大小。

编码器可通过按照一帧与一个或一个以上参考帧之间的差异编码所述帧而利用此时间冗余。举例来说，视频编码器可使用基于运动补偿的算法，所述算法使正被编码的帧的区块与一个或一个以上其它帧的部分匹配。可相对于参考帧的匹配部分在帧中移位经编码帧的区块。通过一运动向量表征此移位。可依照一残余来表征区块与参考帧的部分匹配部分之间的任何差异。编码器可因此将一帧编码为包含用于帧的特定分割的运动向量和残余的一者或一者以上的数据。可通过大致最小化一成本函数而选择用于编码帧的区块的特定分割，所述成本函数(例如)平衡编码大小与由编码产生的帧的内容的失真。

参考帧可包括视频信号的一个或一个以上先前帧或视频信号中按照输出次序跟随所述帧的一个或一个以上帧。H.264标准(例如)包括一配置，所述配置在搜寻最佳匹配区块中使用五个参考帧。一般来说，更多参考帧的搜寻增加编码器寻找紧密地匹配正被编码的帧的区块的参考帧中的一者的部分的能力。对于编码来说，较佳匹配具有较小差异，其通常导致更紧凑的编码。然而，编码所述匹配可能仍需要显著量的带宽。因此，存在对编码视频数据的较佳方法的需要。

发明内容

本发明的系统、方法和装置各具有若干方面，所述方面的任何单一者不仅仅负责其所要属性。在不限制如通过随附权利要求书所表达的本发明的范围的情况下，现将简短地论述本发明的更显著特征。在考虑了此论述之后，且特定来说在读取标题为“具体实施方式”的段落之后，将了解本发明的特征如何提供包括减少视频信号的带宽要求的优点。

一方面包含一种处理多媒体数据的方法。所述方法包含产生至少一经内插帧。所述方法进一步包含识别包含所述经内插帧的多个参考帧。所述方法进一步包含至少基于所述多个参考帧来编码一帧的至少一部分。

另一方面包含一种用于处理多媒体数据的设备。所述设备包含经配置以产生至少一经内插帧的产生器。所述设备进一步包含经配置以识别包含所述经内插帧的多个参考帧的识别器。所述设备进一步包含经配置以至少基于所述多个参考帧来编码一帧的至少一部分的编码器。

另一方面包含一种用于处理多媒体数据的设备。所述设备包含用于产生至少一经内插帧的装置。所述设备进一步包含用于识别包含所述经内插帧的多个参考帧的装置。所述设备进一步包含用于至少基于所述多个参考帧来编码一帧的至少一部分的装置。

另一方面包含一种多媒体数据处理器，其包含一配置，所述配置用以：产生至少一经内插帧，识别包含所述经内插帧的多个参考帧，以及至少基于所述多个参考帧来编码一帧的至少一部分。

另一方面包含机器可读媒体，其包含用于处理多媒体数据的指令。所述指令在执行时致使机器：产生至少一经内插帧，识别包含所述经内插帧的多个参考帧，以及至少基于所述多个参考帧来编码一帧的至少一部分。

一方面包含一种处理多媒体数据的方法。所述方法包含接收指示用于一帧的至少一部分的经内插参考帧的经编码数据。所述方法进一步包含产生所述经内插参考帧的至少一部分。所述方法进一步包含至少部分基于所述经内插参考帧的所产生部分解码帧的至少一部分。

另一方面包含一种用于处理多媒体数据的设备。所述设备包含接收器，所述接收器经配置以接收指示用于一帧的至少一部分的经内插参考帧的经编码数据。所述设备进一步包含产生器，所述产生器经配置以产生所述经内插参考帧的至少一部分。所述设备进一步包含解码器，所述解码器经配置以至少部分基于所述经内插参考帧的所产生部分解码帧的至少一部分。

另一方面包含一种用于处理多媒体数据的设备。所述设备包含用于接收指示用于一帧的至少一部分的经内插参考帧的经编码数据的装置。所述设备进一步包含用于产生所述经内插参考帧的至少一部分的装置。所述设备进一步包含用于至少部分基于所述经内插参考帧的所产生部分解码帧的至少一部分的装置。

另一方面包含一种多媒体数据处理器，所述多媒体数据处理器包含一配置，所述配置用以：接收指示用于一帧的至少一部分的经内插参考帧的经编码数据，产生所述经内插参考帧的至少一部分，以及至少部分基于所述经内插参考帧的所产生部分经编码帧的至少一部分。

另一方面包含机器可读媒体，其包含用于处理多媒体数据的指令。所述指令在执行时致使机器：接收指示用于一帧的至少一部分的经内插参考帧的经编码数据，产生所述经内插参考帧的至少一部分，以及至少部分基于所述经内插参考帧的所产生部分解码帧的至少一部分。

附图说明

图1为说明根据一方面的多媒体通信系统的方框图。

图2图解说明在例如图1中所说明的系统中编码视频帧的一部分的方法的部分。

图3图解说明在例如图1中所说明的系统中使用正向上转换帧编码一视频帧的一部分的方法的部分。

图4为说明在例如图1中所说明的系统中编码视频流的一部分的方法的一实例的流程图。

图5为说明用于根据图4中所说明的方法处理视频数据的设备的一实例的方框图。

图6为更详细说明解码例如通过图4中所说明的方法编码的视频数据的方法的一实例的流程图。

图7为说明用于根据图7中所说明的方法处理视频数据的设备的一实例的方框图。

具体实施方式

以下详细描述针对于本发明的某些特定方面。然而，可以如权利要求书所界定和涵盖的多种不同方法体现本发明。在此描述中，参考图式，在所述图式中，始终用相同符号来指定相同部件。在以下描述中，给出特定细节以提供对所描述的方面的彻底了解。然而，所属领域的技术人员将了解，可在没有这些特定细节的情况下实践所述方面。举例来说，可以方框图形式展示电气组件以便不会以不必要的细节混淆所述方面。在其它实例中，可详细展示所述组件、其它结构和技术以进一步解释所述方面。

此外，应认识到，依据各方面，可以一不同序列执行本文所描述的方法、过程、方框图和流程图中的任一者的某些动作或事件，可添加、合并或一起省去本文所描述的方法、过程、方框图和流程图中的任一者的某些动作或事件(例如，并非所有所描述的动作或事件都是实践所述方法所必需的)。此外，在某些方面中，可(例如)通过多线程处理、中断处理或多个处理器同时执行动作或事件，而不是循序地执行。将进一步认识到，可完全或部分重复本文所描述的方法、过程、方框图和流程图。

方面包括改进多媒体传输系统中的编码器中的处理的系统和方法。其它方面包括多媒体传输系统中的解码器中的处理的方法和系统。多媒体数据可包括运动视频、音频、静态图像或任何其它合适类型的视听数据中的一者或一者以上。举例来说，一方面包含通过按照经内插帧进行编码而减小编码器中的编码大小的方法。经内插帧是解码器(或编码器)通过从附近帧内插数据所产生的帧。一类型的经内插帧为帧速率上转换帧，其经产生以增加视频解码器的输出帧速率。通常在编码器与解码器之间不传送所述帧，而在解码器处基于时间上最接近的帧产生所述帧。已发现，编码器可通过参考此类经内插帧编码一帧而实现某些效率。具体来说，编码器可减小用于帧的经编码数据中的运动补偿数据的量，使得解码器在内插所述帧中(例如)通过减小经编码的残余数据的量而产生那个运动补偿数据。

另一方面包含使用标准的多媒体编码格式将对经内插帧的参考从编码器传送到解码器。依据编码格式，使用标准的编码数据格式编码对经内插帧的参考可(例如)通过使用位传送对经内插帧的参考而进一步减小由编码器输出的经编码帧数据的大小。

图1为说明根据一方面的多媒体通信系统100的方框图。系统100包括经由网络140与解码器装置150通信的编码器装置110。在一实例中，编码器装置接收来自外部源102的多媒体信号且编码那个信号以用于在网络140上传输。

在此实例中，编码器装置110包含耦合到存储器114和收发器116的处理器112。处理器112编码来自多媒体数据源的数据且将其提供到收发器116以用于在网络140上传送。

在此实例中，解码器装置150包含耦合到存储器154和收发器156的处理器152。处理器152可包括通用处理器或数字信号处理器中的一者或一者以上。存储器154可包括固态存储装置或基于磁盘的存储装置中的一者或一者以上。收发器156经配置以接收网络140上的多媒体数据且将多媒体数据提供到处理器152以用于解码。在一实例中，收发器156包括无线收发器。网络140可包含有线或无线通信系统和/或无线系统中的一者或一者以上，所述有线或无线通信系统包括以太网、电话(例如，简易旧式电话业务(POTS))、电缆、电线和光纤系统中的一者或一者以上，所述无线系统包含码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、正交频分多址(OFDMA)系统、例如GSM/GPRS(通用分组无线电服务)/EDGE(增强型数据GSM环境)的时分多址(TDMA)系统、TETRA(陆地集群无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率(1xEV-DO或1xEV-DO黄金多播)系统、IEEE 802.11系统、MediaFLO系统、DMB系统或DVB-H系统中的一者或一者以上。

图2图解说明在例如图1中所说明的系统中编码视频帧的一部分的方法的一方面。帧可包括在不参考其它帧的情况下进行编码的内(I)帧、参考时间上在前面的帧进行编码的预测(P)帧，和相对于时间上在前面和/或将来的帧进行编码的双预测(B)帧。

如图2中所说明，可将帧170划分成许多宏区块171a。每一宏区块171a包含一像素阵列，例如，帧170的16×16像素阵列。另外，编码器110可将宏区块171分割成任何数目的较小区块，例如8×8子区块171b或4×4子区块171c。视情况，编码器110可改变帧170内和/或经编码帧170之间的子区块大小。宏区块171a和宏区块的分区(例如，子区块171b)在本文中被共同称作“区块”且共同指参考图2的项目171。

可在不依赖其它帧的情况下(例如，帧内模式)或基于其它经编码帧(例如，帧间模式)预测性地编码经编码视频帧170(或帧170的区块171)。用于帧170的一部分的特定编码模式可被称作一(编码)“模式”。编码器110可使用不同模式经编码帧170的不同部分，例如，不同区块171或子区块171。举例来说，可使用运动估计算法编码帧170或帧170的一个或一个以上区块171。编码器110的一实例按照包括例如16×16、16×8、8×16、8×8、8×4、4×8、4×4(但可使用其它大小)的大小的区块的区块编码帧170。编码帧170可包含帧170到一组经编码区块171的分割，其大体上编码帧170的所有像素。经编码区块171可具有不同大小且是基于一成本函数而被选择，所述成本函数允许基于例如经编码数据大小和所得图像失真的因数的一加权平均而比较不同的编码策略。

如上所提及，预测视频帧的一种方法为使用利用视频数据中的时间冗余的运动估计算法来基于从一帧到另一帧(例如，一参考帧)至少部分匹配的区块171而编码帧170。运动估计算法识别一个或一个以上参考帧174中的类似于(例如，至少部分匹配)帧170的区块171但可能位置在经编码帧174中经移位的区块176。注意到，在各方面中，运动估计算法可使用时间上在当前帧170之前、在帧170之后或在当前帧170之前和之后的参考帧174。按照一运动向量和残余数据编码帧170的区块171，所述运动向量指示区块171与区块176之间的位置差异，所述残余数据指示帧170的区块171相对于在一个或一个以上参考帧174的清单(例如，参考帧174a、174b、174c、174d和174e)中所发现的一参考区块(例如，参考帧174c的区块176)的像素值之间的差异。参考帧174可为视频信号中在帧170之前或之后的帧的在时间上排序的清单180。如图2中所展示，编码器110可将帧170的区块171b与参考帧174进行比较以识别相应区块(例如，帧174c中的区块176)。

对于例如区块171的16×16、16×8、8×16、8×8、8×4、4×8和4×4区块(分区)的区块群组中的每一者，编码器110可计算运动补偿数据(例如，运动向量和残余)。编码器110可首先为较大区块171(例如，16×16)计算运动补偿数据，接着为较大区块的每一子区块(例如，16×8、8×8，等等)计算运动补偿数据。编码器110可选择大体上涵盖帧170的所有部分的一个或一个以上大小的区块171的特定分区或集合。编码器110可基于成本函数(例如，速率失真(RD)函数)选择用于帧170的每一部分的特定区块和各自预测数据，所述成本函数包含基于一帧或帧的一部分的编码数据大小而使用用于帧的区块的特定集合的运动向量和残余的特定集合和所得图像失真的相应估计在编码大小与失真之间进行权衡的量度。编码器110可使用包括此项技术中已知的那些成本函数的任何合适的成本函数。举例来说，在“速率受限编码器控制和视频编码标准的比较(Rate-Constrained Coder Control and Comparison of Video Coding Standards)”国际电气电子工程师学会会报的关于视频技术的电路和系统(IEEE TRANSACTIONS ON CIRCUITSAND SYSTEMS FOR VIDEO TECHNOLOGY)，第13卷，第7,688号(2003年7月)中揭示了合适的成本函数。成本函数可包含(例如)速率失真函数、最小残余和/或绝对误差和(SAD)函数。

图3图解说明在系统100中使用经内插帧编码视频帧170的一部分的方法的部分。如上所提及，帧速率上转换(FRUC)是视频解码器150处的视频内插过程，其用于增加经重建视频的帧速率。所述帧可用于增加解码器150产生帧的速率以(例如)改进所传输视频信号的感知质量。如图3中所说明，也可由编码器110产生FRUC帧174f以用于编码视频帧170。举例来说，可产生FRUC帧174f以对应于与待编码帧相同的时间索引。应认识到，可产生用于多种类型的帧(例如，B帧或P帧)的FRUC帧。

如图3中所说明，编码器110可将FRUC帧174f添加到用于编码帧170的参考帧的清单。已发现，在一些实例中，可参考在帧170的相同时间索引处的经内插帧更紧凑地预测性地编码帧170的部分。可实现经编码数据的大小中的减小，因为FRUC帧的参考数据可为待编码帧数据的较接近匹配，且因此，将减少或可能消除(如果定位精确或足够接近的匹配)运动数据(例如，运动向量或残余)。解码器150可替代地内插FRUC帧且使用FRUC帧的数据取代省略的运动补偿数据。

在操作中，在一方面中，如果考虑用于预测性编码的参考帧的数目(例如，参考清单180的大小)为N(例如，5)，则在用于经编码区块的经编码数据中可参考特定参考帧编号0...N-1编码经编码区块。当参考FRUC帧174f编码区块时，可将参考帧编号设定为N，其比将在参考帧174的典型清单中发现的编号高1。因此，经编码数据中的相同字段用于指示基于经内插参考帧的编码且用于指示基于非经内插参考帧的编码。举例来说，如果编码器110经配置以产生符合标准语法(例如，H.264位流语法)的位流，根据编码规格(例如，标准H.264的一配置)在3个位的字段中将参考帧识别为0到N-1，则编码器110可通过将参考帧字段值设定为N而识别额外参考帧的使用，进而使用与将用于识别参考帧0到N-1的一者的标准编码字段相同的标准编码字段中的相同位。当解码器150基于经编码数据解码区块时，其可因此识别经内插FRUC帧的使用。另外，因为参考帧编号用于标准编码格式中，所以编码器150可在其输出的经编码数据中不包括额外数据的情况下参考FRUC帧进行编码。

另外，通过将FRUC帧添加到参考帧174的清单180，在从将FRUC帧用作用于编码的参考来获得减小的编码大小中，将很少的额外复杂性添加到参考帧搜寻算法(不同于由于参考清单的大小增加而执行的额外搜寻)。此外，已发现，可通过使用经编码数据格式中的现有数据字段识别按照FRUC帧的编码而获得进一步的编码大小减小。举例来说，经编码数据格式中的运动向量(MV)和残余(或经编码区块图案(CBP))指示符字段连同对参考帧清单中的额外位置的参考(如上所论述)可用于在不将数据字段添加到用于区块或帧的编码数据的情况下基于FRUC帧174f编码区块。以下表1描述使用经编码数据中的MV和CBP字段按照参考清单190中的FRUC帧174f编码一区块的编码模式的四个实例。

表1

识别编码模式的字段值	编码数据	解释
			MV＝＝0&&CBP＝＝0	MV＝＝0&&CBP＝＝0	编码数据中没有运动向量或残余。解码器180解码区块以匹配FRUC帧。将编码数据减小本应该发送用于区块的运动向量和残余数据的大小。注意到，在标准H.264位流格式中，设定为零的位的此组合是一无效状态。因此，其可用于指示此新的有效FRUC帧编码模式。
MV！＝0&&CBP＝＝0	第N个参考帧与运动向量、MV相关联，且设定为零的CBP位指示可使用经受运动向量偏移的FRUC帧数据来解码区块。	因为不包括残余数据，所以减少了经编码数据。此处，第N个参考帧的使用识别FRUC帧编码模式。
			MV＝＝0&&CBP！＝0	第N个参考帧与运动向量、MV相关联，且设定为零的MV位指示仅参考FRUC帧区块的残余用于解码相应区块。	因为不包括运动向量数据，所以减少了经编码数据。此处，第N个参考帧的使用识别FRUC帧编码模式。
MV！＝0&&CBP！＝0	第N个参考帧与运动向量MV相关联，且指示参考FRUC帧区块来解码相应区块。	归因于更紧凑的运动向量或残余数据，减少了经编码数据。此处，第N个参考帧的使用识别FRUC帧编码模式。

图4为说明在系统100中编码视频流的一部分的方法200的一实例的流程图。方法200开始于流程图项目222，在流程图项目222中，编码器110产生至少一经内插帧(例如，帧174f)。所述经内插帧可包括FRUC帧。接下来在流程图项目224处，编码器110识别包括经内插帧(例如，帧174f)的多个参考帧174(例如，参考帧174的清单180)。在一方面中，对于待编码的每一预测性帧，内插同时发生的FRUC帧。在一方面中，产生同时发生的FRUC帧174f且将其插入用于经编码的每一B帧的清单180中。在一方面中，根据图片图案(在每一I帧之间界定的帧的图案)(例如，“IBPBPBP”图案)的固定群组(GOP)而产生帧。为编码此类GOP实施方案中的B帧，从邻近于B帧的P帧内插FRUC帧且将所述FRUC帧添加到参考帧的清单180。在另一方面中，编码器110可根据基于视频内容进行调整的适应性GOP编码而产生帧。在适应性GOP机制的一实例中，可在每一P帧之间编码多个B帧。举例来说，可在两个P帧之间编码三个B帧。对于每一B帧，可与特定B帧同时地产生独立的FRUC帧。在一方面中，在用于每一B帧的参考帧清单180中插入对应于每一B帧的FRUC帧。注意到，为产生用于每一B帧的独立FRUC帧，相应地缩放来自每一相邻P帧的数据。

移动到流程图项目228，编码器110至少基于多个参考帧174编码一帧的至少一部分。应认识到，依据特定的待编码帧170的内容和特定参考帧174，可参考或可不参考经内插帧174f编码任何特定帧170的部分或区块。如上所述，编码器110基于经内插帧(与参考清单中的剩余帧相比)而估计编码的成本函数，且相应地选择参考帧。可针对帧170的每一部分或区块171重复方法200且可针对视频信号中的每一经预测性地编码的帧重复方法200。

图5为说明用于根据方法200处理视频数据的编码器110的一实例的方框图。编码器110包括多个模块或区块，例如用于产生经内插帧的模块302、用于识别参考帧的模块304，和用于编码一帧的模块306。用于产生经内插帧的模块302经配置以根据图4的流程图项目222产生至少一经内插帧(例如，帧174f)。用于识别参考帧的模块304经配置以根据图4的流程图项目224识别用于经编码帧170的包括经内插帧(例如，帧174f)的多个参考帧174(例如，清单180)。用于编码一帧的模块306经配置以至少基于参考帧174的清单180编码帧170的至少一部分。

图6为更详细说明解码例如通过方法200编码的视频数据的方法400的一实例的流程图。所述方法开始于流程图项目402，在流程图项目402中，解码器150接收指示经内插参考帧的经编码数据。在一方面中，经编码数据包含标准的经编码数据格式，以所述标准的经编码数据格式编码经内插帧参考，如上文参考表1所论述。在一方面中，解码器150基于设定为N的参考帧索引将参考帧识别为经内插帧，其中非经内插参考帧被编号为0到N-1。进行到流程图项目406，解码器150产生经内插帧的至少一部分。在一方面中，经内插帧为一FRUC帧。因为不显示经内插FRUC帧，所以可简化所述帧的产生，(仍可产生用于帧速率上转换的其它FRUC帧，可在没有此简化处理的情况下产生此类FRUC帧以保持图片质量)。举例来说，可省略运动向量合并和缩放。也可将运动向量平滑化简化成(例如)简化的3×3中值平滑化(median smoothing)版本。移动到流程图项目408，解码器150至少部分基于经内插帧解码所预测帧的至少一部分。解码器150可对视频信号中的每一区块或帧重复方法400的动作。此外，解码器150可在不参考经内插帧的情况下解码其它区块或帧。

图7为说明根据方法400的解码器150的一实例的方框图。解码器150包括多个模块或区块，例如用于接收经编码数据的模块420、用于产生经内插帧的模块424，和用于解码所预测帧的模块426。用于接收经编码数据的模块420经配置以接收指示用于所预测帧的至少一部分的参考帧的经编码数据，例如，如参考图6的流程图项目402所描述。用于产生经内插帧的模块424经配置以产生经内插帧的至少一部分。在一方面中，经内插帧为FRUC帧，例如，如参考图6的流程图项目406所描述。用于解码所预测帧的模块426经配置以至少部分基于经内插帧而解码所预测帧的至少一部分，例如，如参考图6的流程图项目408所描述。

鉴于上文，将了解，本发明克服了编码例如视频数据等多媒体数据的问题。举例来说，可产生具有减小的带宽的经编码视频信号。或者，相同带宽可用于例如增加的视频质量等其它目的。

所属领域的技术人员将认识到，结合本文所揭示的方面而描述的各种说明性逻辑区块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，已大体上就其功能性在上文描述了各种说明性组件、区块、模块、电路和步骤。所述功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以变化的方式实施所描述的功能性，但此类实施方案决策不应被解释为会导致脱离本发明的范围。

可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文所揭示的方面而描述的各种说明性逻辑区块、模块和电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与一DSP核心的结合，或任何其它此类配置。

结合本文所揭示的方面而描述的方法或算法的步骤可直接体现在硬件中、由处理器执行的软件模块或两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、抽取式磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到所述处理器以使得所述处理器可从所述存储媒体读取信息且将信息写到所述存储媒体。在替代方案中，存储媒体可整合到处理器。处理器和存储媒体可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻留在用户终端中。

提供对所揭示方面的先前描述以使任何所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些方面的多种修改，且在不脱离本发明的精神或范围的情况下，本文中界定的一般原理可适用于其它方面。因此，不期望本发明限于本文所示的方面，而是赋予其与本文中所揭示的原理和新颖特征相一致的最广泛范围。

虽然上述详细描述已展示、描述并指出本发明的新颖特征适用于各方面，但应了解，所属领域的技术人员在不脱离本发明的精神的情况下，可对所说明的装置或过程作出形式和细节上的各种省略、取代和改变。如将认识到，本发明可包含在不提供本文中所陈述的所有特征和益处的形式内，因为一些特征可独立于其它特征而使用或实践。由所附权利要求书指示本发明的范围，而不是由上文描述指示。在权利要求书的等效性的意义和范围内的所有改变将包含在权利要求书的范围内。

Claims (55)

1.一种处理多媒体数据的方法，所述方法包含：

产生至少一个经内插帧；

识别包含所述经内插帧的多个参考帧；以及

至少基于所述多个参考帧来编码一帧的至少一部分。

2.根据权利要求1所述的方法，其中所述多个参考帧包含参考帧的至少一个清单，且其中所述至少一个经内插帧在所述清单中的指定位置处。

3.根据权利要求2所述的方法，其中所述指定位置是在所述参考帧的所述至少一个清单的末端处。

4.根据权利要求1所述的方法，其中编码包含至少部分基于所述经内插帧来预测所述部分。

5.根据权利要求4所述的方法，其中预测包含基于所述经内插帧而产生运动向量或残余中的至少一者。

6.根据权利要求1所述的方法，其中编码包含根据符合标准的位流语法产生编码数据。

7.根据权利要求6所述的方法，其中所述符合标准的位流语法包含符合H.264的位流语法。

8.根据权利要求1所述的方法，其中编码包含产生具有一字段的编码数据，所述字段指示经内插或非经内插参考帧。

9.根据权利要求1所述的方法，其中编码包含产生指示编码模式和残余图案的编码数据，其中所述编码数据进一步指示是否基于所述经内插帧来编码所述部分。

10.根据权利要求9所述的方法，其中所述多个参考帧包含参考帧序列，其中所述经内插帧是在所述序列中的指定位置处，且其中所述编码数据指示所述序列中的所述指定位置。

11.根据权利要求1所述的方法，其中产生包含基于至少一个预测性帧产生所述经内插帧。

12.根据权利要求1所述的方法，其中产生包含产生上转换帧。

13.根据权利要求1所述的方法，其中产生包含大体上在与所述帧的所述部分的所述编码相关联的时间产生所述经内插帧。

14.一种用于处理多媒体数据的设备，其包含：

产生器，其经配置以产生至少一经内插帧；

识别器，其经配置以识别包含所述经内插帧的多个参考帧；以及

编码器，其经配置以至少基于所述多个参考帧来编码一帧的至少一部分。

15.根据权利要求14所述的设备，其中所述多个参考帧包含参考帧的至少一个清单，且其中所述至少一个经内插帧是在所述清单中的指定位置处。

16.根据权利要求15所述的设备，其中所述指定位置是在所述参考帧的所述至少一个清单的末端处。

17.根据权利要求14所述的设备，其中所述编码器经配置以至少部分基于所述经内插帧预测所述部分。

18.根据权利要求17所述的设备，其中所述编码器经配置以基于所述经内插帧而产生运动向量或残余中的至少一者。

19.根据权利要求14所述的设备，其中所述编码器经配置以根据符合标准的位流语法产生编码数据。

20.根据权利要求19所述的设备，其中所述符合标准的位流语法包含符合H.264的位流语法。

21.根据权利要求14所述的设备，其中所述编码器经配置以产生具有一字段的编码数据，所述字段指示经内插或非经内插参考帧。

22.根据权利要求14所述的设备，其中所述编码器经配置以产生指示编码模式和残余图案的编码数据，其中所述编码数据进一步指示是否基于所述经内插帧来编码所述部分。

23.根据权利要求22所述的设备，其中所述多个参考帧包含参考帧序列，其中所述经内插帧在所述序列中的指定位置处，且其中所述编码数据指示所述序列中的所述指定位置。

24.根据权利要求14所述的设备，其中所述产生器经配置以基于至少一预测性帧产生所述经内插帧。

25.根据权利要求14所述的设备，其中所述产生器经配置以产生上转换帧。

26.根据权利要求14所述的设备，其中所述产生器经配置以大体上在与所述帧的所述部分的所述编码相关联的时间产生所述经内插帧。

27.一种用于处理多媒体数据的设备，其包含：

用于产生至少一经内插帧的装置；

用于识别包含所述经内插帧的多个参考帧的装置；以及

用于至少基于所述多个参考帧来编码一帧的至少一部分的装置。

28.根据权利要求27所述的设备，其中所述多个参考帧包含参考帧的至少一个清单，且其中所述至少一个经内插帧是在所述清单中的指定位置处。

29.根据权利要求28所述的设备，其中所述指定位置是在所述参考帧的所述至少一个清单的末端处。

30.根据权利要求27所述的设备，其中所述编码装置经配置以至少部分基于所述经内插帧预测所述部分。

31.根据权利要求30所述的设备，其中所述编码装置经配置以基于所述经内插帧而产生运动向量或残余中的至少一者。

32.根据权利要求27所述的设备，其中所述编码装置经配置以根据符合标准的位流语法产生编码数据。

33.根据权利要求32所述的设备，其中所述符合标准的位流语法包含符合H.264的位流语法。

34.根据权利要求27所述的设备，其中所述编码装置经配置以产生具有一字段的编码数据，所述字段指示经内插或非经内插参考帧。

35.根据权利要求27所述的设备，其中所述编码经配置以产生指示编码模式和残余图案的编码数据，其中所述编码数据进一步指示是否基于所述经内插帧来编码所述部分。

36.根据权利要求35所述的设备，其中所述多个参考帧包含参考帧序列，其中所述经内插帧在所述序列中的指定位置处，且其中所述编码数据指示所述序列中的所述指定位置。

37.根据权利要求27所述的设备，其中所述产生装置经配置以基于至少一预测性帧产生所述经内插帧。

38.根据权利要求27所述的设备，其中所述产生装置经配置以产生上转换帧。

39.根据权利要求27所述的设备，其中所述产生装置经配置以大体上在与所述帧的所述部分的所述编码相关联的时间产生所述经内插帧。

40.一种多媒体数据处理器，其包含一配置以：

产生至少一经内插帧；

识别包含所述经内插帧的多个参考帧；以及

至少基于所述多个参考帧来编码一帧的至少一部分。

41.一种机器可读媒体，其包含用于处理多媒体数据的指令，其中所述指令在执行时致使机器：

产生至少一经内插帧；

识别包含所述经内插帧的多个参考帧；以及

至少基于所述多个参考帧来编码一帧的至少一部分。

42.一种处理多媒体数据的方法，所述方法包含：

接收指示用于一帧的至少一部分的经内插参考帧的经编码数据；

产生所述经内插参考帧的至少一部分；以及

至少部分基于所述经内插参考帧的所述产生的部分来解码所述帧的至少一部分。

43.根据权利要求42所述的方法，其中接收包含识别经编码数据字段，所述经编码数据字段指示经内插参考帧。

44.根据权利要求42所述的方法，其中产生包含产生帧速率上转换帧的至少一部分。

45.根据权利要求42所述的方法，其中产生包含基于至少一预测性帧而产生。

46.一种用于处理多媒体数据的设备，其包含：

接收器，其经配置以接收指示用于一帧的至少一部分的经内插参考帧的经编码数据；

产生器，其经配置以产生所述经内插参考帧的至少一部分；以及

解码器，其经配置以至少部分基于所述经内插参考帧的所述产生的部分来解码所述帧的至少一部分。

47.根据权利要求46所述的设备，其中所述接收器进一步经配置以识别经编码数据字段，所述经编码数据字段指示经内插参考帧。

48.根据权利要求46所述的设备，其中所述产生器经配置以产生帧速率上转换帧的至少一部分。

49.根据权利要求46所述的设备，其中所述产生器经配置以基于至少一预测性帧产生所述经内插帧。

50.一种用于处理多媒体数据的设备，其包含：

用于接收指示用于一帧的至少一部分的经内插参考帧的经编码数据的装置；

用于产生所述经内插参考帧的至少一部分的装置；以及

用于至少部分基于所述经内插参考帧的所述产生的部分来解码所述帧的至少一部分的装置。

51.根据权利要求46所述的设备，其中所述接收装置进一步经配置以识别经编码数据字段，所述经编码数据字段指示经内插参考帧。

52.根据权利要求46所述的设备，其中所述产生装置经配置以产生帧速率上转换帧的至少一部分。

53.根据权利要求46所述的设备，其中所述产生装置经配置以基于至少一预测性帧产生所述经内插帧。

54.一种多媒体数据处理器，其包含一配置以：

接收指示经内插参考帧的经编码数据，该经内插参考帧用于一帧的至少一部分；

产生所述经内插参考帧的至少一部分；以及

至少部分基于所述经内插参考帧的所述产生的部分来解码所述帧的至少一部分。

55.一种机器可读媒体，其包含用于处理多媒体数据的指令，其中所述指令在执行时致使机器：

接收指示经内插参考帧的经编码数据，该经内插参考帧用于一帧的至少一部分；

产生所述经内插参考帧的至少一部分；以及

至少部分基于所述经内插参考帧的所述产生的部分来解码所述帧的至少一部分。

Images