CN101919249B - 资源自适应视频的内插或外推 - Google Patents

Abstract

解码器可应用着重资源内插模式来基于电力及质量考虑启用或停用例如帧等视频单元的内插或外推。在一个模式下，当参考帧不大可能产生令人满意的质量时，可停用内插以节省电力。在另一模式下，阈值可为可依据电力节约要求变化而调整的。本发明还描述待用于视频帧的内插或外推的参考视频帧的选择。解码器可应用着重质量模式来基于质量准则选择参考帧。所述质量准则可指示有可能由参考帧产生的质量水平。如果无参考帧满足所述质量准则，则可停用内插或外推。可基于所述帧的质量分析选择性地启用经内插或经外推的帧的显示。

Description

资源自适应视频的内插或外推

本申请案主张2007年12月10日申请的美国临时申请案第61/012,703号的权利，所述案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及数字视频译码，且更明确地说涉及用于视频帧内插或外推的技术。

背景技术

已开发用于编码数字视频序列的许多视频编码技术。例如，运动图片专家组(MPEG)已开发了包括MPEG-1、MPEG-2及MPEG-4的若干技术。其它实例包括国际电信联盟(ITU)-TH.263标准及ITU-TH.264标准及其对应标准ISO/IECMPEG-4第10部分，即，高级视频译码(AVC)。这些视频编码标准通过以压缩方式编码数据来支持视频序列的有效传输。压缩减少了需要传输的数据的总量。

视频压缩可涉及空间及/或时间预测以减少视频序列中所固有的冗余。帧内译码使用空间预测来减少同一视频帧内的视频块之间的空间冗余。帧间译码使用时间预测来减少连续视频帧中的视频块之间的时间冗余。对于帧间译码，视频编码器执行运动估计以产生指示视频块相对于一个或一个以上参考帧中的对应的预测视频块的移位的运动向量。视频编码器执行运动补偿以从参考帧产生预测视频块，且通过从正被译码的原始视频块减去预测视频块来形成剩余视频块。

为了符合低带宽要求，一些视频应用可以减小的帧速率编码视频及/或跳过一些帧的编码。不幸地，低帧速率视频可产生呈运动急动形式的时间假影。可在解码器侧处采用帧内插或外推以估约由编码器跳过的帧或超出由编码器产生的基本帧速率的帧的内容。帧内插或外推可大体被称作帧取代。实际上，帧取代可用以升频转换实际帧速率以提供较平滑的运动的感知。帧取代可用以支持常被称作帧速率升频转换(FRUC)的过程。尽管FRUC可通过取代帧(例如，使用内插或外推)来增强时间质量，但一些帧的取代可引入破坏视觉质量的不合需要的空间假影。

发明内容

本发明针对用于选择待用于视频单元的取代(例如，通过内插或外推)的一个或一个以上参考视频单元的技术。视频单元可为视频帧、切片(slice)、块或其它单位。视频译码器可应用着重质量(quality-focused)视频模式以基于一个或一个以上质量准则的分析来选择参考视频单元。质量准则可指示(例如)有可能由选定参考视频单元产生的内插或外推质量的水平。质量准则可包括空间及/或时间视觉质量。如果参考视频单元中无一者满足可适用的质量准则，则对于待添加的特定视频单元，可停用取代。

视频译码器可应用着重资源(resource-focused)视频模式以基于视频序列的运动水平选择性地启用或停用对一些视频单元的取代。如果一个或一个以上参考视频单元大体为静态，则视频解码器或另一装置可停用取代，因此节省资源，例如，电力、计算及/或存储器资源。可将运动水平与阈值进行比较，所述阈值可为固定的或可依据可用资源的水平变化而调整。如果参考视频单元包括实质运动，则视频解码器或另一装置可启用取代，例如，将质量准则用于参考视频单元的选择。

对于延迟敏感性视频应用(例如，视频电话)，视频译码器或另一装置可经配置以选择视频参考视频单元来减少处理及呈现延迟。举例来说，当选择未来参考视频单元时，视频译码器可经配置以基于距待添加的视频单元的距离来选择参考视频单元。视频译码器还可经配置以分析与已经内插或外推的视频单元相关联的一个或一个以上质量特性，及基于所述分析选择性地启用或停用视频单元的显示，因此节省在一些情况下需要用来显示额外视频单元的资源。

在一个方面中，本发明提供一种方法，其包含：分析一个或一个以上候选参考视频单元的至少一个特性；及至少部分基于所述分析选择所述候选参考视频单元中的一者或一者以上作为参考视频单元以用于额外视频单元的内插或外推。

在另一方面中，本发明提供一种装置，其包含：分析单元，其分析一个或一个以上候选参考视频单元的至少一个特性；及选择单元，其至少部分基于所述分析选择所述候选参考视频单元中的一者或一者以上作为参考视频单元以用于额外视频单元的内插或外推。

在额外方面中，本发明提供一种方法，其包含：分析用于额外视频单元的内插或外推的一个或一个以上候选参考视频单元的运动水平；确定用于所述额外视频单元的内插或外推的资源水平；及基于所述运动水平及所述资源水平选择性地停用所述额外视频单元的内插或外推。

在另一方面中，本发明提供装置，其包含：运动分析器，其经配置以分析用于额外视频单元的内插或外推的一个或一个以上候选参考视频单元的运动水平；资源监视器，其经配置以确定用于所述额外视频单元的内插或外推的资源水平；及选择单元，其基于所述运动水平及所述资源水平选择性地停用所述额外视频单元的内插或外推。

在另一方面中，本发明提供一种视频解码装置，其包含：分析单元，其分析与由帧速率升频转换过程产生的经内插或经外推的视频单元相关联的一个或一个以上特性；及控制单元，其基于所述分析选择性地停用所述经内插或经外推的视频单元在显示器上的呈现。

在额外方面中，本发明提供一种方法，其包含：分析与由帧速率升频转换过程产生的经内插或经外推的视频单元相关联的一个或一个以上特性；及基于所述分析选择性地停用所述经内插或经外推的视频单元在显示器上的呈现。

本发明中描述的技术可实施于硬件、软件、固件或其组合中。如果实施于软件中，则所述软件可由一个或一个以上处理器执行。软件可最初存储于计算机可读媒体中且由处理器加载以用于执行。因此，本发明涵盖包含致使一个或一个以上处理器执行如在本发明中描述的技术的指令的计算机可读媒体。

举例来说，在一些方面中，本发明提供一种计算机可读媒体，其包含致使一个或一个以上处理器执行以下操作的指令：分析一个或一个以上候选参考视频单元的至少一个特性；及至少部分基于所述分析选择所述候选参考视频单元中的一者或一者以上作为参考视频单元以用于额外视频单元的内插或外推。

在其它方面中，本发明提供一种计算机可读媒体，其包含致使一个或一个以上处理器执行以下操作的指令：分析用于额外视频单元的内插或外推的一个或一个以上候选参考视频单元的运动水平；确定用于所述额外视频单元的内插或外推的资源水平；及基于所述运动水平及所述资源水平选择性地停用所述额外视频单元的内插或外推。

在另一方面中，本发明提供一种计算机可读媒体，其包含致使一个或一个以上处理器执行以下操作的指令：分析与由帧速率升频转换过程产生的经内插或经外推的视频单元相关联的一个或一个以上特性；及基于所述分析选择性地启用及停用所述经内插或经外推的视频单元在显示器上的呈现。

在附图及以下描述中阐明了所揭示的技术的一个或一个以上方面的细节。从描述及图式且从权利要求书将显而易见其它特征、目标及优点。

附图说明

图1为说明经配置以选择参考视频单元供在视频单元取代中使用的视频编码及解码系统的框图。

图2A为说明用于视频单元在视频解码器中的内插的技术的实例的图。

图2B为说明使用选定参考视频单元内插视频单元的图。

图2C为说明用于视频单元在视频解码器中的外推的技术的实例的图。

图2D为说明使用选定参考视频单元外推视频单元的图。

图3为说明经配置以选择参考帧供在帧取代中使用的视频解码器的实例的框图。

图4为说明经配置以选择参考帧供在帧取代中使用的视频解码器的另一实例的框图。

图5为说明可与如图3或图4中展示的视频解码器一起使用的分析单元的框图。

图6为说明视频解码器选择参考视频单元用于视频单元取代的实例技术的流程图。

图7为更详细地说明用于参考视频单元选择的实例技术的流程图。

图8为说明用于支持用于视频单元取代的参考视频单元选择的参考视频单元的质量分析的实例技术的流程图。

图9为说明用于产生支持用于视频单元取代的参考视频单元选择的参考视频单元的质量得分的实例技术的流程图。

图10为说明用于在着重资源模式下基于运动分析选择性取代的实例技术的流程图。

图11为说明用于在着重资源模式下基于运动分析选择性取代的另一实例技术的流程图。

图12为说明经配置以选择性启用或停用取代帧的显示的视频解码器的实例的框图。

图13为说明用于基于质量分析选择性显示取代帧的实例技术的流程图。

图14A为说明可与如图12中展示的视频解码器一起使用的分析单元的框图。

图14B为说明可与如图12中展示的视频解码器一起使用的另一分析单元的框图。

图15为说明用于产生质量得分以支持取代帧的选择性显示的实例技术的流程图。

图16为说明用于在视频单元支持延迟敏感性视频应用时支持用于视频单元取代的参考视频单元选择的参考视频单元的质量分析的实例技术的流程图。

具体实施方式

图1为说明经配置以选择参考视频单元供在视频单元取代中使用的视频编码及解码系统10的框图。在各种方面中，经取代的视频单元及选定参考视频单元可为(例如)视频帧、视频切片或视频块。如图1中所示，系统10可包括视频编码器12及视频解码器14，其每一者可大体被称作视频译码器。在图1的实例中，视频编码器12编码输入视频帧16以产生经编码的视频帧18。视频编码器12可经由通信信道19将经编码的视频帧18传输到视频解码器14。

尽管本发明中描述的技术可为可适用于多种视频单元(例如，帧、切片、块或子块)的，但出于说明的目的，本发明将大体描述将所述技术应用到视频帧，但却无如在本发明中广泛描述的此类技术的方面的限制。

为减少必须在编码器12与解码器14之间传输的数据的量，且从而遵守对信道19的减小带宽要求，视频编码器12可在比源视频单元译码速率小的基本视频单元译码速率下操作。举例来说，视频编码器12可在减小的视频帧速率(例如，每秒15、30、60帧(fps))下操作。

替代地或另外，在一些情况下，视频编码器12可在给定视频帧速率下操作，但任选地，包括或选择性启动致使编码器12跳过一些视频单元的编码的跳过单元20。举例来说，视频单元跳过单元20可经配置以致使编码器12跳过一些帧的编码，从而(例如)相对于源视频帧速率减小视频编码器12的有效帧速率。在图1中，跳过的视频帧由经编码的帧18中的阴影帧说明。

在跳过的帧或可经升频转换的译码速率的情况下，可能需要在解码器侧处取代额外视频单元(例如，通过内插或外推)，以将实际视频帧速率转换到增加的视频帧速率。此过程有时被称作支持帧速率升频转换(FRUC)的帧取代。实际上，解码器14可将由视频编码器12产生的实际帧速率增加到经升频转换的帧速率。

作为实例，如果由编码器12产生的实际帧速率(有或无帧跳过)为30fps，则解码器14可经配置以取代额外帧(例如，通过内插或外推)，以将有效帧速率从30fps增加到60fps或120fps。实际上，用额外帧取代已经跳过的帧或如果视频编码器12的基本帧译码速率较大则可已包括的帧。如上所述，归因于比源视频速率小的基本帧速率及/或一些帧的任选跳过(例如，通过任选跳过单元20)，由视频编码器12产生的帧速率可能较不合需要。

通过跳过一些帧或每秒译码较少帧(如上所述)，视频编码器12可以减小的帧速率编码视频。然而，低帧速率视频可产生呈运动急动形式的时间假影。帧取代可由解码器14用以估约跳过的帧或其它排除的帧的内容，且实际上，对实际帧速率进行升频转换以提供较平滑的运动的感知。举例来说，视频解码器14可包括帧速率升频转换(FRUC)单元22，其内插或外推至少一些额外视频帧以增加经解码的视频的有效帧速率。

又，尽管相对于帧的有效译码速率的升频转换描述FRUC单元22，但在本发明中描述的技术可应用于其它视频单元，例如，切片、块或子块。视频解码器14可解码所接收的帧24且经由FRUC单元22估约额外的视频帧以产生输出视频帧26。经解码的输出视频帧26可用以驱动显示装置。在图1中，跳过的帧的实例由所接收的视频帧24中的阴影视频帧说明。

在图1的实例中，FRUC单元22经展示于视频解码器14内。在其它实施方案中，FRUC单元22可形成视频后处理模块的部分。视频后处理模块可处理视频解码器14的输出，且可执行多种处理操作，例如，变平滑、锐化、亮度控制及/或对比度增强，以及FRUC操作。作为另一替代方案，FRUC单元22可形成视频显示处理器或移动显示处理器(MDP)装置(例如，用于移动多媒体装置)的部分。因此，出于说明的目的，在视频解码器14内的FRUC单元22的实施方案经描绘于图1及其它图中，且不应被考虑为限制在本发明中广泛描述的技术。

运动补偿(MC)视频帧内插(VFI)为用以增强在例如在解码器侧处的FRUC的应用中的视频的时间感知质量的技术的实例。其它内插技术以及外推技术可应用于估约支持FRUC过程的额外帧。尽管FRUC技术可通过估约跳过的帧或产生超出视频编码器12的基本帧速率的额外帧来增强时间质量，但一些帧的内插或外推可引入破坏视觉质量的不合需要的空间假影。

举例来说，经取代的视频帧的视觉质量可能得不到保证且可高度地视用以执行内插或外推的特定参考帧而定。另外，VFI方法可能很复杂，且消耗大量电力及其它资源，此可阻碍将VFI用于一些装置中的视频应用，例如，具有有限电力、计算及/或存储器资源的移动装置。其它帧取代技术可呈现类似的质量及资源问题。

FRUC单元22可经配置以分析与由视频解码器14接收的一个或一个以上参考视频帧相关联的至少一个特性，且基于所述分析选择所述参考视频帧中的一者或一者以上供在由视频解码器进行的视频帧的取代中使用。可从在时间上驻留于待取代的帧之前或之后的所接收的帧24选择参考视频帧。换句话说，FRUC单元22可选择一个或一个以上先前或未来帧24供在估约待取代的额外帧过程中使用。

先前视频帧可包括紧接在待取代的帧之前的帧或接近待取代的帧的一个或一个以上先前帧。未来帧可包括紧跟在待取代的帧之后的帧或接近待取代的帧的一个或一个以上帧。在通过内插取代的情况下，一个或一个以上先前帧及一个或一个以上未来帧可用以内插额外的中间帧。在通过外推取代的情况下，一个或一个以上先前帧或一个或一个以上未来帧可用于外推额外的先前或未来帧。

在一些方面中，FRUC单元22可分析参考视频帧的质量以选择一个或一个以上参考帧供在额外视频帧的取代中使用。以此方式，FRUC单元22确定哪些帧用作用于视频帧取代(例如，通过内插或外推)的参考帧。在此情况下，FRUC单元22可选择参考视频帧来增强输出视频帧26的空间-时间视频质量。在其它方面中，FRUC单元22可分析参考帧的质量及视频解码器14驻留于里面的装置的资源约束两者。在此情况下，FRUC单元22可增强输出视频帧26的空间-时间视频质量，同时平衡降低电力消耗、节省计算资源及/或节省存储器资源过程中的利益。FRUC单元22可增强内插或外推的帧质量以及视频序列的时间质量。大体来说，计算及存储器资源的消耗可对增加的电力消耗以及在一些情况下的等待时间有影响。

另外，在一些方面中，FRUC单元22可经配置以选择具有偏向减少端对端处理及/或呈现延迟的参考视频帧。所述延迟可尤其不合需要地来自一些实时或准实时的应用，例如，视频电话，其可为延迟敏感性的。举例来说，当未来参考视频帧用以估约经取代的帧时，FRUC单元22可经配置以促成在时间上相对靠近待估约的帧的未来参考视频帧的选择。或者，FRUC单元22可停用对所述延迟敏感性应用的视频帧取代。

在作为说明的视频电话应用中，基于未来帧选择帧外推可能较不合需要，或在视频帧内插的情况下，可能需要选择较靠近的未来帧而非在未来较远的未来帧以便减少端对端延迟，且因此为用户保持时间质量。明确地说，依赖于在未来驻留得较远的未来参考帧可导致归因于需要等待解码此类未来帧的延迟。帧在未来驻留得越远，则等待可越长，此可引起打乱视频电话呈现中的延迟。

在一些方面中，视频解码器14可提供着重质量帧取代模式作为第一操作模式来基于一个或一个以上参考帧质量准则的分析选择参考帧。另外，视频解码器14可提供着重资源帧取代模式作为第二操作模式来基于资源与质量考虑的组合选择性启用或停用对一些帧的帧取代。在一些方面中，着重质量及着重资源模式可被称作质量优化及电力优化模式。因此，在一些方面中，视频解码器14可决定哪些帧用作用于视频帧内插或外推的参考帧且还决定哪些帧内插或外推以便节约电力且增强内插的帧质量以及视频的时间质量。替代地或另外，视频解码器14可经配置以基于质量准则停用取代帧从视频缓冲器到显示器的传输，即使在已执行了内插或外推之后也如此。

在一些方面中，可将此着重资源模式考虑为电力优化模式，如上所论述。举例来说，视频解码器14可经配置以平衡视觉质量对电力节省及/或计算负载。在一些情况下，视频解码器14可(例如)根据在应用对待取代的帧的FRUC操作时可用于视频解码器的资源在着重质量模式与着重资源模式之间可选择性切换。

在着重质量模式及/或着重资源模式下，质量准则可包括(例如)指示有可能使用选定参考帧产生的经取代的帧质量的水平的一个或一个以上特性。换句话说，可选择所述特性作为使用参考帧进行内插或外推的帧的可能的质量的指示。如果参考帧中无一者满足质量准则，则视频解码器14可停用针对特定帧的帧取代。因此，在着重质量模式下，当参考帧中无一者有可能产生令人满意(例如，在阈值之上)的内插或外推质量时，视频解码器14可停用帧内插或外推以节省电力。

在一些方面中，可在经取代的帧实际上由解码器14产生之前或之后应用着重质量准则。举例来说，可在帧内插或外推之后应用质量分析，在所述情况下，可基于结果将取代帧选择性应用到显示装置。如果经内插或经外推的帧的质量不满足阈值质量水平，则FRUC单元22可抛弃经内插或经外推的帧，而非将其从输出视频帧缓冲器发送以驱动显示装置。

在此情况下，即使已执行了内插或外推，如果质量水平不证明需要用来显示帧的额外资源，则抛弃帧可仍为有利的。在将帧从视频缓冲器发送到显示缓冲器以驱动显示器的过程中，可耗费相当大量的电力。因此，抛弃取代帧(即使在已执行了内插或外推之后)可节约将另外从视频缓冲器与显示器之间的视频数据业务产生的电力消耗。

在着重资源模式下，如果一个或一个以上候选参考帧的运动水平小于阈值，则视频解码器14可停用帧取代。在此情况下，当视频场景为大体静态时，经内插或经外推的帧与重复的帧之间的差异可为可忽略的。因此，使用帧重复而非内插或外推可节省资源，例如，电力。运动水平阈值可为固定的或可依据视频解码器的资源水平或资源节约要求而调整。在任一情况下，不管是启动了着重质量还是着重资源模式，如果启用了帧取代，则可使用一个或一个以上质量准则来选择参考帧。

用以分析候选参考帧的一个或一个以上质量准则可经选择作为指示有可能通过使用所述候选参考帧产生的内插或外推的质量的特性。举例来说，如果将考虑中的候选参考帧用于所述额外帧的内插或外推中，则质量准则可指示经内插或经外推的帧的可能的质量。并且，FRUC单元22可分析作为参考帧质量的另一指示的运动向量可靠性。由FRUC单元22分析的质量准则的实例可包括量化参数(QP)值、经译码的块模式(CBP)值及与参考视频帧相关联的非零变换系数的数目。如果CBP值不等于零，则可将QP值与非零系数的数目耦合以判断由参考帧提供的运动向量的可靠性。

FRUC单元还可考虑客观质量度量(例如，结构类似性度量(SSIM)、块效应(blockiness)及/或模糊性)以确定供在内插或外推中使用的候选参考帧的质量。另外，可考虑除了用于参考帧的帧内模式之外的类型的帧内模式及运动向量计数。

FRUC单元22可分析其它质量准则，例如，全部或部分视频单元损失的证据，其可大体被称作视频单元损失。举例来说，FRUC单元22可结合针对所述帧的错误隐藏机制的可用性的缺乏分析参考视频帧的切片或帧损失。举例来说，FRUC单元22可评估错误的水平及错误隐藏机制的质量。除了以上描述的类型的质量准则之外或作为对以上描述的类型的质量准则的替代，可使用其它质量准则。

在一些情况下，FRUC单元22可选择满足一个或一个以上质量阈值的参考视频帧。在其它情况下，FRUC单元22可对多个参考视频帧的质量记分且分级，且选择产生最佳得分的一个或一个以上参考帧。如果两个帧(例如，两个先前帧或两个未来帧)经分级为大体上相同，则可能需要选择时间上较靠近待内插的跳过的帧的帧。

出于说明的目的，本发明大体涉及用于额外帧的内插或外推的参考帧的选择。然而，在一些实施方案中，本发明更大体地涵盖用于不同于帧的额外视频单元的估约的参考视频单元的选择。举例来说，本发明中描述的技术可适合于分析且选择多种参考视频单元中的任一者，例如，视频帧、视频切片或例如宏块的视频块。

当例如帧、切片或块的视频单元由视频编码器12跳过时，所述技术可用以识别可用于内插或外推的各种候选参考帧当中的对应的帧、切片或块。或者，甚至当不跳过帧、切片或块时，所述技术还可用以估约额外帧以增加编码器12的基本帧译码速率，例如，针对帧速率转换应用。

甚至当需要估约整个帧(归因于跳过或低帧速率)时，选择个别切片或块供在内插待估约的帧的切片或块过程中使用也可为有利的。在此情况下，可选择来自不同候选帧的切片或块来内插或外推待估约的帧中的对应的切片或块。举例来说，可逐切片或逐块地应用类似于本发明中描述的质量分析的上质量分析以选择用于额外视频单元的内插或外推的参考视频单元。因此，通过聚焦于用于待取代的跳过的帧的内插或外推的参考帧的选择，不应将本发明考虑为限制如广泛地描述的方面。

进一步参看图1，视频编码器12与视频解码器14可由传输信道19连接。传输信道19可为有线或无线媒体，或两者的组合，其能够在位流内传送视频帧。信道19可支持双向或单向视频传输。系统10可经配置用于视频电话、视频串流、视频广播等。因此，可在信道19的相对端上提供互逆编码、解码、多路复用(MUX)及解多路复用(DEMUX)组件。在一些实施方案中，编码器12及解码器14可经提供于例如经装备用于视频串流、视频广播接收及/或视频电话(例如，所谓的无线视频电话或相机电话)的无线移动终端的视频通信装置内。

此类无线通信装置包括支持无线通信、音频译码、视频译码及用户接口特征的各种组件。举例来说，无线通信装置可包括一个或一个以上处理器、音频/视频编码器/解码器(CODEC)、存储器、一个或一个以上调制解调器、发射-接收(TX/RX)电路，例如，放大器、频率转换器、滤波器等。另外，无线通信装置可包括图像及音频俘获装置、图像及音频输出装置、相关联的驱动器、用户输入媒体等。

可将编码器12、解码器14或两者并入于如上所述的无线或有线通信装置中。并且，可将编码器12、解码器14或两者实施为集成电路装置，例如，集成电路芯片或芯片组，其可并入于无线或有线通信装置中或支持数字视频应用的另一类型的装置中，例如，数字媒体播放器、个人数字助理(PDA)、数字电视等。

系统10可支持根据会话起始协议(SIP)、ITU-TH.323标准、ITU-TH.324标准或其它标准的视频电话。视频编码器12可根据视频压缩标准(例如，MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264或MPEG-4第10部分)产生经编码的视频数据。尽管未展示于图1中，但视频编码器12及视频解码器14可分别地与音频编码器及解码器集成，且包括适当的硬件及软件组件来处置数据流的音频及视频部分两者。

编码器12编码视频帧16，其可包括内部帧(I帧)、预测帧(P帧)及双向预测帧(B帧)。I帧为使用空间译码技术完全编码所有视频信息的帧。经编码的帧可包含描述形成帧的一系列视频块的信息。有时被称作宏块(MB)的视频块可包括界定像素值的译码位，例如，在亮度(Y)、色度红(Cr)及色度蓝(Cb)色彩通道中。

如上所述，编码器12可实施帧跳过以减小经由传输信道19传输的数据的帧速率。明确地说，编码器12可经配置以(例如)通过不译码选定帧或不传输选定经译码的帧而有意地跳过选定帧。或者，编码器12可在有帧跳过或无帧跳过的情况下以小于所要帧速率的基本帧译码速率产生帧。帧跳过或减小的帧速率译码可准许编码器12遵循信道19的减小传输速率要求。

在帧跳过的情况下，帧可由帧跳过单元20以固定速率跳过，使得在交替帧处或每n个帧发生跳过。或者，可(例如)基于智能帧跳过准则以变化的速率跳过帧。并且，编码器12可以给定帧速率在固定或自适应地编码帧，使得帧速率根据例如信道条件或其它要求的考虑而变化。在任一情况下，帧速率可由解码器14有效地升频转换以产生增加的帧速率，例如，从30fps到60fps或120fps。

FRUC单元22可由解码器14用以执行帧取代以替换经跳过的帧或产生额外的帧以增加帧速率。另外，在一些实施方案中，FRUC单元22可用于在传输期间丢弃或丢失的帧。由编码器12跳过的帧及在传输期间丢弃或丢失的帧在本发明中可大体被称作跳过的帧。在每一情况下，为了增加有效帧速率，且因此改进时间质量，解码器14的FRUC单元22可使用视频帧内插或外推及参考帧选择执行FRUC过程以估约具有取代帧的跳过的帧中的至少一些。

如果参考视频帧中无一者有可能支持具有足够质量水平的帧取代，则FRUC单元22可停用帧取代且应用帧重复。当停用帧取代时，解码器14可仅重复先前或未来帧，而非在先前帧与未来帧之间内插或外推帧。在此情况下，解码器14可使用先前或未来帧的复制版本来替代跳过的帧或作为用于帧速率转换的额外帧。

通过使用帧重复，解码器14可避免可由内插或外推引入的不合需要的空间假影。由于帧重复可降低视频的所感知的时间质量，所以当可实现足够的质量时，通过内插或外推的帧取代将通常更合需要。然而，电力、计算及/或存储器资源的过度消耗可降低取代技术的总价值。如本发明中描述的着重资源模式可用以平衡质量对资源消耗。

在图1的实例中，视频编码器12接收视频信息的输入帧16(F_t-2、F_t-1、F_t、F_t+1、F_t+2)。F_t表示归因于由任选帧跳过单元20进行的帧跳过或归因于由编码器12产生的基本帧速率而在时间t处未译码的帧。因此，应注意，如本发明中描述的帧取代大体指估约在由解码器14接收的帧中未提供(归因于帧跳过、信道损失或编码器12的基本帧速率)的帧F_t的帧F_t′的添加。

如果帧跳过单元20可适用，则可根据如上所述的固定、可调整或动态帧跳过过程而跳过帧。F_t-2及F_t-1表示在时间上在帧F_t之前的过去帧，且F_t+1及F_t+2为在时间上在帧F_t之后的未来帧。可用于帧F_t的内插或外推的参考帧可包括在帧F_t之前及在帧F_t之后两者的许多帧。然而，为了易于说明，在图1中仅展示在F_t之前的两个帧及在F_t之后的两个帧。

大体来说，视频编码器12编码输入帧16作为上述I、P或B帧中的一者来产生经编码的帧18。又，帧F_t在时间上驻留于先前帧F_t-2、F_t-1与未来帧F_t+1、F_t+2之间。视频编码器12经由传输信道19将经编码的帧18(其包括经编码的帧F_t-2、F_t-1、F_t+1、F_t+2，但非帧F_t)传输到视频解码器14。通常，编码器12按预界定的序列传输这些帧，例如，IBBPBBPBBPBBI，其中I、B及P分别指I帧、B帧及P帧。

经编码的帧18可经帧内译码或帧间译码，且可经解码以产生在输入帧16中存在的视频内容。另外，经编码的帧18可充当用于视频序列中的其它经帧间译码的帧的解码的参考帧，即，作为用于预测的帧的运动估计及运动补偿的参考。如在预测性译码的技术中众所周知，经编码的帧可由指示在经编码的帧中的块相对于不同经编码的帧(其充当参考帧)中的类似对应的块的移位的运动向量表征。另外，经编码的帧可由指示在经编码的帧中的视频块与在参考帧中的对应的视频块之间的差异的残余信息表征。

输入帧16的编码及所接收的帧24的解码可依参考帧而定，如上针对预测性译码所描述。然而，在待取代的帧的情况下，如在本发明中描述的参考帧大体指用于内插或外推以在解码器侧处提供额外帧的帧。因此，应注意，用于内插或外推的参考帧在其使用中与用于预测性译码的参考帧不同，即使在一些例子中，给定帧可用作用于内插及预测性译码两者的参考帧。用于预测性译码的参考帧在编码器侧处经指定且用于预测性译码。相反，用于内插或外推的参考帧可在解码器侧处经选择且用于额外帧的取代(例如，通过内插或外推)。

在图1的实例中，帧16表示在含有许多帧的视频序列中的五个帧，且用以描述估约在时间上驻留于经编码的帧18之间(例如，在先前帧F_t-2、F_t-1与未来帧F_t+1、F_t+2之间)的帧F_t的额外(即，附加的)帧F_t′的内插或外推。在一些方面中，可能需要添加多个帧，在所述情况下，驻留于两个经传输的帧之间的一个以上帧可能需要内插或外推。为了易于说明，本发明将涉及使用选定参考帧内插在先前帧与未来帧之间的单一帧F_t′的实例情况。

视频解码器14经由传输信道19接收帧24。所接收的帧24可大体上与由视频编码器12传输的经编码的帧18等同，归因于传输信道19的特性经受切片、帧或块损失。视频解码器14可应用标准解码技术以解码所接收的帧24中的每一者(F_t-2、F_t-1、F_t+1、F_t+2)，例如，根据MPEG-1、MPEG-2、MPEG-4、H.263、H.264或MPEG-4第10部分标准中的一者。根据本发明，解码器14进一步包括FRUC单元22，其应用于帧24以便选择性估约额外帧F_t′。通过FRUC单元22，视频解码器14内插或外推帧以产生帧F_t且产生输出帧26，其包括经解码的帧F_t-2、F_t-1、F_t+1、F_t+2及待添加的帧F_t的估约F_t′。

FRUC单元22接收视频序列中的连续的帧。对于待内插的每一额外帧，存在可用作用于内插的参考帧的至少一个先前帧及至少一个未来帧。待内插的帧在时间上驻留于多个先前帧与多个未来帧之间。如果将外推用于估约(而非内插)，则待外推的帧在时间上可驻留于一个或一个以上参考帧之后或在时间上驻留于一个或一个以上参考帧之前。先前及未来帧中的一些可产生比其它帧好的帧取代结果。可通过多种技术中的任一者来执行内插，例如，运动补偿内插(MCI)、线性内插、双线性内插、双三次内插、样条(spline)内插、最近邻居内插、非线性内插、候选帧的线性或非线性滤波等。内插可利用单一参考帧用于单向内插或利用两个或两个以上帧用于双向内插。类似地，外推可利用单一参考帧或两个或两个以上帧用于单向外推。

FRUC单元22可分析候选先前及/或未来帧且选择所述帧中的一者或一者以上供用作额外帧的内插或外推中的参考帧。FRUC单元22可经配置以选择更有可能产生有利的帧取代结果的特定参考帧。举例来说，FRUC单元22可分析候选参考帧集合的一个或一个以上特性。可从视频序列内的帧的子集选择候选参考帧。举例来说，FRUC单元22可分析N个先前帧及M个未来帧的子集，其中N与M相等或不相等。

如果分析展示候选参考帧中无一者具有用于帧取代的足够的质量水平，则FRUC单元22可停用帧取代。在此情况下，FRUC单元22可检测潜在的FRUC失败(就帧取代结果的质量来说)。替代于浪费电力及计算资源来产生低质量内插结果，举例来说，FRUC单元22可应用帧重复以产生跳过的帧的估约。在帧重复的情况下，如先前所描述，解码器14使用先前或未来帧中的一者的复制版本替代跳过的帧。因此，在着重质量模式下，FRUC单元22可经配置以选择特定参考帧用于内插或外推，及在可接受的质量水平未必可能时停用帧取代。当解码器14在着重资源模式下操作时，FRUC单元22可寻找较高质量水平来证明帧取代。

在一些配置中，系统10可提供一个或一个以上益处。举例来说，在一些配置中，系统10可通过在不大可能产生有利的结果时停用帧取代来减少视频解码器14中的电力消耗。另外，在一些配置中，系统10可通过选择特定参考帧供在帧取代中使用来增强经取代的帧的质量。供在经取代的帧的内插或外推中使用的较高质量参考帧的选择可在多种视频应用中有用，例如，使用可变位速率(VBR)速率控制技术压缩经编码的视频的应用。在VBR的情况下，质量可在不同帧当中变化，使得在用作用于内插或外推的参考帧时，一些帧可比其它帧好。

并且，视频解码器14可经配置以检测遭受切片、帧或块损失的候选参考帧，且在不存在所应用的错误隐藏机制时，或如果可用的错误隐藏机制不大可能提供良好质量帧，则从考虑中消除此类帧。当发生显著的传输损失时，例如，在视频电话应用的情况下，具有不充分的错误隐藏的候选参考帧的消除可为有用的。在减少电力消耗同时维持合理的客观及主观视频质量(例如，在低运动视频片段中)的过程中，着重资源模式可为有用的。

图2A为说明用于额外帧的内插以支持视频解码器14中的FRUC技术的简单技术的实例的图。大体来说，为了在选定先前帧F_t-N与选定未来帧F_t+M之间的经内插的帧F_t′中内插宏块(MB)28，视频解码器14可依在先前帧F_t-N中的MB30与未来帧F_t+M中的对应的MB32之间延伸的运动向量v_NM而定。在此实例中，时间t指示时间位置，即，待内插的额外帧将出现于视频序列中的时间。帧F_t-N及F_t+M为在时间上分别在需要内插的额外帧F_t′之前(t-N)及之后(t+M)的帧。在图2A的实例中，帧F_t-N及F_t+M充当用于额外帧F_t′的内插的参考帧。

N及M指示相对于时间t的时间偏移，且可彼此相等或不相等。举例来说，如果N＝1且M＝2，则帧F_t-N可为紧接在经内插的帧之前的帧，且帧F_t+M可为在经内插的帧之后的第二帧。在N＝1且M＝1的简单实例中，为了内插，在帧F_t-N与帧F_t+M之间延伸的向量v₁₃可大体除以二(对于1∶2帧速率转换)以产生运动向量v_NM/2及-v_MN/2，且识别待内插的帧F_t′中的对应的MB28。因此，在此简化实例中，MB28的位置依据运动向量v_NM/2及-v_NM/2而变，其中出于此实例的目的，N＝1且M＝1。MB28可经指派有对应于MB30或MB32或MB30及32的像素值的平均值的像素值集合。对于较高或较低帧升频转换(例如，1∶X转换)，可相应地按比例缩放运动向量。对于其它情况，例如，其中N及M中的至少一者不等于一，可使用经由运动估计及运动向量处理获得的不同运动向量。

另外，对于一些类型的内插，FRUC单元22可依多个参考帧而定，例如，两个或两个以上先前帧及两个或两个以上未来帧。大体来说，参考帧指单独或结合一个或一个以上其它参考帧用以内插帧(例如，跳过的帧)的帧。在内插过程中，与在一个或一个以上参考帧中存在的宏块相关联的像素值可用以在待内插的额外帧中的对应的宏块中内插像素值，例如，如图2A中所示。像素值可包括亮度及/或色度像素值。

作为一个实例，经内插的宏块可包括等于先前帧中的宏块中的像素值、未来帧中的宏块中的像素值，或先前及未来帧中的对应的宏块中的像素值的平均值的像素值。在经内插的帧中的宏块可相对于参考视频帧中的对应的块经运动补偿，如图2A中所示。宏块可由在先前与未来帧之间延伸的运动向量识别，如图2A中所示。图2A中展示的内插的说明为一个实例，且应被考虑为不限制在本发明中广泛描述的技术。可将广泛多种不同内插技术用于根据本发明的帧取代。

图2B为说明使用选定参考帧内插附加视频帧的图。在图2B的实例中，FRUC单元22选择参考帧F_t-1及F_t+2供在内插额外帧F_t′过程中使用。FRUC单元22可分析多个先前帧F_t-1、F_t-2及F_t-3及多个未来帧F_t+1、F_t+2及F_t+3的一个或一个以上特性。在图2B的实例中，出于说明的目的，FRUC单元22分析三个先前参考帧及三个未来参考帧。在此实例中，FRUC单元22可基于此分析选择一个先前参考帧及一个未来参考帧供在经内插的帧F_t′的内插中使用。然而，先前及未来参考帧的实际数目可与图2B的实例不同。另外，由FRUC单元22分析的先前帧的数目可与由FRUC单元分析的未来帧的数目不同。大体来说，FRUC单元22可基于质量分析选择有可能产生具有可接受的质量水平的内插结果的先前帧及未来帧。在图2B的实例中，选定参考帧F_t-1及F_t+2由交叉影线指示。

图2C为说明用于在视频解码器14中外推视频单元的技术的实例的图。在图2C的实例中，使用两个先前参考帧F_t-M及F_t-N来外推额外帧F_t′以支持帧取代。大体来说，为了在选定先前帧F_t-N及选定先前帧F_t-M之后的帧F_t′中外推MB31，视频解码器14可依在先前帧F_t-N中的对应的MB33与在先前帧F_t+M中的对应的MB35之间延伸的向量v而定。在此实例中，t指示时间位置，即，待内插的额外帧将出现于视频序列中的时间。帧F_t-N及F_t+M为在时间上分别在需要外推的额外帧F_t′之前(t-N)及(t+M)的帧。在图2C的实例中，先前参考帧F_t-N及F_t+M充当用于额外帧F_t′的外推的参考帧。然而，可使用一个或一个以上先前参考帧或一个或一个以上未来参考帧外推额外帧F_t′。换句话说，可分别使用先前帧或未来帧来向前或向后外推额外帧。

如在图2A的实例中，图2C中的N及M指示相对于时间t的时间偏移，且彼此可相等或不相等。举例来说，如果N＝2且M＝1，则帧F_t-M可为紧接在经外推的帧之前的帧，且帧F_t-N可为在经外推的帧之前的两个帧。MB31可经指派有对应于MB33或MB

35，或MB33及35的像素值的平均值的像素值集合。外推过程可利用运动补偿外推。如在内插的情况下，对于外推，参考帧可指单独或结合一个或一个以上其它参考帧用以外推待添加到经解码的视频帧的附加帧的帧。

外推可通过从参考帧中的对应的块外推运动向量v而经运动补偿，如图2C中所示。在外推过程中，与在一个或一个以上参考帧中存在的MB相关联的像素值可用以在待外推的额外帧中的对应的MB中外推像素值。图2C中展示的外推的说明为一个实例，且应被考虑为不限制在本发明中广泛描述的技术。可将广泛多种不同外推技术用于根据本发明的帧取代。

图2D为说明使用选定参考帧外推附加视频帧的图。在图2D的实例中，FRUC单元22选择参考帧F_t-1及F_t-2供在外推额外帧F_t′过程中使用。根据是将先前还是未来帧用于外推而定，FRUC单元22可分析多个先前帧F_t-1、F_t-2及F_t-3或多个未来帧的一个或一个以上特性。在图2D的实例中，出于说明的目的，FRUC单元22分析四个先前参考帧F_t-1、F_t-2、F_t-3、F_t-4。在此实例中，FRUC单元22可基于此分析选择两个先前参考帧供在帧F_t′的外推中使用。然而，用于外推的参考帧的实际数目可与图2D的实例不同。大体来说，FRUC单元22可基于质量分析选择有可能产生具有可接受的质量水平的外推结果的参考帧。在图2D中，选定参考帧F_t-1及F_t-2由交叉影线指示。

图3为更详细地说明图1的视频解码器14的实例的框图。在图3的实例中，视频解码器14包括接收帧缓冲器34、解码单元36、帧取代单元38、输出帧缓冲器40、FRUC分析单元42及选择单元44。帧取代单元38、FRUC分析单元42及选择单元44可形成视频解码器14的FRUC单元22的一部分。在图3的实例中，FRUC单元22驻留于视频解码器14内。然而，如上所提及，在其它实施方案中，FRUC单元22可驻留于视频解码器14的外部，例如，在视频后处理器模块或视频显示处理器或MDP装置内。接收帧缓冲器34接收且存储经由信道19从视频编码器12传输的经编码的帧。解码单元36使用可适用的译码过程解码所接收的帧且将经解码的帧放置于输出帧缓冲器40中。

所接收的帧34可排除待内插或外推的各种帧。此类帧可包括由编码器12跳过的帧、在跨越信道19的传输期间丢失的帧或帧的部分，及编码器12的基本帧速率不支持的帧。为了提升空间-时间质量，帧取代单元38可经配置以基于分析及供在内插或外推中使用的特定所接收的帧的选择内插或外推额外帧(如可适用)。

如先前所提及，由帧取代单元38进行的内插可包括多种内插技术中的任一者，例如，运动补偿内插(MCI)、线性内插、双线性内插、双三次内插、样条内插、最近邻居内插等。内插可利用单一参考帧用于单向内插或利用两个或两个以上帧用于双向内插。同样地，外推可依一个或一个以上帧而定。在一些情况下，帧取代单元38可(例如)通过重复先前或未来帧来替代待添加的帧而停用帧取代且替代地应用帧重复。

帧取代单元38将经取代或重复的帧添加到视频输出帧缓冲器40。视频输出帧缓冲器40中的经解码的帧及经取代或重复的帧可用以驱动例如显示器的视频输出装置。作为实例，视频解码器14可形成包括数字视频能力的多种装置(包括例如移动无线电电话的无线通信装置、数字媒体播放器、个人数字助理(PDA)、数字电视等)中的任一者的一部分。或者，输出帧缓冲器40中的帧可经传输到一个或一个以上其它装置以用于归档或显示。在每一情况下，由帧取代单元38产生的经取代或重复的帧补充由解码单元36解码的帧，例如，以增强视频片段的时间视觉质量。

如在图3中进一步展示，帧取代单元38可从解码单元36的输出接收经解码的帧供用作在内插或外推帧过程中的参考帧。从解码单元26接收的经解码的帧可为由解码单元36基于来自接收帧缓冲器34的经编码的帧产生的像素域帧。帧取代单元38可使用经解码的参考帧作为用于额外帧的内插或外推的参考帧。用于内插或外推的特定参考帧可由选择单元44基于由FRUC分析单元42进行的候选参考帧的分析来识别。

分析单元42可经提供以分析候选参考视频帧。举例来说，分析单元42可从解码单元36的输出获得像素域中的经解码的帧(例如)用于例如结构类似性度量(SSIM)、块效应及/或模糊性及(任选地)色溢的客观质量度量的分析，以确定供在内插或外推中使用的候选参考帧的质量。替代地或另外，分析单元42可分析候选参考帧的译码信息(例如，与候选帧相关联的QP值及CBP值)，作为帧的相对质量水平的指示。可(例如)通过解码单元36从与在接收帧缓冲器34中的帧相关联的位流剖析例如QP值及CBP值的译码信息，且将译码信息提供到分析单元42，如在图2A中进一步展示。因此，在一些实施方案中，分析单元42可从解码单元36的输出接收经解码的像素域帧及/或位流信息(例如，由解码单元36从候选帧剖析的QP及CBP值)。

在从解码单元36获得的视频帧可由取代单元38用作用于额外帧的取代的参考帧的意义上，可将其考虑为候选参考帧。对于待添加的每一帧，分析单元42可分析先前及/或未来帧的子集(相对于待添加的帧)的像素域信息及/或位流信息，且将输出提供到选择单元44以识别应经选择供在由取代单元38进行的帧内插或外推中使用的帧。选择单元44可经配置以基于由分析单元42输出的分析选择一个或一个以上帧用于额外帧的内插或外推。另外，在一些情况下，选择单元44可经配置以指导取代单元38启用或停用帧取代，例如，当分析指示候选参考帧中无一者适合于在可接受的质量水平下的帧取代中使用时。

如图3中所示，选择单元44可产生指导帧取代单元38从接收帧缓冲器34选择帧中的一者或一者以上供在待添加的帧的内插或外推中使用的帧选择信号或命令。举例来说，对于待添加的每一帧，选择单元44可指导帧取代单元38选择一个先前帧及一个未来帧供在内插中使用。帧取代单元38接着可应用选定帧作为用于跳过的帧的内插的参考帧。作为说明，可使用先前帧及未来帧来基于在先前及未来帧中的对应的块之间延伸的运动向量在待添加的帧中内插块，例如，如图2A中所示。作为另一说明，选择单元44可指导帧取代单元38选择一对先前帧供在额外帧的外推中使用。

选择单元44还可产生帧取代启用/停用命令。当由分析单元42进行的分析指示候选参考帧中无一者适合于在帧取代中使用时，选择单元44可停用由帧取代单元38进行的内插或外推。并且，当帧取代与帧重复之间的视觉差异相对感知不到时，选择单元44可停用在着重资源模式下的内插。在任一情况下，帧取代单元48可重复先前或未来帧来替代额外帧，而非执行内插或外推来产生取代帧。帧重复可比内插或外推消耗大体上较少的电力及计算资源。当分析单元42指示接收帧缓冲器34含有合适的参考帧时，选择单元44可启用帧取代且识别供在帧取代中使用的选定帧。

经选择用于帧取代的参考帧可为最靠近待添加的帧的帧或较远离待添加的帧的帧。在一些情况下，即使其将通常经选择用于一般的FRUC过程，最靠近的帧(即，最近的先前及最近的未来帧)可实际上具有使其比其它参考帧不适合于在内插或外推中使用的特性，例如，归因于VBR译码或其它因素。分析单元42分析候选参考帧以提供供在帧取代中使用的所述帧的合适性的指示。替代于仅使用邻近于跳过的帧的帧作为默认的事项，分析单元42及选择单元44可准许帧取代单元38使用提供更佳的结果的参考帧。

图4为更详细地说明图1的视频解码器14的另一实例的框图。在图4的实例中，视频解码器14大体上对应于图3A的视频解码器。然而，图4的视频解码器14的FRUC单元22进一步包括模式选择单元46及资源监视器48。另外，FRUC单元22可任选地包括延迟检测单元51。模式选择单元46可支持FRUC单元22的两个或两个以上操作模式。举例来说，FRUC单元22可经配置以在作为第一操作模式的着重质量模式下或在作为第二操作模式的着重资源模式下操作。在图4的实例中，FRUC单元22驻留于视频解码器14内。在其它实施方案中，FRUC单元22可驻留于视频解码器14的外部，例如，在视频后处理器模块或视频显示处理器或移动显示处理器内。

资源监视器48可经配置以监视、检测、估计或以其它方式确定在提供视频解码器14的装置内的可用电力、计算及/或存储器资源。在一些情况下，资源监视器48可经配置以监视可适用于帧的处理的资源预算。因此，资源监视器48可经配置以监视在帧在视频解码器14内经处理的给定时间处可用的实际资源，或监视相对于可适用于帧的处理的资源预算的所估计的资源消耗。响应于不同资源水平，资源监视器48可触发模式选择单元46选择不同模式(例如，着重质量或着重资源)用于FRUC单元22的操作。模式选择单元46可将模式选择传输到FRUC分析单元42以修改候选帧的其分析用于参考帧选择。或者，如将描述，模式选择单元46可传输模式选择以启用或停用取代(例如，内插或外推)。

作为实例，资源监视器48可经配置以通过监视或估计解码器14中的处理资源的消耗(相对于对处理资源的消耗的预算)来确定电力水平。大体来说，在于例如数字信号处理器(DSP)的处理器中花费的MIPS(每秒百万个指令)与针对DSP操作而消耗的电力之间存在对应性。在从外部存储器提取的数据量与针对提取所述数据而消耗的电力之间也存在对应性。另外，在发送到显示器的帧数据的量与针对此操作而花费的电力之间存在对应性。对于已知装置或芯片组，此对应性可经可靠地建立，且接着由查找表中的项表示。举例来说，可将MIPS、数据提取量及显示量用作映射到查找表中的电力消耗值项的索引。

对于给定芯片组中的FRUC应用，有可能确定就MIPS来说每一操作需要多少、从外部存储器提取多少数据以及将多少数据发送到显示器。在一种情形下，资源监视器48可经配置以计算针对每一经内插或经外推的帧的产生及显示所消耗的电力，且将所消耗的电力的水平与经分配到帧或帧的集合的电力预算进行比较。电力预算可为经指定作为对于装置的功能单元(例如，移动无线手持机或其它装置中的视频解码器(或整个CODEC))的设计要求的预定、固定或可调整电力水平。

可针对一系列帧(例如，图片群组(GOP)或其它视频序列)分配电力预算。随着处理帧且消耗电力，电力预算中的可用电力减少。资源监视器48可经配置以(例如)基于经内插或经外推的帧的MIPS、数据提取及显示之间的已知对应性(其可存储于查找表中)估计将需要多少电力来内插或外推新FRUC帧。如上所提及，电力预算可为固定的(即，不由来自装置的反馈环路调整)，或者其可基于来自装置的反馈环路而调整。

对于给定帧，如果在电力预算中存在足够的电力剩余来进行内插，则可启用内插过程。或者，如果在电力预算中存在不足的电力剩余，则可停用内插过程。根据本发明的一方面，替代于启用及停用内插，资源监视器48及模式选择单元46可经配置以选择不同内插/外推模式。明确地说，基于由资源监视器48确定的可用资源水平，模式选择单元46可选择着重质量模式或着重资源模式。

举例来说，如果视频序列中的先前帧的MIPS、数据提取及/或显示已将可用电力预算降低到低于第一预定阈值的水平，则资源监视器48可对模式选择单元46指示应选择着重资源模式。或者，如果可用电力预算高于第一预定阈值，则资源监视器48可对模式选择单元46指示应选择着重质量模式。在一些方面中，如果可用电力预算低于小于第一预定阈值的第二预定阈值，则资源监视器48可指示可停用内插-外推以有利于帧重复，或可能地，不应启用内插、外推或帧重复，以便节省装置中的电力。

在监视电力预算中的可用电力的过程中，资源监视器48可追踪每帧所耗费的MIPS、每帧所提取的数据及在给定视频序列上经发送供显示的帧数据的量。举例来说，资源监视器48可维持用于特定GOP或其它视频序列的MIPS、所提取的数据及所显示的数据的连续的累积的总数，且将所述值映射到对应的电力消耗值。明确地说，资源监视器48可将所述值中的每一者映射到对应的电力消耗值(例如，在一个或一个以上查找表中)，且接着对所述值求和以产生总电力消耗值。作为替代方案，资源监视器48可存取将与MIPS、所提取的数据及所显示的数据有关的索引的组合映射到帧或其它视频单元的总电力消耗值的多维查找表。

作为另一替代方案，资源监视器48可逐帧地将所述值映射到电力消耗值，且累积地添加电力消耗值以产生在视频序列上的电力消耗的累计。作为说明，如果视频序列(例如，三十个帧的序列)具有电力预算X，且在序列中的第n个帧处，估计MIPS、所提取的数据及所显示的数据已消耗了电力量Y，使得可用电力预算为X-Y＝Z，则资源监视器48可将可用电力预算与预定第一阈值进行比较以选择着重质量模式或着重电力模式。

所述序列的电力预算可除以在所述序列中且以多种方式在序列的过程上经更新以提供在整个序列上的更均匀的分配的帧或在所述序列中可证明额外电力预算的帧的数目，使得在视频序列中较早期未不均匀地耗费电力预算。各种替代方案可用于估计相对于电力预算的电力消耗，以便支持着重质量模式或着重电力模式的选择。因此，以上实例是出于说明的目的而提供，且不应被考虑为限制在本发明中广泛描述的技术。

在着重质量模式下，FRUC单元22可排他地、主要地或大体上基于一个或一个以上参考帧质量准则执行参考帧选择。质量准则可指示(例如)有可能由选定参考帧产生的内插或外推质量的水平。如果参考帧中无一者满足质量准则，则对于待添加的特定帧，帧取代可由选择单元44停用。在此情况下，帧取代单元38可应用帧重复而非帧内插来估约待添加的帧。

在着重资源模式下，FRUC单元22可基于资源及质量考虑两者的组合选择性启用或停用对一些帧的帧取代。举例来说，当FRUC分析单元42确定视频序列在待取代的帧附近大体静态时，选择单元44可停用帧取代。如果视频序列含有低运动水平，则在执行取代过程中可能存在较少或不存在优点，因为内插或外推与帧重复之间的视觉差异可能小或甚至感知不到。在此情况下，通过停用取代，解码器14可在对视觉质量具有极小影响的情况下避免耗费用于内插或外推的电力及资源。

当存在足够的运动来证明在着重资源模式下的取代时，分析单元42可执行与在着重质量模式下使用的质量分析等同或类似的质量分析。因此，着重资源及着重质量模式可能并非完全独立的模式。而是，当着重资源模式经启动时，着重质量模式可仅在运动水平足以证明内插或外推(如可适用)的情况下继续进行。着重质量模式可经单独启动，或着重资源模式可操作以停用帧取代且因此撤销着重质量模式或启用取代且启动着重质量模式。值得注意，即使在着重质量模式下，如果候选参考帧中无一者满足质量准则，则可停用取代。

作为选项，在着重资源模式下，当启用取代时，用于质量分析的质量阈值可为(例如)可依据视频解码器14的资源节约要求而调整的。举例来说，可基于视频解码器14的可用内插资源(例如，可用电力、计算资源及/或存储器资源)调整阈值。在一些实施方案中，可基于可用电力资源的水平(例如，与视频解码器14、视频后处理器及/或例如移动显示处理器(MDP)的视频显示处理器相关联的可用电力资源的水平)调整质量阈值。在任一情况下，不管阈值是固定还是可调整的，如果启用了取代，则分析单元42可应用一个或一个以上质量准则以选择参考帧或停用取代。

作为实例，如果在待添加的帧附近的视频序列由很低的运动视频内容表征，则视频帧内插或外推的益处可能不是很显著。因此，FRUC单元22可能不仅决定哪些帧用作用于视频帧取代的参考帧，且还决定通过帧取代添加哪些帧，即，内插或外推哪些帧。对于一些帧，内插或外推的成本可能不能由时间视觉质量的足够的增强来证明。举例来说，通过避免对于一些跳过的帧的内插，在着重资源模式下，FRUC单元22可在内插的帧质量及视频序列的时间视觉质量增强的情况下平衡计算资源与相关联的电力消耗中的节约。零运动向量计数及/或小运动向量计数可用作用于基于运动内容确定是内插还是外推特定帧的决策准则。可以不同方式导出计数阈值。举例来说，阈值可为固定的以用于零运动向量计数及小运动向量计数中的一或两者判断运动活动性。或者，可(例如)基于解码器14的资源水平调整阈值中的一者或两者。

在图3及图4的实例中，对于用于取代的参考帧的着重质量选择，视频解码器14可依多种与质量有关的准则而定。举例来说，FRUC单元22可基于参考帧的切片及/或帧损失信息结合经提供以重建构参考帧的错误隐藏方法的可靠性及类型而选择参考帧供在视频帧取代中使用。FRUC单元22可经配置以分析归因于损失的错误的水平，及可用于校正错误的错误隐藏机制的质量。替代地或另外，FRUC单元22可分析与候选帧相关联的QP值及CBP值，作为所述帧的相对质量水平的指示。举例来说，可将QP值与CBP值耦合来判断参考帧的质量。

FRUC单元22还应用客观视觉质量度量。客观视觉空间质量度量可为非参考度量，例如，结构类似性度量(SSIM)、块效应及/或模糊性。客观质量度量可替代地或额外地包括色溢。客观质量度量可用以产生候选参考帧的质量得分。质量准则的其它实例可包括在候选参考帧中使用的帧内模式的类型，或候选参考帧中的每一者的帧内模式及运动向量计数。还可按需要利用额外准则。

在一些方面中，如先前所描述，当给定视频应用在端对端处理中需要较短的延迟时，FRUC单元22可经配置以停用帧取代或使参考视频帧的选择偏向先前帧而非未来帧。在视频电话应用中，例如，用户可能参加实时或准实时的视频会议，其可能需要视频的处理及呈现中的延迟的减少或消除。如果帧取代技术依未来帧而定(例如，对于内插或外推)，则解码及处理所述未来帧以便产生额外帧过程中的延迟可能不容许。在此情况下，当视频应用强加延迟要求时，FRUC单元22可经配置以停用帧取代、禁止未来候选参考帧的选择，或禁止不处于待添加的帧的预定数目个帧内的未来候选参考帧的选择。

举例来说，如图4中所示，FRUC单元22可任选地包括延迟检测单元51，其检测由给定视频应用强加的服务要求的最大延迟或其它质量，且指导选择单元44停用帧取代或需要选择过去的帧或早先的未来帧作为用于内插或外推的参考帧。如果延迟检测单元51检测视频电话应用或其它延迟敏感性视频应用需要最小延迟，则延迟检测单元51可指导选择单元44停用帧取代。延迟敏感性应用或可为延迟敏感性的类型的应用可由延迟检测单元51基于从解码器14经嵌入于里面的装置的特定信号的接收、在与由解码器14接收的视频数据相关联的侧信息(sideinformation)中提供的特定信号的接收，或按多种其它方式中的任一者检测。在延迟敏感性应用的检测的情况下，取代单元38可应用帧重复或完全地撤销FRUC以便避免打乱可破坏针对用户的视频会议的质量的延迟。

或者，延迟检测单元51可指导选择单元44(及/或分析单元42)启用帧取代，但需要使用过去的参考帧或早先的未来帧用于内插或外推(例如，基于时间距离要求)。因此，延迟检测单元51可对选择单元44强加约束以避免选择指示为具有足够质量但距待添加的帧过多时间距离的特定未来参考帧。

举例来说，为相对于待添加的帧的未来一个或两个帧的帧可为可接受的，供用作帧取代的参考帧。然而，如果未来帧处于远离待添加的帧若干帧的时间距离处，则可从等待帧被解码及分析而产生的处理及呈现延迟可为不可接受的。可在质量分析之后或质量分析之前将距离分析应用到候选参考帧。如果在质量分析之前应用距离分析，则如果候选参考帧为未来帧且所述帧距待添加的帧的距离过大，则延迟检测单元51可指导分析单元42暂停对特定候选参考帧的质量分析。

作为替代方案，当延迟为关注问题时，延迟检测单元51可指导分析单元42调整其质量分析，使得位于距待添加的帧过多距离处的未来参考帧被给出较低质量得分，或在质量分析中被排除在考虑之外。在任一情况下，效果可为一些未来参考帧被排除选择为参考帧，使得帧取代可继续进行，而不会不利地影响延迟敏感性视频应用(例如，视频电话)的延迟特性。在一些情况下，对于视频电话或其它延迟敏感性视频应用，延迟要求可消除帧取代，例如，归因于视频电话应用的实时或准实时的服务要求。然而，对于视频串流及回放，延迟问题通常可不太关注。

如上所述，在一些实施方案中，可至少部分基于候选参考视频单元中的一者或一者以上距额外视频帧的时间距离选择供在额外视频单元的内插或外推中使用的候选参考视频单元中的一者或一者以上。当检测延迟敏感性应用时，可基于时间距离选择候选参考视频单元。或者，可定期地或响应于某一其它触发事件基于时间距离选择候选参考视频单元。因此，在一些方面中，时间距离可形成针对选择供在内插或外推中使用的参考帧而应用的质量分析的一部分。

图5为说明供与图3或图4的视频解码器14一起使用的参考帧分析单元42的框图。如先前所提及，尽管出于说明的目的描述了参考视频帧的分析及选择，但分析单元42的结构及功能性可适合于例如切片或块(例如，宏块或较小块)等其它参考视频单元的分析及选择。在图5的实例中，分析单元42包括客观度量检查器50、错误隐藏(EC)检查器52、量化参数(QP)检查器54、经译码的块模式(CBP)检查器56、质量得分计算器58、比较单元59及运动向量(MV)可靠性检查器60。

图5中展示的各种单元可用于着重质量操作模式以及着重资源操作模式(当启用内插时)中。当(例如)通过模式选择单元46选择着重资源操作模式时，分析单元42可启动运动分析器64。另外，任选地，分析单元42可在着重资源模式下启动模式调整单元62。选择单元44可考虑MV可靠性检查器60及运动分析器64的输出以确定是否执行对待添加的帧的帧取代，且如果是，则确定是否选择正被分析的帧作为供在帧取代中使用的参考帧来添加帧。

客观度量检查器50可经配置以分析候选参考帧以确定SSIM值及/或与所述帧相关联的块效应、模糊性或色溢的程度，且基于所述确定产生质量得分。当检测到实质块效应、模糊性及/或色溢时，对于特定候选参考帧来说，由客观度量检查器50产生的质量得分可为低，且当大体上无块效应、模糊性及/或色溢时，质量得分可为高。不同候选参考块的质量得分可依据所述客观视觉质量度量特性而在高与低之间变化。或者，可基于与预定阈值的比较将质量得分表达为高或低。

当分析单元42利用客观度量检查器50时，可将所述客观度量检查器应用到由解码单元36重建构的经解码的帧。因此，分析单元42可分析从接收帧缓冲器34获得的经编码的帧，且经由客观度量检查器50，可接收且分析通过经由解码单元36解码来自接收帧缓冲器34的帧获得的经重建构的帧。客观度量检查器50可针对SSIM值、块效应、模糊性、色溢或其它客观质量度量分析经重建构的候选参考帧以产生质量得分。

EC检查器52分析候选参考帧以确定每一帧是否已遭受切片及/或帧损失，且如果是，则确定可靠的错误隐藏机制是否可用于重建构从所接收帧缓冲器34获得的经编码的帧。在此意义上，EC检查器52可作为EC可靠性检查器操作。如果损失导致高于预定水平的错误，则EC检查器52可评估可用于校正错误的错误隐藏机制的质量。当不存在切片或帧损失，或存在充分的错误隐藏机制来补偿切片或帧损失时，EC检查器52可产生特定候选参考帧的相对高得分。当错误隐藏不足以补偿切片或帧损失时，EC检查器52可产生低得分。由EC检查器52产生的得分可根据切片或帧损失的量而变化，或简单地基于与预定阈值的比较而为高或低得分。

EC检查器52可以多种方式确定是否存在可用的充分的错误隐藏机制。作为实例，EC检查器52可基于用于例如H.264(使用来自共同定位的宏块的运动向量)的类型的视频译码或已知待在实施解码器14的芯片或芯片组中执行的类型的视频译码的错误隐藏的预定知晓来识别错误隐藏的类型。EC检查器52可依针对不同切片或帧损失情形的特定错误隐藏机制的有效性的先前离线分析而定。

举例来说，可针对在应付不同数目的损失、损失的不同位置、受影响的块或单元的数目、错误检测时间等过程中的有效性来评定每一错误隐藏机制。EC检查器52可确定与特定切片或帧损失相关联的以上特性(即，损失的数目、位置、错误检测时间)中的一者或一者以上，且接着确定可用错误隐藏机制是否将被有效地给出那些特性，且被给出在类似条件下的此错误隐藏机制的性能的预先知晓。

作为说明，如果在解码器14中使用了错误隐藏机制X，且已知机制X有效地用于由小于Y1的损失数目、特定区域中的损失的位置，及小于Y2的受影响的块/单元数目、大于时间Z的错误检测处理的给定时间表征的损失，则遵循以上特性的损失应能够使用机制X隐藏，在所述情况下，EC检查器52可产生高EC得分。

在各种情形下，如果不满足所述特性中的任一者或如果特性的一个或一个以上组合存在于切片或帧损失中，则错误隐藏可能失败。如果损失不遵循以上特性，则EC检查器52可产生低EC得分。因此，EC检查器52可依错误隐藏机制的类型的知晓及其在隐藏具有不同的特性的切片或帧损失过程中的有效性而定。

QP检查器54分析与每一候选参考帧相关联的量化参数(QP)值。大体来说，QP值指示在经编码的视频帧的相应块中的变换系数的量化步长。针对帧中的所有块，QP值可相同，或针对不同块而变化。作为实例，QP检查器54可分析形成参考帧的块的平均QP值。或者，QP检查器54可分析帧的最大或最小QP值。如果帧的平均QP值高(指示在H.264译码的情况下的视频数据的粗量化)，则QP检查器54可产生相对低得分。较小的QP值指示在H.264译码中的较细量化步长及大体较高的视频质量。因此，对于H.264译码，如果平均QP值较低，则QP检查器54可产生较高质量得分。

CBP检查器56分析每一候选参考帧的CBP值。CBP值可为形成所述帧的块的平均CBP值。大体来说，CBP值指示在块中不存在非零变换系数或在块中存在至少一个非零系数。变换系数可驻留于例如离散余弦变换(DCT)、小波小波变换或其它压缩变换域的压缩域中。由CBP检查器56分析的CBP值可为亮度或色度CBP值或两者。对于给定帧，CBP检查器56可确定CBP值指示至少一个非零变换系数值的块的数目。在一些方面中，可组合QP检查器54与CBP检查器56。在此情况下，可基于平均QP值及CBP值产生经组合得分。

如果QP值低于预定QP阈值且CBP值大体为零(指示大体上块中无一者具有非零系数)，则帧的质量可由高得分指示。当CBP值指示至少一个非零系数的块的数目低于CBP阈值时，可确定大体被视为零的CBP值。或者，如果QP值高于QP阈值，则得分可为低。很高的QP及零或中等CBP值可指示低得分。如果CBP为零且QP值低于阈值，则对块的运动估计很准确，其应产生高质量得分。

质量得分计算器58可经配置以基于客观度量检查器50、EC检查器52、QP检查器54及CBP检查器56中的一者或一者以上的输出产生候选参考帧的总质量得分。由客观度量检查器50、EC检查器52、QP检查器54及CBP检查器56产生的个别得分可简单地建构为高或低质量值，或高、中等或低质量值。或者，可按照众多层级或大体上连续的级别计算得分。质量得分计算器58可使相等加权与由客观度量检查器50、EC检查器52、QP检查器54及CBP检查器56产生的得分中的每一者一致。或者，质量得分计算器58可将预定不均匀的加权应用到得分，使得总质量得分为所有得分的加权总和。

作为说明，在一些实施方案中，质量得分计算器58可将比加到由EC检查器52及客观度量检查器50输出的得分大的权重加到由QP检查器54及CBP检查器56输出的得分。在其它实施方案中，EC检查器52的输出可能更重要。如上所陈述，质量得分计算器58可对输出加权。作为替代方案，检查器50、52、54、56中的每一者可经配置以产生具有预指派的权重的个别经加权的得分。质量得分计算器58输出指示供在跳过的帧的内插中使用的候选参考帧的质量的总得分。

给定用以计算得分的质量特性(例如，客观度量、EC特性、QP及CBP特性)，总得分可指示候选参考帧是否有可能产生具有可接受的质量水平的帧取代结果。比较单元59可将总得分与质量阈值进行比较。如果总得分令人满意，例如，超过质量阈值，则比较单元59指示候选参考帧具有对于选择作为用于额外(即，附加)帧的内插或外推(如可适用)的参考帧来说是可接受的质量水平。如果总得分小于质量阈值，则比较单元59确定所述候选参考帧对于选择作为用于内插或外推(如可适用)的参考帧来说并不可接受。在每一情况下，分析单元42可接着继续分析用于当前在考虑中的额外帧的下一个候选参考帧或继续分析用于待添加的下一个帧的参考帧。经考虑用于特定取代帧的候选参考帧的数目可根据设计考虑而变化。

如果总得分令人满意(例如，符合或超过质量阈值)，则比较单元59可指示在质量基础上考虑中的候选参考帧适合于选择为参考帧。或者，比较单元59可选择经分级最高的参考帧，如上所述。在任一情况下，在一些实施方案中，为了批准参考帧用于选择，分析单元42可进一步包括运动向量(MV)可靠性检查器60。MV可靠性检查器60可分析在候选参考帧中的运动向量的可靠性，以确保在视频帧取代利用运动补偿预测方法用于内插或外推的情况下选定参考帧将产生质量帧取代结果。

如果运动向量可靠，则MV可靠性检查器60可对选择单元44指示可选择分析中的候选参考帧作为用于帧取代的参考帧。然而，如果运动向量不可靠，则MV可靠性检查器60可拒绝所述候选参考帧，即使其已满足比较单元59的质量要求也如此。在此情况下，MV可靠性检查器60可对选择单元44指示不应选择分析中的候选参考帧作为用于帧取代的参考帧。

在一些实施方案中，比较单元59可指示用于选择作为参考帧的适当的帧(在对其考虑时)。换句话说，随着分析单元42分析每一候选参考帧，如果其识别合适的候选参考帧，则其可指示应选择所述候选参考帧。过程可继续，直到分析单元42识别足够数目及类型的候选参考帧为止，在所述点处，分析单元42可停止用于当前帧的内插或外推的候选参考帧的分析，且继续前进到用于在视频序列中待添加的下一个帧的内插的候选参考帧的分析。

作为简单说明，分析单元42可识别用于在时间上驻留于先前与未来帧之间的帧的内插的单一先前参考帧及单一未来参考帧。或者，对于更复杂类型的内插，分析单元42可识别可经选择用于待添加的帧的内插的多个先前及未来参考帧。在每一情况下，分析单元42可分析邻近于待添加的帧的先前及未来帧的子集，直到为进行选择，识别足够数目及类型(例如，如果必要，先前及未来)为止。可分析有限数目个帧。如果所分析的帧中无一者产生足够的质量得分，则分析单元42可指示无帧被选择，及帧取代单元38应应用帧重复而非帧取代。

在一些实施方案中，分析单元42可使用其它类型的质量准则，例如，在候选参考帧中使用的帧内译码模式及/或帧内模式的类型及候选参考帧的运动向量计数。作为实例，如果在特定候选参考帧中的经帧内译码的块(例如，宏块)的数目超过模式决策阈值，则分析单元42可指示所述参考帧的低内插质量，例如，使得不应将所述候选参考帧用于额外帧的内插。模式决策阈值可为静态或经动态调整，例如，基于在候选参考帧中的具有高于阈值的多个译码位的块的数目。可使用广泛多种其它质量准则。用于质量分析的所述信息可经考虑为本发明中描述的其它信息(例如，客观质量度量、QP及CBP特性，及EC特性)的替代，或除了在本发明中描述的其它信息之外，可考虑用于质量分析的所述信息。

可使用与待内插或外推的其它附近帧相同的参考帧中的一些来内插或外推一些额外帧。为此原因，在一些情况下，一旦针对质量分析候选参考帧，则可能需要存储与所述候选参考帧的质量有关的信息。以此方式，如果特定候选参考帧稍后被考虑为候选参考帧，则可快速地确定其质量，而无需再次执行分析。候选参考帧可作为用于待在视频序列的一部分中内插或外推的少许帧的潜在参考帧而相关。

随着视频序列继续进行，所存储的信息可变得过时或至少不太相关，此归因于候选参考帧相对于待内插或外推的帧的增加的时间远离性。因此，在某一点可抛弃所述信息，例如，在视频序列已继续进行到大于远离候选参考帧的预定数目个帧的点之后。通过存储质量信息，可能有必要对于每一候选参考帧仅在分析单元42中执行一次质量分析。或者，可每当帧经识别为用于待添加的帧的候选参考帧时执行质量分析。

在一些实施方案中，分析单元42可经配置以对按有关的质量水平分析的候选参考帧进行分级。举例来说，分析单元42可包括对候选参考帧进行分级的分级单元(67A或67B)。在此情况下，替代于在已发现具有满足质量阈值的质量得分的帧的合适数目及类型时停止，分析单元42可对候选参考帧进行分级以识别产生最佳质量得分的帧。举例来说，分析单元42可按总质量得分的次序对满足质量水平(例如，符合或超过质量阈值)(如由比较单元59指示)的候选参考帧进行分级，且选择分级最高的候选参考帧。

作为一个选项，参看图5，分析单元42可包括分级单元67A，其评估且分级由比较单元59识别为令人满意(即，为符合或超过质量阈值)的候选参考帧。分级单元67可与由帧取代单元38应用的帧取代的类型所需要的参考帧的数目一致地选择多个分级最高的参考帧。选定(即，分级最高)的候选参考帧接着可从分级单元67A传递到MV可靠性检查器60以确定其是否具有可靠的MV内容。如果是，则MV可靠性检查器60可对选择单元44指示应选择所述帧供在帧取代中使用。如果分级最高的候选参考帧不具有可靠的MV内容，则MV可靠性检查器60对选择单元44指示帧取代单元38应应用帧重复而非帧取代。

作为另一选项，由于分级可受到不可靠的MV内容的影响，所以分析单元42可将具有令人满意(例如，符合或超过质量阈值)的质量得分的所有分级的候选参考帧传递到MV可靠性检查器60。明确地说，比较单元59可将具有传递得分的所有候选参考帧提供到MV可靠性检查器60。MV可靠性检查器60识别具有令人满意的质量得分(例如，符合或超过质量阈值，例如，如由比较单元59指示)及可靠MV内容两者的候选参考帧。分析单元42可任选地包括分级单元67B，其接收MV可靠性检查器60的输出且按质量得分对候选参考帧进行分级。分级单元67B接着可选择多个分级最高的候选参考帧，且将选定参考帧传达到选择单元44。选择单元44可通知帧取代单元38供在帧取代中使用以添加视频帧的选定参考帧。

MV可靠性检查器60可忽略不具有可靠MV内容的候选参考帧，留下剩余的候选参考帧用于由分级单元67B分级及选择为参考帧。明确地说，分级单元67B可向选择单元44识别具有可靠MV内容的分级最高的候选参考帧，以供选择为作为内插的参考帧。又，所选择的参考帧的数目可依据由帧取代单元38使用的帧取代的类型(即，内插或外推的类型)及支持帧取代过程所需要的参考帧的数目而变。

MV可靠性检查器60可使用多种不同技术中的任一者来分析运动向量可靠性。作为一个实例，MV可靠性检查器60可经配置以应用基于运动差的方法。MV可靠性检查器60可操作以分析在视频帧的X(水平)方向及Y(垂直)方向两者上的运动向量信息。在此情况下，MV可靠性检查器60可确定在候选参考帧中的块(例如，宏块)的X方向上的运动向量与在先前帧中的共同定位的块的X方向上的运动向量之间的差是否超过阈值。在此情况下，MV可靠性检查器60可确定在候选参考帧中的运动向量不可靠。举例来说，MV可靠性检查器60可对在候选参考帧中的不可靠的运动向量的数目进行计数，或确定在候选参考帧与先前参考帧中的运动向量之间的总平均差。

除了确定在X(例如，水平)方向上的运动向量可靠性之外，MV可靠性检查器60可以类似方式确定在Y(例如，垂直)方向上的运动向量可靠性。如果MV可靠性检查器60检测到X方向MV不可靠性或Y方向MV不可靠性，则MV可靠性检查器可拒绝考虑中的当前候选参考帧，且对选择单元44指示不应将候选参考帧选择为针对跳过的帧的内插的参考帧。作为替代方案，在一些实施方案中，可使用角度信息来评估运动向量量值及方向两者。然而，如果候选参考帧的MV可靠，则MV可靠性检查器60对选择单元44指示可选择所述候选帧作为针对附加帧的内插或外推的参考帧。

作为替代方案，MV可靠性检查器60可使用帧到帧运动改变检测技术分析MV可靠性。根据此技术，MV可靠性检查器60可经配置以检测当前候选参考帧中的运动已从另一邻近帧(例如，先前或未来帧)中的运动大体上改变的时间。如果改变的量值大于阈值，则MV可靠性检查器60确定候选参考帧的MV不可靠且不应被选择为用于帧取代的参考帧。

对于帧到帧运动改变检测技术，为了检测在候选参考帧及邻近帧中的运动是否连续，可使用以下两个方法。第一，运动改变检测可基于运动统计。在此情况下，可计算两个帧(即，候选参考帧及邻近帧)的运动向量统计。统计可包括运动向量(量值及角度)平均值及标准偏差。第二，运动改变检测可基于运动向量标注。在此情况下，基于统计的运动改变检测可依在帧水平上的运动的范围而定来做出决策。可能不检测两个帧中的每一共同定位的宏块的运动的差。然而，为了解决此问题，可使用基于运动向量标注的运动改变检测。

作为另一替代方案，MV可靠性检查器60可使用基于运动轨道的技术分析MV可靠性。在此情况下，基于运动轨道的方法确定是否应通过查看宏块将在候选帧中的何处来使用来自邻近帧的运动向量(如果宏块已沿着与在邻近帧中相同的运动轨道而行)。如果由宏块携载的物件具有与候选帧中的所关注区(即，丢失的宏块的位置)的显著重叠，则可将其MV考虑为可靠，且应将所述候选帧用于帧取代。否则，如果其移动远离所述所关注区，则其MV不可靠，且不应将所述候选帧用于帧取代。

由比较单元59使用的质量阈值可经预定及选择以表示据信与可接受的帧取代结果相关的质量水平。质量阈值可为固定的或可调整的。在一些实施方案中，举例来说，质量值阈值可为可依据解码器14操作的模式变化而调整的。在操作中，分析单元42可首先检查着重资源模式是开启还是关闭。如果模式选择单元46指示着重质量模式，则模式调整单元62可能不调整现有质量阈值。然而，如果模式选择单元46指示着重资源模式，则模式调整单元62可调整质量阈值。举例来说，在一些实施方案中，模式调整单元62可增加质量阈值以需要选择较高质量帧作为针对帧的内插或外推的参考帧。

在一些实施方案中，当选择着重资源模式时，可将质量阈值从第一值增加到第二增加值。在其它实施方案中，当选择着重资源模式时，可将质量阈值增加到依据可用资源水平变化而计算的值。举例来说，随着例如可用电力或可用计算资源的资源变得较低，质量阈值可较高。以此方式，质量阈值可与可用资源水平成反比，使得当资源水平较低时，需要较高质量来证明帧取代的成本，即，帧内插或外推的成本。因此，在一些实例中，在着重资源模式下，分析单元42可应用运动活动性阈值来确定是启用还是停用帧取代，且当启用帧取代时，使用固定质量阈值或依据可用资源水平变化而调整的质量阈值。

如果用于特定帧的内插或外推的候选参考帧中无一者产生满足在着重资源模式下的增加的质量阈值的质量得分，则无帧经选择用于帧的内插或外推。在此情况下，选择单元44停用内插，在所述情况下，帧取代单元38可暂停帧取代且替代地应用帧重复。通过在着重资源模式下需要增加的质量阈值，模式调整单元62实际上迫使帧取代单元38停用帧取代，除非较高质量参考帧可用于帧取代。

当资源有限时，例如，当电力、计算及/或存储器资源较稀少时，模式选择单元46可选择着重资源模式。当视频帧内插的益处并不很显著时，例如，在很低的运动视频内容的情况下，着重资源模式可停用视频帧内插。以此方式，当资源有限时，模式选择单元46及模式调整单元62对帧内插或外推强加较高质量证明。换句话说，为了证明帧取代的成本(就资源消耗来说)，帧取代的实际结果应具有相对高的视觉质量。当资源较稀少使得模式选择单元46选择着重质量模式时，模式调整单元62可减小质量阈值。减小的质量阈值准许帧取代更频繁地继续进行，因为更多候选帧可能有可能满足减小的质量阈值。

在着重资源模式下，模式选择单元46还可启动运动分析器64。在一些实施方案中，除了启动模式调整单元62以调整质量阈值之外，运动分析器64可分析一个或一个以上候选参考帧的运动活动性以确定有关视频场景是否相对静态。运动分析器64可分析来自候选参考帧的运动向量数据以确定视频场景是由很小的运动还是显著的运动来表征。举例来说，运动分析器64可分析当前锚定帧的运动向量以做出是启用还是停用视频帧取代的决策。锚定帧可为邻近于(例如，在前或在后)跳过的帧的帧。

如果存在由锚定帧指示的很小的运动，使得场景相对静态，则运动分析器64可产生输出以停用帧取代。如果场景相对静态，则时间跳过帧的内插通常将并非为可证明的(相对于帧重复)，即使选定参考帧将产生高质量帧取代结果也如此。作为说明，当场景相对静态时，由帧内插及帧重复产生的视觉质量差异可相对感知不到。为此原因，内插及由视频缓冲器与显示器之间的视频数据业务消耗的电力的成本不由任何显著的质量增益来证明，且应被停用。在此情况下，从质量及资源节省的观点看来，帧重复可更合需要。当运动分析器64指示应停用帧取代时，可同样地停用对于当前考虑的参考帧的着重质量分析。

在一些实施方案中，运动分析器64可将运动活动性与阈值进行比较。运动阈值可为固定的或可调整的。举例来说，运动分析器64可基于可用的电力、计算及/或存储器资源的水平调整运动阈值。在可调整的情况下，举例来说，如果电力资源处于相对高水平下，则运动活动性阈值可相对低。举例来说，如果电力资源处于相对低水平下，则运动阈值可相对高。在任一情况下，在阈值处或高于阈值的运动活动性可触发内插，经受供在帧取代中使用的一个或一个以上参考帧的选择，此与着重质量操作模式一致。对于较高电力水平，较低阈值意味着可能需要较小的运动来触发帧取代。然而，对于较低电力水平，较高阈值意味着可能需要较高的运动来触发帧取代。

当模式选择单元46选择着重资源模式时可启动运动分析器64及(任选地)模式调整单元62，且当模式选择单元46选择着重质量模式时可撤销运动分析器64及(任选地)模式调整单元62。在着重质量模式下，解码器14可操作以产生合需要的视觉质量。然而，在着重资源模式下，解码器14可组合质量与资源节省目标两者。模式选择单元46可(例如)通过将可用资源与一个或一个以上资源阈值进行比较而响应于有限资源的检测来选择着重资源模式。因此，在一些实施方案中，模式选择单元46可按默认选择着重质量模式，且基于可用资源的水平选择着重资源模式。或者，基于资源的模式可为默认模式，在所述情况下，当可用资源高于一个或一个以上资源阈值时，模式选择单元46选择着重质量模式。

实际上，在着重资源模式下，模式选择单元46可指导选择单元44选择性地启用或停用额外视频单元的内插或外推，且在着重质量模式下，指导选择单元启用额外视频单元的内插或外推。明确地说，在着重资源模式下，模式选择单元46可指导选择单元44通过触发运动分析器64来选择性地启用或停用内插或外推。选择单元44可接着基于运动分析器64的输出选择性地启用或停用内插或外推。或者，选择单元44可指导选择单元44(例如)通过不触发运动分析器64而启用内插或外推。由选择单元44进行的内插的启用可仍经受由分析单元42进行的质量分析以在无合适的参考帧可用的情况下选择参考帧或停用内插或外推。

作为额外任选特征，在一些方面中，分析单元42可包括距离单元63。如上参看图4所描述，延迟检测单元51可检测延迟敏感性视频应用(例如，视频电话应用)的操作。延迟检测单元51可指导选择单元44避免相对于待添加的帧的在未来较远的未来参考帧的选择，以便避免可有损视频电话的视觉质量的处理及呈现中的延迟。因此，选择单元44可至少部分基于所述帧距待添加的帧的时间距离的分析而拒绝一些候选参考帧，即使分析单元42可指示所述帧的相对高质量也如此。尽管可基于延迟敏感性应用的检测来触发基于时间距离的参考帧的选择，但在一些实施方案中，时间距离可用于定期的参考帧选择，即，有或无延迟敏感性应用的检测。

如图5中所示，延迟特征可经建置于分析单元42中。明确地说，替代于经由选择单元44拒绝相对于待添加的帧在未来驻留得过远(即，基于过多的时间距离)的未来候选参考帧，分析单元42可经配置以将相对低质量得分指派到所述帧。选择单元44可能不直接基于时间距离而是间接地基于从时间距离产生的低质量得分来拒绝所述帧。在任一情况下，选择单元44可避免可将过多等待时间引入到帧取代过程中的时间上遥远的参考帧的选择。又，当检测到延迟敏感性应用(例如，视频电话)的操作时或定期地(例如，不管是否检测到延迟敏感性应用)，时间距离可用于选择性地选择参考帧。在一些情况下，可至少部分基于时间距离定期地选择参考帧，而无需涉及延迟敏感性应用的检测的操作。

作为各种帧特性中的一者，距离单元63可确定未来候选参考帧距待添加的帧的距离。距离单元63可经配置以产生更远离待添加的帧的未来候选参考帧的逐渐更低的得分。在一些情况下，如果候选参考帧比最大数目的相对于待添加的帧的未来帧多，则距离单元63可产生零得分。

当检测到延迟敏感性视频应用时，距离单元63可由延迟检测单元51启动。或者，当检测到延迟敏感性应用时，延迟检测单元51可使距离单元63的输出携载增加的加权。当例如视频回放的应用并非为显著延迟敏感性的时，可停用距离单元63或其输出得分可携载总质量得分中的减小的加权。

包括于图1到图5中的系统10、编码器12及解码器14中的各种组件、单元或模块，以及贯穿本发明描述的其它组件可由硬件及/或软件的任何合适组合实现。在图1到图5中，将各种组件描绘为独立的组件、单元或模块。然而，参看图1到图5描述的各种组件中的全部或若干组件可经集成到普通的硬件及/或软件内的组合的单元或模块中。因此，为了易于说明，将特征表示为组件、单元或模块是希望突出特定功能特征，且未必需要通过单独的硬件或软件组件来实现所述特征。在一些情况下，可将各种单元实施为由一个或一个以上处理器执行的可编程过程。举例来说，在各种方面中，运动分析器、资源监视器及选择单元可由单独的硬件及/或软件单元或相同的硬件及/或软件单元或其组合实现。

图6为说明视频解码器14选择参考帧用于视频帧取代的示范性技术的流程图。当启用帧取代时，可在着重质量模式下或在着重资源模式下执行图6中所示的过程。如图6中所示，视频解码器14接收输入视频帧(68)。在解码器14的情况下，可接收输入视频帧作为传入的位流中的经编码的帧，其中归因于帧跳过或编码器12的基本帧速率，帧中的一些丢失。在编码器12的情况下，输入视频帧可为待由编码器编码的源视频帧。时间上排除的帧可为已由视频编码器12有意跳过的帧或在跨越信道19的传输中丢失的帧，或编码器12的基本帧速率不支持且需要经额外地形成用于帧速率转换的帧。在图6的实例中，分析单元42分析供在帧取代中使用的候选参考帧集合的一个或一个以上特性(70)。

候选参考帧可选自相对于待添加的帧的N个先前帧及M个未来帧，其中N与M可相等或不相等。作为一个说明，可考虑三个先前帧及三个未来帧，但特定数目个帧是出于说明的目的，且不应被考虑为限制性的。可考虑先前及未来帧用于双向内插。在一些方面中，对于单向内插或外推，可仅考虑先前帧或仅未来帧。

帧的所述一个或一个以上特性可与帧的质量有关，且可使用像素域值、变换域值、位流数据或其它来分析。基于分析，分析单元42选择所述候选帧中的一者或一者以上作为参考帧(72)。使用选定候选帧作为参考帧，帧取代单元38通过待添加的帧的内插(或如果适用，外推)执行帧取代(74)。图6中概述的过程可由解码器14大体上连续地重复以用于额外视频帧在所接收的位流中的内插(或外推)。

图7为更详细地说明用于参考帧选择的实例技术的流程图。大体来说，分析单元42可确定例如电力节约模式等着重资源模式是开启还是关闭。如果着重资源模式为开启，则运动分析器64分析候选参考帧的运动活动性。举例来说，分析候选参考帧的所接收的运动向量。基于运动向量分析，做出是否内插(或外推)待添加的帧的决策。如果决策为内插，则与着重质量模式一致，接下来分析参考帧的质量。基于此分析，做出是内插还是外推的另一决策。如果选择内插或外推，则基于质量分析选择参考帧。接着使用至少所述选定参考帧及可能多个参考帧来执行视频帧内插或外推。

对于待添加的每一帧或待添加的选定帧，可大体上连续地在由视频解码器14接收的视频序列中重复图7中概述的过程。在图7的实例中，解码器14接收含有视频序列的经编码的输入视频帧且排除一些帧的传入的位流(76)。对于丢失的帧的内插或外推，视频解码器14可确定着重资源模式是开启还是关闭(78)。举例来说，模式选择单元46可指示解码器14的帧取代过程是应在着重资源模式还是在着重质量模式下操作。

如果启动着重资源模式(78)，则分析单元42可启动运动分析器64以分析针对候选参考帧中的每一者所指示的运动(80)。举例来说，运动分析器64可分析来自候选参考帧的运动向量数据以确定视频场景是相对静态还是包括显著的移动。运动分析器64可分析锚定帧(例如，时间上邻近于待添加的取代帧的帧)的运动向量，以做出是启用还是停用视频帧取代的决策。

如果由锚定帧指示的运动水平大于或等于阈值运动水平(82)，则运动分析器64可对选择单元44指示运动的水平足以证明通过待添加的帧的内插(或外推)进行的帧取代。在此情况下，分析单元42可继续分析所述候选参考帧的质量(84)。然而，如果运动水平低于阈值运动水平，则运动分析器64对选择单元44指示不应使用帧取代，在所述情况下，解码器14可重复参考帧(92)来替代所排除的帧，而非内插所述帧。在此情况下，可重复先前或未来帧以有效地对视频序列的帧速率进行升频转换。

在一些实施方案中，对于帧重复，分析单元42可仅选择先前帧或未来帧且重复所述帧替代待添加的帧。由于选择了帧重复，所以不需要执行针对当前帧的着重质量模式的各种质量分析操作。然而，作为替代方案，分析单元42可应用质量分析来从多个候选参考帧中的一者选择参考帧，且接着使用所述选定参考帧作为所重复的帧。明确地说，分析单元42可选择具有满足(例如，符合或超过)质量阈值的总质量得分的参考帧且将所述选定帧用于帧重复。因此，在一些情况下，与着重质量模式一致的参考帧的基于质量的选择可不仅用于帧内插或外推，而是还用于帧重复。

如果如上所论述，运动水平处于或高于阈值水平(82)，则分析单元42可继续进行着重质量操作模式来分析所述候选参考帧的质量且将所得质量得分与质量阈值进行比较(86)。如上参看图5所描述，举例来说，质量得分计算器58可基于由客观度量检查器50、EC检查器52、QP检查器54及CBP检查器56中的一者或一者以上产生的质量得分计算总质量得分。比较单元59可接着对总质量得分进行比较且将其与质量阈值进行比较(86)。

如果质量得分令人满意，例如，大于或等于阈值(86)，则分析单元42可对帧取代单元38指示所述参考帧的选择。举例来说，选择单元44可识别所述参考帧以用于由帧取代单元38选择供在待添加的帧的内插(或外推)中使用。帧取代单元38可接着(例如)通过使用所述选定参考帧内插或外推帧而继续执行帧取代(90)。如果候选参考帧中无一者具有令人满意(例如，符合或超过质量阈值(86))的总质量得分，则比较单元59可对选择单元44指示无参考帧应被选择。在此情况下，选择单元44可对帧取代单元38指示应停用帧取代，且应应用帧重复(92)而非帧取代。

如图7中所示，分析单元42可任选地经配置以分级具有满足质量阈值的总质量得分的候选参考帧(93)。举例来说，对于双向内插，分析单元42可按质量水平的次序分级先前候选参考帧，按质量水平的次序分级未来候选参考帧，其中先前帧在时间上在待添加的帧之前且未来帧在时间上在待添加的帧之后，且接着选择分级最高的先前帧及分级最高的未来帧供在帧取代中使用。在于分级中大体上同等的情况下，分析单元42可选择在时间上最靠近待添加的帧的帧。对于单向内插，视是将把先前还是未来帧用作参考帧而定，分析单元42可选择分级最高的先前帧或分级最高的未来帧。作为另一实例，在一些情况下，分级可用以选择分级最高的帧以用于帧重复以及帧取代。

在一些实施方案中，帧的选择可经受由MV可靠性检查器60进行的MV可靠性分析，如参看图5所描述。另外，在一些实施方案中，质量阈值及/或其它准则或操作可在着重质量模式与着重资源模式之间变化。举例来说，当资源有限时，模式调整单元62可增加着重资源模式下的质量阈值以需要较高的内插质量来证明内插。

图8为说明用于支持用于根据着重质量模式的视频帧内插的参考帧选择的参考帧的质量分析的实例技术的流程图。大体来说，估计或分析候选参考帧的质量。可针对每一候选参考帧给出质量得分。候选参考帧可为相对于跳过的帧的先前或未来帧。如果特定参考帧的质量得分不大于或等于阈值，则不将其选择为在视频帧取代中使用。如果参考帧的质量得分足够，则可将所述参考帧选择为在视频帧内插或外推中使用。在一些实施方案中，分析单元42可能需要与候选参考帧相关联的运动向量为可靠的。举例来说，如果视频帧取代将运动补偿预测方法用于内插或外推，则可检查运动向量。

如图8的实例中所示，分析单元42可接连分析多个候选参考帧以识别用于帧的内插或外推的包括先前帧及未来帧的参考帧。在从接收帧缓冲器34检索下一个候选参考帧(94)之后，分析单元42即估计候选参考帧的质量(96)且计算质量得分(98)，例如，如上参看图5所描述。如果得分令人满意(例如，大于或等于质量阈值(100))，则比较单元59将候选参考帧传递到MV可靠性检查器60以确定帧的MV内容是否可靠(102)。

如果总质量得分不大于或等于质量阈值(100)，则分析单元42可将候选参考帧设定到“关闭”以用于帧取代的选择的目的(104)。在此情况下，选择单元44不选择“关闭”帧用于由帧取代单元38进行的取代帧的内插或外推。如果总质量得分大于或等于质量阈值(100)且MV可靠性检查器60确定MV内容可靠(106)，则分析单元42可将候选参考帧设定到“开启”以用于帧取代的选择的目的(106)。

如果分析单元42尚未考虑所有候选参考帧，即，其尚未到达在候选参考帧的预界定的范围中的候选参考帧的结尾(108)，则分析单元42检索下一个候选参考帧以用于分析。由分析单元42分析的候选参考帧的数目可经预选择，且可包括相对于待内插或外推的帧的一个或一个以上先前帧及一个或一个以上未来帧，例如，如参看图2A到图2D描述。当到达候选参考帧的结尾(108)时，选择单元44可选择已设定到“开启”的候选参考帧(110)且将选定帧传达到帧取代单元38。帧取代单元38接着可内插或外推待添加的帧以使用所述选定参考帧执行帧取代(112)。

如果不存在经设定到“开启”的参考帧或存在不足数目的“开启”帧，则选择单元44可指示应停用帧取代，且帧取代单元38应替代地对待添加的帧应用帧重复。在一些实施方案中，可选择性地启用或停用FRUC单元22中的FRUC过程。当启用FRUC时，可对于待添加的每一帧或选定帧在由视频解码器14接收的视频序列中大体上连续地重复图8中概述的过程。

又，如参看图7所描述，图8中展示的过程可包括分级操作，其中对满足质量阈值的候选参考帧进行分级。在此情况下，可选择分级最高的帧作为用于帧取代的参考帧。

图9为说明用于产生支持用于视频帧内插的参考帧选择的参考帧的质量得分的实例技术的流程图。质量得分可用以产生总质量得分，例如，如参看图5所描述。大体来说，作为初始步骤，可检查每一参考帧(相对于跳过的帧的未来或先前参考帧)的平均QP值以及CBP值。如果QP值比阈值小(例如，H.264译码中的较小的QP值对应于较细量化步长)，则可对参考帧给出高质量得分。对于不同于H.264的其中较小QP值对应于较粗量化步长的一些译码过程，相反情况可为真。

另外，可进行关于一个切片损失还是多个切片损失存在于候选参考帧中的确定。如果存在损失或如果未应用错误隐藏，则可减少参考帧的质量得分。如果存在损失且隐藏了错误，则可针对参考帧设定较高质量得分。在一些实施方案中，可将客观无参考视觉质量度量(例如，块效应、模糊性及/或色溢)应用到经重建构的候选参考帧。如果所述度量提供高结果，则可增加参考的总质量得分。如果参考帧具有高的总质量得分，则其可在内插所述时间跳过帧时使用。

如图9中所示，分析单元42从接收帧缓冲器34检索下一个候选参考帧(114)，且分析所述帧的QP及CBP值。在图9的实例中，分析单元42基于QP及CBP值产生组合的基于QP的得分。如果QP值小于可适用的QP阈值(QP_th)且CBP值不等于零(116)，则分析单元42将所述帧的基于QP的得分设定到“高”(118)。如果QP值大于或等于QP阈值(QP_th)或CBP值大致等于零(116)，则分析单元42将所述帧的基于QP的得分设定到“低”(120)。

如在图9中进一步展示，分析单元42还可经配置以对候选参考帧检查切片损失(122)。参看图5，切片损失检查可由EC检查器52执行。切片损失可从跨越信道19的损失或一些其它损失或数据的恶化产生。如果存在切片损失，则分析单元42可确定充分的错误隐藏(EC)机制是否可用于校正切片损失(124)。如果否，则分析单元42将候选参考帧的基于EC的得分设定到“低”(126)。如果充分的EC机制可用(124)，则分析单元42将基于EC的得分设定到“高”(128)。在此情况下，如果可使用EC机制重现丢失的切片，则候选参考帧的质量可适合于用作用于帧取代的参考帧。然而，如果不可重现切片，则不应将候选参考帧用于帧取代。

分析单元42还可将客观质量度量应用到候选参考帧(130)。举例来说，分析单元42可分析候选参考帧的经解码且经重建构的版本以分析多种客观度量中的任一者，例如，块效应、模糊性、色溢等。因此，可在像素域中应用客观度量来评估视觉质量。分析单元42可量化客观度量中的每一者以用公式表示质量度量得分QM。如果质量度量得分QM大于可适用的质量度量阈值(QM_th)(132)，则分析单元42将候选参考帧的基于QM的得分设定到“高”(134)。如果质量度量得分QM小于或等于质量度量阈值(QM_th)，则分析单元42将基于QM的得分设定到“低”(136)。

分析单元42可基于基于QP的得分、基于EC的得分与基于QM的得分的组合设定候选参考帧的总质量得分(138)。可将总质量得分与阈值进行比较以确定是否选择所述候选帧供在帧取代中使用。如参看图5所描述，可根据基于QP的得分、基于EC的得分与基于QM的得分的加权总和用公式表示总质量得分，其中分析单元42可将不同权重加到个别得分中的每一者。获得个别基于QP的得分、基于EC的得分及基于QM的得分的次序可与图9中展示的次序不同。另外，图9中展示的特定类型的得分可经受变化。大体来说，分析单元42可经配置以获得指示候选参考帧将对具有可接受的质量水平的内插结果有影响的可能性的质量得分。

图10及图11为说明用于在着重资源模式下的选择性帧取代的实例技术的流程图。在着重资源模式下，分析单元42可使用运动活动性作为测量来确定由参考帧表示的视频场景是否为静态。可将零运动向量计数及/或小运动向量计数用作决策准则。大体来说，可以两个方式导出阈值。举例来说，在非自适应情况下，可使用针对零运动向量计数的固定阈值及针对小运动向量计数的固定阈值来判断运动活动性。在自适应情况下，可基于(例如)解码器14的资源水平(例如，可用的电力、计算资源或存储器的水平)调整阈值中的一者或两者。

大体来说，当在帧取代与帧重复的结果之间不存在实质的可感知的差异时，例如，当内插与帧重复之间的差异不足以证明内插的使用(例如，鉴于在与解码器14相关联的装置内的电力、计算或存储器约束)时，着重资源模式可为断开(即，停用)内插或外推的选择性帧取代的任选模式。然而，当运动活动性显著时，解码器14可实际上回复到着重质量模式以选择用于帧取代的参考帧。

在一些实施方案中，可将着重资源模式表征为电力节约模式或电力优化选择性FRUC模式。在着重资源模式下，可将运动活动性用作测量来决定视频场景是否为静态。如果算法确定场景为静态，则可将简单的帧重复技术而非大体计算上更密集且消耗更多电力的视频帧取代用于FRUC。然而，如果视频场景并非大体静态，则帧取代可比帧重复更合需要。

为确定场景是否为静态，可分析当前锚定帧的运动向量以做出是启用还是停用视频帧内插或外推的决策。运动向量可直接从位流使用、在解码器14中的位流运动向量的处理之后获得，或从解码器14的运动估计模块获得。在一些情况下，用于运动分析的运动向量中的一些可为用于内插或外推的相同的运动向量。锚定帧可为邻近于待添加的帧的帧，例如，紧邻于待添加的帧或接近待添加的帧的先前或未来帧。在此分析的基础上，分析单元42可做出关于是启用还是停用对目前在考虑中的帧的视频帧内插的决策。在一个实例中，在所述帧中存在的零运动向量的数目可用作决策准则。

零运动向量为具有零或大体上为零的值的运动向量。举例来说，在一些实施方案中，具有低于阈值的值的运动向量可被考虑为零运动向量。在一些实施方案中，运动向量可为来自位流嵌入式运动向量的经处理的值。如果零运动向量计数(即，零值运动向量的数目)大于阈值，则可确定场景为静态，在所述情况下，停用视频帧内插。对于静态场景，可使用帧重复。通过使用模式决策信息(例如，帧内或帧间译码模式决策信息)，可添加进一步的增强。举例来说，可针对非帧内译码的宏块对零运动向量的数目进行计数以获得更精确的零运动向量计数。

在另一实例中，除了零运动向量计数之外，可将小运动向量计数用作决策准则。小运动向量可为具有低于预定阈值的值的非零运动向量。添加小运动向量计数的一个原因在于(例如)一些场景(即使其可能具有大量由零运动向量指示的静态宏块)也可含有相对小量的快速移动物件，例如，投掷出去的球、飞翔的鸟或经过的车辆。快速进入或离开在一系列视频帧上的视频场景的新物件可在帧中产生显著的运动活动性。

尽管快速移动的物件可占据整个帧的小部分，但将其内插于FRUC产生的帧中以保持时间质量可为重要的。因此，可添加视小运动向量计数(例如，小运动向量计数阈值)而定的第二准则以确保在停用帧内插时，场景绝对静态。此外，此准则可隐含地计及快速移动的小物件问题。

在图10的实例中，运动分析器64对帧中的零值运动向量的数目进行计数以产生零运动向量计数(Zmv_c)(140)。大体来说，帧中的每一宏块具有运动向量。如果宏块的运动向量具有零值(指示无移动)，则将所述运动向量当作零运动向量。又，在一些情况下，如果运动向量具有低于阈值的小的非零值，则可将其当作零值运动向量。在任一情况下，一旦对零运动向量的数目进行计数，则运动分析器64确定零运动向量的数目(即，零MV计数Zmv_c)是大于还是等于可适用的阈值Th(142)。如果是，则视频场景相对静态。在此情况下，运动分析器64将应停用内插或外推及帧取代单元38应替代地针对待添加的帧应用帧重复传达到选择单元44(144)。如先前所提及，帧重复可使用选择最靠近的先前或未来帧的简单方案，或使用基于质量的方案来选择较高质量参考帧作为所重复的帧。

如果零MV计数Zmv_c小于阈值(142)，则运动分析器64将应执行帧取代(146)传达到选择单元44。在此情况下，可能或可能不执行内插(或外推)，作为由分析单元42执行的质量分析的结果，经受一个或一个以上合适的参考帧的选择。实际上，当场景并非静态时，如果具有用于内插的足够质量的帧可用，则分析单元42可回复到着重质量模式以选择一个或一个以上参考帧。如果质量分析产生一个或一个以上合适的参考帧，则选择单元44可将选定帧传达到帧取代单元38供在待添加的帧的内插中使用。

阈值Th(142)可为固定的。或者，可基于视频解码器14的可用帧取代资源(例如，电力水平、计算资源水平及/或存储器资源水平)调整阈值Th。如图10中所示，在着重资源模式下，分析单元42可任选地检测资源水平(143)且基于所检测的资源水平调整阈值Th(145)。举例来说，分析单元42可确定可用电力资源(例如，电池水平)及/或可用计算资源、每秒可用的指令的数目及/或可用存储器资源。可(例如)基于计算操作与资源消耗之间的已知关系直接检测或估计资源水平。在移动装置的情况下，如果电池资源低，则分析单元42可减小阈值Th，使得当存在大量的运动时启用帧取代。在任一情况下，不管阈值是固定还是可调整的，如果启用帧取代，则分析单元42可应用一个或一个以上质量准则以选择参考帧或停用帧取代。

在图11的实例中，运动分析器64基于零MV计数及小MV计数两者分析运动。如图11中所示，运动分析器64对帧中的零值运动向量的数目进行计数以产生零运动向量计数(Zmv_c)(148)，且对帧中的小运动向量的数目进行计数以产生小运动向量计数(Smv_c)(150)。小运动向量可为具有低于阈值的非零值的运动向量。甚至当存在占优势的零运动向量时，也可存在多个非零运动向量，包括小(在其具有低于阈值的值的意义上)的非零运动向量(在本文中称作小运动向量)。小运动向量可与一个或一个以上小移动物件相关联，例如，球、鸟、汽车等。运动分析器64将零MV计数(Zmv_c)及小MV计数(Smv_c)分别与相应阈值Th1及Th2进行比较(152)。

如果零MV计数(Zmv_c)大于或等于阈值Th1且小MV计数(Smv_c)小于阈值Th2，则运动分析器64指导选择单元44指示应应用帧重复而非帧取代(154)。在此情况下，超过阈值Th1的零MV计数指示由帧呈现的视频场景大体为静态。同时，小于阈值Th2的小MV计数指示不存在在由帧呈现的视频场景内的显著小物件移动。鉴于帧的大体静态内容，帧重复为适当的。

如果零MV计数(Zmv_c)小于阈值Th1或小MV计数(Smv_c)大于或等于阈值Th2，则运动分析器64指示应执行帧取代(156)，其经受作为由分析单元42执行的质量分析的一部分的参考帧的选择。在此情况下，小于阈值Th1的零MV计数指示视频场景包括显著的运动。

即使零MV计数不小于阈值Th1，帧也可包括将通过内插而更好地呈现的一个或一个以上相对小移动物件。因此，运动分析器64可指示当小MV计数大于或等于阈值Th2(指示一个或一个以上小的快速移动物件的存在)时，应执行内插。所述物件大体可为小的且比帧中的其它物件快速地移动。当帧内容并非大体静态或大体静态帧包括小移动物件时，帧取代(例如，通过帧的内插或外推)可为适当的。

如在图10的实例中，图11中的阈值Th1、Th2可为固定的或基于可用的内插资源而调整。明确地说，可基于所确定的资源水平调整阈值Th1、Th2中的一者或两者。如图11中所示，在着重资源模式下，分析单元42可任选地检测资源水平(143)且基于所检测的资源水平调整阈值(145)。又，分析单元42可检测或估计可用电力资源(例如，移动装置中的电池水平)及/或可用计算资源、每秒可用的指令的数目及/或可用存储器资源。举例来说，如果电池资源低，则分析单元42可减小阈值Th1且增加阈值Th2，使得当存在大量运动时启用内插。

在一些情况下，用以将运动向量分类为小运动向量的阈值可为固定的或可基于格式大小而调整。如上所论述，小运动向量可为具有低于特定阈值的值的非零运动向量。在一些实施方案中，用以确定非零运动向量是否小的阈值可基于正经解码及内插或外推的视频单元的格式大小而调整。举例来说，小运动向量可由用于具有逐渐更大的格式大小的QCIF、CIF、QVGA及VGA帧的不同阈值分类。CIF帧的小运动向量阈值的值可小于VGA帧的小运动向量阈值的值。明确地说，考虑到较大格式帧的较大总大小，可将运动向量量值在较小格式帧中考虑为大，但在较大格式帧中考虑为小。因此，在一些实施方案中，运动分析器64可基于正经内插或外推的视频单元的格式大小而调整小运动向量阈值。举例来说，用于较小格式帧的小运动向量阈值可小于用于较大格式帧的小运动向量阈值。

图12为说明经配置以选择性地启用或停用取代帧的显示(例如，基于一个或一个以上质量特性的分析)的视频解码器158的实例的框图。举例来说，如将描述，视频解码器158可经配置以分析与通过在视频解码器中的帧速率升频转换过程产生的经内插或经外推的视频帧相关联的一个或一个以上特性，且基于所述分析选择性地启用及停用经内插或经外推的视频单元在显示器上的呈现。

分析可涉及广泛多种质量特性中的任一者的分析。质量特性可包括像素域特性、变换域特性及/或运动向量可靠性中的至少一者。所述一个或一个以上质量特性可用以用公式表示包括空间质量度量、时间质量度量或其它度量的质量度量。所述质量度量可在预测经内插或经外推的帧对视频序列的视觉空间及/或时间质量的影响(当通过显示器呈现给用户时)过程中有用。如果与取代帧相关联的质量水平不满足质量阈值，则解码器158可经配置以选择性地停用取代帧的显示，即使取代帧已经内插或外推也如此。

与取代帧相关联的质量水平可基于取代帧自身的质量水平。在一些实施方案中，质量水平可基于用以内插或外推取代帧的一个或一个以上参考帧的质量水平。在其它实施方案中，质量水平可基于取代帧及用以产生取代帧的一个或一个以上参考帧的质量水平。在每一情况下，质量水平可大体指示可通过显示取代帧而实现的视觉质量的增强的程度。

甚至当取代帧已经内插或外推时，仍可能需要选择性地停用在视频解码器中的取代帧的传输及显示。举例来说，尽管已执行内插或外推，但通过显示取代帧所产生的视觉质量可能不足以证明用于取代帧的传输及显示的额外资源的耗费。替代地，抛弃取代帧且重复邻近帧(例如，通过在较长的时间周期内固持显示中的帧，而非传输新帧)可能更合需要，从而节省将有必要用来显示取代帧的电力或其它资源。在一些实施方案中，除了选择性地停用一些帧的传输及显示之外，视频解码器158还可停用一个或一个以上后处理操作，例如，针对取代帧的平滑、锐化、亮度控制及/或对比度增强以节省额外资源。

在图12的实例中，视频解码器158包括：接收帧缓冲器160，其(例如)从编码器12接收经编码的帧24；解码单元162，其解码所接收的帧；输出帧缓冲器164，其存储经解码的帧；取代单元166，其通过内插或外推而执行帧取代以将帧添加到输出帧缓冲器164，且因此支持FRUC过程；及选择性显示分析单元168。分析单元168可经配置以产生信号或命令。响应于来自分析单元168的信号或命令，控制单元172可选择性地启用或停用取代帧从视频缓冲器(例如，输出帧缓冲器164)到显示器170以用于对用户视觉呈现的传输。在一些方面中，当解码器158处于着重资源模式下(例如，如参看图4、图5及图7所描述)时，可选择性地启动分析单元168。或者，在其它实施方案中，选择性显示分析单元168可定期地操作以选择性地启用或停用由取代单元166在有或无选择性启动的情况下产生的取代帧的显示。

取代单元166执行帧取代(例如，帧内插或外推)以将帧添加到存储于输出帧缓冲器164中的输出帧且因此支持FRUC过程。视频解码器158可能或可能不应用参考帧选择技术(如在本发明中其它处所描述)来选择特定参考帧供由取代单元166在取代帧的内插或外推中使用。在一些方面中，取代单元166可基于一个或一个以上参考帧的分析来选择所述帧，或仅使用一个或一个以上邻近帧，来产生取代帧。然而，在任一情况下，分析单元168可经进一步配置以分析与取代帧相关联的质量水平以确定是否显示取代帧。与取代帧相关联的质量可包括与取代帧自身相关联的一个或一个以上质量特性、与用以内插或外推取代帧的参考帧中的一者或一者以上相关联的一个或一个以上质量特性，或两者的组合。为了分析质量，分析单元168可将客观质量度量应用到取代(例如，经内插或经外推)帧及/或用以内插或外推取代帧的参考帧。

分析单元168可指导控制单元172基于质量分析选择性地启用或停用来自输出帧缓冲器164的取代帧经由显示器170的显示。举例来说，如果用以产生取代帧的一个或一个以上参考帧的质量及/或取代帧自身的质量不满足可适用的质量阈值，则分析单元168可指导控制单元172停用用于在显示器170上呈现的来自输出帧缓冲器164的经内插的帧的传输。然而，如果质量是可接受的，则选择性显示分析单元168可指导控制单元172启用到显示器170以用于经由显示器170呈现给用户的经内插或经外推的帧的传输。以此方式，当取代帧的质量不令人满意时，视频解码器158可避免显示取代帧的额外资源的耗费。

当未将取代帧发送到显示器170时，可(例如)通过用随后经解码、内插或外推的帧盖写所述帧而将其从输出帧缓冲器164抛弃。在此情况下，显示器170可仅重复从输出帧缓冲器164发送到显示器的先前帧(例如，通过在较长的时间周期内固持显示中的先前帧)，或传输且重复(例如，固持)跟在取代帧后的下一个帧。在此情况下，显示器170可在额外的时间周期内显示先前帧，而非在所述时间期间显示取代帧。通过使用帧重复，视频解码器159可避免传输且显示取代帧的需要，因此节省电力及/或其它资源。如上所提及，可单独或结合如在本发明中其它处所描述的参考帧选择技术使用取代帧的选择性显示。

分析单元168可经配置以分析与由取代单元166产生的取代帧相关联的多种质量特性中的一者或一者以上。在一些实施方案中，由分析单元168分析的质量特性可类似于由图5的客观度量检查器50评估的质量特性。举例来说，分析单元168可经配置以分析与由取代单元166产生的取代(例如，经内插或经外推)帧相关联的像素值，或与用以产生取代帧的一个或一个以上参考帧相关联的像素值，以确定与所述帧相关联的块效应、模糊性、色溢或其它客观空间质量度量的程度，且基于所述确定产生质量得分。

因此，可通过分析在像素域中由取代单元166产生的取代帧或通过分析在像素域中由解码单元162产生的经解码、经重建构的参考帧或两者的组合来执行质量分析。在分析参考帧的实施方案中，参考帧可为用以内插或外推取代帧的参考帧。当在由取代单元166产生的特定经内插或经外推的取代帧中(或在用以产生所述帧的一个或一个以上参考帧中)检测到实质的块效应、模糊性及/或色溢时，所述取代帧的质量得分可为低，且当大体上不存在块效应、模糊性及/或色溢时，质量得分可为高。

不同取代帧的质量得分可依据所述客观视觉质量度量特性变化而在高与低之间变化。或者，可基于与预定阈值的比较将质量得分表达为高或低。在任一情况下，如果取代帧的质量得分不满足(例如，小于)质量阈值，则分析单元168可指导控制单元172停用帧从输出帧缓冲器164到显示器170的传输。或者，如果取代帧的质量得分满足(例如，大于或等于)阈值，则分析单元168可指导控制单元172启用取代帧从输出帧缓冲器164到显示器170以供呈现给用户的传输。

如上所述，分析单元168可通过分析取代帧的像素值、用以通过内插或外推产生取代帧的一个或一个以上参考帧的像素值，或在取代帧附近的一个或一个以上其它帧的像素值来分析与取代帧相关联的质量特性。如果分析参考帧，则取代单元166可对分析单元168指示哪一或哪些参考帧用以内插或外推特定取代帧。

使用像素值(如上所述)，分析单元168可分析与取代帧及/或用以产生取代帧的一个或一个以上参考帧相关联的一个或一个以上空间质量度量，例如，SSIM、块效应、模糊性及/或色溢度量。在一些实施方案中，替代地或另外，可将像素值分析应用到在时间上接近取代帧的其它帧(除了参考帧或取代帧之外或作为对参考帧或取代帧的替代)。如果取代帧、参考帧或另一附近帧的空间质量度量不满足可适用的阈值，则分析单元168可指导控制单元172停用取代帧的显示。

作为简单说明，如果由与取代帧相关联的像素值呈现的块效应的量超过阈值，则分析单元168可停用取代帧的显示。以此方式，解码器158可避免显示可不利地影响质量的取代帧，或提供不足以证明额外显示资源的耗费的质量增强的取代帧。

作为替代或额外操作，对于质量分析，分析单元168可分析一个或一个以上时间质量度量，例如，空间质量度量的时间波动。举例来说，分析单元168可分析在取代帧与用以内插或外推所述取代帧的一个或一个以上参考帧之间的空间质量(例如，SSIM、块效应、模糊性及/或色溢)的波动。如果时间质量波动大于波动阈值，则分析单元168可指导控制单元172停用取代帧的显示。

分析单元168可单独或结合空间质量度量自身考虑一个或一个以上空间质量度量的时间波动。举例来说，如果空间质量度量或时间质量度量不满足可适用的阈值，则分析单元168可停用取代帧的显示。或者，分析单元168可基于空间质量与时间质量值的加权总和计算得分，且将所述和与复合阈值进行比较。

作为进一步改进，在一些实施方案中，分析单元168可经配置以分析在取代帧、参考帧或其它附近帧内的假影的位置。假影可为可由在所显示的帧的特定局部化区域中的块效应、模糊性或色溢产生的不合需要的可视特征。分析单元168可分析帧的总体块效应、模糊性或色溢，或在帧的局部化区域的情况下考虑所述特性。举例来说，分析单元168可分析帧的局部化区域(例如，3乘3像素区域)的像素值方差，以产生在所述区域中的纹理的指示。大体由低方差指示的平滑区域可更易于受到由块效应、模糊性、色溢或其它假影引起的可视假影的影响。然而，所述假影可在具有更多纹理的较高方差区域中不太可视。

作为帧的空间质量度量的替代或除了帧的空间质量度量之外，分析单元168可产生帧内的多个局部化区域的局部化空间质量度量。如果帧的局部化空间质量度量不满足在平滑区域中的任一者中的可适用的阈值，其中假影将更可视，则分析单元168可停用取代帧的显示以减少或避免可视假影的呈现。然而，如果局部化空间质量度量不满足仅在具有更多纹理的较高方差区域中的质量阈值，则分析单元168可在认识到在所述区域中假影将对用户来说不可视或较不可视的情况下准许取代帧的显示。作为另一替代方案，分析单元168可将不同阈值用于不同局部化区域。在平滑低方差区域中，分析单元168可使用较高质量阈值，实际上，需要较高质量来减少或避免可视假影的引入。在较高方差区域中，分析单元168可使用较低质量阈值，从而在仅或大体上仅在高纹理区域中出现显著假影时准许取代帧的显示。

分析单元168可扫描帧以分析如上所述的局部化区域。如果局部化区域中的任一者或预定百分比的局部化区域展现低方差(低于方差阈值)及低质量度量(低于质量阈值)两者，其可指示所显示的帧中的可视假影的可能性，则分析单元168可指导控制单元172停用取代帧的显示。预定百分比可为固定或自适应的阈值。在其它实施方案中，分析单元168可经配置以(例如)通过考虑具有低纹理及低质量两者的局部化区域是否邻接而分析假影可为可视的区域的大小。因此，分析单元168可分析相对于百分比阈值的具有显著假影的所有局部化区域的百分比及/或相对于大小阈值的所述假影(例如，由低质量/低纹理区域指示)中任一者的大小以确定是启用还是停用取代帧的显示。

另外或替代地，分析单元168可使用其它类型的数据(例如，指示与用以内插或外推取代帧的参考帧相关联的运动向量的可靠性的数据)分析与取代帧相关联的质量。可由分析单元168用于质量分析的数据的其它实例包括经压缩的域信息，例如，与同用于取代帧的内插或外推的一个或一个以上参考帧相关联的离散余弦变换(DCT)或小波变换系数有关的信息。经压缩的域信息可包括(例如)QP及CBP值。如图12中所示，在一些实施方案中，分析单元168可从解码单元162接收QP及CBP值。QP及/或CBP值可与用以内插或外推取代帧的参考帧相关联。使用QP、CBP值及/或其它经压缩的域信息，分析单元168可分析取代帧的质量。

作为实例，分析单元168可以类似于上述方式(例如，参看图5及图8)的方式评估运动向量可靠性。如果一个或一个以上参考帧的运动向量可靠性不令人满意，则分析单元168可指导控制单元172停用取代帧的显示。分析单元168可(例如)以类似于以上相对于图5的MV可靠性检查器60描述的方式的方式应用用于确定运动向量可靠性的多种技术中的任一者，例如，基于运动差的方法、帧到帧运动改变检测方法或基于运动轨道的方法。分析单元168可单独或结合本文中描述的其它质量度量(例如，包括像素域质量度量、时间度量或局部化度量)考虑运动向量可靠性，以确定是启用还是停用取代帧的显示。

如上所述，分析单元168可基于经压缩的域信息(例如，与用以内插或外推取代帧的参考帧相关联的QP及/或CBP值)分析质量。可(例如)通过剖析与所接收的帧相关联的位流从接收帧缓冲器160中的参考帧获得经压缩的域信息。作为实例，分析单元168可经配置以按类似于参看图5的QP检查器54及CBP检查器56及质量得分计算器58及在图9的流程图中说明的过程描述的方式的方式分析与参考帧相关联的QP及/或CBP。如果QP及CBP值(例如)通过将QP与QP阈值QP_th进行比较且确定CBP值是否为非零(如图9中所示)而指示参考帧的相对高质量，则分析单元168可指导控制单元172启用使用有关参考帧内插或外推的取代帧的显示。然而，如果QP及CBP值指示低质量，则分析单元168可指导控制单元172停用取代帧的显示。

经压缩的域信息及MV可靠性的分析可由分析单元168单独或结合其它质量信息(例如，空间质量信息或时间质量信息)使用来确定是否显示取代帧。在一些实施方案中，分析单元168可经配置而以组合方式分析多种质量信息。举例来说，分析单元168可分析像素域中的客观空间及/或时间质量度量(例如，SSIM、块效应、模糊性及色溢及/或相关联的时间波动)，以及变换域信息(例如，QP及CBP值)及可能错误隐藏(EC)可靠性信息以产生质量得分，且接着应用运动向量(MV)可靠性分析以确定是否显示质量得分可接受的取代帧。

对于错误隐藏(EC)可靠性，分析单元168可应用类似于参看图5的EC检查器及图9的处理器描述的分析的EC分析。举例来说，分析单元168可分析用以产生取代帧的一个或一个以上参考帧且确定是否存在切片损失。如果是，则分析单元168可确定合适的EC机制是否可用。如果不存在合适的EC机制，则分析单元168可指导控制单元172停用由显示器170进行的取代帧的显示。然而，如果可接受的EC机制可用，则分析单元168可准许取代帧的显示。切片损失及EC机制的分析可单独地执行作为用于选择性地启用或停用取代帧的显示的基础，或结合其它质量特性(例如，空间质量、时间质量、运动向量可靠性等)的分析而执行。

在一些实施方案中，分析单元168可经配置以按类似于图5的分析单元42的方式操作，除了分析单元168确定是否显示取代帧而非确定是否选择特定参考帧供在内插或外推所述取代帧过程中使用以外。值得注意，由于取代帧已由取代单元166产生，所以除了分析一个或一个以上参考帧的质量特性之外或作为分析一个或一个以上参考帧的质量特性的替代，分析单元168可分析像素域中的取代帧的客观质量特性。举例来说，分析单元168可单独地或结合一个或一个以上参考帧的质量及/或运动向量可靠性来考虑取代帧的质量。或者，分析单元168可在不考虑取代帧的质量的情况下考虑参考帧的质量及/或运动向量可靠性。

当取代帧很有可能有利地对视觉及/或时间质量有影响时，在选择性地将所述帧提供到显示器170的过程中，分析单元168可为有效的。即使已执行内插或外推，如果质量水平不证明需要用来传输及显示帧的额外资源，则抛弃帧仍可为有利的。可能需要大量的电力来将取代帧从输出帧缓冲器164传输到显示器170。

大体来说，分析单元168可经配置以分析通过由视频解码器158中的取代单元166执行的FRUC过程产生的经内插或经外推的视频帧的一个或一个以上质量及/或运动特性。基于所述分析，分析单元168可指导控制单元172选择性地启用及停用用于在显示装置170上呈现的经内插或经外推的视频帧的传输。尽管可针对质量分析来分析例如SSIM、块效应、模糊性及/或色溢的客观视觉质量度量特性，但可使用其它质量度量。

在一些方面中，解码器158可经配置以在不同模式下操作。在第一模式(例如，着重资源模式)下，解码器158可(例如)经由控制单元172基于质量分析选择性地启用及停用用于在显示装置170上显示的经内插或经外推的视频帧的传输。在第二操作模式下，解码器158的控制单元172可在不执行质量分析的情况下或不考虑质量分析的结果的情况下启用用于在显示装置170上呈现的经内插或经外推的帧的传输。

分析单元168还可经配置以考虑在过去一系列N个先前取代帧上已停用显示的取代帧的数目，其中N表示大于一的数。如果(例如)归因于质量特性尚未显示最后N个帧中大于预定数目或百分比M的先前取代帧，则分析单元168可启用当前取代帧的显示。在此情况下，可显示当前取代帧，即使其可能不满足可适用的质量阈值也如此。以此方式，分析单元168可避免跳过长系列的取代帧的显示。

或者，替代于启用显示，分析单元168可减小用于当前取代帧的一个或一个以上可适用的质量阈值，使得取代帧具有被显示的较高机率。因此，在任一情况下，分析单元168可至少部分基于在预定数目个先前帧上尚未显示的取代帧的数目确定是否启用当前取代帧的显示。作为说明，如果考虑中的先前取代帧的数目为N＝10，且未显示的帧的阈值数目M为5，则如果在最后10个帧中的未显示的帧的数目为5或更大，则分析单元168可指导控制单元172准许当前取代帧的显示。

作为改进，在一些实施方案中，并不考虑最后N个取代帧中尚未显示的取代帧的绝对数目，分析单元168可考虑尚未显示的连续取代帧的数目。举例来说，分析单元168可应用连续计数阈值M。如果(例如)归因于质量特性尚未显示先前M+1个连续取代帧，则分析单元可指导控制单元172启用当前取代帧的显示。分析单元168可应用广泛多种阈值方案中的任一者来基于先前取代帧的未显示确定是否应显示当前取代帧。因此，提供此描述以用于说明的目的且无限制。

图13为说明用于选择性显示取代帧的实例技术的流程图。图12的解码器158可经配置以执行图13的技术。如在图13中所示，解码器158可接收输入视频帧(174)、对帧进行解码(176)且执行帧取代(178)以使用所接收的帧中的一些作为用于内插或外推的参考帧来产生取代帧。分析单元(例如，提供于解码器158中的分析单元168)可分析取代帧中的全部或一些的一个或一个以上质量特性(180)。在一些实施方案中，分析单元可经提供于视频解码器158、视频后处理单元中，或视频显示处理单元(例如，移动显示处理器(MDP))中。举例来说，分析单元168可分析由取代单元166产生的经内插或经外推的帧中的各种客观质量特性，例如，SSIM、块效应、模糊性或色溢。

如果取代帧的质量满足质量阈值，例如，大于或等于质量阈值(182)，则分析单元168可(例如)通过启用帧从输出帧缓冲器164到显示器170的传输而指导控制单元172启用取代帧的显示(184)。如果质量不满足质量阈值(182)，例如，小于或等于阈值，则分析单元168可指导控制单元172停用取代帧的显示(186)。在一些情况下，可(例如)基于可用资源而自适应地调整质量阈值。因此，当取代帧的质量不令人满意(例如，相对于预界定的阈值质量水平)时，即使已耗费了一些资源来产生取代帧，解码器158还可避免额外资源的消耗。

在图13的实例中，分析单元168可经配置以分析取代帧自身的质量以确定是否显示所述取代帧。因此，在一些情况下，可能不存在分析其它帧的需要。然而，在其它实施方案中，分析单元168可分析用以产生取代帧的一个或一个以上参考帧的质量作为用于确定是否显示取代帧的基础。如由块188指示，分析单元168可任选地单独或结合取代帧的质量的分析来分析一个或一个以上参考帧的质量。取代帧的质量分析可大体涉及取代帧的像素域值的分析。如上所述，参考帧的质量分析可涉及像素域值、变换域值、MV可靠性、EC可靠性等的分析。

图14A为说明可与如图12中所示的视频解码器158一起使用的分析单元168的框图。在图14A的实例中，分析单元168经配置以使用用于取代帧的客观的一个或一个以上质量度量分析与取代帧相关联的质量。举例来说，客观度量检查器173可分析客观空间质量度量，例如，取代帧的SSIM、块效应、模糊性或色溢。可(例如)从取代帧的像素值获得所述度量。在一些实施方案中，客观度量检查器173可整体或在局部化区域的基础上来分析帧。质量得分计算器175可基于所述客观质量度量产生质量得分。比较单元177可将质量得分与阈值进行比较以确定是启用还是停用取代帧的显示。如果质量得分满足质量阈值，则比较单元177可指导控制单元172准许经由显示器170显示取代帧。如果质量得分不满足质量阈值，则比较单元177可指导控制单元172停用取代帧的显示。在此情况下，先前或未来帧(而非所述取代帧)可由显示器170重复。

图14B为说明可与如图12中所示的视频解码器158一起使用的另一分析单元168的框图。在图14A的实例中，分析单元168经配置以直接分析取代帧的质量。在图14B的实例中，分析单元168可经配置以分析参考帧的质量、取代帧的质量或两者的组合。另外，在图14B中，分析单元168可经配置以分析像素值、变换域值、运动向量及/或其它类型的信息。大体来说，可以稍类似于图5的分析单元42的方式配置分析单元168。举例来说，分析单元168可包括客观度量检查器173、质量得分计算器175、比较单元177、EC检查器179、QP检查器181、CBP检查器183及MV可靠性检查器185中的一者或一者以上。

客观度量检查器173可分析取代帧及/或用以产生所述取代帧的一个或一个以上参考帧以产生客观空间质量及/或时间质量的指示，如上所述。在一些实施方案中，客观度量检查器173可整体或在局部化区域基础上来分析帧。EC检查器179可检测切片损失，且确定可接受的EC机制是否可用。QP检查器181及CBP检查器183可基于参考帧的QP及CBP值产生质量的指示。

在一些实施方案中，质量得分计算器175可(例如)以类似于参看图5及图9描述的方式的方式计算总质量得分以用于在取代帧的选择性显示中的考虑因素。可对每一取代帧重设质量得分。然而，如果已针对先前取代帧分析的质量度量对当前取代帧有用，则可将其保留且再使用。作为一个实例，如果将同一参考帧用于另一取代帧，则可再使用已经确定用于用于取代帧的内插或外推的特定参考帧的QP及CBP数据、MV可靠性数据或EC可靠性数据。

质量得分计算器175可经配置以基于客观度量检查器173、EC检查器181、QP检查器181及CBP检查器183中的一者或一者以上的输出产生候选参考帧的总质量得分。以类似于参看图5及图9描述的过程的方式，由客观度量检查器173、EC检查器181、QP检查器181及CBP检查器183产生的个别得分可简单地经建构为高或低质量值，或高、中等或低质量值，或按照众多层级或大体上连续的级别计算。质量得分计算器175可使相等或不均匀的加权与个别得分中的每一者一致，例如，使得总质量得分为所有得分的加权总和。

用以计算总得分的质量特性(例如，客观度量、EC特性、QP及CBP特性)可指示取代帧是否有可能产生可接受的视觉质量水平(当由显示器170呈现时)。比较单元177可将总得分与质量阈值进行比较。如果总得分令人满意(例如，符合或超过质量阈值)，则比较单元177指示取代帧具有对于由显示器170呈现是可接受的质量水平。如果总得分小于质量阈值，则比较单元177确定所述取代帧对于由显示器170呈现是不可接受的。在每一情况下，分析单元168可接着继续分析下一个取代帧的选择性显示的质量。

即使质量得分指示质量令人满意，MV可靠性检查器185也可经提供以确定与用以产生取代帧的一个或一个以上参考帧相关联的运动向量是否可靠。MV可靠性检查器185可分析一个或一个以上参考帧中的运动向量的可靠性以确保在帧取代利用运动补偿预测方法用于内插或外推的情况下选定参考帧有可能产生质量帧取代结果。如果运动向量可靠，则MV可靠性检查器185可将启用信号传输到控制单元170以使取代帧由显示器170显示。然而，如果运动向量不可靠，则MV可靠性检查器185可将信号传输到控制单元172，使得取代帧不由显示器170显示。替代地，控制单元172可停用取代帧的显示，使得显示器170可重复先前或未来帧来替代取代帧。

图15为说明用于产生质量得分以支持取代帧的选择性显示的实例技术的流程图。图15的过程可类似于图9的过程。然而，如参看图12到图14描述，得分过程可用于已经内插或外推的取代帧的选择性显示，而非用于执行内插或外推的参考帧的选择。如图15中所示，在考虑是否显示取代帧的过程中，分析单元168可从所接收帧缓冲器160检索用于内插或外推的一个或一个以上参考帧以产生取代帧(190)，且分析参考帧的QP及CBP值。如在图9的实例中，如在图15中所示，分析单元168可基于QP及CBP值产生组合的基于QP的得分。如果QP值小于可适用的QP阈值(QP_th)且CBP值不等于零(192)，则分析单元168将所述帧的基于QP的得分设定到“高”(194)。如果QP值大于或等于QP阈值(QP_th)或CBP值大致等于零(192)，则分析单元42将所述帧的基于QP的得分设定到“低”(196)。

如在图15中进一步展示，分析单元168还可经配置以对所述参考帧检查切片损失(198)。参看图14B，切片损失检查可由EC检查器179执行。如果存在切片损失，则分析单元168可确定充分的错误隐藏(EC)机制是否可用于校正切片损失(200)。如果否，则分析单元168将参考帧的基于EC的得分设定到“低”(202)。如果可靠且充分的EC机制可用(124)，则分析单元168将基于EC的得分设定到“高”(204)。在此情况下，如果可使用EC机制可靠地重现丢失的切片，则参考帧的质量可指示取代帧可靠。然而，如果不可重现切片，则参考帧可指示取代帧可包括不应被显示的错误信息。

分析单元168还可将客观质量度量应用到参考帧及/或取代帧(206)。举例来说，分析单元168可分析参考帧的经解码且经重建构的版本以分析多种客观度量中的任一者，例如，块效应、模糊性、色溢等。另外，分析单元168可分析取代帧的像素域值。因此，可将客观度量应用到像素域中的参考帧及/或取代帧以评估视觉质量。分析单元168可量化客观度量中的每一者以用公式表示质量度量得分QM。如果质量度量得分QM大于或等于可适用的质量度量阈值(QM_th)(208)，则分析单元168将取代帧的基于QM的得分设定到“高”(210)。如果质量度量得分QM小于或等于质量度量阈值(QM_th)，则分析单元168针对取代帧将基于QM的得分设定到“低”(212)。

分析单元168可基于基于QP的得分、基于EC的得分与基于QM的得分的组合设定取代帧的总质量得分(214)。可根据参考帧及/或取代帧的基于QP的得分、基于EC的得分与基于QM的得分的加权总和用公式表示总质量得分，其中分析单元168可将不同权重加到个别得分中的每一者。获得个别基于QP的得分、基于EC的得分及基于QM的得分的次序可与图15中展示的次序不同。另外，图15中展示的特定类型的得分可经受变化。大体来说，分析单元168可经配置以获得指示取代帧将不破坏视觉质量且将对证明显示取代帧的额外资源的耗费的一定程度的视觉质量增强有影响的可能性的质量得分。

图16为说明用于在视频单元支持延迟敏感性视频应用时支持用于视频单元取代的参考视频单元选择的参考视频单元的运动及/或质量分析的实例技术的流程图。图16的流程图大体上对应于图8的流程图，但进一步包括确定由解码器14支持的视频应用是否为延迟敏感性应用(例如，视频电话)的操作(216)，且如果是，则确定是否符合可适用的时间距离准则(218)。

在图16的实例中，当检索候选参考帧(94)且检测到延迟敏感性应用(216)时，解码器14可确定所述帧相对于待添加的帧是否为未来帧。如果是，则解码器14确定未来参考帧的距离是否小于阈值距离。如果候选参考帧为小于远离待添加的帧的阈值距离的先前帧或未来帧，则符合距离准则(218)。在一些方面中，可按将候选参考帧与待添加的帧分开的多个帧来表达距离。

当符合时间距离准则时，解码器14可继续进行质量分析，例如，如参看图8所描述且在操作(96)到(112)中所展示。然而，如果不符合距离准则，则解码器14可继续从考虑中移除所述候选参考帧作为用于内插的参考帧，且继续检索下一个候选参考帧(94)以用于考虑。因此，将距离准则应用于延迟敏感性应用可经受多种不同实施方案，例如，基于距取代帧的时间距离排除特定参考帧的选择单元44(图4)的控制、部分基于距离经由距离单元63(图5)计算质量得分，或当不符合距离准则时停用质量分析的分析单元42的控制(例如，如图16中所示)。

大体来说，如本发明中描述的用于选择用于内插的参考帧的技术可提供FRUC实施方案，在各种方面中，所述FRUC实施方案可通过在不必要或有利时停用帧取代来降低资源消耗，且通过选择良好的参考帧供在帧取代中使用来增强经内插的帧的质量。通过分析QP及CBP值且基于此分析选择高质量参考帧，可实现增强的质量的优点，其在通过可变位速率(VBR)控制机制压缩的视频中可尤其有用。

另外，如果不存在错误隐藏机制或如果错误隐藏机制不提供良好质量帧，则增强的质量可已通过不选择具有切片或帧损失的帧作为参考帧而实现。当传输损失出现时，例如，在视频电话应用的情况下，具有切片或帧损失及不充分的错误隐藏的帧的避免可尤其有用。着重资源模式还可在降低电力消耗或其它资源的消耗同时大体上维持低运动视频片段中的客观及主观视频质量的过程中有效。

本文中所描述的技术可实施于硬件、软件、固件或其任何组合中。描述为模块、单元或组件的任何特征可一起实施于集成逻辑装置中或单独地作为离散但可共同操作的逻辑装置。在一些情况下，可将各种特征实施为集成电路装置，例如，集成电路芯片或芯片组。如果实施于软件中，则所述技术可至少部分地由包含指令的计算机可读媒体实现，在经执行时，所述指令致使处理器执行上述方法中的一者或一者以上。

计算机可读媒体可形成计算机程序产品的部分，计算机程序产品可包括封装材料。计算机可读媒体可包含计算机数据存储媒体，例如，随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式携载或传达代码且可由计算机存取、读取及/或执行。

代码或指令可由一个或一个以上处理器执行，例如，一个或一个以上DSP、通用微处理器、ASIC、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中描述的功能性可提供于专用软件模块或硬件模块内。本发明还涵盖包括实施本发明中描述的技术中的一者或一者以上的电路的多种集成电路装置中的任一者。可将所述电路提供于单一集成电路芯片中或在所谓的芯片组中的多个可共同操作的集成电路芯片中。所述集成电路装置可用于多种应用中，其中一些可包括在无线通信装置(例如，移动电话手持机)中使用。

已描述了所揭示的技术的各种方面。这些及其它方面处于所附权利要求书的范围内。

Claims (29)

1.一种用于视频单元的自适应内插或外推的方法，其包含：

分析用于额外视频单元的内插或外推的一个或多个候选参考视频单元的运动水平，其中分析所述运动水平包含对所述候选参考视频单元中的至少一者中的零值运动向量的数目进行计数；

监视包括译码单元的装置用于所述额外视频单元的内插或外推的资源水平；

确定包括所述译码单元的所述装置用于所述额外视频单元的内插或外推的所述资源水平；以及

用选择单元基于所述运动水平及所述资源水平选择性地启用和停用所述额外视频单元的内插或外推，其中选择性地启用和停用包含在零值运动向量的所述数目低于阈值时启用内插或外推，及在零值运动向量的所述数目高于所述阈值时停用内插或外推，

其中所述阈值进一步包含第二阈值，其中分析所述运动水平进一步包含对所述候选参考视频单元中的至少一者中的小运动向量的数目进行计数，其中所述小运动向量中的每一者为具有低于第一阈值的值的非零值运动向量，且停用进一步包含在零值运动向量的所述数目高于所述第二阈值且小运动向量的所述数目低于第三阈值时停用内插或外推。

2.根据权利要求1所述的方法，其进一步包含：

分析所述运动水平、确定所述资源水平，及在第一操作模式下基于所述运动水平及所述资源水平选择性地停用内插或外推；以及

在第二操作模式下，启用所述额外视频单元的内插或外推。

3.根据权利要求1所述的方法，其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

4.根据权利要求1所述的方法，其进一步包含基于所述所确定的资源水平调整所述阈值，其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

5.根据权利要求1所述的方法，其中选择性地停用包含在零值运动向量的所述数目低于所述第二阈值或小运动向量的所述数目高于所述第三阈值时启用内插或外推。

6.根据权利要求5所述的方法，其进一步包含基于所述所确定的资源水平调整所述第二阈值及所述第三阈值中的至少一者，其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

7.根据权利要求1所述的方法，其进一步包含基于所述额外视频单元的大小调整所述第一阈值。

8.根据权利要求1所述的方法，其进一步包含在所述内插或外推被停用时重复用于所述额外视频单元的所述参考视频单元中的一者。

9.根据权利要求1所述的方法，其中所述视频单元中的每一者为视频帧。

10.一种用于视频单元的自适应内插或外推的视频译码装置，其包含：

运动分析器，其经配置以分析用于额外视频单元的内插或外推的一个或多个候选参考视频单元的运动水平，其中分析所述运动水平包含对所述候选参考视频单元中的至少一者中的零值运动向量的数目进行计数；

资源监视器，其经配置以监视并确定所述视频译码装置用于所述额外视频单元的内插或外推的资源水平；以及

选择单元，其基于所述运动水平及所述资源水平选择性地启用和停用所述额外视频单元的内插或外推，其中选择性地启用和停用包含在零值运动向量的所述数目低于阈值时启用内插或外推，及在零值运动向量的所述数目高于所述阈值时停用内插或外推，

其中所述阈值进一步包含第二阈值，其中所述运动分析器进一步对所述参考视频单元中的至少一者中的小运动向量的数目进行计数，其中所述小运动向量中的每一者为具有低于第一阈值的值的非零值运动向量，且在零值运动向量的所述数目高于所述第二阈值且小运动向量的所述数目低于第三阈值时，所述选择单元进一步选择性地停用内插或外推。

11.根据权利要求10所述的装置，模式选择单元，其指导所述选择单元在第一操作模式下选择性地停用所述额外视频单元的内插或外推，及指导所述选择单元在第二操作模式下启用所述额外视频单元的内插或外推。

12.根据权利要求11所述的装置，其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

13.根据权利要求10所述的装置，其中所述运动分析器基于所述所确定的资源水平调整所述阈值，且其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

14.根据权利要求10所述的装置，其中在零值运动向量的所述数目低于所述第二阈值或小运动向量的所述数目高于所述第三阈值时，所述选择单元选择性地启用内插或外推。

15.根据权利要求14所述的装置，其中所述运动分析器基于所述所确定的资源水平调整所述第二阈值及所述第三阈值中的至少一者，且其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

16.根据权利要求10所述的装置，其中所述运动分析器基于所述额外视频单元的大小调整所述第一阈值。

17.根据权利要求10所述的装置，其进一步包含重复单元，在所述内插或外推被停用时，所述重复单元重复用于所述额外视频单元的所述参考视频单元中的一者。

18.根据权利要求10所述的装置，其中所述装置包含无线通信装置手持机。

19.根据权利要求10所述的装置，其中所述装置包含集成电路装置。

20.根据权利要求10所述的装置，其中所述视频单元中的每一者为视频帧。

21.一种用于视频单元的自适应内插或外推的设备，其包含：

用于分析用于额外视频单元的内插或外推的一个或多个候选参考视频单元的运动水平的装置，其中分析所述运动水平包含对所述候选参考视频单元中的至少一者中的零值运动向量的数目进行计数；

用于监视所述设备用于所述额外视频单元的内插或外推的资源水平的装置；

用于确定所述设备用于所述额外视频单元的内插或外推的所述资源水平的装置；以及

用于基于所述运动水平及所述资源水平选择性地启用和停用所述额外视频单元的内插或外推的装置，其中选择性地启用和停用包含在零值运动向量的所述数目低于阈值时启用内插或外推，及在零值运动向量的所述数目高于所述阈值时停用内插或外推，

其中所述阈值进一步包含第二阈值，其中所述用于分析所述运动水平的装置进一步包含用于对所述参考视频单元中的至少一者中的小值运动向量的数目进行计数的装置，其中所述小运动向量中的每一者为具有低于第一阈值的值的非零值运动向量，且所述用于选择性地停用的装置进一步包含用于在零值运动向量的所述数目高于所述第二阈值且小运动向量的所述数目低于第三阈值时停用内插或外推的装置。

22.根据权利要求21所述的设备，其中所述用于分析所述运动水平的装置、所述用于确定所述资源水平的装置及所述用于基于所述运动水平及所述资源水平选择性地停用内插或外推的装置在第一操作模式下操作，所述装置进一步包含在第二操作模式下操作的用于使用一个或多个参考视频单元启用额外视频单元的内插或外推的装置。

23.根据权利要求21所述的设备，其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

24.根据权利要求21所述的设备，其进一步包含用于基于所述所确定的资源水平调整所述阈值的装置，其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

25.根据权利要求21所述的设备，其中所述用于选择性地启用和停用的装置包含用于在零值运动向量的所述数目低于所述第二阈值或小运动向量的所述数目高于所述第三阈值时启用内插或外推的装置。

26.根据权利要求25所述的设备，其进一步包含用于基于所述所确定的资源水平调整所述第二阈值及所述第三阈值中的至少一者的装置，其中所述资源水平包含电力资源水平、计算资源水平及存储器资源水平中的一者。

27.根据权利要求21所述的设备，其进一步包含用于基于所述额外视频单元的大小调整所述第一阈值的装置。

28.根据权利要求21所述的设备，其进一步包含用于在所述内插或外推被停用时重复用于所述额外视频单元的所述参考视频单元中的一者的装置。

29.根据权利要求21所述的设备，其中所述视频单元中的每一者为视频帧。