CN102714726A - 使用元数据的用于时间缩放的边缘增强 - Google Patents

Abstract

描述了用于后处理图像的非关键帧的方法。根据所述方法，使用相邻关键帧的信息来更新重构非关键帧。还描述了用于对更新还是不更新非关键帧进行估计的方法。

Description

使用元数据的用于时间缩放的边缘增强

相关申请的交叉引用

本申请要求2010年1月15日申请的美国临时专利申请第61/295,425号的优先权，该专利申请以其整体通过引用结合于此。

技术领域

本公开涉及视频流的可缩放性。具体地，涉及使用元数据的用于时间缩放的边缘增强。

背景技术

视频回放能力在装置类别当中变化广泛。在频谱的一端是致使每秒120高清晰度帧的TV显示器。在低端则是移动电话，其可能只能示出每秒15低分辨率帧。除了再现装置的限制之外，用来传播内容的网络带宽也可能规定用于帧率和图像分辨率的最高限度。例如，最好的居住美国的宽带连接如Verizon的FIOS可以容易地传送用于高质量、60帧每秒高清晰度视频的压缩流。许多移动运营商仍然具有2.5G或更慢的数据网络，其只允许仅具有176×144像素（QCIF）每帧的15帧每秒（fps）。

除了针对每一种情形具有分开的压缩流之外，通常优选的是在同样的流中包括某种额外信息，以便每个显示系统可以针对其能力解码适当水平的质量。举例来说，移动手机可能能够找到20fps QCIF，同时读取同样的流的PC则可能解码某种额外信息，然后能够产生30fps的720×480累进（480p）数据。

具有这些额外层的位流被说成是可缩放的，并且一般概念被称为可缩放性。希望将用于额外层的开销保持到最小。理想的是应当没有比最大质量内容需要更多的位，并且事实上，如稍后将会示出的那样，可以使可缩放位流的尺寸非常接近于较低质量的需要，而没有很大降低最高质量内容的保真度。

在当前的实践中，幸运的是，可以在多种情形下使用所谓的H.264编码技术。然而，该标准本身并不以足够宽的方式支持可缩放性。这样一来，针对可缩放系统的挑战之一就是要确保标准H.264解码器将会能够以某种质量水平播放流，即使更高的质量水平仅可用于增强的解码器。对标准顺应性的这种要求也可以应用于任何其它具体标准，包括传统编码器像MPEG-2和尚未指定的未来编码器。

除了带宽约束和显示约束之外，处理能力也是显著的因素。移动装置像蜂窝电话在它们的计算能力方面固有地受到电池、尺寸和成本限制。而且，大多数电视系统（包括机顶盒）被设计成嵌入式系统，具有许多专用硬件并只有最少量的可编程处理能力。因此，任何可缩放的位流都必须或者用硬件支持，其花费数年的研制周期，或者必须要求低量的计算。

将带宽、处理能力、显示能力和标准顺应性的约束纳入考虑是挑战性的问题，其在现有技术中尚未被令人满意地解决。

发明内容

根据第一方面，提供了一种用于通过图像的相邻关键帧来后处理所述图像的非关键帧的方法，该方法包括：对重构关键帧进行下采样以形成下采样重构关键帧；对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；形成所述重构关键帧和所述上采样重构关键帧之间的差；以及将所述差添加到重构非关键帧，以补偿所述重构非关键帧。

根据第二方面，提供了一种用于通过图像的关键帧来处理所述图像的非关键帧的方法，该方法包括：对重构关键帧进行下采样以形成下采样重构关键帧；形成下采样非关键帧和下采样重构关键帧之间的差；对所述差进行上采样以形成上采样差；以及将所述上采样差添加到所述重构关键帧。

根据第三方面，提供了一种用于通过图像的相邻关键帧来处理所述图像的非关键帧的方法，该方法包括：形成所述非关键帧和所述关键帧之间的差；对所述差进行下采样以生成下采样差；对所述下采样差进行上采样以形成上采样差；重构所述关键帧；以及将所述上采样差添加到重构的关键帧。

根据第四方面，提供了一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，该方法包括：对多个重构关键帧进行下采样以形成下采样重构关键帧；对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；形成所述重构关键帧和各个上采样重构关键帧之间的差；以及将所述差之和添加到重构非关键帧以补偿所述重构非关键帧。

根据第五方面，提供了一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，该方法包括：对重构关键帧进行下采样以形成下采样重构关键帧；针对每个下采样重构关键帧，形成下采样非关键帧和所述下采样重构关键帧之间的差；对每个差进行上采样以形成上采样差；将每个重构关键帧添加到各个上采样差以形成修订上采样差；以及将所述修订上采样差相加在一起以形成补偿非关键帧。

根据第六方面，提供了一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，该方法包括：提供重构关键帧；对每个重构关键帧和非关键帧之间的下采样差进行上采样以形成上采样差；将每个上采样差添加到各个重构关键帧以形成修订上采样差；以及将所述修订上采样差相加在一起以形成补偿非关键帧。

根据第七方面，提供了一种用于在图像的解码期间对更新还是不更新所述图像的非关键帧部分进行估计的方法，该方法包括：提供第一非关键帧部分；提供关键帧部分和所述关键帧部分的上采样版本之间的差异关键帧部分；将所述差异关键帧部分添加到所述第一非关键帧部分以形成第二非关键帧部分；对所述第二非关键帧部分进行下采样；估计下采样的第二非关键帧部分和下采样的第一非关键帧部分之间的差异部分是否小于阈值；如果所述差异部分小于所述阈值，则将所述非关键帧部分更新至所述第二非关键帧部分；以及如果所述差异部分不小于所述阈值，则保持所述第一非关键帧部分。

根据第八方面，提供了一种用于在图像的解码期间更新所述图像的非关键帧部分的方法，该方法包括：提供第一非关键帧部分；提供关键帧部分和所述关键帧部分的上采样版本之间的差异关键帧部分；将所述差异关键帧部分添加到所述第一非关键帧部分以形成第二非关键帧部分；对所述第二非关键帧部分进行下采样；形成下采样的第一非关键帧部分和下采样的第二非关键帧部分之间的差；对所述差进行上采样；以及将上采样的差添加到所述第二非关键帧部分以形成更新非关键帧部分。

根据第九方面，提供了一种用于在图像的解码过程期间对是否将时间边缘补偿施加到所述图像的非关键帧部分进行估计的方法，该方法包括：提供所述图像的关键帧部分；对所述关键帧部分进行下采样以形成下采样关键帧部分；对所述下采样关键帧部分进行上采样以形成上采样关键帧部分；估计所述上采样关键帧部分和未补偿的非关键帧部分之间的差是否小于阈值；如果所述差小于所述阈值，则通过向所述非关键帧部分添加所述关键帧部分和所述上采样关键帧部分之间的差，补偿所述非关键帧部分；以及如果所述差不小于所述阈值，则保持未补偿的非关键帧部分。

根据第十方面，提供了一种用于在图像的解码过程期间对是否将时间边缘补偿施加到所述图像的非关键帧进行估计的方法，该方法包括：提供所述图像的第一关键帧部分和第二关键帧部分；对所述图像的第一关键帧部分和第二关键帧部分进行下采样，以形成下采样的第一关键帧部分和下采样的第二关键帧部分；对下采样的第一关键帧部分和下采样的第二关键帧部分进行上采样，以形成上采样的第一关键帧部分和上采样的第二关键帧部分；估计上采样的第一关键帧部分和未补偿的非关键帧部分之间的第一差是否小于阈值；估计上采样的第二关键帧部分和未补偿的非关键帧部分之间的第二差是否小于所述阈值；如果所述第一差和所述第二差小于所述阈值，则通过向所述非关键帧部分添加所述第一关键帧部分和上采样的第一关键帧部分之间的差以及所述第二关键帧部分和上采样的第二关键帧部分之间的差之和，补偿所述非关键帧部分；如果所述第一差小于所述阈值而所述第二差不小于所述阈值，则通过向所述非关键帧部分添加所述第一关键帧部分和上采样的第一关键帧部分之间的差，补偿所述非关键帧部分；如果所述第一差不小于所述阈值而所述第二差小于所述阈值，则通过向所述非关键帧部分添加所述第二关键帧部分和上采样的第二关键帧部分之间的差，补偿所述非关键帧部分；以及如果所述第一差和所述第二差不小于所述阈值，则保持未补偿的非关键帧部分。

根据第十一方面，提供了一种用于在图像的解码期间对更新还是不更新所述图像的非关键帧部分进行估计的方法，该方法包括：提供第一非关键帧部分；提供每个关键帧部分和关键帧部分的上采样版本之间的多个差异关键帧部分；将每个差异关键帧部分添加到各个非关键帧部分以形成多个第二非关键帧部分；对每个第二非关键帧部分进行下采样；估计每个下采样的第二非关键帧部分和下采样的第一非关键帧部分之间的一个或多个差异部分是否小于阈值；如果一个或多个差异部分小于所述阈值，则更新所述非关键帧部分，否则保持所述第一非关键帧部分。

根据第十二方面，提供了一种用于在图像的解码期间更新所述图像的非关键帧部分的方法，该方法包括：提供第一非关键帧部分；提供关键帧部分和关键帧部分的各个上采样版本之间的多个差异关键帧部分；将所述差异关键帧部分添加到所述第一非关键帧部分以形成第二非关键帧部分；对所述第二非关键帧部分进行下采样；形成下采样的第一非关键帧部分和下采样的第二非关键帧部分之间的差；对所述差进行上采样；以及将上采样的差添加到所述第二非关键帧部分以形成更新非关键帧部分。

根据第十三方面，提供了一种用于通过图像的相邻帧来增强所述图像的重构帧的方法，该方法包括：对将要增强的帧的重构相邻帧进行下采样以形成下采样重构帧；对所述下采样重构帧进行上采样以形成上采样重构帧；形成所述重构帧和所述上采样重构帧之间的差；以及将所述差添加到将要增强的重构帧。

根据第十四方面，提供了一种用于通过图像的相邻帧来增强所述图像的帧的方法，该方法包括：对将要增强的帧的重构相邻帧进行下采样以形成下采样重构帧；形成将要增强的下采样帧和下采样重构关键帧之间的差；对所述差进行上采样以形成上采样差；以及将所述上采样差添加到所述重构相邻帧。

根据第十五方面，提供了一种用于通过图像的相邻帧来增强所述图像的帧的方法，该方法包括：形成将要增强的帧和相邻帧之间的差；对所述差进行下采样以形成下采样差；对所述下采样差进行上采样以形成上采样差；对所述相邻帧进行重构；以及将所述上采样差添加到重构的相邻帧。

根据第十六方面，提供了一种用于通过图像的相邻帧来增强所述图像的帧的方法，该方法包括：对多个重构相邻帧进行下采样以形成下采样重构相邻帧；对所述下采样重构相邻帧进行上采样以形成上采样重构相邻帧；形成所述重构相邻帧和各个上采样重构相邻帧之间的差；以及将所述差之和添加到重构帧以增强所述重构帧。

根据第十七方面，提供了一种用于通过图像的相邻帧来增强所述图像的帧的方法，该方法包括：对重构相邻帧进行下采样以形成下采样重构相邻帧；针对每个下采样重构相邻帧，形成将要增强的下采样帧和所述下采样重构相邻帧之间的差；对每个差进行上采样以形成上采样差；将每个重构相邻帧添加到各个上采样差以形成修订上采样差；以及将所述修订上采样差相加在一起以形成增强帧。

根据第十八方面，提供了一种用于通过图像的相邻帧来增强所述图像的帧的方法，该方法包括：提供重构相邻帧；对每个重构相邻帧和将要增强的帧之间的下采样差进行上采样以形成上采样差；将每个上采样差添加到各个重构相邻帧以形成修订上采样差；以及将所述修订上采样差相加在一起以形成增强帧。

根据进一方面，公开了一种用于根据本申请的方法中的任何一种来处理图像的一个或多个帧的系统。

根据另一方面，公开了一种用于处理图像的一个或多个帧的本申请的方法中的任何一种的用途。

根据还有另一方面，公开了一种包含指令集合的计算机可读介质，所述指令集合使计算机执行本申请的方法中的任何一种。

附图说明

图1示出了使用元数据来实现时间可缩放性的系统的示意图。

图2示出了其中元数据被用来添加时间可缩放性的示意图。

图3示出了其中对于非关键帧的元数据编码使用关于关键帧的信息的类似于图2的示意图。

图4示出了当来自关键帧的辅助信息被用来预测插值帧时用来描述非关键帧的根据图3的元数据的例子。

图5示出了由下采样和上采样引起的丢失边缘信息的例子。

图6示出了具有边缘增强的非关键帧的计算的框图。

图7示出了根据本公开实施例的图像改进的例子。在图7中使用的下采样率为4×4。

图8和9示出了针对图6实施例的计算代替。

图10A、10B和10C示出了具有双向时间边缘补偿的框图。

图11示出了针对类型I辅助帧元数据的双向时间边缘补偿的例子。

图12示出了用于使用阈值来计算约束时间边缘补偿的流程图。

图13示出了用于使用校正来计算约束时间边缘补偿的流程图。

图14示出了用于使用具有一个参考关键帧的条件时间边缘补偿来计算每个像素的流程图。

图15示出了用于使用双向条件时间边缘补偿来计算每个像素的流程图。

图16示出了用于使用边缘图滤波来计算时间边缘补偿的流程图。

图17示出了用于使用运动补偿边缘图来计算时间边缘补偿的流程图。

图18示出了使用和不使用时间边缘增强后处理技术的结果的表，其中下采样率为4×4。

具体实施方式

本公开应对时间可缩放性。时间可缩放性被定义为这样一种特征，该特征允许针对给定情形（例如通过解码器）选择适当的帧率。

许多标准具有提供其中描述了流的内容的字段的机制。大多数解码器恰好略过这样的字段。典型的使用包括其中视频被拍摄的地点、视频中示出的人们的名字或者制作视频时涉及的人们的名字。因为这种信息的高水平性质，通常称之为元数据。

由于用于添加元数据的语法允许任何种类的数据，所以本公开中描述的额外信息可以嵌入在视频流中作为元数据。因为这一点，如在本公开中使用的那样的术语元数据指的是对视频的任何额外描述，而非只是关于视频内容的高水平数据。

本公开的实施例涉及视频流的时间可缩放性的区域。换言之，编码器将少量信息添加到压缩流，以便接收解码器可以取决于条件选择以全帧率或减少的速率来播放视频。如在以下描述中表明的那样，元数据可以有助于实现时间可缩放性。根据本公开实施例的后处理方法可以通过添加时间边缘信息来进一步提高视觉质量。

图1示出了使用元数据和后处理来引入和使用时间可缩放性的转换系统（100）。转换系统（100）可以包括以下阶段中的一个或多个。在第一阶段中，处在原始源帧率f_S下的帧被转换到目标帧率f_T。对任意帧率转换框（110）进行参考。在这个阶段中可以应用任何现有的帧率转换方法。在第二阶段中，处在速率f_T下的序列被分成两个类型的帧序列：关键帧序列和非关键帧序列。关键帧是主位流中的帧，稍后将会以减少的速率在解码器中播放。非关键帧包含额外信息，如稍后详细地说明的那样，并且可以在解码器处与重构关键帧一起播放以实现全帧率。使用传统的视频编码方法如H.264/AVC对关键帧进行编码（120）。通过元数据来表达非关键帧（130）。稍后会详细地描述的图2和3将会示出元数据生成框（130）的例子。在图2的实施例中，元数据是非关键帧的下采样版本。在图3的实施例中，元数据是非关键帧和来自关键帧的辅助信息之间的差的下采样版本。因此，元数据描述了关于帧的一定信息，并且与对全帧进行编码相比可以以较低的比特率进行编码。除了关键帧之外，元数据还可以是任何东西，并且有助于重构全速率序列。典型的元数据包含关于非关键帧的信息。在解码器处，使用相应的视频解码器对关键帧进行解码（140）。用于非关键帧的元数据被提取（150）以帮助重构非关键帧。稍后会详细地描述的图2和3将会示出元数据解析框（140）的例子。尽管在本公开的一些实施例中，重构可以通过元数据而发生，但是其中使用非常少或者根本不使用元数据来创建重构非关键帧的实施例也是可能的。

在一个实施例中，关键帧可以被分类，以便全部的原始源帧都被分类为关键帧并且f_K=f_S，其中f_K是关键帧的帧率。在这种情况下，根据通过帧率转换创建的帧，元数据生成框（130）将会接收f_T-f_S帧每秒下的数据。f_K的其它值是可能的，并且特别地，可以针对处于原始源中的帧生成元数据。换言之，不需要全部源帧都被分类为关键帧。

以下段落将会首先参考图2和3来描述元数据生成和解析（参见图1的框（130）和（150））的两个实施例。其后，将会讨论边缘增强后处理方法（参见图4），其提供了使用时间边缘增强来提高非关键帧的视觉质量的第三阶段后处理。

图2示出了元数据生成与解析的第一实施例（200）。如参考图1已经讨论的那样，使用视频编码方法如H.264/AVC对关键帧（210）进行编码（220），并且使用相应的视频解码器进行解码（230）。非关键帧（240）被表达为元数据，并且在以下字里行间中将会被称为类型I辅助帧。原始全分辨率非关键帧可以被指示为f。辅助帧是被指示为

的下采样帧。D(·)指示下采样运算符。下采样滤波器（250）可以是双线性、双三次、最近邻域和Lanczos核心再采样滤波器。例如，最近邻域滤波将最近邻域的像素值分配给当前位置。双线性滤波的一个例子导出四个最近邻域（A、B、C和D，例如上下左右邻域）的加权和，并且使用它作为用于当前位置X的像素值。

p_X＝w_Ap_A+w_Bp_B+w_Cp_C+w_Dp_D.    (1)

这里，P_i指示位置i（i=X，A，B，C，D）处的像素值，而w_i则指示针对位置i的相应权重。

下采样帧可以被直接发送到解码器，或者可以使用视频压缩方法进行编码（260）。由于下采样帧的分辨率比原始全分辨率帧小得多，所以需要低得多的比特率和解码复杂度。在解码器处，解码（270）的下采样帧

被上采样（280）以重构

U(·)指示上采样运算符。上采样滤波器（280）可以是在编码器阶段使用的下采样滤波器的相应滤波器。例如，如果下采样滤波器是双线性，则上采样滤波器也是双线性。如果下采样滤波器是双三次，则上采样滤波器也可以是双三次。

图3示出了元数据生成和解析的第二实施例（300）。使用视频编码方法如H.264/AVC对关键帧（310）进行编码（320），并且使用相应的视频解码器进行解码（330）。非关键帧（340）被表达为元数据，其被称为类型II辅助帧。在编码器处，从关键帧中生成插值帧（350）作为辅助信息。然后，原始帧和辅助信息帧之间的差异帧（360）被下采样（270）并表达为元数据。元数据可以直接被发送到解码器，或者通过一些图像/视频编码方法进行压缩（380）。在解码器处，元数据被解析（385），并且下采样差异帧被上采样（390）至原始尺寸。由于关键帧在编码器和解码器两者处都可得，所以使用与编码器中相同的算法来生成辅助信息帧（391）。最后，辅助信息帧（391）和上采样差异帧（392）相加以重构非关键帧（395）。

如通过图3的布置产生的那样的辅助信息生成（400）的例子示出在图4中，其中线性插值被施加到相邻的以前（410）和下一（420）关键帧以生成插值帧（430）。然后，原始非关键帧（450）和插值帧（430）之间的差异帧（440）被导出，其被下采样（460）以生成元数据。

可以使用运动补偿时间插值方法来生成辅助信息的另一个实施例，该方法可以用公式表达为：

p_I(x，y)＝p_R(x-Δx，y-Δy).(2)

P_I(x,y)指示位置（x，y）处的插值帧的像素值，而P_R(x,y)则指示参考帧的像素值。在这种情况下，以前重构的关键帧可以充当参考帧。插值帧中的每个像素或每个块与运动矢量（Δx,Δy）相关联。运动矢量描述了对象在插值帧和参考帧之间的运动轨迹。通过如方程（2）中那样的运动矢量的转移，可以从参考帧中重构插值帧。可以通过重构帧的运动估计来导出运动矢量。还可以从源帧的位流中的运动矢量中导出运动矢量。在辅助信息的生成中可以使用多个关键帧。另外，辅助信息不仅可以从关键帧中提取，而且还可以从非关键帧中提取。

在以前的图1-4中讨论的使用元数据的帧率转换方法发送下采样内容作为元数据。解码器处的上采样过程可能导致模糊和其它假象。在以下段落中，将会讨论后处理方法，其使用时间边缘补偿来增强用于使用元数据的帧率转换的边缘信息。这种方法的实施例使用来自接收的关键帧的边缘信息以提高非关键帧的质量。

应当注意的是，以前的压缩技术，包括在图1-4中示出的技术，假定因为非关键帧描述处于减少的分辨率下，所以来自相邻帧的辅助信息也应当在低分辨率下使用。虽然这对于预测是成立的，但是申请人已注意到随后将高频信息应用于全分辨率相邻帧的益处。由于使得难以决定高频所属的帧之间运动的可能性，这种使用是违反直觉的。

根据几个实施例，本公开的时间边缘补偿方法使用相邻关键帧的边缘来补偿非关键帧处的丢失边缘信息。非关键帧的高频内容在下采样和随后的上采样过程期间丢失。在解码器处执行相邻关键帧处的类似下采样和上采样。关键帧的高频内容被用来补偿重构非关键帧。

如图5的示例性描绘（500）中示出的那样，全分辨率非关键帧被指示为f，并且下采样帧被指示为

上采样重构被指示为类似地，相邻关键帧的解码全分辨率、下采样和上采样版本分别被指示为g、

和

典型地，相邻关键帧是在时间索引中紧接于当前帧的关键帧。时间索引是根据帧的拍摄时间的帧号索引。如图5所示，对于关键帧和非关键帧两者而言，锐利的边缘在下采样和上采样过程期间都丢失。差异图像

和（为了易于可视化进行了放大）被称为丢失边缘图。所述图示出了下采样和上采样过程期间的丢失高频内容。如在图5中看到的那样，对于相邻帧而言，差异图像彼此类似，甚至对于具有相对复杂的运动的序列也是如此。这表明相邻关键帧处的丢失高频内容与上采样非关键帧中的丢失高频内容高度相关。

基于这种观察，根据本公开实施例的时间边缘补偿方法在解码器处应用来自g的丢失边缘图以针对中的边缘信息进行补偿：

$f^{\′}=\tilde{f}+(g-\tilde{g})---\left(3\right)$

如图6的布置（600）中示出的那样，使用从f中生成

的相同滤波器（610），可以对重构关键帧g进行下采样（610）以生成下采样帧

换言之，根据本公开的实施例，图6在解码器处的滤波器（610）可以等同于图2的编码器处的框（250）或图3的框（370）。使用从

中生成

的相同滤波器，下采样帧

可以被上采样（620）至原始尺寸如

换言之，根据本公开的实施例，图6在解码器处的滤波器（620）可以等同于图2的编码器处的框（280）或图3的框（390）。第一加法器（630）生成边缘图

第二加法器（640）使用边缘图

来补偿

并且生成边缘增强的非关键帧f'。如同样在上面提到的那样，关键帧g是非关键帧f的相邻关键帧。例如，如果序列的第N帧是非关键帧，并且序列的第（N-1）帧是关键帧，那么第（N-1）帧是第N非关键帧的相邻关键帧。

图7示出了上面在图5和6中讨论的时间边缘增强实施例的三个例子。移动（mobile）CIF（插图a和b）、风暴（tempete）CIF（插图c和d）和慢摇摄（panslow）720p（插图e和f）序列被以比率4×4下采样并且被上采样至原始尺寸。在mobile CIF序列中，没有后处理

的上采样图像（参见插图a）是模糊的，并且日历上的数字字迹模糊，如加亮部分（710）中示出的那样。在时间边缘增强后处理之后，重构

（参见插图b）示出了清楚得多的数字的视图（720）。在tempete CIF序列中，与模糊的版本

（参见插图c和视图（740））相比，使用

完美地重构了花的纹理（参见插图d和视图（730））。类似地，panslow 720p序列中的仪表板的直线被下采样扭曲（插图e和视图（750）），并且用边缘增强校正（插图f和视图（760））。

图8和9示出了基于图6教导的本公开的另外实施例。

特别地，方程（3）的后处理

可以再用公式表达为：

$f^{\′}=g+(\tilde{f}-\tilde{g}).---\left(4\right)$

在方程（4）中，对于后处理应用上采样关键帧

和非关键帧

之间的差。代替地，如图8中同样示出的那样，生成下采样关键帧

和下采样非关键帧之间的差异图像（810）。在接下来的步骤中，差异图像

被上采样（820）并相加到重构关键帧：

$f^{\′\′}=g+U(\hat{f}-\hat{g}).---\left(5\right)$

如图8在解码器处的后处理框中示出的那样，元数据也是

如通过方程（3）以前指定的方法中那样。在这种情况下，重构关键帧g在解码器处被下采样（830）至

然后，差

被上采样（820）至原始尺寸如f，并且被指示为U

然后相加（840）到重构关键帧g以形成边缘增强的重构非关键帧f″。

另一方面，根据图9的实施例，原始非关键帧和关键帧之间的下采样差异图像D(f-g)（910）可以被发送，在解码器处上采样（920），并且添加到重构关键帧：

f″′＝g+U(D(f-g)).(6)

如图9所示，元数据D(f-g)（910）是关键帧g和非关键帧f之间的差异帧的下采样版本。然后，D(f-g)被上采样（920）至原始尺寸如f，并且被表示为U(D(f-g))。上采样差异然后被添加（930）到重构关键帧g以重构边缘增强的非关键帧f″′。一般而言，差异f–g的下采样发生在编码器处，以减少元数据的尺寸。然而，如果元数据的数据率不相关，则这样的下采样也可以发生在解码器处。

图6-9的实施例仅使用来自一个相邻关键帧g的边缘信息用于时间边缘补偿。现在来讨论这样的实施例，在所述实施例中，提供了基于两个相邻关键帧例如以前和随后关键帧的双向时间边缘补偿。在以下段落中将会讨论具有一个以前关键帧和一个随后关键帧的实施例。然而，本领域技术人员将会理解的是，其它实施例也是可能的，比如两个以前关键帧或两个随后关键帧。

随后（或第二相邻）关键帧将会被指示为h。相似的下采样和上采样过程可以被应用以生成下采样版本

和上采样版本

双向时间边缘补偿可以被定义为：

在图10A中示出了示意图，该示意图示出了根据本公开的进一步实施例的双向时间边缘补偿。以前（或第一相邻）关键帧g被下采样（1010）至下采样帧

被上采样（1020）至原始尺寸如g，并且被指示为

第一加法器（1030）生成边缘图

边缘图然后乘以

（1040）以生成

相同的过程（1050、1060、1070、1080）应用于下一关键帧h以生成

这两项被相加（1090）到重构非关键帧

以生成边缘增强的非关键帧。

在图10A中，用于边缘图的权重是作为例子的

可以以其它方式定义用于边缘图的权重。例如，权重可以反比于目标非关键帧和源关键帧之间的时间距离。例如，如果关键帧g是第（N-1）帧，非关键帧f是第（N）帧，并且关键帧h是第（N+1）帧，则g和f之间的时间距离为1，f和h之间的时间距离为1，并且权重每个可以是1/2。另一方面，如果关键帧g是第（N-1）帧，非关键帧f是第（N）帧，并且关键帧h是第（N+2）帧，那么g和f之间的时间距离为1，f和h之间的时间距离为2，并且框（1040）和（1080）的权重分别可以是2/3和1/3。加权参数也可以是固定或自适应参数。另外，可以取决于当前非关键帧和参考关键帧之间的差来定义加权参数。

根据以下方程（7b）和（7c），如图10B和10C中示出的那样，基于方程（5）和（6）中示出的方法（参见图8和9）的类似扩展也可以应用于双向时间边缘增强：

$f^{\′\′}=\frac{1}{2}[g+U(\hat{f}-\hat{g})]+\frac{1}{2}[h+U(\hat{f}-\hat{h})]---\left(7b\right)$

$f^{\′\′\′}=\frac{1}{2}[g+U\left(D(f-g)\right)]+\frac{1}{2}[h+U\left(D(f-h)\right)]---\left(7c\right)$

图11示出了针对类型I辅助帧元数据（参见图2所示的编码/解码过程）的双向时间边缘补偿的例子。下采样版本用作当前帧的元数据，其中下采样率例如为4×4。换言之，下采样图片的尺寸为原始帧的1/16。以前和下一关键帧使用H.264/AVC进行编码和解码，这样一来就对应于图10A的重构关键帧g和h。当前帧是非关键帧，并且元数据是下采样帧

通过对元数据进行上采样获得的重构非关键帧对应于图10A中的

元数据也使用H.264/AVC进行编码和解码。重构关键帧被下采样和上采样以生成高频边缘信息。如上面的方程（7A）-（7C）所示的双向边缘补偿被施加到上采样非关键帧以改进元数据的边缘信息。

双向边缘补偿可以进一步扩展到使用K个关键帧（K≥2）的多帧时间边缘补偿。来自这K个关键帧的边缘图的加权和可以用来改进非关键帧的边缘。典型地，关键帧将会接近于非关键帧以便具有类似的边缘。在另一个实施例中，可以从K个关键帧中适应性选择L个（L≤K）关键帧以实现目标。可以在对重构的L个关键帧进行下采样/上采样之前或者在已对K个重构的关键帧进行上采样之后进行适应性选择。通过将K个关键帧与当前非关键帧相比较并且选择L个最接近的关键帧，可以进行适应性选择。换言之，规格被设立以确定帧的相似度，并且选择可以具有与当前帧相似的边缘的L个关键帧。进而，K个帧可以既包括关键帧，又包括以前后处理过的非关键帧。

上采样和后处理两者都旨在基于下采样信息恢复原始信息。这可以表达为以下优化问题：

$f_{\mathrm{opt}}=\underset{f^{\′}}{\mathrm{arc}\min }|f^{\′}-f|---\left(8\right)$

本公开的以前部分中的后处理实施例（参见图6、8、9和10）可以被认为是无约束的优化，因为从关键帧导出的丢失边缘图被应用于上采样非关键帧，而不考虑作为结果的帧对于未处理的帧有多么接近。这可能导致在应当保存的区域中过度处理。理想地，后处理的帧应当仍然被认为是

的上采样版本。换言之，如果使用相同的下采样滤波器对后处理的非关键帧进行下采样，则应当仍然产生非常接近于

的下采样图像。在这种约束时间边缘补偿情况下，优化问题可以用公式表达为：

$f_{\mathrm{opt}}=\underset{f^{\&prime;}\&Element;F}{\mathrm{arc}\min }|f^{\&prime;}-f|,$ 其中 $F=\{f^{\&prime;}:|D\left(f^{\&prime;}\right)-\hat{f}|<T\}---\left(9\right)$

其中T是耐受阈值。

这样的约束可以应用于在本公开中提议的全部重构方案。作为例子，方程（4）的后处理方案将会被用来示意这样的约束后处理。

为了便于处理的额外回合的讨论，原始下采样版本可以被定义为

解码器处的上采样版本被指示为

如方程（4）中那样的第一回合重构为

例如使用与用于生成

的下采样滤波器相同的下采样滤波器，将这个重构下采样至

类似地，第k回合重构是f_(k)，并且其下采样版本是

该问题可以用公式表达为：

以

为条件，使|f_(k)-f|最小化（10）

由于原始源f在解码器处是未知的，所以优化可以通过逼近来解决。在下面的实施例中将会示出三个约束优化。

如图12所示，用于约束优化的第一种方法基于

和

之间的像素差来更新后处理结果。第一加法器（1210）相加重构非关键帧

和边缘图以获得第一回合重构f₍₁₎。

使用与生成

相同的滤波器将第一回合重构下采样（1220）至

如果下采样版本的相应位置处的像素差小于阈值T，则边缘补偿被接受（1230）f₍₂₎＝f₍₁₎。否则，边缘增强被认为漂移，并且原始上采样帧被恢复（1240）为重构

标度因子可以被指示为α×α。标度因子被定义为原始关键帧的尺寸和元数据的尺寸之间的比率。作为例子，如果原始关键帧具有（352×288）通用中间视频格式（CIF），并且非关键帧被下采样至（176×144）四分之一CIF（QCIF）视频格式以生成元数据，则标度因子为2×2。f₍₂₎的位置(i，j)处的边缘补偿的决定基于

和

之间的位置

处的像素差。这里表示x的底运算，

并且Z是整数的集合。参考图12讨论的更新可以用公式表达为：

$f_{\left(2\right)}=\left\{\begin{array}{cc}{f}_{\left(1\right)}& |{\hat{f}}_{\left(0\right)}-{\hat{f}}_{\left(1\right)}|<T\\ {\tilde{f}}_{\left(0\right)}& |{\hat{f}}_{\left(0\right)}-{\hat{f}}_{\left(1\right)}|\&GreaterEqual;T\end{array}\right..---\left(11\right)$

逐步求精的另外迭代可以被用来进一步提高质量，直到收敛为止。例如，在以下方程（12）中，固定的数或单调递减系列T_k用作阈值。迭代算法利用了边缘信息以及下采样帧的约束。

$f_{\left(k\right)}=\left\{\begin{array}{cc}{f}_{(k-1)}& |{\hat{f}}_{(k-2)}-{\hat{f}}_{(k-1)}|<T_k\\ {\tilde{f}}_{\left(0\right)}& |{\hat{f}}_{(k-2)}-{\hat{f}}_{(k-1)}|\&GreaterEqual;T_k\end{array}\right.,k\&GreaterEqual;2---\left(12\right)$

直到帧中的全部下采样像素差都小于阈值T_k为止，算法停止。在实践中，为了保持解码器处的低后处理复杂度，可以使用一个或两个回合的精细化，这在大多数情况下是足够的。

如图13所示，用于约束优化的第二种方法将上采样差

作为校正项添加到重构f₍₁₎。第一加法器（1310）对重构非关键帧

和边缘图进行相加以获得第一回合重构f₍₁₎，其使用与生成

相同的滤波器进行下采样（1320），这与在图12中已经讨论的相类似。然而，在这种情况下，第二加法器（1330）提供了差异子采样帧

其然后被上采样（1340）以生成

最后

相加（1350）到f₍₁₎，使得获得f₍₂₎。以这种方式，漂移的边缘增强被减少：

$f_{\left(2\right)}=f_{\left(1\right)}+U({\hat{f}}_{\left(0\right)}-{\hat{f}}_{\left(1\right)})---\left(13\right).$

这种方法可以扩展到逐步求精迭代版本。在以下方程（14）中，步长Δ_k与差异帧

相乘以控制收敛速度。例如，Δ_k可以是单调递减系列（或

），其中Δ是固定步长。

$f_{(k+1)}=f_{\left(k\right)}+{\mathrm{\&Delta;}}_{k}U({\hat{f}}_{\left(0\right)}-{\hat{f}}_{\left(k\right)}),k\&GreaterEqual;2---\left(14\right)$

用于防止过度处理的第三方式是有条件地施加时间边缘补偿。做出决定以确定是否应当施加时间边缘补偿。在其中当前关键帧高度相关于参考非关键帧的区域中，施加时间边缘补偿。否则，禁止时间边缘补偿。一个实施例可以用公式表达为：

$f^{\&prime;}=\left\{\begin{array}{cc}\tilde{f}+(g-\tilde{g})& |\tilde{f}-\tilde{g}|<T\\ \tilde{f}& |\tilde{f}-\tilde{g}|\&GreaterEqual;T\end{array}\right..---\left(15\right)$

如图14所示，基于像素级的差做出是施加还是不施加时间边缘补偿的决定。相邻关键帧g被下采样（1420）至

下采样帧

被上采样（1430）至原始尺寸如g，并且被指示为

决定框（1410）计算

和

之间的绝对距离。如果

大于或等于阈值T，则时间边缘补偿被禁止（1440）并且

如果

小于阈值T，则时间边缘补偿被施加（1450）并且 $f^{\&prime;}=\tilde{f}+(g-\tilde{g}).$

有条件的时间边缘补偿的另一个实施例可以应用于其中两个参考非关键帧可用的情况，并且用公式表达为：

$f^{\&prime;}=\left\{\begin{array}{cc}\tilde{f}+\frac{(g-\tilde{g}+h-\tilde{h})}{2}& |\tilde{f}-\tilde{g}|<T,|\tilde{f}-\tilde{h}|<T\\ \tilde{f}+(g-\tilde{g})& |\tilde{f}-\tilde{g}|<T,|\tilde{f}-\tilde{h}|\&GreaterEqual;T\\ \tilde{f}+(h-\tilde{h})& |\tilde{f}-\tilde{g}|\&GreaterEqual;T,|\tilde{f}-\tilde{h}|<T\\ \tilde{f}& |\tilde{f}-\tilde{g}|\&GreaterEqual;T,|\tilde{f}-\tilde{h}|\&GreaterEqual;T\end{array}\right..---\left(16\right)$

在图15中示出了用于计算双向有条件时间边缘补偿的流程图。以前关键帧g被下采样（1510）至

下采样帧被上采样（1520）至原始尺寸如g，并且被指示为

下一关键帧h被下采样（1530）至

下采样帧被上采样（1540）至原始尺寸，并且被指示为

基于两个条件

和

做出决定（1550、1560、1570）。

如果

和

两者都大于或等于阈值T，则时间边缘补偿被禁止（1580）并且

如果大于或等于阈值并且

小于阈值，则在补偿（1585）

中使用来自关键帧h的时间边缘信息。如果

小于阈值并且

大于或等于阈值，则在补偿（1590）

中使用来自关键帧

的时间边缘信息。如果

和

两者都小于阈值，则双向时间边缘补偿被施加（1595）

$f^{\&prime;}=\tilde{f}+\frac{(g-\tilde{g})+(h-\tilde{h})}{2}.$

参考图16和17在接下来的段落中将会讨论可以应用于本公开的进一步另外的实施例。

从关键帧导出的边缘图包含各种来源的噪声和假象，比如压缩假象（例如振铃/轮廓/阻塞假象）。边缘图滤波可以用来去除或减少噪声，这会提高提议的后处理方法的质量。滤波器可以是低通滤波器、卡尔曼滤波器、解块滤波器、解卷积滤波器、贝叶斯滤波器、双边滤波器以及其它滤波器。使用图6的时间边缘实施例作为例子，在图16中示出了流程图。重构关键帧g被下采样（1610）以生成下采样帧

然后被上采样（1620）至原始尺寸，并且被指示为

第一加法器（1630）生成边缘图

边缘图穿过边缘图滤波（1640）以生成滤波的边缘图。第二加法器（1650）使用滤波的边缘图补偿

并且生成边缘增强的非关键帧。

通过考虑丢失边缘图中的运动可以实现进一步改进。可以在关键帧的边缘信息上施加运动补偿，以生成针对非关键帧的边缘信息的预测。如图17所示（其中作为例子再次对图6的实施例进行参考），重构关键帧g被下采样（1710）以生成下采样帧

然后被上采样（1720）至

第一加法器（1730）生成边缘图

边缘图被处理（1740）以生成运动补偿的边缘图。可以与针对运动补偿时间插值相类似的方式导出边缘图的运动矢量。第二加法器（1750）使用运动补偿的边缘图相加

并且生成边缘增强的非关键帧。作为例子，参考图8的实施例，可以在第一加法器和上采样器（820）之间或者在上采样器（820）和第二加法器（840）之间施加滤波/运动补偿。参考图9的实施例，可以在上采样器（920）之前或者之后施加滤波/运动补偿。参考图10的实施例，可以在乘法器（1040）、（1080）之前或者之后施加滤波/运动补偿。

上面已经描述过的图7已示出了具有对象比较的一些例子。图18示出了具有和不具有使用峰值信噪比（PSNR）的时间边缘补偿的客观质量比较。在这个例子中，类型I辅助帧元数据已被使用并且下采样率为4×4。关键帧和非关键帧两者都使用H.264/AVC进行编码和解码。过程遵循图11的示图。将如方程（4）中指定的单向时间边缘补偿和如方程（7）中指定的双向时间边缘补偿两者与没有后处理的情况

相比较。

关于基于元数据的技术的压缩效率，元数据的比特率取决于源序列的特性和编码结构。一般而言，元数据的比特率与元数据的分辨率近似成比例。例如，压缩流中的帧数等于用元数据表示的帧数。以与压缩流相同的编码结构对元数据进行编码。压缩流以全分辨率对源帧进行编码，而元数据则以子采样的分辨率对源帧进行编码。如果用2×2的下采样率来表示元数据，则元数据会添加大约25%比特率的压缩流。如果用4×4的下采样率来表示元数据，则元数据会添加大约6.25%比特率的压缩流。如果在对元数据进行编码时使用更多的B帧，则百分比可以进一步减少。根据本公开的边缘增强方法可以提高视觉质量，而不用发送任何额外的元数据。使用下采样率4×4已在图7中示出了一组例子。本领域技术人员将会意识到的是，考虑到图像质量方面的改进，特别是考虑到为了获得作为结果的优点而对于解码器和后处理器所需的低复杂度，数据方面的开销是可接受的。

本公开还针对不限于关键帧/非关键帧区分的实施例。例如，本申请的说明书和附图中示出的实施例还可用于如下情况：当前帧在处理链中丢失了它的高频分量或边缘，然后用相邻帧中的相应分量进行增强，假定相邻帧具有足够的可用高频分量或边缘。

本公开中描述的方法和系统可以用硬件、软件、固件或其组合来实施。被描述为框、模块或部件的特征可以一起实施（例如在逻辑装置如集成逻辑装置中），或者分开实施（例如作为分开连接的逻辑装置）。本公开的方法的软件部分可以包括计算机可读介质，该介质包括指令，所述指令在执行时至少部分地执行描述的方法。计算机可读介质例如可以包括随机存取存储器（RAM）和/或只读存储器（ROM）。指令可以由处理器（例如数字信号处理器（DSP）、专用集成电路（ASIC）或现场可编程逻辑阵列（FPGA））执行。

提供上面阐述的例子以给予本领域技术人员关于如何做出并使用本公开的使用元数据用于时间缩放的边缘增强的实施例的完整公开和描述，而不打算限制发明人认为是其公开的范围。用于执行本公开的上面描述的模式的修改可以由视频领域的技术人员使用，并且将会处于所附权利要求的范围之内。说明书中提到的全部专利和公布可以指示本公开所属的技术领域的技术人员的技术水平。本公开中引用的全部参考文件都像如下程度那样通过引用结合于此：仿佛每个参考文件都单独地以其整体通过引用结合于此。

应当理解的是，本公开并不限于具体的方法或系统，它们当然可以变化。还应当理解的是，在此使用的术语目的只是为了描述具体的实施例，而并不打算构成限制。如在本说明书和所附权利要求中使用的那样，单数形式“一”、“一个”和“所述”包括复数的所指对象，除非内容另外清楚地规定。术语“多个”包括两个或更多所指对象，除非内容另外清楚地规定。除非另外限定，在此使用的全部技术和科学术语都具有与本公开所属的技术领域中的技术人员通常理解的相同的含义。

已描述了本公开的若干实施例。尽管如此，将会理解的是，可以进行各种修改，而不背离本公开的精神和范围。因此，其它实施例处于所附权利要求的范围之内。

因此，本发明可以适当地包括、包含或基本上包含任何的要素（本发明的各种部件或特征及其等价物，如在此描述、当前现有和/或随后开发的那样）。进一步，在此示意性公开的本发明可以在没有任何要素的情况下实施，无论是否在此具体公开。明显地，考虑到上面的教导，本发明的众多修改和变更是可能的。因此要理解的是，在所附权利要求的范围之内，可以用除了在此具体公开之外的另外方式来实施本发明。

因此，本发明可以用在此描述的任何形式来实施，包括但不限于以下的列举示例实施例（EEE），其描述了本发明的一些部分的结构、特征和功能：

EEE1．一种用于通过图像的相邻关键帧来后处理所述图像的非关键帧的方法，包括：

对重构关键帧进行下采样以形成下采样重构关键帧；

对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；

形成所述重构关键帧和所述上采样重构关键帧之间的差；以及

将所述差添加到重构非关键帧，以补偿所述重构非关键帧。

EEE2．根据权利要求1所述的方法，其中，所述重构关键帧和所述上采样重构关键帧之间的差在被添加到所述重构非关键帧之前被滤波。

EEE3．根据权利要求1所述的方法，其中，所述重构关键帧和所述上采样重构关键帧之间的差在被添加到所述重构非关键帧之前被运动补偿。

EEE4．一种用于通过图像的关键帧来处理所述图像的非关键帧的方法，包括：

对重构关键帧进行下采样以形成下采样重构关键帧；

形成下采样非关键帧和下采样重构关键帧之间的差；

对所述差进行上采样以形成上采样差；以及

将所述上采样差添加到所述重构关键帧。

EEE5．根据权利要求4所述的方法，其中，所述关键帧是所述非关键帧的相邻关键帧。

EEE6．根据权利要求4所述的方法，其中，形成所述差、上采样和添加的步骤发生在所述图像的解码阶段。

EEE7．一种用于通过图像的相邻关键帧来处理所述图像的非关键帧的方法，包括：

形成所述非关键帧和所述关键帧之间的差；

对所述差进行下采样以生成下采样差；

对所述下采样差进行上采样以形成上采样差；

重构所述关键帧；以及

将所述上采样差添加到重构的关键帧。

EEE8．根据权利要求7所述的方法，其中，所述关键帧是所述非关键帧的相邻关键帧。

EEE9．根据权利要求7所述的方法，其中，上采样和添加的步骤发生在所述图像的解码阶段。

EEE10．一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，包括：

对多个重构关键帧进行下采样以形成下采样重构关键帧；

对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；

形成所述重构关键帧和各个上采样重构关键帧之间的差；以及

将所述差之和添加到重构非关键帧以补偿所述重构非关键帧。

EEE11．根据权利要求10所述的方法，其中，所述关键帧包括在所述非关键帧之前的一个或多个关键帧以及/或者在所述非关键帧之后的一个或多个关键帧。

EEE12．根据权利要求10所述的方法，其中，所述差是基于加权参数的加权差。

EEE13．根据权利要求12所述的方法，其中，所述加权参数取决于每个差的关键帧和非关键帧之间的时间距离。

EEE14．根据权利要求12所述的方法，其中，所述加权参数是固定参数。

EEE15．根据权利要求12所述的方法，其中，所述加权参数取决于当前非关键帧和参考关键帧之间的差。

EEE16．根据权利要求12所述的方法，其中，所述加权参数是自适应的。

EEE17．根据权利要求10所述的方法，其中，添加所述差之和被限制到参考所述关键帧的适应性选择的子集而形成的差之和。

EEE18．根据权利要求10所述的方法，其中，通过将以前后处理过的非关键帧纳入考虑来进一步补偿所述重构非关键帧。

EEE19．一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，包括：

对重构关键帧进行下采样以形成下采样重构关键帧；

针对每个下采样重构关键帧，形成下采样非关键帧和所述下采样重构关键帧之间的差；

对每个差进行上采样以形成上采样差；

将每个重构关键帧添加到各个上采样差以形成修订上采样差；以及

将所述修订上采样差相加在一起以形成补偿非关键帧。

EEE20．根据权利要求19所述的方法，其中，所述修订上采样差是基于加权参数的加权修订上采样差。

EEE21．根据权利要求20所述的方法，其中，所述加权参数取决于每个差的关键帧和非关键帧之间的时间距离。

EEE22．根据权利要求20所述的方法，其中，所述加权参数是固定参数。

EEE23．根据权利要求20所述的方法，其中，所述加权参数取决于当前非关键帧和参考关键帧之间的差。

EEE24．根据权利要求20所述的方法，其中，所述加权参数是自适应的。

EEE25．一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，包括：

提供重构关键帧；

对每个重构关键帧和非关键帧之间的下采样差进行上采样以形成上采样差；

将每个上采样差添加到各个重构关键帧以形成修订上采样差；以及

将所述修订上采样差相加在一起以形成补偿非关键帧。

EEE26．根据权利要求25所述的方法，其中，所述修订上采样差是基于加权参数的加权修订上采样差。

EEE27．根据权利要求26所述的方法，其中，所述加权参数取决于每个差的关键帧和非关键帧之间的时间距离。

EEE28．根据权利要求26所述的方法，其中，所述加权参数是固定参数。

EEE29．根据权利要求26所述的方法，其中，所述加权参数取决于当前非关键帧和参考关键帧之间的差。

EEE30．根据权利要求26所述的方法，其中，所述加权参数是自适应的。

EEE31．一种用于在图像的解码期间对更新还是不更新所述图像的非关键帧部分进行估计的方法，包括：

提供第一非关键帧部分；

提供关键帧部分和所述关键帧部分的上采样版本之间的差异关键帧部分；

将所述差异关键帧部分添加到所述第一非关键帧部分以形成第二非关键帧部分；

对所述第二非关键帧部分进行下采样；

估计下采样的第二非关键帧部分和下采样的第一非关键帧部分之间的差异部分是否小于阈值；

如果所述差异部分小于所述阈值，则将所述非关键帧部分更新至所述第二非关键帧部分；以及

如果所述差异部分不小于所述阈值，则保持所述第一非关键帧部分。

EEE32．根据权利要求31所述的方法，其中，关键帧是非关键帧的相邻帧。

EEE33．根据权利要求31或32所述的方法，其中，关键帧部分是关键帧的像素，并且非关键帧部分是非关键帧的像素。

EEE34．根据权利要求31-33中任何一项所述的方法，其中，使用递减的阈值迭代地执行估计步骤。

EEE35．一种用于在图像的解码期间更新所述图像的非关键帧部分的方法，包括：

提供第一非关键帧部分；

提供关键帧部分和所述关键帧部分的上采样版本之间的差异关键帧部分；

将所述差异关键帧部分添加到所述第一非关键帧部分以形成第二非关键帧部分；

对所述第二非关键帧部分进行下采样；

形成下采样的第一非关键帧部分和下采样的第二非关键帧部分之间的差；

对所述差进行上采样；以及

将上采样的差添加到所述第二非关键帧部分以形成更新非关键帧部分。

EEE36．根据权利要求35所述的方法，其中，关键帧是非关键帧的相邻帧。

EEE37．根据权利要求35或36所述的方法，其中，关键帧部分是关键帧的像素，并且非关键帧部分是非关键帧的像素。

EEE38．一种用于在图像的解码过程期间对是否将时间边缘补偿施加到所述图像的非关键帧部分进行估计的方法，包括：

提供所述图像的关键帧部分；

对所述关键帧部分进行下采样以形成下采样关键帧部分；

对所述下采样关键帧部分进行上采样以形成上采样关键帧部分；

估计所述上采样关键帧部分和未补偿的非关键帧部分之间的差是否小于阈值；

如果所述差小于所述阈值，则通过向所述非关键帧部分添加所述关键帧部分和所述上采样关键帧部分之间的差，补偿所述非关键帧部分；以及

如果所述差不小于所述阈值，则保持未补偿的非关键帧部分。

EEE39．根据权利要求38所述的方法，其中，关键帧是非关键帧的相邻帧。

EEE40．根据权利要求38或39所述的方法，其中，关键帧部分是关键帧的像素，并且非关键帧部分是非关键帧的像素。

EEE41．根据权利要求38-40中任何一项所述的方法，其中，使用递减的阈值迭代地执行估计步骤。

EEE42．一种用于在图像的解码过程期间对是否将时间边缘补偿施加到所述图像的非关键帧进行估计的方法，包括：

提供所述图像的第一关键帧部分和第二关键帧部分；

对所述图像的第一关键帧部分和第二关键帧部分进行下采样，以形成下采样的第一关键帧部分和下采样的第二关键帧部分；

对下采样的第一关键帧部分和下采样的第二关键帧部分进行上采样，以形成上采样的第一关键帧部分和上采样的第二关键帧部分；

估计上采样的第一关键帧部分和未补偿的非关键帧部分之间的第一差是否小于阈值；

估计上采样的第二关键帧部分和未补偿的非关键帧部分之间的第二差是否小于所述阈值；

如果所述第一差和所述第二差小于所述阈值，则通过向所述非关键帧部分添加所述第一关键帧部分和上采样的第一关键帧部分之间的差以及所述第二关键帧部分和上采样的第二关键帧部分之间的差之和，补偿所述非关键帧部分；

如果所述第一差小于所述阈值而所述第二差不小于所述阈值，则通过向所述非关键帧部分添加所述第一关键帧部分和上采样的第一关键帧部分之间的差，补偿所述非关键帧部分；

如果所述第一差不小于所述阈值而所述第二差小于所述阈值，则通过向所述非关键帧部分添加所述第二关键帧部分和上采样的第二关键帧部分之间的差，补偿所述非关键帧部分；以及

如果所述第一差和所述第二差不小于所述阈值，则保持未补偿的非关键帧部分。

EEE43．根据权利要求42所述的方法，其中，第一关键帧和第二关键帧是非关键帧的相邻帧。

EEE44．根据权利要求42或43所述的方法，其中，关键帧部分是关键帧的像素，并且非关键帧部分是非关键帧的像素。

EEE45．根据权利要求42-44中任何一项所述的方法，其中，使用递减的阈值迭代地执行估计步骤。

EEE46．一种用于在图像的解码期间对更新还是不更新所述图像的非关键帧部分进行估计的方法，包括：

提供第一非关键帧部分；

提供每个关键帧部分和关键帧部分的上采样版本之间的多个差异关键帧部分；

将每个差异关键帧部分添加到各个非关键帧部分以形成多个第二非关键帧部分；

对每个第二非关键帧部分进行下采样；

估计每个下采样的第二非关键帧部分和下采样的第一非关键帧部分之间的一个或多个差异部分是否小于阈值；

如果一个或多个差异部分小于所述阈值，则更新所述非关键帧部分，否则保持所述第一非关键帧部分。

EEE47．一种用于在图像的解码期间更新所述图像的非关键帧部分的方法，包括：

提供第一非关键帧部分；

提供关键帧部分和关键帧部分的各个上采样版本之间的多个差异关键帧部分；

将所述差异关键帧部分添加到所述第一非关键帧部分以形成第二非关键帧部分；

对所述第二非关键帧部分进行下采样；

形成下采样的第一非关键帧部分和下采样的第二非关键帧部分之间的差；

对所述差进行上采样；以及

将上采样的差添加到所述第二非关键帧部分以形成更新非关键帧部分。

EEE48．根据权利要求47所述的方法，其中，添加所述差异关键帧部分是加权添加。

EEE49．一种用于通过图像的相邻帧来增强所述图像的重构帧的方法，包括：

对将要增强的帧的重构相邻帧进行下采样以形成下采样重构帧；

对所述下采样重构帧进行上采样以形成上采样重构帧；

形成所述重构帧和所述上采样重构帧之间的差；以及

将所述差添加到将要增强的重构帧。

EEE50．根据权利要求49所述的方法，其中，将所述差添加到将要增强的重构帧通过将高频分量添加到重构帧来增强重构帧。

EEE51．一种用于通过图像的相邻帧来增强所述图像的帧的方法，包括：

对将要增强的帧的重构相邻帧进行下采样以形成下采样重构帧；

形成将要增强的下采样帧和下采样重构关键帧之间的差；

对所述差进行上采样以形成上采样差；以及

将所述上采样差添加到所述重构相邻帧。

EEE52．根据权利要求51所述的方法，其中，将所述上采样差添加到所述重构相邻帧通过将高频分量添加到所述图像的帧来增强所述图像的帧。

EEE53．一种用于通过图像的相邻帧来增强所述图像的帧的方法，包括：

形成将要增强的帧和相邻帧之间的差；

对所述差进行下采样以形成下采样差；

对所述下采样差进行上采样以形成上采样差；

对所述相邻帧进行重构；以及

将所述上采样差添加到重构的相邻帧。

EEE54．根据权利要求53所述的方法，其中，将所述上采样差添加到重构的相邻帧通过将高频分量添加到所述图像的帧来增强所述图像的帧。

EEE55．一种用于通过图像的相邻帧来增强所述图像的帧的方法，包括：

对多个重构相邻帧进行下采样以形成下采样重构相邻帧；

对所述下采样重构相邻帧进行上采样以形成上采样重构相邻帧；

形成所述重构相邻帧和各个上采样重构相邻帧之间的差；以及

将所述差之和添加到重构帧以增强所述重构帧。

EEE56．根据权利要求55所述的方法，其中，将所述差之和添加到重构帧通过将高频分量添加到重构帧来增强重构帧。

EEE57．一种用于通过图像的相邻帧来增强所述图像的帧的方法，包括：

对重构相邻帧进行下采样以形成下采样重构相邻帧；

针对每个下采样重构相邻帧，形成将要增强的下采样帧和所述下采样重构相邻帧之间的差；

对每个差进行上采样以形成上采样差；

将每个重构相邻帧添加到各个上采样差以形成修订上采样差；以及

将所述修订上采样差相加在一起以形成增强帧。

EEE58．根据权利要求57所述的方法，其中，相加所述修订上采样差通过将高频分量添加到帧来增强帧。

EEE59．一种用于通过图像的相邻帧来增强所述图像的帧的方法，包括：

提供重构相邻帧；

对每个重构相邻帧和将要增强的帧之间的下采样差进行上采样以形成上采样差；

将每个上采样差添加到各个重构相邻帧以形成修订上采样差；以及

将所述修订上采样差相加在一起以形成增强帧。

EEE60．根据权利要求59所述的方法，其中，相加所述修订上采样差通过将高频分量添加到帧来形成增强帧。

EEE61．一种用于根据权利要求1-60中任何一项所述的方法来处理图像的一个或多个帧的系统。

EEE62．一种用于处理图像的一个或多个帧的根据权利要求1-60中任何一项所述的方法的用途。

EEE63．一种包含指令集合的计算机可读介质，所述指令集合使计算机执行根据权利要求1-60中任何一项所述的方法。

Claims (24)

1.一种用于通过图像的相邻关键帧来后处理所述图像的非关键帧的方法，包括：

对重构关键帧进行下采样以形成下采样重构关键帧；

对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；

形成所述重构关键帧和所述上采样重构关键帧之间的差；以及

将所述差添加到重构非关键帧，以补偿所述重构非关键帧。

2.根据权利要求1所述的方法，其中，所述重构关键帧和所述上采样重构关键帧之间的差在被添加到所述重构非关键帧之前被滤波。

3.根据权利要求1所述的方法，其中，所述重构关键帧和所述上采样重构关键帧之间的差在被添加到所述重构非关键帧之前被运动补偿。

4.一种用于通过图像的关键帧来处理所述图像的非关键帧的方法，包括：

对重构关键帧进行下采样以形成下采样重构关键帧；

形成下采样非关键帧和下采样重构关键帧之间的差；

对所述差进行上采样以形成上采样差；以及

将所述上采样差添加到所述重构关键帧。

5.根据权利要求4所述的方法，其中，所述关键帧是所述非关键帧的相邻关键帧。

6.根据权利要求4所述的方法，其中，形成所述差、上采样和添加的步骤发生在所述图像的解码阶段。

7.一种用于通过图像的相邻关键帧来处理所述图像的非关键帧的方法，包括：

形成所述非关键帧和所述关键帧之间的差；

对所述差进行下采样以生成下采样差；

对所述下采样差进行上采样以形成上采样差；

重构所述关键帧；以及

将所述上采样差添加到重构的关键帧。

8.根据权利要求7所述的方法，其中，所述关键帧是所述非关键帧的相邻关键帧。

9.根据权利要求7所述的方法，其中，上采样和添加的步骤发生在所述图像的解码阶段。

10.一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，包括：

对多个重构关键帧进行下采样以形成下采样重构关键帧；

对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；

形成所述重构关键帧和各个上采样重构关键帧之间的差；以及

将所述差之和添加到重构非关键帧以补偿所述重构非关键帧。

11.根据权利要求10所述的方法，其中，所述关键帧包括在所述非关键帧之前的一个或多个关键帧以及/或者在所述非关键帧之后的一个或多个关键帧。

12.根据权利要求10所述的方法，其中，所述差是基于加权参数的加权差。

13.根据权利要求12所述的方法，其中，所述加权参数取决于每个差的关键帧和非关键帧之间的时间距离。

14.根据权利要求12所述的方法，其中，所述加权参数是固定参数。

15.根据权利要求12所述的方法，其中，所述加权参数取决于当前非关键帧和参考关键帧之间的差。

16.根据权利要求12所述的方法，其中，所述加权参数是自适应的。

17.根据权利要求10所述的方法，其中，添加所述差之和被限制到参考所述关键帧的适应性选择的子集而形成的差之和。

18.根据权利要求10所述的方法，其中，通过将以前后处理过的非关键帧纳入考虑来进一步补偿所述重构非关键帧。

19.一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，包括：

对重构关键帧进行下采样以形成下采样重构关键帧；

针对每个下采样重构关键帧，形成下采样非关键帧和所述下采样重构关键帧之间的差；

对每个差进行上采样以形成上采样差；

将每个重构关键帧添加到各个上采样差以形成修订上采样差；以及

将所述修订上采样差相加在一起以形成补偿非关键帧。

20.根据权利要求19所述的方法，其中，所述修订上采样差是基于加权参数的加权修订上采样差。

21.根据权利要求20所述的方法，其中，所述加权参数取决于每个差的关键帧和非关键帧之间的时间距离。

22.根据权利要求20所述的方法，其中，所述加权参数是固定参数。

23.根据权利要求20所述的方法，其中，所述加权参数取决于当前非关键帧和参考关键帧之间的差。

24.根据权利要求20所述的方法，其中，所述加权参数是自适应的。

Images