CN101237579B - 上变换解码的帧的帧频的设备和方法 - Google Patents

Abstract

提供了一种利用由视频解码器解码的帧以及运动信息来将帧频上变换的设备和方法。所述设备包括：运动矢量再采样单元，通过使用解码帧中的当前块的运动矢量和相邻块的运动矢量对当前块的运动矢量进行滤波而对用于内插帧的运动矢量进行再采样；运动补偿单元，用再采样的运动矢量补偿解码帧的运动，以生成内插帧；开关，根据帧的连续顺序选择性地输出解码帧和内插帧中的一个。

Description

上变换解码的帧的帧频的设备和方法

本申请要求于2007年2月2日提交到韩国知识产权局的第2007-11197号韩国专利申请的利益，该申请的公开通过引用包含于此。

技术领域

本发明的多个方面涉及一种视频编码技术，更具体地讲，涉及一种通过使用由视频解码器解码的帧以及运动信息来上变换帧频的设备和方法。

背景技术

随着信息和通信技术以及互联网的发展，视频通信、短消息通信以及语音通信也在增长。然而，传统的短消息为核心的通信方法不能满足用户的各种需求。因此，逐渐提出了能够融合短消息、图像、音乐等各种特点的多媒体服务。然而，多媒体数据量如此之大，使得需要海量存储装置以及用于数据传输的加宽的带宽。因此，为了传输包括短消息、图像和音频数据的多媒体数据，使用了编码压缩技术。

数据压缩的基本原理是消除数据冗余。通过消除空间冗余(例如，相同颜色或对象的重复)、时间冗余(例如，当运动图像帧中相邻帧改变很小时或者在音频文件中相同音调被重复时)以及视频冗余(考虑了人的视觉和感知对高频不敏感这一事实)可以压缩数据。在公知的视频编码方法中，通过基于运动补偿进行时域滤波来消除视频数据中的时间冗余，通过空间变换来消除空间冗余。

根据量化处理，已经消除了冗余的视频数据被有损地压缩。最后，量化的数据经过熵编码被无损地压缩。

在从大容量数据处理装置(例如，数字TV、DVD播放器等)到用于相对小容量的数据处理的移动装置(例如，移动电话、PDA(个人数字助理)、数字摄像机等)的各种装置中都采用了这种视频数据压缩技术。

通常，由于这些移动装置设置的数据存储空间、网络通信带宽以及数据处理容量不足，在这些移动装置中使用的视频数据的分辨率以及帧频相对较低。结果，当在移动装置中设置的液晶显示器(LCD)面板上生成视频图像时，低帧频的视频图像对用户来说会看起来更不自然。

为了克服这个问题，已经提出了用于编码的视频的帧频上变换技术。这种变换提高了以特定帧频编码的视频的帧频。例如，如图1所示，如果原始帧(编码的视频的帧)的帧频是15Hz，则通过将内插帧添加到每个帧中，可以获得总帧频为30Hz的视频帧。在这种情况下，从原始帧获得内插帧的方法是关键问题。然而，如果通过附加的运动估计(如在编码器中那样)获得内插帧，则需要量相当大的计算，因此，这不适合在移动装置中播放视频。

因此，有必要通过使用已经包含在编码的视频中的运动矢量而不进行额外的运动估计处理来实现帧频上变换。

发明内容

本发明的多个方面提供了一种通过从解码的运动矢量中再采样与真实运动相似的运动矢量来有效执行帧频上变换的方法。

根据本发明的一方面，提供了一种通过利用来自视频流的运动信息生成内插帧而将视频流的解码帧的帧频上变换的设备，所述设备包括：运动矢量再采样单元，通过使用运动信息对解码帧的当前块的运动矢量进行滤波而对用于内插帧的运动矢量进行再采样；运动补偿单元，用再采样的运动矢量补偿解码帧的运动，以生成内插帧；开关，根据帧的连续顺序选择性地输出解码帧和内插帧中的一个。

根据本发明的另一方面，提供了一种通过使用来自视频流运动信息生成内插帧来将视频流的解码帧的帧频上变换的方法，所述方法包括：通过使用运动信息对解码帧的当前块的运动矢量进行滤波，来对用于内插帧的运动矢量进行再采样；通过再采样的运动矢量来补偿解码帧的运动，以生成内插帧；根据帧的连续顺序选择性地输出解码帧和内插帧中的一个。

根据本发明的又一方面，提供了一种用于对用来补偿解码帧的运动而对视频流的解码帧的运动矢量进行再采样以产生用于将解码帧的帧频上变换的内插帧的设备，所述设备包括：运动矢量计算单元，通过利用解码帧中的当前块的运动矢量和当前块的相邻块的运动矢量来对解码帧的当前块的运动矢量进行滤波从而对运动矢量进行再采样。

根据本发明的又一方面，提供了一种用于对用来补偿解码帧的运动而对视频流的解码帧的运动矢量进行再采样以产生用于将解码帧的帧频上变换的内插帧的方法，所述方法包括：通过利用解码帧中的当前块的运动矢量和当前块的相邻块的运动矢量对解码帧的当前块的运动矢量进行滤波而对运动矢量进行再采样。，

根据本发明的另一方面，提供了一种通过使用来自视频流的运动信息生成内插帧而将视频流的帧频上变换的设备，所述设备包括：解码器，用于将视频流的帧以及来自视频流的运动信息解码；运动矢量再采样单元，通过使用运动信息对解码帧的当前块的运动矢量进行滤波来对用于内插帧的运动矢量进行再采样；运动补偿单元，通过再采样的运动矢量来补偿解码帧的运动矢量，以生成内插帧；开关，根据解码帧和内插帧的连续顺序选择性地输出解码帧和内插帧中的一个。

将在下面的描述中部分阐述本发明的另外的方面和/或优点，另外的部分，通过该描述将是清楚的或者通过实施本发明来了解。

附图说明

通过下面结合附图对实施例的描述，本发明的这些和/或其它方面和优点将会变得清楚和更容易理解，其中：

图1是示出帧频的上采样的示图；

图2是示出根据本发明实施例的帧频上变换设备的结构的框图；

图3是示出根据H.264具有不同尺寸的可变块的例子的示图；

图4是示出多帧参考的示图；

图5是示出根据本发明的实施例的解码器的结构的框图；

图6是示出根据本发明实施例的运动矢量再采样单元的结构的框图；

图7是示出块尺寸调整的例子的示图；

图8是示出将尺寸大于规则块的块分为具有规则块尺寸的块的例子的示图；

图9是示出选择用于评估矢量中值运算的块的例子的示图；

图10是示出根据本发明的实施例的在滤波处理期间分配权重的例子的示图；

图11是示出根据用于评估的块的类型和尺寸设置不同权重的例子的示图；

图12是示出使用固定核心尺寸的例子的示图；

图13是示出根据本发明的实施例的验证技术的曲线图。

具体实施方式

以下，将详细说明本发明的实施例，其例子列举在附图中，其中，相同的标号始终表示相同的元件。下面，通过参照附图描述实施例以解释本发明。

图2是示出根据本发明的实施例的帧频上变换设备100的结构的框图。上变换设备100包括解码器200、运动矢量再采样单元300、运动补偿器400以及开关500。

解码器200从编码的视频流(下面，称作编码流)解码帧和运动信息。在本说明书中，运动信息包括分配给每一块的运动矢量、块的类型、块分割信息、参考帧偏移等中的至少一种。块的类型表示块是通过时域预测获得的(下面，称作预测块)还是没有通过时域预测获得的(下面，称作帧内块)。块分割信息涉及根据块匹配算法具有H.264中使用的可变尺寸的块的尺寸。参照图3，被分配运动矢量的块具有各种像素尺寸(例如，16×16、16×8、8×16、8×8、8×4、4×8以及4×4)。

图4是示出多帧参考的示图。H.264标准允许当前帧41中的块参考位于当前帧41之前的其它帧42。在这种情况下，根据与当前帧41的距离，四个帧42的参考帧偏移可具有从4到1的值(偏移随着距离的增加而变大)。当前帧41包括使用运动矢量的预测编码块以及不使用运动矢量的帧内编码块。因此，并不是当前帧41内的所有块都具有运动矢量。

图5是示出根据本发明实施例的解码器200的结构的框图。参照图5，解码器200包括熵解码器210、去量化器220、逆变换器230、加法器235、缓冲器240以及运动补偿器250。熵解码器210执行无损解码以从编码流中提取运动信息和编码的残差信息。各种解码技术(例如，可变长度解码、算术解码以及哈夫曼解码)可被用来进行无损解码。提取的残差信息被提供到去量化器220，运动信息被提供到运动补偿器250。

去量化器220对熵解码器210提供的残差信息进行去量化。具体地，去量化器220使用与在量化处理中使用的表相同的量化表从量化处理中所产生的(或提供的)索引(index)恢复与残差信息匹配的值。

逆变换器230对去量化的结果进行逆变换。具体地，逆变换器230通过使用逆DCT变换、逆小波变换等逆向地执行编码器阶段中的变换处理。作为逆变换的结果的恢复的残差信号被提供给加法器235。

运动补偿器250通过使用熵解码器210提供的运动信息对当前帧的参考帧(所述参考帧是被恢复并被存储在缓冲器240中的帧)的运动进行补偿以生成预测信号。

加法器235将逆变换器230提供的恢复的残差信息以及生成的预测信号相加，以恢复当前帧。恢复的当前帧被临时存储在缓冲器240中，用于恢复不同的帧。

再次参照图2，由解码器200的熵解码器210提供的运动信息被提供给运动矢量再采样单元300。而且，由解码器200恢复的帧被提供给运动补偿器400以及开关500。

运动矢量再采样单元300使用由解码器200提供的运动信息对运动矢量再采样以便生成内插帧，并将再采样的运动矢量提供给运动补偿器400。将参照图6更详细地描述根据本发明实施例的运动矢量再采样单元300的操作。

运动补偿器400使用再采样的运动矢量(以及其它运动信息)作为输入来执行恢复的帧的运动补偿以生成内插帧。

开关500根据连续顺序选择性地输出由解码器200提供的解码的帧以及由运动补偿器400提供的内插帧中的一个，以执行帧频上变换。解码器200、运动矢量再采样单元300和/或运动补偿器400可包括用于存储多个帧的运动的缓冲器。

图6是详细示出图2中的运动矢量再采样单元300的结构的框图。运动矢量再采样单元300包括运动矢量归一化器310、块尺寸调整器320、运动矢量计算器330、运动矢量验证器340以及运动矢量滤波器350。

通常，由于视频编码器为了最小化编码大小而搜索产生最小运动补偿的残差值的运动矢量，所以获得的运动矢量可能与根据实际对象的运动不同。此外，由于运动矢量可能参考不同的在前的参考帧，因此，将运动矢量的尺寸归一化是很重要的。

运动矢量归一化器310根据解码器200提供的运动矢量的参考距离(当前帧和参考帧之间的时域距离)将运动矢量归一化。例如，运动矢量归一化器310通过利用将运动矢量除以参考帧偏移的运算来将运动矢量归一化。参考帧偏移可以被存储在缓冲器(未示出)中，以用于后面的运动矢量计算。

块尺寸调整器320将被分配了运动矢量的具有各种尺寸的块调整为具有预定尺寸或者更大的块。所述调整操作将尺寸比预定块尺寸小的块组合为具有归一化的块尺寸的代表块。然而，应该理解的是，根据本发明的多个方面，所述结合处理可以省略(例如，当被分配了由解码器200提供的运动矢量的块的尺寸被固定为具有归一化的块尺寸或者更小时)。

在高级视频编码技术(例如，H.264)中，为了获得最小的编码尺寸，使用了如图3所示的块尺寸变化的可变块尺寸运动补偿。例如，如图3中所示，宏块可以被分割为具有范围从16×16到4×4的各种块尺寸。

为了在运动矢量再采样之后执行运动补偿，可以获得被分配给具有相同尺寸的块的运动矢量，并且在再采样的运动矢量中反映实际视频对象的真实运动是重要的。

图7示出块尺寸调整的例子。位于图7左侧的调整之前的块具有各种尺寸。这里，尺寸最小的块F、G、H和I具有4×4像素，尺寸最大的块L具有16×16像素。相反，位于图7右侧的规则块具有预定块尺寸或更大(例如，8×8像素或更多)。

在图7中，尺寸比规则块尺寸(例如，8×8像素)小的块被调整为一个具有规则块尺寸的代表块。块被调整是因为具有小的块尺寸的运动矢量具有更少的参考像素，因此，与具有大的块尺寸的运动矢量相比，不能充分地反映出真实运动。例如，调整之前的块A和B被调整为代表块O，块D和E被调整为代表块Q，块F、G、H和I被调整为代表块R。

对于从多个块的运动矢量获得被应用于规则块(代表块)的一个运动矢量，存在各种运算。例如，可以使用矢量中值运算(vector median operation)。将在下面对运动矢量计算器330的操作的描述中更详细地描述矢量中值运算。然而，在这种情况下，由于代表块O或Q包括两个块，不能计算其矢量中值。因此，可从相应代表块中包含的块的运动矢量中选择具有较小尺寸的运动矢量作为代表块的运动矢量。可选择具有较小尺寸的运动矢量，这是因为，如果运动矢量的尺寸小，则逼近真实运动的可能性增加。

可以不调整具有8×8像素或更多像素的块K、J、M、N和L(即，可以不改变其尺寸)。这是因为，如果在运动矢量补偿器400中需要对具有8×8像素的恒定尺寸的块进行运动补偿，则块K、J、M、N和L可以在任何时间被改变为具有8×8像素的尺寸。如图8所示，尺寸为16×16像素的块L被分为四个尺寸为8×8像素的块，并且运动矢量被分配给这些分割后的块。被分配给分割后的块的运动矢量与块L的原始运动矢量相同。

运动矢量计算器330通过参考调整后的当前块的运动矢量以及相邻块的运动矢量，来计算当前块的运动矢量。运动矢量计算是通过参考空间或时域区域中的相邻运动矢量来获得逼近真实运动的运动矢量的滤波操作。

运动矢量计算处理包括选择与滤波操作相关的块(以下，称为估计块(evaluation block))、根据块的类型为这些块分配权重、使用反映了这些权重的预定运算获得运动矢量。

将参照图9描述选择估计块的过程。用“X”代表应用滤波操作的块(下面，称为当前块)。在本发明的实施例中，估计块包括当前块以及与当前块相邻的块(下面，称为相邻块)。在本发明的另一实施例中，除了当前内插帧之外，可考虑当前内插帧之前的内插帧。在图9的例子中，除了当前内插帧的当前块以及当前内插帧中的当前块的相邻块之外，估计块还包括位于先前内插帧的与当前块相应的位置上的块(下面，称为先前块)。

当前块和相邻块的运动矢量是可能通过特定运算(例如，矢量中值运算)而作为滤波的运动矢量的候选运动矢量。在运算中，先前块可以仅被用于估计，而不被选择作为候选运动矢量。然而，应该理解的是，根据本发明的其它方面，先前块也可被用作候选运动矢量。

在图9的当前内插帧中，提供候选运动矢量的区域被定义为核心(kernel)。在图9所示的实施例中，应该理解的是，因为相邻块的尺寸根据当前块的尺寸而变化，因此核心的尺寸也变化。

现在，将参照图10描述滤波处理中的权重分配。在滤波处理中，不将尺寸超过规则块尺寸的块分割为规则块尺寸，而是根据块尺寸应用权重。例如，具有16×16像素的块可以被分为4个规则块(具有8×8像素)。然而，在这种情况下，分割后的块的运动矢量彼此相等，如果将矢量中值应用到这些块上，则分割后的块的运动矢量被选择作为滤波的运动矢量的可能性增加。因此，如果滤波处理的目的是通过考虑相邻块或先前块来搜索与真实运动最相似的运动矢量，则该处理可能是无意义的。

然而，关于这一点，由于与小块的运动矢量相比，大块的运动矢量相对重要一些，因此可根据块的尺寸将不同的权重应用到矢量中值运算中。图10示出了估计块的尺寸。参照图10，根据估计块的尺寸和类型设置不同的权重。如图10中所示，帧内编码的块不具有任何运动矢量，因此其权重为0。预测编码的块具有根据块尺寸而增加的权重。然而，可以由本领域的技术人员任意选择特定权重值。

图11示出根据估计块的类型和尺寸设置的不同权重的例子。在图11中，参考标符P表示预测编码的块，参考标符I表示帧内编码的块。

在当前内插帧中，根据预测编码的块的数量，相邻块的最大数量是12。在块尺寸为16×16像素的例子中，在当前内插帧中存在7个候选运动矢量(在这种情况下，块I被排除)。然而，可将先前内插帧中的两个运动矢量(即，位于先前内插帧中与当前块相应的位置处的两个评估块的两个运动矢量)添加到所述7个候选运动矢量中。

如果如上所述对所有估计块设置权重，则使用预定运算执行滤波处理以获得运动矢量。运算的例子可包括矢量中值运算。

如果存在N个估计块以及M个候选运动矢量(其中，M小于或等于N)，则矢量中值运算计算候选运动矢量和其余的M-1个运动矢量之差(运动矢量变差)，并计算这些差之和，以输出具有最小和的候选运动矢量。通常，矢量中值运算不使用权重。相反，根据本发明的多个方面的矢量中值运算使用如等式1所示的各种权重。这里，标符N_C是一组候选运动矢量，标符N_E是一组估计运动矢量。N_E可以不存在。

等式1：

${\stackrel{\→}{v}}_M=\underset{\stackrel{\‾}{v}\∈N_C}{\arg \min }\left\{\underset{{\stackrel{\‾}{v}}^{\′}\∈N_C+N_E}{\mathrm{\Σ}}{w}_B\left({\stackrel{\→}{v}}^{\′}\right)w_R\left({\stackrel{\→}{v}}^{\′}\right)w_T\left({\stackrel{\→}{v}}^{\′}\right)w_S\left({\stackrel{\→}{v}}^{\′}\right)\left(\right|{\stackrel{\→}{v}}_x^{\′}-{\stackrel{\→}{v}}_x|+|{\stackrel{\→}{v}}_y^{\′}-{\stackrel{\→}{v}}_y\left|\right)\right\}.$

在等式1中，是候选运动矢量，是包括候选运动矢量的估计运动矢量，

是矢量中值运算的结果，即为当前块的滤波的运动矢量，下标x和y分别表示x方向和y方向，w_B、w_R、w_T和w_S是各种权重。这里，如图10和11中所示，w_B是考虑了块的类型和尺寸而应用的权重。其它权重w_R、w_T和w_S可被选择性地应用。

首先，w_R是如果离由相应块参考的帧的参考距离(参考帧偏移)增加则被设置得更小的权重。通过考虑如果参考距离大则运动与真实运动不同的可能性越大这一因素来设置该权重。

接着，w_T是根据相应块的帧所处的时域位置而被设置的权重。如图9所示，如果在滤波操作中，除了考虑当前内插帧的块之外，还考虑了至少一个先前内插帧的块，则该权重随着当前内插帧的时域位置离得越远而被设置得越小。

最后，w_S是基于块在核心中的位置而被设置的权重。w_S可以随着块越远离核心的中心而变得越小。可以根据高斯分布来设置w_R、w_T和w_S。

即使在当前实施例中(参考图9)，核心尺寸根据当前块的尺寸而改变，也应该理解的是，核心尺寸可以是固定的。图12示出了当应用固定核心尺寸时的例子。参考图12，核心尺寸被固定为4×4像素，而不管当前块的尺寸如何。只有依赖于块的类型和尺寸的w_B与图10中的相同。在本实施例中，不同的运动矢量可以被分配给由解码器200提供的一个块(例如，16×16、8×16、16×8以及8×8像素)。在图12中，用标号11至14表示用于每个块的运动滤波区域。

运动矢量验证器340验证在运动矢量计算器330中滤波的运动矢量是有效的还是无效的。滤波的运动矢量的可靠性主要依赖于矢量中值的大小。图13是示出根据本发明实施例的验证技术的曲线图。在本实施例中使用的验证函数是线性函数。运动矢量验证器340确定如果特定中值集(median set)的大小的中值和(median sum)小于验证函数，则运动矢量有效。中值和是例如通过等式1获得的矢量中值运算的和(即，矢量中值运算的结果)。中值集大小是由例如等式1表达的运动矢量中值运算过程中使用的运动矢量的数量(或块的数量)。在等式1中，如果N_C的大小等于N_E的大小，则N_C或N_E的大小为中值集大小。

图13示出验证矢量中值运算的例子。在图13中，虽然验证函数是线性函数，但是也可以选择不同的函数。水平轴代表当前或先前运动场中的预测编码的运动矢量的数量(即，用于矢量中值运算的中值集大小)。垂直轴代表矢量中值和。只有特定中值集大小的中值和不超过验证函数时，矢量中值和才是可用的。

运动矢量滤波器350确定具有无效运动矢量(被运动矢量验证器340确定为无效运动矢量)的块的运动矢量，并在块中用有效的运动矢量替换无效运动矢量。只对有效运动矢量执行预定大小(例如，3×3核心)的矢量中值运算的方法可以被用来确定具有无效运动矢量的块的运动矢量。

可通过软件(例如，任务、类、子程序、进程、对象、执行线程以及在存储器的预定区域中执行的程序)以及硬件组件(例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC))来实现图2、5和6的组件。此外，可以通过软件和硬件的组合来形成这些组件。这些组件可以被存储在计算机可读存储介质中或者分布在多个计算机中。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘以及光学数据存储装置。本发明的多个方面还可被实现为嵌入载波中并包含可由计算机读取而且可在因特网上传输的程序的数据信号。

每个组件可代表包括一个或多个用于实施特定逻辑功能的可执行指令的模块、代码段或部分代码，。还应该注意的是，在一些可替换实施例中，块中标注的函数可以不按顺序发生。例如，根据涉及的功能性，连续示出的两个块实际上可以基本同时执行或者有时可按照相反的顺序执行。

根据本发明的多个方面，帧频可以被有效而快速地上变换。此外，本发明的多个方面可以被适当地应用于具有如低运算容量、有限的存储资源以及低能耗这样的条件的设备。

尽管已经示出和描述了本发明的一些实施例，但是本领域的技术人员应该理解，在不脱离本发明的原理和精神的情况下，可以对这些实施例作出改变，本发明的范围由权利要求及其等同物限定。

Claims (32)

1.一种通过利用来自视频流的运动信息生成内插帧来将视频流的解码帧的帧频上变换的设备，所述设备包括：

运动矢量再采样单元，通过使用运动信息对解码帧的当前块的运动矢量进行滤波来对用于内插帧的运动矢量进行再采样；

运动补偿单元，用再采样的运动矢量补偿解码帧的运动，以生成内插帧；

开关，根据解码帧和内插帧的连续顺序选择性地输出解码帧和内插帧中的一个，

其中，所述运动矢量再采样单元包括运动矢量计算单元，所述运动矢量计算单元通过使用解码帧中的当前块的运动矢量以及当前块的相邻块的运动矢量来对当前块的运动矢量进行滤波。

2.如权利要求1所述的设备，其中，运动矢量再采样单元还包括：

运动矢量验证单元，用于验证滤波的运动矢量的有效性。

3.如权利要求1所述的设备，其中，运动矢量再采样单元还包括：

运动矢量归一化单元，用于利用参考帧偏移将当前块以及相邻块的运动矢量归一化。

4.如权利要求3所述的设备，其中，运动矢量再采样单元还包括：

块尺寸调整单元，用于将当前块和相邻块调整为至少具有预定块尺寸。

5.如权利要求4所述的设备，其中，所述块尺寸调整单元将尺寸小于所述预定块尺寸的块组合，以创建尺寸大于或等于所述预定尺寸的代表块。

6.如权利要求2所述的设备，其中，所述运动矢量再采样单元还包括：

运动矢量滤波器，用于用被运动矢量验证单元确定为有效的运动矢量来替换被运动矢量验证单元确定为无效的滤波的运动矢量。

7.如权利要求1所述的设备，其中，运动矢量计算单元通过使用当前块的运动矢量和相邻块的运动矢量作为输入执行矢量中值运算来对当前块的运动矢量进行滤波。

8.如权利要求7所述的设备，其中，

运动矢量计算单元根据当前块的尺寸和相邻块的各个尺寸将权重应用于当前块和相邻块；

矢量中值运算使用所应用的权重。

9.如权利要求8所述的设备，其中，在矢量中值运算过程中，运动矢量计算单元根据当前块和相邻块在核心中的位置来应用权重。

10.如权利要求9所述的设备，其中，在矢量中值运算中，运动矢量计算单元根据当前块的参考帧偏移以及相邻块的参考帧偏移来施加权重。

11.如权利要求7所述的设备，其中，运动矢量再采样单元还包括运动矢量验证单元，用于验证滤波的运动矢量的有效性，如果特定中值集大小的中值和小于预定验证函数，则运动矢量验证单元确定当前块的滤波的运动矢量有效，其中，所述中值和对应于矢量中值运算的结果，所述特定中值集的大小对应于矢量中值运算过程中使用的运动矢量的数量。

12.如权利要求1所述的设备，其中，运动矢量计算单元使用当前块的运动矢量、相邻块的运动矢量、先前内插帧的与解码帧中当前块的位置对应的位置上的一个或多个块来对当前块的运动矢量滤波。

13.如权利要求8所述的设备，其中，矢量中值运算包括等式：

${\stackrel{\→}{v}}_M=\underset{\stackrel{\‾}{v}\∈N_C}{\arg \min }\left\{\underset{{\stackrel{\‾}{v}}^{\′}\∈N_C+N_E}{\mathrm{\Σ}}{w}_B\left({\stackrel{\→}{v}}^{\′}\right)w_R\left({\stackrel{\→}{v}}^{\′}\right)w_T\left({\stackrel{\→}{v}}^{\′}\right)w_S\left({\stackrel{\→}{v}}^{\′}\right)\left(\right|{\stackrel{\→}{v}}_x^{\′}-{\stackrel{\→}{v}}_x|+|{\stackrel{\→}{v}}_y^{\′}-{\stackrel{\→}{v}}_y\left|\right)\right\},$

其中，M是可能与滤波的运动矢量相应的候选运动块的数量，N是由运动矢量计算单元对运动矢量进行滤波所使用的估计块的数量，N_C是一组候选运动矢量，N_E是一组估计运动矢量，

是候选运动块的候选运动矢量，

是与估计块相应的估计运动矢量，

是矢量中值运算的结果，即，当前块的滤波的运动矢量，下标x和y分别表示x方向和y方向，w_B、w_R、w_T和w_S是各种权重。

14.如权利要求8所述的设备，其中，运动矢量计算单元对第一块应用第一权重，对尺寸小于第一块的第二块应用小于第一权重的第二权重。

15.一种通过使用来自视频流的运动信息生成内插帧来将视频流的解码帧的帧频上变换的方法，所述方法包括：

通过使用运动信息对解码帧的当前块的运动矢量进行滤波，来对用于内插帧的运动矢量进行再采样；

通过再采样的运动矢量来补偿解码帧的运动，以生成内插帧；

根据解码帧和内插帧的连续顺序选择性地输出解码帧和内插帧中的一个，

其中，运动矢量的再采样包括：使用解码帧中的当前块的运动矢量以及当前块的相邻块的运动矢量对当前块的运动矢量进行滤波。

16.如权利要求15所述的方法，其中，运动矢量的再采样还包括：验证滤波的运动矢量的有效性。

17.如权利要求15所述的方法，其中，运动矢量的再采样还包括：

用参考帧偏移将运动信息中包含的当前块以及相邻块的运动矢量归一化。

18.如权利要求17所述的方法，其中，运动矢量的再采样还包括：

将当前块和相邻块调整为至少具有预定块尺寸。

19.如权利要求18所述的方法，其中，当前块和相邻块的调整包括：

将尺寸小于所述预定块尺寸的块组合，以创建尺寸大于或等于所述预定块尺寸的代表块。

20.如权利要求16所述的方法，其中，运动矢量的再采样还包括：

用被验证为有效的运动矢量替换被验证为无效的滤波的运动矢量。

21.如权利要求15所述的方法，其中，运动矢量的滤波包括：

通过用当前块的运动矢量和相邻块的运动矢量作为输入执行矢量中值运算来对当前块的运动矢量进行滤波。

22.如权利要求21所述的方法，其中，通过执行矢量中值运算来对当前块的运动矢量进行滤波的步骤包括：

根据当前块的尺寸和相邻块的各个尺寸对当前块和相邻块应用权重，应用的权重在矢量中值运算中使用。

23.如权利要求22所述的方法，其中，应用权重的步骤包括：

在矢量中值运算过程中根据当前块和相邻块在核心中的位置来应用权重。

24.如权利要求23所述的方法，其中，应用权重的步骤包括：

在矢量中值运算中根据当前块的参考帧偏移和相邻块的参考帧偏移来应用权重。

25.如权利要求21所述的方法，其中，运动矢量的再采样还包括：

验证滤波的运动矢量的有效性，如果特定中值集大小的中值和小于预定验证函数，则确定当前块的滤波的运动矢量有效，其中，所述中值和对应于矢量中值运算的结果，所述特定中值集大小对应于矢量中值运算过程中使用的运动矢量的数量。

26.如权利要求15所述的方法，其中，对当前块的运动矢量进行滤波的步骤包括：

使用当前块的运动矢量、相邻块的运动矢量、先前内插帧的与解码帧中当前块的位置对应的位置上的一个或多个块来对当前块的运动矢量滤波。

27.如权利要求22所述的方法，其中，矢量中值运算包括等式：

${\stackrel{\→}{v}}_M=\underset{\stackrel{\‾}{v}\∈N_C}{\arg \min }\left\{\underset{{\stackrel{\‾}{v}}^{\′}\∈N_C+N_E}{\mathrm{\Σ}}{w}_B\left({\stackrel{\→}{v}}^{\′}\right)w_R\left({\stackrel{\→}{v}}^{\′}\right)w_T\left({\stackrel{\→}{v}}^{\′}\right)w_S\left({\stackrel{\→}{v}}^{\′}\right)\left(\right|{\stackrel{\→}{v}}_x^{\′}-{\stackrel{\→}{v}}_x|+|{\stackrel{\→}{v}}_y^{\′}-{\stackrel{\→}{v}}_y\left|\right)\right\},$

其中，M是可能与滤波的运动矢量相应的候选运动块的数量，N是对运动矢量进行滤波所使用的估计块的数量，N_C是一组候选运动矢量，N_E是一组估计运动矢量，

是候选运动块的候选运动矢量，

是与估计块相应的估计运动矢量，

是矢量中值运算的结果，即，当前块的滤波的运动矢量，下标x和y分别表示x方向和y方向，w_B、w_R、w_T和w_S是各种权重。

28.如权利要求22所述的方法，其中，应用权重的步骤包括：

对第一块应用第一权重，对尺寸小于第一块的第二块应用小于第一权重的第二权重。

29.一种通过使用来自视频流的运动信息生成内插帧来将视频流的帧频上变换的设备，所述设备包括：

解码器，用于将视频流的帧以及来自视频流的运动信息解码；

运动矢量再采样单元，通过使用运动信息对解码帧的当前块的运动矢量进行滤波来对用于内插帧的运动矢量进行再采样；

运动补偿单元，通过再采样的运动矢量来补偿解码帧的运动，以生成内插帧；

开关，根据解码帧和内插帧的连续顺序选择性地输出解码帧和内插帧中的一个，

其中，运动矢量再采样单元包括运动矢量计算单元，所述运动矢量计算单元通过使用解码帧中当前块的运动矢量以及当前块的相邻块的运动矢量来对当前块的运动矢量进行滤波。

30.如权利要求29所述的设备，其中，运动矢量计算单元通过使用当前块的运动矢量和相邻块的运动矢量作为输入执行矢量中值运算来对当前块的运动矢量进行滤波。

31.如权利要求30所述的设备，其中，运动矢量计算单元根据当前块的尺寸以及相邻块的各个尺寸对当前块和相邻块应用权重，矢量中值运算使用应用的权重。

32.如权利要求29所述的设备，其中，解码器包括：

熵解码器，对视频流执行无损解码，以提取运动信息和编码的残差信息；

去量化器，通过使用与量化过程中使用的表相同的量化表从索引恢复与残差信息匹配的值来对残差信息进行去量化；

逆变换器，通过逆向地执行视频流的编码处理中的变换处理来对去量化的残差信息进行变换并恢复残差信息；

运动补偿器，使用提取的运动信息来生成预测信号。

Images