CN101163247A - 运动补偿图像的内插方法以及用于所述方法的实现的设备 - Google Patents

Abstract

本发明提出了一种对运动估计矢量中的误差不敏感的运动补偿视频内插。本发明提出了一种运动补偿视频内插方法，在其中内插步骤根据针对所考虑的像素所估计的运动矢量的振幅和/或可靠性指标而改变。使针对内插所考虑的像素数以及与这些像素相关联的加权因子根据所估计的运动矢量的振幅和/或可靠性指标而变化。

Description

运动补偿图像的内插方法以及用于所述方法的实现的设备

背景技术

本发明涉及图像或视频处理领域，更具体地涉及使用运动补偿的图像内插的领域。

背景技术

多种视频处理操作需要用于改进处理质量(例如在视频内插的情况下)或者用于减少数据量(例如在视频压缩的情况下)的视频处理操作。本发明更具体地涉及具有运动补偿的内插，也称为运动补偿视频内插。

运动补偿视频内插通常包括运动估计步骤和随后的内插步骤。

运动估计在于定义要内插的图像中的每个点的运动向量，该图像在时间上位于两个源图像之间。通常，以2个步骤来执行运动估计步骤：预测步骤和校正步骤。预测步骤在于：从针对相邻像素所计算的运动向量以及针对包括所考虑的像素的先前源图像所计算的运动向量的投影定义要内插的图像中的每个像素的运动向量。例如，已计算的运动向量是先前的像素线中的n个相邻像素的运动向量。然后，预测在于从n+1个预计算的运动向量中选择产生最小DFD(移位帧间差)值的运动向量。随后的校正步骤包括将所选运动向量绕着它的轴旋转，以便进一步减少(如果可能的话)所考虑的像素的DFD。

在多数情况下，估计步骤之后的内插步骤是双线性内插。在要内插的图像I_int处于先前源图像I_prev和当前源图像I_curr之间的情况下，先前所定义的运动矢量指向源图像中的每个图像中的像点，该像点是一个像素或者位于4个像素之间的点。在已知为“单一帧”的内插的情况下，双线性内插在于给图像I_int的所考虑的P分配作为由所估计的运动向量指向源图像(通常为当前源图像)之一的4个像素中的值的双线性函数f的值。例如，如果V₁、V₂、V₃和V₄表示由当前源图像中的运动向量所指向的图像点附近的4个像素的值，以及如果α₁、α₂、α₃和α₄是所述像素与图像点的接近度的加权因子表示，分配给图像I_int的像素的值是 $(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·V_i)/\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i.$ 如果运动向量指向4个像素之中的特定像素，则分配给其他3个像素的加权因子为零，并且分配给所考虑的像素的值为该特定像素的值。在内插已知为“双帧”的情况下，以相同的方式来进行线性内插，但是使用8个像素，即先前源图像中的4个像素和当前源图像中的4个像素。

假设运动估计必出错，这类运动中的补偿内插包含图像区域内的可见缺陷，由于两个连续源图像的像素之间不可能匹配，该可见缺陷在两个连续源图像之间消失或出现。

发明内容

本发明提出了一种的新的运动补偿视频内插，该运动补偿视频内插比之前所定义的更安全，尤其是针对对象的出现或消失区域。

本发明提出了一种运动补偿视频内插方法，在其中内插步骤本身根据所估计的运动向量和/或可靠性指标而变化。使得针对内插所考虑的像素数以及与这些像素相关联的加权因子根据所估计的运动向量的幅度和/或可靠性指标而变化。

因此，本发明涉及一种用于从至少两个源图像中内插出运动补偿图像的至少一个像素的方法，该方法包括以下步骤：

-从源图像估计要内插的图像的像素的运动向量，

-确定对所述向量的估计的信息表示，

-根据对所述向量的估计的所述信息表示，针对要内插的图像的像素选择内插模型，该内插模型识别源图像中的至少一个图像中的像素，并将加权因子与所识别的每个像素相关联，以及

-从所选内插模型的像素和因子中内插出该图像的像素。

对向量的估计的信息表示可以是所估计的向量的幅度，或者与向量估计有关的可靠性指标，或者这两者。

根据特定实施例，仅考虑将所估计的运动向量的幅度用于选择内插模型。在这种情况下，我们考虑内插的几种等级。

如果要内插的图像的像素的估计运动向量的幅度小于或等于第一非零阈值，则该内插模型包括源图像之一中与要内插的像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给源图像像素中的每个像素的加权因子取决于它们与要内插的像素的接近度。在这种情况下，这包括单帧内插。在双帧内插的情况下，该内插模型包括每个源图像中与要内插的像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给每个源图像像素的加权因子取决于它们与要内插的像素的接近度以及要内插的图像相对于两个源图像的时间位置。

如果要内插的图像的像素的估计运动向量大于第一阈值，则在单帧内插的情况下，该内插模型包括源图像之一中与要内插的像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给源图像像素的加权因子都相等。在双帧内插的情况下，该内插模型包括每个源图像中与要内插的像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给源图像像素中的每个像素的加权因子取决于它们与要内插的像素的接近度以及要内插的图像相对于两个源图像的时间位置。像素的数量n随着所估计的向量的幅度而适当地增大。

根据另一个特定实施例，只将与所估计的运动向量相关的可靠性指标考虑用于选择内插模型。例如，该可靠性指标取决于包括要内插的像素的m×m像素窗中的运动向量的方差。在这种情况，我们还可以考虑几种内插等级。

如果要内插的图像的像素的运动向量的可靠性指标大于第一可靠性阈值，则在单帧内插的情况下，该内插模型包括源图像之一中与要内插的像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给源图像像素中的每个像素的加权因子取决于它们与要内插的像素的接近度。在双帧内插的情况下，该内插模型包括每个源图像中与要内插的像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给每个源图像像素的加权因子取决于它们与要内插的像素的接近度以及要内插的图像相对于两个源图像的时间位置。

如果要内插的图像的像素的运动向量的可靠性指标小于或等于第一可靠性阈值，则在单帧内插的情况下，该内插模型包括源图像之一中与要内插的像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给源图像像素的加权因子都相等。在双帧内插的情况下，该内插模型包括每个源图像中与要内插的像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给每个源图像像素的加权因子取决于它们与要内插的像素的接近度以及要内插的图像相对于两个源图像的时间位置。像素的数量n随着所估计的向量的可靠性指标的值而有利地减少。

根据另一个特定实施例，考虑将向量的幅度以及与向量有关的可靠性指标用于选择内插模型。

最后，本发明还涉及一种用于从至少两个源图像内插出运动补偿图像的至少一个像素的内插设备，该设备包括：

-存储器，用于存储源图像；

-运动估计器，用于从源图像中估计要内插的图像的像素的运动向量，

-确定电路，用于确定对所述向量的估计的信息表示，以及

-内插电路，用于根据对所述向量的估计的所述信息表示来选择针对要内插的图像的像素的内插模型，该内插模型识别源图像中的至少一个图像中的像素，并将加权因子与所识别的像素中的每个相关联，并从所选内插模型的像素和因子中内插出像素。

附图说明

通过阅读以下只为提供信息的描述，并参考附图，将更好地理解本发明，在附图中：

-图1是表示基于所估计的运动向量的幅度的第一实施例中的本发明方法的步骤的流程图，

-图2是示出了根据所估计的运动向量的幅度所采用的不同内插模型的图示，

-图3更具体地示出了在所估计的运动向量小于阈值SA1的情况下的内插，

-图4更具体地示出了在所估计的运动向量处于阈值SA1和阈值SA2之间的情况下的内插，

-图5更具体地示出了在所估计的运动向量大于阈值SA2的情况下的内插，

-图6是能够实现图1中的方法的设备，

-图7是表示基于所估计的运动的可靠性指标的第二实施例中的本发明的方法的步骤的流程图，

-图8是示出了根据所估计的运动向量所采用的不同内插模型的图示，

-图9是能够实现图7中的方法的设备，

-图10是表示基于所估计的运动向量的幅度和可靠性指标的第三实施例中的本发明的方法的步骤的流程图，

-图11是示出了根据所估计的运动向量的幅度和可靠性指标所采用的不同内插模型的图示，

-图12是能够实现图10中的过程的设备。

具体实施方式

如之前所指示的，本发明的原理是使得内插模型(即，内插和/或关联加权因子所基于的像素的数量)根据针对所考虑的像素所估计的运动向量的幅度和/或与所估计的运动向量相关联的可靠性指标而变化。

在下文中描述3个实施例：第一实施例单独基于所估计的运动向量的幅度，第二实施例单独基于所估计的运动向量的可靠性指标，以及第三实施例结合上面所提到的两个实施例。

图1是表示本发明方法的第一实施例的步骤的流程图。图1包括：

-运动估计步骤100，用于估计要内插的图像中的每个像素的运动向量(Vx，Vy)，

-步骤110，用于确定所估计的运动向量的幅度A

$(A=\sqrt{V{x}^2+V{y}^2}),$

-内插模型选择步骤120，根据针对该像素所估计的运动向量的幅度，针对要内插的图像中的每个像素来选择内插模型，

-内插步骤130，针对该图像中的每个像素，通过使用针对该像素所选的内插模型来产生内插图像。

图2更具体地示出了内插步骤130，并且示出了根据所估计的运动向量的幅度所采用的不同类型的内插(双线性内插、平均内插)以及各种模型。要注意的是，运动向量的方向(正或负运动向量)不包括在内插的选择中。在这个实施例中，我们使用基于多个相邻像素的双线性内插或平均内插。针对这些类型的内插中的每种内插，所估计的运动向量的幅度越大，内插模型中的像素数量也越大。

如果运动向量的幅度小于或等于第一阈值SA1，则认为该运动为低。例如，将阈值SA1设为2个像素(每帧)。然后，例如该内插是基于4个像素的双线性内插，这4个像素是在源图像中所考虑的像素的相邻像素。相邻像素理解为表示其空间坐标靠近要内插的图像中的所考虑像素的坐标的源图像。在单帧内插的情况下，仅使用源图像之一中的4个相邻像素。这种情况由图3所示。这4个像素表示为P₁、P₂、P₃和P₄，与这4个像素相关联的视频值表示为V₁、V₂、V₃和V₄，并且相关联的加权因子表示为α₁、α₂、α₃和α₄。因子α_i的值是将相关联的像素P_i与要内插的像素分开的距离的函数。在图3的示例中，像素P₁最靠近要内插的像素，因此它的因子α₁最大。像素P₄最远离要内插的像素，因此它的因子α₄最小。然后，分配给要内插的像素的值等于 $(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·V_i)/\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i.$ 非常明显的并且如之前所指示的是，如果运动向量指向4个像素之中的特定像素，则分配给其他3个像素的加权因子为零。在双帧内插的情况下，对先前源图像中的4个相邻像素和当前源图像中的4个像素进行双线性内插。如果V₁、V₂、V₃和V₄表示当前源图像中的4个相邻像素的值，并且α₁、α₂、α₃和α₄表示相关联的加权因子，以及如果V′₁、V′₂、V′₃和V′₄表示先前源图像中的4个相邻像素的值，并且α′₁、α′₂、α′₃和α′₄表示相关联的加权因子，则分配给要内插的像素的值等于 $\mathrm{\β}\·((\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·V_i)/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{a}_i\right))+(1-\mathrm{\β})\·((\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{{\mathrm{\α}}^{\′}}_i\·{V^{\′}}_i)/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i^{\′}\right)).$ 在这个公式中，β是取决于要内插的图像相对于源图像的时间位置的因子。如果要内插的图像在时间上位于两个源图像之间的中间位置，则β＝1/2。如果要内插的图像更靠近当前源图像，则β大于1/2。

如果针对给定像素所估计的运动向量的幅度为零，则运动向量指向在先前和当前源图像中具有相同空间坐标的像素。双线性内插等于从先前或当前源图像的一个中重新拷贝相应的像素(即，具有相同空间坐标)的值。要注意的是，如果先前和当前源图像是通过对已交织的视频序列解交织而得到的渐进图像，应该相等的像素(因为这些像素与零运动向量相对应)的值也可以不是这样的。在这种情况下，我们仍然可以重新拷贝运动向量所指向的值中的任一个，或者可能计算出平均值。

如果运动向量的幅度大于阈值SA1而小于或等于第二阈值SA2(SA2大于SA1)，则认为该运动是平均的。例如，将阈值SA2设为6个像素(每帧)。然后，内插是基于在源图像中所考虑的像素中的4个相邻像素P₁、P₂、P₃和P₄的平均步骤。这种情况由图4所示。4个相邻像素的加权因子相等(α₁＝α₂＝α₃＝α₄＝α)。在单帧内插的情况下，分配给要内插的像素的值等于 $(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·V_i)/\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i=\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{V}_i\right)/4.$ 在双帧内插的情况下，其中(α′₁＝α′₂＝α′₃＝α′₄＝α′)，分配给要内插的像素的值等于

$\mathrm{\β}\·((\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·V_i)/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{a}_i\right))+(1-\mathrm{\β})\·((\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{{\mathrm{\α}}^{\′}}_i\·{V^{\′}}_i)/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i^{\′}\right))$

$=(\mathrm{\β}\·\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{V}_i\right)+(1-\mathrm{\β})\·\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{V^{\′}}_i\right))/4$

最后，如果运动向量的幅度大于幅值SA2，则认为该运动为高。然后，内插是基于8个相邻像素的平均步骤，例如图5中所示的那些。8个相邻像素的加权因子相等(＝α)。在单帧内插的情况下，分配给要内插的像素的值等于 $\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{V}_i\right)/8.$ 在双帧内插的情况下，分配给要内插的像素的值等于 $=(\mathrm{\β}\·\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{V}_i\right)+(1-\mathrm{\β})\·\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{V^{\′}}_i\right))/8$

图6表示能够实现先前所描述的过程的设备。该设备包括：至少两个图像存储器200，其中的每个都能够存储一个源图像，即当前源图像和先前源图像；运动估计器210，用于从设备输入端处的当前源图像以及存储在图像存储器200之一的先前源图像中确定要内插的图像中的每个像素的运动向量(Vx，Vy)；电路220，用于确定来自估计器210和内插器230的所估计的运动向量的幅度A，估计器210和内插器230用于从存储在图像存储器200中的当前和先前源图像中产生内插图像，此外幅度A由电路220确定。针对要内插的每个像素，内插器230将针对该像素所估计的运动向量的幅度A与阈值SA1和SA2以及零值进行比较，随后采用适当的内插模型。

图7是示出本发明的第二实施例中的步骤的流程图。图7包括：

-运动估计步骤300，用于估计要内插的图像中的每个像素的运动向量(Vx，Vy)，

-步骤310，用于确定所估计的运动向量的可靠性指标C，以及

-内插模型选择步骤320，根据所估计的运动向量的可靠性指标，针对要内插的图像中的每个像素来选择内插模型，

-内插步骤330，针对该图像中的每个像素，通过使用针对该像素所选的内插模型来产生内插图像。

在这个实施例中，该可靠性指标越低，该内插模型所使用的像素数量越大。实际上，当我们在所固定的运动向量的值中具有较小可靠性时，可以使内插图像更加模糊。例如，通过分析包括所考虑图像的图像区域中的运动向量的值的扩散来确定该可靠性指标。该区域中的运动向量的值越扩散，则与所考虑像素相关联的可靠性指标越低。例如，可靠性指标C与包括所考虑像素的5×5像素的窗中的运动向量的方差成反比： $C=1-\frac{\underset{i=1,j=1}{\overset{\mathrm{5,5}}{\mathrm{\Σ}}}\sqrt{{({\mathrm{Vx}}_{\mathrm{3,3}}-{\mathrm{Vx}}_{i,j})}^2-{({\mathrm{Vy}}_{\mathrm{3,3}}-{\mathrm{Vy}}_{i,j})}^2}}{24\sqrt{{(2\·{\mathrm{Vx}}_{\max })}^2+{(2\·{\mathrm{Vy}}_{\max })}^2}}.$ 使该等式中的第二项标准化，以便包含在0到1之间。坐标像素(3，3)表示当前像素。Vx_i，j和Vy_i，j分别表示像素(i，j)的运动向量的水平和垂直分量。Vx_max和Vy_max表示该运动向量的最大水平和垂直分量。在对这些分量中的每个进行8位编码的情况下，Vx_max＝Vy_max＝255。

图8更具体地示出了内插步骤330，并示出了根据与所估计的运动向量相关联的可靠性指标的值所采用的内插的示例。

如果可靠性指标的值小于或等于第一阈值SC1，则认为该可靠性指标为低。然后，例如内插是基于8个像素的平均内插，这8个像素是在源图像中所考虑的相邻像素。在单帧内插的情况下，仅使用源图像之一中的8个相邻像素。与图2到图5相比，如果我们再使用针对第一实施例所定义的符号，则分配给要内插的像素的值等于 $(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·V_i)/\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i=\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{V}_i\right)/8.$ 在双帧内插的情况下，对先前源图像中的8个相邻像素和当前源图像中的8个像素进行内插。然后，分配给要内插的像素的值等于 $(\mathrm{\β}\·\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{V}_i\right)+(1-\mathrm{\β})\·\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{V^{\′}}_i\right))/8.$

如果可靠性指标的值大于阈值SC1而小于或等于第二阈值SC2(SC2大于SC1)，则认为该可靠性指标居中。然后，例如内插是基于4个像素的平均内插，这4个像素是在源图像中所考虑的像素的相邻像素。在单帧内插的情况下，仅使用源图像中的4个相邻像素。如果我们再使用针对涉及图2到图5的第一实施例所定义的符号，则分配给要内插的像素的值等于 $(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\mathrm{\α}\·V_i)/\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\mathrm{\α}=\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{V}_i\right)/4.$ 在双帧内插的情况下，对先前源图像中的4个相邻像素和当前源图像中的4个像素进行内插。然后，分配给要内插的像素的值等于 $(\mathrm{\β}\·\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{V}_i\right)+(1-\mathrm{\β})\·\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{V^{\′}}_i\right))/4.$

最后，如果可靠性指标的值大于阈值SC2，则认为该可靠性指标较强。然后，例如内插是基于4个像素的双线性内插，这4个像素是在源图像中所考虑的像素的相邻像素。在单帧内插的情况下，仅使用源图像之一中的4个相邻像素。如果我们使用针对涉及图2到图5的第一实施例的符号，则分配给要内插的像素的值等于 $(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·V_i)/\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i.$ 在双帧内插的情况下，对先前源图像中的4个相邻像素和当前源图像中的4个像素进行双线性内插。然后，分配给要内插的像素的值等于 $\mathrm{\β}\·((\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·V_i)/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{a}_i\right))+(1-\mathrm{\β})\·((\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{{\mathrm{\α}}^{\′}}_i\·{V^{\′}}_i)/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i^{\′}\right)).$

图9表示能够实现之前所述方法的设备。该设备包括：至少两个图像存储器400，其中的每个都能够存储一个源图像，即当前源图像和先前源图像；运动估计器410，用于从设备输入端处的当前源图像以及存储在图像存储器400之一的先前源图像中确定要内插的图像中的每个像素的运动向量；电路420，用于确定来自估计器410和内插器430的所估计的运动向量中的每个向量的可靠性指标C，估计器410和内插器430用于从存储在图像存储器400中的当前和先前源图像中产生内插图像，此外可靠性指标C由电路420确定。针对要内插的每个像素，内插器430将针对该像素所估计的运动向量的可靠性指标C与阈值SC1和SC2相比，随后采用适当的内插模型。

图10是示出了根据所估计的运动向量的幅度A和可靠性指标C来选择内插模型的本发明方法的实施例的步骤的流程图。图10包括：

-运动估计步骤500，用于估计要内插的图像中的每个像素的运动向量(Vx，Vy)，

-步骤510，用于确定所估计的运动向量中的每个的幅度A $(A=\sqrt{{\mathrm{Vx}}^2+{\mathrm{Vy}}^2})$ 和可靠性指标C(例如，作为包括针对第二实施例所描述的所考虑像素的像素的窗中的运动向量的方差)，以及

-内插模型选择步骤520，根据所估计的运动向量的幅度和可靠性指标，针对要内插的图像中的每个像素来选择内插模型，

-内插步骤530，针对该图像中的每个像素，通过使用针对该像素所选的内插模型来产生内插图像。

例如，针对内插步骤530，我们计算修改的幅度(标为A_mod)所需要的一个值，根据该值来选择内插模型。例如，A_mod等于A_mod＝A×(1-C)。例如，根据A_mod所采用的内插如图10所示。如果A_mod小于或等于第一阈值SA′1，则所采用的内插是基于一个或两个源图像上的所考虑像素的4个相邻像素的双线性内插。如果A_mod大于第一阈值SA′1但小于或等于第二阈值SA′2(SA′2大于SA′1)，则内插是基于一个或两个源图像中的所考虑像素的4个相邻像素的平均步骤。最后，如果A_mod大于阈值SA′2，则内插是基于较多个相邻像素(例如8个像素)的平均步骤。

图11表示能够实现由图9所示的过程的设备。该设备包括：至少两个图像存储器600，其中的每个都能够存储一个源图像，即当前源图像和先前源图像；运动估计器610，用于从设备输入端处的当前源图像以及存储在图像存储器600之一的先前源图像中确定要内插的图像中的每个像素的运动向量(Vx，Vy)；电路620，用于确定来自估计器610和内插器630的所估计的运动向量的幅度A和可靠性指标C，估计器610和内插器630用于从存储在图像存储器600中的当前和先前源图像中产生内插图像，此外幅度A和可靠性指标C由电路620确定。

自然地，本发明不局限于先前所描述的实施例。通过使用不同数量的像素或不同的加权因子，本领域的那些技术人员将能够预见除了这里所提出的以外的内插类型和内插模型的使用。

Claims (16)

1.一种用于从至少两个源图像内插出运动补偿图像的至少一个像素的方法，所述方法包括以下步骤：

-从源图像估计针对要内插的图像的所述像素的运动矢量(100；300；500)，

-确定对所述向量的估计的至少一个信息表示(110；310；510)，

-根据对所述向量的估计的所述信息表示，针对要内插的图像的所述像素选择内插模型(120；320；520)，所述内插模型识别所述源图像的至少之一中的像素，并将加权因子(α_i)与所识别的像素中的每个相关联，以及

-从所选内插模型的像素和因子中内插出图像的所述像素(130；330；530)。

2.如权利要求1所述的方法，其中，对所述向量的估计的所述信息表示是所估计的向量的幅度(A)。

3.如权利要求2所述的方法，其中，如果要内插的图像的所述像素中的估计运动向量的幅度小于或等于第一非零阈值(SA1)，则所述内插模型包括源图像之一中与要内插的所述像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给所述源图像像素中的每个像素的加权因子取决于它们与要内插的所述像素的接近度。

4.如权利要求2所述的方法，其中，如果要内插的图像的所述像素中的估计运动向量的幅度小于或等于第一非零阈值(SA1)，则所述内插模型包括每个源图像中与要内插的所述像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给每个源图像像素的加权因子取决于它们与要内插的所述像素的接近度以及要内插的所述图像相对于两个源图像的时间位置。

5.如权利要求3或4所述的方法，其中，如果要内插的图像的像素的估计运动向量大于所述第一阈值(SA1)，则所述内插模型包括源图像之一中与要内插的所述像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给所述源图像像素的加权因子都相等。

6.如权利要求3或4所述的方法，其中，如果要内插的图像的像素的估计运动向量大于所述第一阈值(SA1)，则所述内插模型包括每个源图像中与要内插的所述像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给所述源图像像素的每个像素的加权因子取决于它们与要内插的所述像素的接近度以及要内插的所述图像相对于两个源图像的时间位置。

7.如权利要求3到6之一所述的方法，其中，像素的数量n随着所估计的向量的幅度而增大。

8.如权利要求1所述的方法，其中，对所述向量的估计的所述信息表示是与对所述向量的估计有关的可靠性指标(C)。

9.如权利要求8所述的方法，其中，如果要内插的图像中的所述像素的运动向量的可靠性指标大于第一可靠性阈值(SC2)，则所述内插模型包括源图像之一中与要内插的所述像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给所述源图像像素中的每个像素的加权因子取决于它们与要内插的所述像素的接近度。

10.如权利要求8所述的方法，其中，如果要内插的图像的所述像素的运动向量的可靠性指标大于第一可靠性阈值(SC2)，则所述内插模型包括每个源图像中与要内插的所述像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给所述源图像像素中的每个像素的加权因子取决于它们与要内插的所述像素的接近度以及要内插的所述图像相对于两个源图像的时间位置。

11.如权利要求9或10所述的方法，其中，如果要内插的图像的所述像素的运动向量的可靠性指标小于或等于所述第一可靠性阈值(SC2)，则所述内插模型包括源图像之一中与要内插的所述像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给所述源图像像素的加权因子都相等。

12.如权利要求9或10所述的方法，其中，如果要内插的图像的所述像素的运动向量的可靠性指标小于或等于所述第一可靠性阈值(SC2)，则所述内插模型包括每个源图像中与要内插的所述像素的空间位置最靠近的n个像素，n大于或等于2，并且分配给所述源图像像素中的每个像素的加权因子取决于它们与要内插的所述像素的接近度以及要内插的图像相对于两个源图像的时间位置。

13.如权利要求9到12之一所述的方法，其中，像素的数量n随着所估计的向量的可靠性指标的值而减少。

14.如权利要求8到13之一所述的方法，其中，与针对要内插的像素的运动向量的估计相关的可靠性指标取决于包括所述像素的m×m像素的窗中的运动向量的方差。

15.如权利要求1所述的方法，其中，对所述向量的估计的所述至少一个信息表示是所述估计向量的幅度(A)、以及与所述向量的估计相关的可靠性指标。

16.一种用于从至少两个源图像内插出运动补偿图像的至少一个像素的内插设备，所述内插设备包括：

-存储器(200；400；600)，用于存储所述源图像；

-运动估计器(210；410；610)，用于从所述源图像中估计针对要内插的图像的所述像素的运动向量，

-确定电路(220；420；620)，用于确定对所述向量的估计的至少一个信息表示，以及

-内插电路(230；430；630)，用于根据对所述向量的估计的所述信息表示来选择针对要内插的图像的所述像素的内插模型，所述内插模型识别所述源图像中的至少一个图像中的像素，并将加权因子(α_i)与所识别的像素中的每个相关联，并从所选内插模型的像素和因子中内插出所述像素。

Images