CN101040530B - 具有视频模式检测的运动估计 - Google Patents

Abstract

本发明涉及一种通过使用按画面重复型式值加权的候选运动参数集来从第一图像的像素值计算出经过运动补偿的像素的用于从输入视频信号中提供运动参数集和/或画面重复型式的方法，尤其是用于对视频信号进行去隔行的方法。为了提供顾及场重复型式的运动补偿，提出了：通过对利用至少两个候选运动参数集和/或至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使第二图像的至少一个像素值与至少经过运动补偿的像素值之间的误差标准最小；和得出提供最小化误差标准的候选运动参数集和/或画面重复值。

Description

具有视频模式检测的运动估计

技术领域

本发明涉及一种通过使用用画面重复型式值加权的候选运动参数集从第一图像的像素值求出经过运动补偿的像素来从输入视频信号中提供运动参数集和/或画面重复型式的方法，尤其是用于对视频信号进行去隔行的方法。 

本发明还涉及用于从输入视频信号中提供运动参数集和/或画面重复型式的计算机程序和计算机程序产品，尤其是用于对视频信号进行去隔行的计算机程序和计算机程序产品，该程序包括适合用于促使处理器使用用画面重复型式值加权的候选运动参数集从第一图像的像素值求出经过运动补偿的像素的指令。 

最后，本发明涉及用于从输入视频信号中提供运动参数集和/或画面重复型式的计算机或集成电路，尤其是用于对视频信号进行去隔行的计算机或集成电路，包括运动补偿装置，该运动补偿装置使用用画面重复型式值加权的候选运动参数集从第一图像的像素值求出经过运动补偿的像素。 

背景技术

随着视频处理领域中新技术的出现，对于高质量的视频处理而言，运动补偿视频算法变得既可负担得起又很必要。为了提供高质量的视频处理，提供了不同的运动补偿应用。诸如用于噪声抑制的运动补偿(MC)滤波、用于编码的MC预测、用于从隔行到逐行格式转换的MC去隔行或MC画面率转换等应用都是公知的。这些应用得益于运动估计(ME)算法，对于运动估计算法有各种方法是公知的。 

运动估计算法在视频格式转换(是基于块的运动估计器)中的一个实例称为3D递归搜索(3D RS)块匹配器。 

运动估计算法基于这样的假设：像素的亮度值或色度值可以由位置的线性函数来逼近。该假设仅对于小位移是正确的。然而，该局限性可借助基于像素的运动估计方法(PEL递归方法)得到解决。运动估计的实现还包括块估计。在块匹配运动估计算法中，将位移矢量

分配给当前场n中的像素块

的中心

这是通过搜索也以

为中心但是处于时间上相邻的场(例如n-1、n+1)中的搜索区域SA内的相似块来完成。该相似块可具有这样的中心：该中心可相对于

 偏移位移

为找到

评估大量的候选矢量

运用误差度量

误差度量量化块的相似度。 

图1描述了这样的块匹配运动估计算法。所示出的是图像序列2的两个时刻n-1，n。在图像序列2内，确定水平位置X和垂直位置Y上的各个不同块4。为了确定块4的位移

可以运用前面提到的误差度量

来评估各种不同的候选矢量

一个可行的误差度量可以是假定绝对差(SAD)标准，就是 

$\mathrm{SAD}(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{x}\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}|F(\stackrel{\→}{x},n)-F(\stackrel{\→}{x}-\stackrel{\→}{C},n-p)|$

其中，

是块4内像素的亮度值。通过搜索也以

为中心但是处于前一或后一图像中的搜索区域

内的相似块10，将位移矢量

分配给当前图像内像素位置

的块4的中心

所述前一或后一图像可以是时间上在前或在后的图像或场。两个块4与10之间的相关性度量因此得到优化，以识别位移矢量

可以使用其它的误差标准，比如均方误差和归一化互相关函数。尤其是在傅立叶域中进行计算的情况下可以使用后者。误差标准的另一个实例可以是明显不同像素的数量。 

不是针对像素或块的估计运动矢量，我们知道运动估计器要将图像分成较大的区域，有时称为基于对象的运动估计，并且针对各个区域估计运动。此外，我们知道估计运动参数集除了水平和垂直位移之外还包括描述缩放(或变焦)、旋转等的运动参数。这对较大的块并且在基于区域或对象的运动估计中特别有用。在下文中，可能在所有情况下使用术语运动参数集，即，包括仅具有平移(translation)的参数集，也称为运动矢量，以及具有4(平移和变焦)、6(此外还包括旋转)、8、12个或任何其它整数个运动参数的参数集。 

然而，要应付各式各样的视频材料，包括起初处于电影上的材料，除了运动参数之外，运动补偿视频处理算法还需要关于画面重复型式的说明。当前的运动估计仅提供诸如每块或每像素的运动矢量这样的运动参数，这样的运动参数没有顾及画面重复型式。两个相继时间图像之间的位移不提供关于视频信号中运动的全部信息。不说明画面重复型式可能造成错误的位移矢量，尤其是在运动估计器具有递归搜索策略的情况下。而且，某些应用，例如去隔行，可能需要关于画面重复型式的附加信息才能正确执行它们的任务。 

一般来说，可以区分现有的视频材料当中的至少三种不同的视频模式。所谓的50Hz的电影模式包括源于同一图像的两个相继场的对。这一电影模式也称为2-2下拉模式。这种模式通常出现在为50Hz电视广播25个画面/秒的电影时。例如，如果该算法涉及运动补偿去隔行，如果知道哪些场属于同一图像，则去隔行可简化为场插入。 

在60Hz电源的国家中，电影是以24个画面/秒的速度播放的。该这样的情况下，需要所谓的3-2下拉模式来针对电视广播电影。该这样的情况下，要在三个或两个场内分别重复连续的单个电影图像，造成平均为60/24＝2.5的速度。同样，如果知道重复型式，则可用对去隔行应用场插入。 

如果视频序列的任何两个相继场属于不同图像，则该序列处于视频模式，而且必须利用特定的算法进行去隔行，以便获得逐行序列。 

我们还知道，电影模式与视频模式的组合会出现在一个序列内。在这一所谓的混合模式下，必须对不同的场应用不同的去隔行方法。在混合模式下，序列的某些区域属于视频模式，而其余区域可能处于电影模式。如果运用场插入来对混合序列进行去隔行，则结果得到的序列会在视频模式区域中表现出所谓的齿形伪影。另一方面，如果运用视频去隔行算法，则它会在电影模式区域内引入非希望的伪影，如闪烁。 

在US 6340990中，介绍了混合序列的去隔行。公开了一种方法，该方法提出利用多个运动检测器分辩不同模式并且据此采用去隔行方法。由于所提出的方法没有使用运动补偿，因此移动的视频部分中的结果比较差。 

同样，当运动估计是为其它算法内的应用(图像上转换、噪声消减或任何其它应用)设计的时，必须是除了运动矢量外画面重复型式也是已知的。 

因此，本发明的一个目的是提供顾及场重复型式的运动估计。本发明的另一个目的是提供改进的运动估计。本发明的另一目的是提供不会因原始视频材料中的场重复型式而受到干扰的运动估计。 

发明内容

本发明的这些和其它目的可以通过一种用于从输入视频信号中提供运动参数集和/或画面重复型式的方法，尤其是用于对视频信号进行去隔行的方法来得到解决，该方法使用按画面重复型式值加权的候选运动参数集来从第一图像的像素值 计算出经过运动补偿的像素，通过对利用至少两个候选运动参数集和/或至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使第二图像的至少一个像素值与至少经过运动补偿的像素值之间的误差标准最小，和得出提供最小化误差标准的候选运动参数集和/或画面重复值。 

本发明可以用于例如去隔行、图像率转换或任何其他从有关画面重复型式检测知识中获益的应用。 

本发明提供顾及画面重复型式的运动估计。使用画面重复值顾及到了与时间上连续的场中的画面重复相关的附加信息。为了顾及视频中不同的模式，并且为了运行确定这些不同的模式，从至少3个图像时刻中确定最小化的误差标准可能尤其有用。运动参数集可以通过任何2个图像的不同画面重复值来加权，并且可以顾及不同的可能画面重复型式。籍此，可以检测出最有可能的画面重复型式。可以并行完成利用候选运动参数集和画面重复值进行的运动补偿像素计算的迭代，以更快地提供结果。 

这一画面重复值(也称为场重复值)可以是位移矢量的系数。可以将这一系数选择成这样：使得连续视频场中的场重复可以得到顾及。对候选运动参数进行加权可以通过将选定的候选运动参数集或者它的任何值(比如运动矢量)与画面重复型式值相乘来完成。为了计算画面重复型式值，可能需要考虑不止两个时刻的场之间的运动。这可以例如是当前的、在前的和随后的场。 

而且，由于关于前一场的运动参数集和关于下一场的运动参数集之间的关系可以取决于块或对象级上的画面重复型式，因此这需要加以考虑。画面重复型式不仅可以在图像级上(例如场重复是在整个图像内的)得到顾及，而且可以在块和/或对象级上得到顾及。 

可以使用求和绝对差(SAD)标准、均方误差标准、归一化互相关函数标准或任意其它适合的误差函数实施差值的最小化。 

按照权利要求3和4的实施方式也是优选的。 

根据实施方式，从运动参数集中选择运动矢量适合于提供良好的去隔行结果。运动矢量可以是候选运动矢量。可以测试不同的候选运动矢量，并且可以选择产生最小差值的候选矢量作为位移矢量，尤其用于去隔行。 

在将图像分割成像素群的情况下，运动估计可以提供良好的结果，并且第二图像的像素群与第一图像的经过运动补偿的像素群之间的误差标准得以最小化。 还可以使用第三图像，并且可以在三个图像范围内对误差标准加以计算。可以在图像内群和对象内从空间上考虑重复型式。这可以造成顾及仅仅应用于图像内的空间上特定区域或场的重复型式，而不仅仅是整个图像。 

为了顾及前一图像与当前图像之间以及后一图像与当前图像之间的误差标准，根据实施方式提出了权利要求6和7的方法。 

为了顾及不同的视频模式，可以使用用于运动补偿的第一和第二加权运动参数集作为候选运动参数集。而且，可以使用第三和第四加权运动参数集作为候选运动参数集。这些可以用于区分在前一、当前和后一时刻的图像。 

为了顾及电影模式或零模式，第一和第三运动参数集可以通过被选择为零的画面重复型式值进行加权而得到。 

为了顾及视频模式，第二和第四运动参数集可以通过被选择为具有相等绝对值的画面重复型式值进行加权而得到。例如，可以将加权运动参数集选择为长度相等而方向相反的运动矢量。 

为了顾及遍及至少三个时刻的运动型式，根据实施方式提出了根据权利要求13的方法。 

当运动估计标准把来自于一个时刻的图像的现有像素值与另一个时刻的图像的现有像素值作比较时，可能出现在隔行扫描的素材中不总是提供这些像素的情况。这可能取决于隔行扫描的阶段。在此情况下，有可能起因于借助内插算法在某个位置上计算出的缺失像素。这可以通过例如使用广义抽样定理(GST)内插滤波器内插缺失像素值来实现。 

由于局部运动加速(即在两个画面周期内不均匀的运动)可能在模式检测和运动估计中造成误差，根据实施方式可以提出罚分(penalty)系统。该罚分系统可以顾及到相邻场或帧中的占多数模式(majority mode)，该占多数模式可以估计给予在当前场或帧中检测到的替换模式的罚分值。如果在当前场或帧n内，确定视频模式为占多数模式，则在确定后一场或帧n+1的模式时，可以对电影模式或零模式给予罚分。如果对于当前场或帧n并且检测出电影模式为占多数模式，则可以对后一场或帧中的替换电影模式或视频模式给予罚分。 

本发明的另一方面是用于从输入视频信号中提供运动参数集和/或画面重复型式的计算机程序，尤其是用于对视频信号进行去隔行的计算机程序，该程序包括适合用于促使处理器进行下列操作的指令：使用通过画面重复型式值加权的候选 运动参数集来从第一图像的像素值计算出经过运动补偿的像素，通过对利用至少两个候选运动参数集和/或至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使第二图像的至少一个像素值与至少经过运动补偿的像素值之间的误差标准最小，和得出提供最小化误差标准的候选运动参数集和/或画面重复值。 

本发明的更进一步方面是用于利用存储在其上的计算机程序从输入视频信号中提供运动参数集和/或画面重复型式(尤其是用于对视频信号进行去隔行)的计算机程序产品，该程序包括适合用于促使处理器进行下列操作的指令：使用通过画面重复型式值加权的候选运动参数集来从第一图像的像素值计算出经过运动补偿的像素，通过对利用至少两个候选运动参数集和/或至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使第二图像的至少一个像素值与至少经过运动补偿的像素值之间的误差标准最小，和得出提供最小化误差标准的候选运动参数集和/或画面重复值。 

本发明的附加方面是用于从输入视频信号中提供运动参数的计算机，尤其是用于对视频信号进行去隔行的计算机，包括：运动补偿装置，用于使用通过画面重复型式值加权的候选运动参数集来从第一图像的像素值计算出经过运动补偿的像素，计算装置，用于通过对利用至少两个候选运动参数集和/或至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使第二图像的至少一个像素值与至少经过运动补偿的像素值之间的误差标准最小，和选择装置，用于得出提供最小化误差标准的候选运动参数集和/或画面重复值。 

本发明的这些和其它方面从下列实施方式来说将是显而易见的，并且将参照下列实施方式加以阐明。 

附图说明

在附图中示出了： 

图1是块匹配的图示； 

图2a和图2b是递归搜索块匹配器的矢量候选集的图例； 

图3是具有相同运动参数的不同画面重复型式的图例。 

具体实施方式

如图1中所示的块匹配器在前面已进行了介绍。利用候选矢量将当前图 像n中的块4和前一图像n-1中搜索区域6内的测试块10连接起来。相关度量，两个块4，10之间的匹配误差可被优化，从而识别出最佳的候选矢量

借此，可以测试使用不同候选矢量

的不同测试块10，而且对于最佳的匹配候选矢量，匹配误差可被最小化。 

搜索块匹配器中最低匹配标准，是一个二维优化问题，对于该问题有许多解决方法可用。一种可行的实现方式是使用三步块匹配器、2D对数、或交叉搜索法、或一次搜索一个的块匹配。在G.de Haan撰写的《Progress in Motion Estimation forConsumer Video Format Conversion》(IEEE transactions on consumer electronics，2000年8月，卷46，第3期，第449-459页)中公开了不同的块匹配策略。 

优化策略的一种可行的实现方式可以是3D递归搜索块匹配器(3D RS)。这种3D RS顾及了大于块的对象，最佳的候选矢量可能出现在像素或块的邻近空间区域。 

如图2a所示，假定扫描方向为从左往右、从上往下，因果律禁止使用当前块Dc 4a右下方的空间预测矢量4 Ds。取而代之，需要使用时间预测矢量D 4c。对于当前块Dc 4a，在搜索区域2内，空间预测矢量Ds 4b与时间预测矢量Dt 4c是可用的。由于对于当前块Dc 4a的空间预测仅可使用已被扫描的块，因此空间预测仅对块Ds 4b是可能的。用块Dt 4c进行时域预测是可能的，因为从搜索区域2中的前一时刻开始，关于块Dt 4c的信息可用。 

图2b展示了使用两个空间预测矢量Ds 4b和一个时间预测矢量Dt 4c来预测当前块4a。 

已发现，评估搜索范围内所有可能矢量意义不大。评估从空间相邻的块中提取的矢量可能就已经足够了，比如： 

$\mathrm{CS}(\stackrel{\→}{X},n)=\{\stackrel{\→}{C}\∈{\mathrm{CS}}^{\max }|\stackrel{\→}{C}=\stackrel{\→}{D}(\stackrel{\text{\→}}{X}+\left(\begin{array}{c}\mathrm{iX}\\ \mathrm{jX}\end{array}\right),n\},$

i，j＝-1，0，-1 

其中，将CSmax定义为一组候选矢量

该组矢量描述了相对于前一图像中搜索区域

内

的所有位移(整数，或像素网格上的非整数)，为： 

$\mathrm{CS}\max =\{\stackrel{\→}{C}|-N\≤\mathrm{Cx}\≤+N,-M\≤\mathrm{Cy}\≤+M\},$

其中，n和m是限制

的常数。要简化计算系统负担，仅仅评估从空间上相邻的板CS中提取的矢量

就足够了。X，Y可分别定义块的宽度和高度。因果律 和实现中对管道传输的需求可防止所有相邻块可用，并且，在初始化中，所有矢量可为0。 

为了顾及矢量的可用性，当前图像内还没有计算出来的那些矢量可从前一矢量场中的相应位置上取得。图2a展示了当前块Dc 4a和从中提取结果矢量作为候选矢量Ds 4b，Dt 4c的块的相对位置。如果块被从左上方向右下方扫描，则候选矢量集可被定义为： 

$\mathrm{CS}(\stackrel{\→}{X},n)=\{\stackrel{\→}{C}\∈{\mathrm{CS}}^{\max }|\stackrel{\→}{C}=\stackrel{\→}{D}(\stackrel{\→}{X}+(k,-1)\·\left(\begin{array}{c}X\\ Y\end{array}\right),n)\mathrm{\ν}\stackrel{\→}{C}=\stackrel{\→}{D}(\stackrel{\→}{X}+(i,j)\·\left(\begin{array}{c}X\\ Y\end{array}\right),n-1)\}$

k＝-1，0，1    i＝-1，0，1  j＝0，1。 

这个候选集CS暗中假设了空间上和/或时间上的连贯性。 

初始化时零矢量的问题可借助添加一个更新矢量来解决。图2b描述了一种从候选矢量集中省略一些空间与时间预测的可行实现方式，其中，候选集

 可由下式定义： 

$\mathrm{CS}(\stackrel{\→}{X},n)=\left\{\begin{array}{c}\left(\stackrel{\→}{D}\right(\stackrel{\→}{X}-\left(\begin{array}{c}X\\ Y\end{array}\right),n)+{\stackrel{\→}{U}}_1(\stackrel{\→}{X},n)),\\ \left(\stackrel{\→}{D}\right(\stackrel{\→}{X}-\left(\begin{array}{c}-X\\ Y\end{array}\right),n)+{\stackrel{\→}{U}}_2(\stackrel{\→}{X},n)),\\ \left(\stackrel{\→}{D}\right(\stackrel{\→}{X}+\left(\begin{array}{c}0\\ 2Y\end{array}\right),(n-1))\end{array}\right\}$

其中，更新矢量和

可交替得到，并且是从有限的固定的整数或非整数更新集中提取的，比如： 

${\mathrm{US}}_i(\stackrel{\→}{X},n)=\left\{\begin{array}{c}\stackrel{\→}{0}\\ {\stackrel{\→}{y}}_u,-{\stackrel{\→}{y}}_u,{\stackrel{\→}{x}}_u,-{\stackrel{\→}{x}}_u,\\ 2{\stackrel{\→}{y}}_u,-2{\stackrel{\→}{y}}_u,3{\stackrel{\→}{x}}_u,-3{\stackrel{\→}{x}}_u\end{array}\right\},$

其中，  ${\stackrel{\→}{x}}_u=\left(\begin{array}{c}1\\ 0\end{array}\right),$ and  ${\stackrel{\→}{y}}_u=\left(\begin{array}{c}0\\ 1\end{array}\right).$

能够描述不止平移的更加复杂的对象运动(例如旋转或缩放)的模型可使用将图像分割成单个对象井且为这些对象中的每一个估计运动参数集。由于块的数量通常超过对象的数量不止一个数量级，因此每个图像需被计算的运动参数的数量得到减少。不过，计算的复杂程度就增加了。 

根据具体实施，可以确定像素块对象，该对象可称为像素群。可以确定运动参数，例如各像素群对应的运动矢量。可以通过计算当前图像中像素群的亮度值与第二个时间上相邻的图像中的相应的经过运动补偿的亮度值之间的总计绝对差来测试候选矢量。可以使用两个时刻来估计局部像素群的运动参数集。 

对于视频格式转换中的某些应用，可能需要与一连串图像中的画面重复型式有关的附加信息。 

图3描述了像素块4的两个连续时间图像之间的不同位移矢量D8。这些矢量8之一可能不会给出与序列中运动相关的全部信息。位移矢量8可以仅代表图像的两个时刻n和n-1或n+1之间的位移。不过，图像n、n-1和n、n+1之间的位移可以不同。至此，实施方式给出了对不止两个时刻(例如，当前n、前一n-1和下一n+1帧/场)之间的运动的考虑。针对前一场 

和后一场 

的不同运动矢量8之间的关系可以取决于块或对象级上的画面重复型式。不同画面重复型式可能是由不同来源造成的，比如视频和电影，其可按以下方法被建模。 

如果序列处于视频模式，则矢量8为 

表现为跨越两个场周期的线性运动，如图3a所示。在这种情况下，不发生重复。这可以称为(1，-1)模式，其中1和-1是对对应运动矢量加权用的画面重复型式值。 

如果序列处于2-2下拉电影模式，则位移矢量8可以是 

且 

或者是 

且 

在这种情况下，需对图像的连续时刻应用不同的位移矢量值。图3b中示出了这些不同的位移矢量。该模式可以称为(0，-1)模式或(1，0)模式，其中0、-1和1是对对应运动矢量加权用的画面重复型式值。 

2-3下拉模式或者在序列包含非运动对象的情况下，会得到位移矢量  ${\stackrel{\→}{n}}_{n,n+1}={\stackrel{\→}{D}}_{n,n-1}=\stackrel{\→}{0}.$ 这可以是(0，0)模式。 

给出了不同视频模式阶段中的位移矢量D之间的关系，视频模式可以称为(1，-1)模式，电影模式可以称为(1，0)模式和(0，-1)模式，静止阶段可以称为(0，0)模式，其中0、-1和1是对对应运动矢量加权用的画面重复型式值。 

为了归纳位移矢量 

可以在时域区间 

内表示时间上相邻的两个图像之间的运动矢量。该时域区间的分量可以代表由下标n、n-1表示的两个图像的相对时间位置。可建立画面重复型式值c_ij∈(0，1，-1)，解释时域区间分量 ${\stackrel{\→}{D}}_{n,n-1},{\stackrel{\→}{D}}_{n,n+1},{\stackrel{\→}{D}}_{n,n-2}$ 等之间的不同关系。 

由于位移矢量可等于常数C_ij，所以可以将位移矢量表示为  ${\stackrel{\→}{D}}_{n,n-J}\≡c_j\stackrel{\→}{D}.$ 借助 这一关系式，利用均匀运动对应的c_j＝1，-1或者根本无运动对应的c_j＝0，来说明两个连续场或帧之间的画面重复型式。使用这一系数作为画面重复型式系数，可以使用基于块或对象的运动估计算法，其中已经顾及了场重复型式。这样的最小化标准可为： 

$\mathrm{SAD}(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{P}{\mathrm{\Σ}}\underset{x\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}|F(\stackrel{\→}{x},n)-F(\stackrel{\→}{x}-c_p\stackrel{\→}{C},n-p)|,$

其中，c_p是使最小化标准得到满足的位移矢量

的系数。由此，可以顾及不同的场重复型式，以得出最佳匹配位移矢量和画面重复型式二者。 

如果整个序列处于视频模式并且运动被非均匀地局部加速，则局部运动具有更高的变化，以致类似于电影阶段之一。例如，如果局部运动是使得

小而

大，那么SAD对于电影模式比对于视频模式要小，不过实际的画面重复型式为视频模式。这种情况可能会造成影响运动探测和运动估计二者的误差。 

根据实施方式，这种类型的误差可通过提供罚分系统来避免。这一罚分系统可通过给误差函数加上罚分值P而得到适配，如： 

$\mathrm{SAD}(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{x}\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}|F(\stackrel{\→}{x},n)-F(\stackrel{\→}{x}-\stackrel{\→}{C},n-p)|+P(\stackrel{\→}{X},n)$

其中，为罚分值。该罚分值可根据在场或帧内n检测出的为(1，-1)，(1，0)或(0，-1)模式之一的占多数模式来加以选择。按以下方式将占多数模式罚分值P_n给予场n+1中的供选择模式。 

如果检测到视频模式为当前帧中的占多数模式，则在确定时间上的下一个帧n+1的模式时，为阶段(1，0)和(0，-1)给出罚分值P_n。 

如果在当前帧n中检测到(1，0)模式为占多数模式，则在确定时间上的下一个帧n+1的模式时，为阶段(1，0)和(1，-1)给出罚分值P_n。 

如果检测到当前帧n中的占多数模式为(0，-1)模式，则在确定时间上的下一个帧n+1的模式时，为阶段(0，-1)和(1，-1)给出罚分值P_n。 

已经从图3a到图3c中确定了罚分值的应用。在图3a中可以看出，如果为当前帧确定了视频模式，则下一帧也处于视频模式下，因此需要对电影模式(1，0)和(0，-1)进行罚分，因为不太可能出现电影模式。 

从图3b中可看出，在检测到电影模式(1，0)的情况下，则后续帧可能不处于电影模式(1，0)或视频模式(1，-1)，因此可以对这些模式进行罚分。 

从图3c中可看出，在检测到电影模式(0，-1)的情况下，可以对阶段(0，-1)或视 频模式(1，-1)给出罚分，因为这些模式不太可能出现在后续帧中。 

本发明的顾及局部画面重复模式识别的运动估计器给出了高质量的视频格式转换算法。运动估计准则因此可以应用于在电影、视频和混合序列中相遇的非均匀的运动型式。 

一种计算机，用于从输入视频信号中提供运动参数，尤其是用于对视频信号进行去隔行，尤其是按照权利要求1所述的方法从输入视频信号中提供运动参数，包括： 

—运动补偿装置，用于使用按画面重复型式值加权的候选运动参数集来从第一图像的像素值计算出经过运动补偿的像素， 

—计算装置，用于通过对利用至少两个候选运动参数集和/或至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使第二图像的至少一个像素值与至少经过运动补偿的像素值之间的误差标准最小，和 

—选择装置，用于得出提供最小化误差标准的候选运动参数集和/或画面重复值。 

该运动补偿装置、计算装置和选择装置可以用一个处理器加以实现。通常，这些功能是在软件程序产品的控制下进行的。在执行期间，通常把软件程序产品载入到象RAM这样的存储器中，并且从该存储器中运行。该程序可以从象ROM、硬盘或磁和/或光存储装置这样的后台存储器中载入，或可以通过象Internet这样的网络载入。可选地，专用集成电路提供所公开的功能。 

应当注意，以上提及的实施方式是说明而不是限制本发明，并且本领域技术人员将能够设计出其它可供选用的实施方式，而不会超出所附权利要求的范围。在权利要求书中，任何位于圆括号之间的附图标记不应构成对本权利进行限制。词语“包括”并不排除权利要求中未列入的元素或步骤的出现。元素之前的词语“一”或“一个”并不排除多个这种元件的出现。借助包括数种不同元件的硬件和借助适当编程的计算机，本发明能够得以实现。在列举数种装置的本权利要求单元中，这些装置的几种能够通过同一项硬件得以具体实现。词语第一、第二和第三等等并不表明任何顺序。这些词语要解释为名称。 

Claims (18)

1.一种用于从输入视频信号中提供画面重复型式的方法，其用于对视频信号进行去隔行，该方法包括步骤：

-使用按画面重复型式值加权的候选运动参数集来从第一图像的像素值计算出经过运动补偿的像素，

-通过对利用至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使第二图像的至少一个像素值与至少经过运动补偿的像素值之间的误差标准最小，其中所述至少两个画面重复值与至少第一视频模式和第二视频模式的不同的画面重复型式相对应，和

-得出提供最小化误差标准的画面重复值，该画面重复值与第一视频模式或者第二视频模式的画面重复型式相对应。

2.如权利要求1所述的方法，其中该方法还适合于提供运动参数集，

在所述最小化步骤中，利用至少两个候选运动参数集对经过运动补偿的像素的计算进行迭代，并且

在所述得出步骤中，得出提供最小化误差标准的候选运动参数集。

3.如权利要求2所述的方法，其中运动参数集包括运动矢量、缩放值和/或旋转值。

4.如权利要求1所述的方法，其中第一图像和第二图像是时间上相邻的。

5.如权利要求1所述的方法，其中误差标准是绝对差。

6.如权利要求1所述的方法，其中将图像分割成像素群并且其中使第二图像的像素群与第一图像的经过运动补偿的像素群之间的误差标准最小。

7.如权利要求1所述的方法，其中使第二图像的至少一个像素值与时间上在前的图像的至少一个经过运动补偿的像素值之间的误差标准最小。

8.如权利要求1所述的方法，其中使第二图像的至少一个像素值与时间上随后的图像的至少一个经过运动补偿的像素值之间的误差标准最小。

9.如权利要求1所述的方法，在用于来自时间上在前的图像中的像素的运动补偿的至少第一和第二加权运动参数集之间进行迭代。

10.如权利要求1所述的方法，在用于来自时间上随后的图像中的像素的运动补偿的至少第三和第四加权运动参数集之间进行迭代。

11.如权利要求1所述的方法，在用于来自时间上在前的图像中的像素的运动补偿的至少第一和第二加权运动参数集之间进行迭代，并且在用于来自时间上随后的图像中的像素的运动补偿的至少第三和第四加权运动参数集之间进行迭代。

12.如权利要求11所述的方法，其中将第一和第三运动参数集的加权值选择为零。

13.如权利要求11所述的方法，其中将第二和第四运动参数集的加权值选择为绝对值相等。

14.如权利要求1所述的方法，通过对利用至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使a)从当前图像的至少一个像素计算出来的像素值与时间上在前的图像的至少一个经过运动补偿的像素值和b)从当前图像的至少一个像素计算出来的像素值与时间上随后的图像的至少一个经过运动补偿的像素值之间的差最小。

15.如权利要求1所述的方法，通过对利用至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使a)从当前图像的至少一个像素内插得出的像素值与时间上在前的图像的至少一个经过运动补偿的像素值和b)从当前图像的至少一个像素内插得出的像素值与时间上随后的图像的至少一个经过运动补偿的像素值之间的差最小。

16.如权利要求1所述的方法，依据在空间-时间相邻物中检测到的场重复型式对所计算出的误差标准进行罚分。

17.如权利要求1所述的方法，对从通过与空间-时间相邻物中未检测到的画面重复型式对应的画面重复型式值加权的候选运动参数集计算出的求得误差标准进行罚分。

18.一种用于从输入视频信号中提供画面重复型式并且用于对视频信号进行去隔行的集成电路，该集成电路按照权利要求1所述的方法从输入视频信号中提供画面重复型式，该集成电路包括：

-运动补偿装置，用于使用按画面重复型式值加权的候选运动参数集来从第一图像的像素值计算出经过运动补偿的像素，

-计算装置，用于通过对利用至少两个画面重复值进行的经过运动补偿的像素的计算进行迭代，使第二图像的至少一个像素值与至少经过运动补偿的像素值之间的误差标准最小，其中所述至少两个画面重复值与至少第一视频模式和第二视频模式的不同的画面重复型式相对应，和

-选择装置，用于得出提供最小化误差标准的画面重复值，该画面重复值与第一视频模式或者第二视频模式的画面重复型式相对应。

Images