CN101288310A - 运动估计 - Google Patents

Abstract

确定图像信号内的估计运动向量。为了提高估计运动向量的准确性，为信号的图像中至少一个像素建立至少两个候选运动向量；对每个所述候选运动向量，计算至少两个误差准则；以及选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。

Description

运动估计

技术领域

本专利申请总体涉及改进的运动估计，以克服孔径问题。

背景技术

随着视频处理领域新技术的出现，运动补偿视频算法对于高质量的视频处理不仅十分必要，而且成本也日趋合理。为了提供高质量的视频处理，开发了不同的运动补偿应用。各种应用，如用于降低噪声的运动补偿(MC)滤波、用于编码的MC预测、用于将隔行格式转换为逐行格式的MC去隔行、或MC图像速率转换已为人们所熟知。上述应用均受益于运动估计(ME)算法，对后者而言已有多种方法为人们所熟知。

视频格式转换中运动估计算法的一示例，一种基于块的运动估计器，称作三维递归搜索(3D RS)块-匹配器。

运动估计算法基于这样的假设，即可以通过位置的线性函数对像素的亮度或色度值进行近似。该假设可能仅对于小位移而言是正确的。然而，可以利用基于像素的运动估计方法(PEL-递归方法)消除此限制。

运动估计的实现还包括块估计。在块匹配运动估计算法中，通过在搜索区

内搜索相似的块，以将位移向量

分配给当前场n中像素块

的中心

其中搜索区

也以

为中心，但处于时间上相邻的场如n-1、n+1中。相似块可以具有相对于

移位了

的中心。为了找到

估计出一组候选向量

为了估计这组候选向量计算用于量化块相似性的误差度量

用于说明搜索区

内相对

的所有可能位移的候选向量组可以被描述为：

${\mathrm{CS}}^{\max }=\left\{\stackrel{\→}{C}\right|-N\≤C_x\≤+N,-M\≤C_y\≤M\},$

N、M是用于限制搜索区

的常数。

由全搜索块匹配处理产生的位移向量

是使至少一个误差函数

取最小值的候选向量

这可以被表示为：

$\stackrel{\→}{D}(\stackrel{\→}{X},n)={\arg \min }_{\stackrel{\→}{C}\∈{\mathrm{CS}}^{\max }}\left(\mathrm{\ϵ}(\stackrel{\→}{C},\stackrel{\→}{X},n)\right)$

通常将具有最小匹配误差的向量

赋给块中的所有位置

对于给定的候选向量

误差值可以是当前块中像素亮度值和前一场中移位块的像素亮度值在块

上求和的函数。误差值还可以是像素值的任意其他函数，并可以被表示为代价函数的和：

$\mathrm{\ϵ}(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{x}\∈B\left(\stackrel{\→}{x}\right)}{\mathrm{\Σ}}\mathrm{Cost}(F(\stackrel{\→}{x},n),F(\stackrel{\→}{x}-\stackrel{\→}{C},n-p))$

对于非隔行信号通常选择p＝1，对隔行信号通常选择p＝2。代价函数例如可以是两像素块间绝对差值之和。

还可以将给定候选向量的误差值看作代价函数或约束函数。与图像内运动的性质有关的约束函数例如可以是强度守恒约束或空间相干性约束。当约束分别导致解的正交子空间时，所选约束是最佳的。根据图像内容，可以向这组可能的运动向量施加物理限制，例如，运动平滑性、物体惯性等。数学上，上述限制可以采取将运动参数/运动向量作为变量的方程的形式(对运动参数/运动向量的约束)，并且它可以被添加到待最小化的代价函数或与之组合。

图1示出了如上所述的块匹配运动估计算法。示出了图像序列2的两个时刻n-1、n。在图像序列2中，确定水平位置X和垂直位置Y处的各块4。为了确定块4的位移

可以应用上述误差度量

估计各各候选向量8。一种可能的误差函数可以是绝对差值之和(SAD)准则，即：

$\mathrm{SAD}(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{x}\∈B\left(\stackrel{\→}{x}\right)}{\mathrm{\Σ}}|F(\stackrel{\→}{x},n)-F(\stackrel{\→}{x}-\stackrel{\→}{C},n-p)|$

其中

是块4中像素的亮度值。通过在同样以为中心、但位于之前或之后图像中的搜索区

6中搜索相似块10，为当前图像中像素位置块4

的中心

指定位移向量

其中之前或之后的图像可以是时间上之前或之后的图像或场。因此，优化两个块4、10间的相关度量，以确定位移向量

还可以采用其他误差准则，如均方误差和规一化互相关函数。特别地，当在傅氏域中进行计算时，可以采用后一种准则。误差准则的另一示例可以是差异巨大的像素的数量。上述准则可以是代价函数。物理限制，如边界条件可以提供新的候选独立代价函数。

块匹配方法能够找出接近于实际运动向量的候选向量。为了进一步提高一致性，采用惩罚体制(penalty system)，其向误差函数添加惩罚值，该惩罚值可取决于预测类型，即空间预测或时间预测。

然而，上述误差/代价函数不能完全确定二维运动参数。上述代价函数可能受所谓孔径问题的影响。为了克服此问题，有关图像内容的额外信息，如某些物理约束，即运动平滑性、物体惯性等，可能是必要的。例如，在单一方向(即边沿)的序列中，在单一边沿的方向上具有相同向量分量的所有候选向量可能具有相同的代价函数。因此，SAD无法完全确定运动的二维分量，而只能确定垂直于边沿的分量。由于仅被确定为与序列中单一方向(如边沿)相切的常量，因此只采用SAD的运动估计产生了退化。该问题也称运动补偿的孔径问题。

同时施加额外的误差函数，如边界条件，或与视频场景中运动性质有关的约束，可以解决孔径问题。消除确定运动向量时退化的必要条件是：各约束应导致相互正交的子空间解。施加于运动向量解空间的物理约束(即，平滑运动、物体惯性、边界条件等)能将整个解空间划分为子空间。子空间中的各运动向量服从至少一个约束。当两个物理约束独立时，它们的相应子空间就包含相互独立的向量，即相应的子空间是正交的。可以使用正交子空间中的一组候选运动向量CS^max。一般而言，如果满足所有约束条件，则一组m个具有误差函数ε_m的约束可以得到运动估计向量

的解。对于此运动估计向量，总代价函数具有最小值。总代价函数可以如下计算：

$\mathrm{\ϵ}({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)=\underset{m}{\mathrm{\Σ}}{\mathrm{\λ}}_m{\mathrm{\ϵ}}_m({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)$

λ_m是一些任意的乘数因子。然而，具有最小值的总代价函数未必导致所有各个约束得以满足。

例如，对于一个候选运动向量

具有多个极小值和绝对最小值，可以令一个代价函数产生退化。总代价函数可以在一约束的局部极小值处具有针对此约束的局部极小值。如果一约束的局部极小值比其他约束的局部极小值小得多，就能够补偿其他代价函数所产生的非极小值。因此，总误差函数导致错误的最小值，此最小值可能不是所有各个约束的极小值。在这种情况下，如果 $\mathrm{\Δ}{\mathrm{\ϵ}}_k={\mathrm{\ϵ}}_k({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)-{\mathrm{\ϵ}}_k({\stackrel{\→}{C}}_{\min }^k,\stackrel{\→}{X},n)$ 足够大以致满足以下不等式：

$\underset{l\≠k}{\mathrm{\Σ}}{\mathrm{\λ}}_l{\mathrm{\ϵ}}_l({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)+{\mathrm{\λ}}_k\mathrm{\Δ}{\mathrm{\ϵ}}_k$

$>\underset{l\≠k}{\mathrm{\Σ}}{\mathrm{\λ}}_{\mathrm{kl}}{\mathrm{\ϵ}}_l({\stackrel{\→}{C}}_{\min }^k,\stackrel{\→}{X},n)$

则不等式

$\mathrm{\ϵ}({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)=$

$\underset{l\≠k}{\mathrm{\Σ}}{\mathrm{\λ}}_l{\mathrm{\ϵ}}_l({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)+{\mathrm{\λ}}_k{\mathrm{\ϵ}}_k({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)$

$>\underset{l\≠k}{\mathrm{\Σ}}{\mathrm{\λ}}_l{\mathrm{\ϵ}}_l({\stackrel{\→}{C}}_{\min }^k,\stackrel{\→}{X},n)+{\mathrm{\λ}}_k{\mathrm{\ϵ}}_k({\stackrel{\→}{C}}_{\min }^k,\stackrel{\→}{X},n)$

$=\mathrm{\ϵ}({\stackrel{\→}{C}}_{\min }^k,\stackrel{\→}{X},n)$

成立。

因此，本申请的一个目的是提供一种克服代价函数退化的解决方案。本发明的另一个目的是提供一种克服孔径问题的运动估计。本发明的再一个目的是提供一种改进估计运动向量的运动估计。

发明内容

为了克服上述问题中的一个或多个问题，该申请依照一方面提出了一种用于确定图像信号中估计运动向量的方法，包括：为信号的图像中至少一个像素建立至少两个候选运动向量；对每个所述候选运动向量，计算至少两个误差准则；以及选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。

依照实施例的信号可以是任意图像序列，如视频序列。信号中的图像可以由像素构成。像素可以是描述图像特定部分的亮度和色度的图像元素。图像内的多个相邻像素可以被看作像素块。

图像中的元素可在数帧图像内发生运动。元素的运动可以用运动向量加以描述。运动向量可以描述特定像素或像素块的运动方向和速度。

可以将运动估计理解为计算运动概率。可以使用运动估计来计算最有可能描述图像中实际运动的运动向量。利用这些向量，能够预测接下来的帧的图像。估计运动向量还可用于对隔行图像进行去隔行。

候选运动向量可以是一组描述像素或像素块可能运动的可能向量。这组候选运动向量可用于确定一个最符合图像内实际运动的估计运动向量。例如，高质量视频格式转换算法(如去隔行和时间上变换)以及计算机视觉应用和视频压缩可能需要运动估计。运动估计过程中的孔径问题是由于缺少与场景中运动的性质有关的额外知识所造成的。根据含有单一方向即边沿的信号，无法确定二维运动分量，或只确定为边沿切向上的常量。

这种不确定性可能导致代价函数存在多个极小值，并导致运动估计退化。退化可能导致对运动向量的错误估计，这可能导致视频格式转换中的赝象。依照一实施例，通过施加多个误差函数的方法来解决这一问题，其中各误差函数具有与运动性质有关的不同约束。这种约束可能是强度守恒或空间相干性。首选的约束是能够分别产生正交解的约束。

对一组候选运动向量，应用使代价最高的约束最小化的多个误差函数的非线性组合，就可以得到最优的运动估计。代价最高的代价函数可以取最大值。通过最小化所有代价函数的最大值，可以最小化代价最高的代价函数。

依照实施例，至少两个候选运动向量描述搜索区内像素的可能位移。此位移可以沿x和y方向。向量可以通过其x和y分量来描述运动的方向。可以通过向量的绝对值来描述运动的速度。

依照实施例，用空间和/或时间预测来建立至少两个候选运动向量。例如，在提供扫描图像线的扫描图像中，因果性限制了空间预测在尚未发送的图像块中的使用。相反，可以使用时间预测。

误差准则可以是绝对差值之和准则、均方误差准则、规一化互相关准则或重要像素数准则中的至少一种。可以将上述误差准则理解为约束。

非线性函数是误差准则的最大值：

$\mathrm{\ϵ}(\stackrel{\→}{C},\stackrel{\→}{X},n)=\mathrm{MAX}\left\{{\mathrm{\ϵ}}_m(\stackrel{\→}{C},\stackrel{\→}{X},n)\right\}$

是位置

处候选向量的第m(m＞1)个误差准则ε。由此，就可以在候选运动向量集上最小化代价最高的约束。非线性函数还可以是误差准则的中值。此外，至少一个误差准则是根据插值像素的绝对差值计算的。至少一个误差准则可以根据插值像素和场内插值像素的绝对差值计算。此外，至少一个误差准则还可以根据当前帧或场中的一个像素与之前或之后的去隔行帧或场中的运动补偿插值像素之间的绝对差值计算。

为了改进隔行信号的运动估计，利用广义采样定理根据隔行信号计算像素值。

本发明的另一方面是用于确定图像信号内估计运动向量的计算机程序，该程序包括指令，可用于使处理器：为信号的图像内至少一个像素建立至少两个候选运动向量；对每个所述候选运动向量，计算至少两个误差准则；以及选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。

另一方面是一种用于确定图像信号中估计运动向量的计算机程序产品，其上有形地存储有程序，具有指令，可用于使处理器：为信号的图像内至少一个像素建立至少两个候选运动向量；对每个所述候选运动向量，计算至少两个误差准则；以及选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。

参考以下实施例对本发明的上述和其他方面进行阐述，将使它们变得显而易见。

附图说明

附图中示出了：

图1示出了块匹配；

图2a-b示出了递归搜索块匹配器的候选向量集；

图3示出了在具有单一方向的序列上进行的块匹配；

图4示出了能够产生唯一解的正交解子空间；

图5示出了多个准则代价函数。

具体实施方式

此前已说明了图1所示的块匹配器。用候选向量

8连接当前图像n中的块4和前一图像n-1中搜索区6内的测试块10。可以对相关度量(两个块4、10间的匹配误差)进行优化，以确定最佳候选向量

8。由此，可以测试使用不同候选向量

8得到的不同测试块10，并且对于最佳匹配候选向量，可以使匹配误差最小。

在块匹配器中，搜索匹配准则的最小值，是一个可能存在多解的二维最优化问题。一种可能的实现是使用三步块匹配器、二维对数、或交叉搜索法，或者一步一次搜索(one-at-a-time-search)块匹配。G.de Hann的“Progress in Motion Estimation for Consumer Video FormatConversion”，IEEE transactions on consumer electronics，vol.46，no.3，2000年8月，pp.449-459中公开了不同的块匹配策略。

最优化策略的一种可能实现可以是三维递归搜索块匹配器(3DRS)。3D RS说明：对于比块大的对象，最佳候选向量可能出现在像素或块的空间近邻中。

如图2a所示，假设扫描方向从左到右，从上到下，因果性限制了当前块Dc 4a右下的空间预测向量4Ds的使用。相反，需要使用时间预测向量D 4c。在搜索区2内，相对于当前块Dc 4a，空间预测向量Ds 4b和时间预测向量Dt 4c是可用的。由于只有已被扫描的块可用于当前块Dc 4a的空间预测，因此只能用块Ds 4b进行空间预测。由于从搜索区2的前一时刻中可获得关于块Dt 4c的信息，因此可以用块Dt 4c进行时间预测。

图2b示出了使用两个空间预测向量Ds 4b和一个时间向量Dt 4c预测当前块4a。

已发现在搜索范围内估计所有可能的向量是无意义的。对取自空间相邻块的向量进行估计可能就已经足够了，空间相邻块例如：

$\mathrm{CS}(\stackrel{\→}{X},n)=\{\stackrel{\→}{C}\∈{\mathrm{CS}}^{\max }|\stackrel{\→}{C}=\stackrel{\→}{D}(\stackrel{\→}{X}+\left(\begin{array}{c}\mathrm{iX}\\ \mathrm{jY}\end{array}\right),n\},$

i，j＝-1，0，+1

其中，CS^max定义为一组用于描述在前一图像的搜索区

中关于

的所有可能的位移(像素网格上的整数或非整数)的候选向量

如

${\mathrm{CS}}^{\max }=\left\{\stackrel{\→}{C}\right|-N\≤C_x\≤+N,-M\≤C_y\≤M\},$

其中n、m是用于限制搜索区

的常数。为了减少计算开销，只对取自空间相邻块CS的向量

进行估计可能就足够了。X、Y可以分别定义块宽和块高。实现中，因果性和对流水线作业的需求使得不是所有相邻块都是可用的，在初始化时，向量可以全都是零。

为了解决向量的可用性，当前图像中尚未计算的那些向量可以取自前一向量场中的相应位置。图2a示出了当前块Dc 4a和作为候选向量Ds 4b、Dt 4c的结果向量所取自的块的相对位置。当从左上向右下对块进行扫描时，可将候选集定义为：

$\mathrm{CS}(\stackrel{\→}{X},n)=$

k＝-1，0，1    i＝-1，0，1    j＝0，1

此候选集CS隐含采用了空间和/或时间一致性。

通过加入更新向量，可以解决初始化时零向量的问题。从候选集删去某些空时预测的一种可能的实现如图2b所示，其中候选集

可定义为：

其中，更新向量

和

可以是交替可用，并且取自有限的固定整数或非整数更新集，如：

${\mathrm{US}}_i(\stackrel{\→}{X},n)=\left\{\begin{array}{c}\stackrel{\→}{0}\\ \stackrel{\→}{y_u},-\stackrel{\→}{y_u},\stackrel{\→}{x_u},-\stackrel{\→}{x_u},\\ 2\stackrel{\→}{y_u},-2\stackrel{\→}{y_u},3\stackrel{\→}{x_u},-3\stackrel{\→}{x_u},\end{array}\right\}$

其中 $\stackrel{\→}{x_u}=\left(\begin{array}{c}1\\ 0\end{array}\right),\stackrel{\→}{y_u}=\left(\begin{array}{c}0\\ 1\end{array}\right)$

可以使用一种能够描述比单纯的平移更为复杂的对象运动，如旋转或缩放的模型，将图像分割成单独的对象，并为这些对象中的每一个估计运动参数。由于块的数量通常超出对象的数量多于一个数量级，因此每个图像所需计算的运动参数数量得以减少。然而，计算复杂度增加。

依照实施例，可以确定可被称为像素组的像素块对象。可以为每个像素组确定运动参数，如运动向量。通过计算当前图像中像素组的亮度值与另一时间相邻的图像中对应的运动补偿亮度值的绝对差值之和SAD，对候选向量进行测试。可以使用两个时刻，以便估计局部像素组的运动参数集。

通过使用绝对差值之和准则或如前所述的任意其他单一准则，从候选运动向量中确定估计运动向量，不能完全确定二维运动参数。如图3示意性所示，视频内容可能包含一个单一边沿12。图像中的运动可能是该单一边沿12的运动。可以用候选运动向量8a-8c对单一块4进行运动估计。对于候选运动向量8a-8c，测试块10a-10c使代价函数得到相同的值。因此，使用单一代价函数不能完全确定运动的二维分量，而只能确定出垂直于边沿的分量。由于在边沿切向上仅被确定为常量，提供单一代价函数产生退化。此问题也被称作运动估计中的孔径问题。

为了克服该问题，可以联立求解不同的代价函数。这些代价函数可以是边界条件或与视频场景中运动性质有关的约束。消除确定运动向量时退化的一个重要条件是，各代价函数应产生相互正交的子空间解。

图4示出了针对不同代价函数ε₁和ε₂最小化的候选运动向量集CS^max的这种正交子空间。代价函数ε₁可以用候选向量18a-18e来描述。代价函数ε₂可以用候选向量19a-19d表示。各子空间的特点在于，其全部元素在垂直于边沿的方向上都具有相等、明确的运动向量。如果两个约束的解的子空间彼此正交，则同时施加这两个约束可以得到唯一解。唯一解可以是候选向量18c、19c。

一般而言，可以同时在候选向量集上施加一组m个约束。这些约束可以是：

${\mathrm{\ϵ}}_1(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{X}\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}{\mathrm{Cost}}_1(F(\stackrel{\→}{x},n),F(\stackrel{\→}{x}-\stackrel{\→}{C},n-p)),$

${\mathrm{\ϵ}}_2(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{X}\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}{\mathrm{Cost}}_2(F(\stackrel{\→}{x},n),F(\stackrel{\→}{x}-\stackrel{\→}{C},n-p)),$

............................

${\mathrm{\ϵ}}_m(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{X}\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}{\mathrm{Cost}}_m(F(\stackrel{\→}{x},n),F(\stackrel{\→}{x}-\stackrel{\→}{C},n-p)).$

如果满足所有约束，例如对于某些值具有绝对最小值，则总代价函数

$\mathrm{\ϵ}({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)=\underset{m}{\mathrm{\Σ}}{\mathrm{\λ}}_m{\mathrm{\ϵ}}_m({\stackrel{\→}{C}}_{\min },\stackrel{\→}{X},n)$

也具有最小值，其中λ_m＞0。然而，总代价函数最小，未必满足各单独约束。这可能导致运动估计中的赝象。

为克服此问题，本申请使整个代价函数变得更加健壮。这可以通过代价函数的非线性组合来实现，如

$\mathrm{\ϵ}(\stackrel{\→}{C},\stackrel{\→}{X},n)=\mathrm{MAX}\left\{{\mathrm{\ϵ}}_m(\stackrel{\→}{C},\stackrel{\→}{X},n)\right\}$

此非线性可能更不易受到错误的影响。实际上，只有当其余约束也在局部极小值或绝对最小值附近时，值

才可能成为总代价函数的最小值。上述非线性组合满足如下不等式：

$\mathrm{MAX}\left\{{\mathrm{\&epsiv;}}_m({\stackrel{\&RightArrow;}{C}}_{\min }^k,\stackrel{\&RightArrow;}{X},n)\right\}<\mathrm{MAX}\left\{{\mathrm{\&epsiv;}}_m({\stackrel{\&RightArrow;}{C}}_{\min },\stackrel{\&RightArrow;}{X},n)\right\}$

图5示出了单独计算出的各代价函数ε₁、ε₂对总代价所产生的影响。曲线20a、20b表示单独的代价函数。曲线20a有两个局部极小值和一个绝对最小值。代价函数20b有一个绝对最小值。

利用代价函数20的线性组合，总代价函数(ε₁、ε₂)/2 22的最小值位于代价函数之一的绝对最小值处。所示代价函数表示两任意约束ε₁和ε₂在候选向量集上的变化。线性代价函数落入约束ε₂极小值之一。代价函数的非线性组合MAX{ε₁，ε₂)如曲线24所示。迫使该总代价函数的最小值接近于两单独约束的公共局部极小值。对于此例，很明显总代价函数比线性组合更接近于各约束的最小值。

考虑到将约束的非线性组合应用到隔行视频素材将导致如下问题，即在隔行素材中，像素不总是可用的，这取决于隔行相位。

例如，如果像素不可用，则可以令位置

上的缺失像素取通过去隔行算法计算出的该位置上的亮度值。为了计算该像素值，可以通过利用广义采样定理(GST)插值滤波器来重建该像素值，插值滤波器可以使用n-场和n-1场，或n-场和n+1-场中的采样。利用由n-场和n±1-场得到的GST输出 $F^{n,n-1}(\stackrel{\&RightArrow;}{x},{\stackrel{\&RightArrow;}{C}}_n,n\&PlusMinus;1,n),$ 平方绝对差值误差函数可以是

$\underset{\stackrel{\&RightArrow;}{x}\&Element;B\left(\stackrel{\&RightArrow;}{x}\right)}{\mathrm{\&Sigma;}}|F^{n,n-1}(\stackrel{\&RightArrow;}{x},\stackrel{\&RightArrow;}{C},n)-F^{n,n+1}(\stackrel{\&RightArrow;}{x},-\stackrel{\&RightArrow;}{C},n)|$

该第一约束不足以建立健壮的总代价函数。

为了避免在两个连续场间偶数个像素位移处所发生的错误运动向量，可以施加第二约束。该第二约束可以利用已经过去隔行处理的前一帧n-1。这使得可以执行运动补偿双线性插值，以对当前场中现有像素值进行估计。由

给出双线性插值器的输出，这使得可以建立第二误差函数：

${\mathrm{\&epsiv;}}_2(\stackrel{\&RightArrow;}{C},\stackrel{\&RightArrow;}{X},n)=|{\tilde{F}}^{n,n+1}(x,y+1,n)-F_i(x,y+1,n)|$

该第二约束依旧无法独自构造健壮的总代价函数。构建这些误差函数的线性组合只能导致根据这些准则之一的解决方案的运动估计准则的交替。然而，如本申请所提供的，应用误差函数的非线性组合，实现了更健壮的运动估计。

该申请提供了一种健壮的运动估计解决方案，可应用于各种视频格式转换算法。提出了利用能够产生正交解的不同运动估计准则之间的非线性组合来进行运动估计。

Claims (13)

1.一种用于确定图像信号中估计运动向量的方法，包括：

-为信号的图像中至少一个像素建立至少两个候选运动向量，

-对每个所述候选运动向量，计算至少两个误差准则，

-选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。

2.根据权利要求1所述的方法，其中所述至少两个候选运动向量描述了搜索区内像素的可能位移。

3.根据权利要求1所述的方法，其中所述至少两个候选运动向量是使用空间和/或时间预测建立的。

4.根据权利要求1所述的方法，其中所述误差准则是下述准则中的至少一个：

a)绝对差值之和准则；

b)均方误差准则；

c)归一化互相关准则；

d)重要像素数准则。

5.根据权利要求1所述的方法，其中所述误差准则施加了导致相互正交的子空间解的约束。

6.根据权利要求1所述的方法，其中所述非线性函数是误差准则的最大值：

$\mathrm{\&epsiv;}(\stackrel{\&RightArrow;}{C},\stackrel{\&RightArrow;}{X},n)=\mathrm{MAX}\left\{{\mathrm{\&epsiv;}}_m(\stackrel{\&RightArrow;}{C},\stackrel{\&RightArrow;}{X},n)\right\}$

其中是位置

处候选向量

的第m(其中m＞1)个误差准则ε。

7.根据权利要求1所述的方法，其中所述非线性函数是误差准则的中值。

8.根据权利要求1所述的方法，其中至少一个误差准则是根据插值像素的绝对差值计算的。

9.根据权利要求1所述的方法，其中至少一个误差准则是根据插值像素和场内插值像素的绝对差值计算的。

10.根据权利要求1所述的方法，其中至少一个误差准则是根据当前帧或场中的一个像素与之前或之后的去隔行帧或场中的运动补偿插值像素之间的绝对差值计算的。

11.根据权利要求1所述的方法，还包括使用广义采样定理根据隔行信号计算像素值。

12.一种用于确定图像信号中估计运动向量的计算机程序，该程序包括指令，可用于使处理器：

-为信号的图像内至少一个像素建立至少两个候选运动向量，

-对每个所述候选运动向量，计算至少两个误差准则，以及

-选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。

13.一种用于确定图像信号中估计运动向量的计算机程序产品，其上有形地存储有程序，具有指令，可用于使处理器：

-为信号的图像中至少一个像素建立至少两个候选运动向量，

-对每个所述候选运动向量，计算至少两个误差准则，以及

-选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。

Images