CN102771110A - 运动估计系统中使用图形引擎获取的矢量的对象跟踪 - Google Patents

Abstract

提供了用于图像序列中的运动估计的方法和设备。确定表示图像序列中的每对场或帧之间相机或观察者位置或方向的移动的一个或多个运动矢量。然后确定用于从之前场或帧中的对象位置获取场或帧中的对象位置的候选运动矢量集。该候选运动矢量集使用表示相机或观察者位置的移动的运动矢量进行调整，从而使用所调整的候选运动矢量集获取用于图像序列的运动矢量集。

Description

运动估计系统中使用图形引擎获取的矢量的对象跟踪

技术领域

本发明涉及输入图像序列的运动估计，尤其涉及与基于相机/观察者的方向和位置产生的候选运动矢量相关联的方法。

背景技术

运动估计，图像、帧或视频场序列中的运动的识别是众所周知的。运动估计的现有方法一般考虑序列中的两个或更多个帧，并创建表示图像区域的从一个帧到下一个帧的2D平移运动的运动矢量集。运动估计的一种可能技术是运动搜索，在该技术中，搜索之前的帧以发现与当前帧中的特定区域最佳匹配的图像区域。两个匹配区域的位置差异给出了当前位置的运动矢量。

不同的系统具有不同的运动估计需求。在诸如视频编码器的压缩系统中，该需求是通过参考序列中的先前帧来形成帧的最紧凑表示。该需求通常用于发现给出当前帧与参考帧中的像素区域之间的最佳匹配的运动矢量，因为这导致最紧凑编码。虽然所得到的运动矢量通常表示场景中对象的实际运动，但是并不需要情况总是如此。在其他应用中，诸如对象跟踪或帧率转换，即使视频中的其他失真意味着相应图像区域中的像素并不可能总是彼此最佳匹配，运动矢量表示场景的真实运动仍然是更加重要的。通过在运动搜索过程期间应用合适的约束，结果能够在需要时被指引向“最佳像素匹配”或“真实运动”。帧中的运动矢量集被共同地称为用于那个帧的运动矢量场（motion vector field）。注意，如下文所描述的，术语“矢量场”的使用不应与用于描述交织视频序列中的数据的“场”或“视频场”的使用混淆。

虽然存在用于运动估计的许多方法，但是共有的实施例是基于块的运动估计器。将通过显示本发明如何与基于块的运动估计器一起使用来描述本专利中公开的发明，虽然本发明的原理也可以应用于其他类型的运动估计器。在基于块的运动估计器中，帧典型地被再划分成称为块或宏块的矩形区域的规则网格。在运动搜索过程中，每个块的像素数据与来自之前帧中的各种候选位置的像素数据进行比较，并计算每个候选的得分函数。具有最佳得分的块的相对位置给出了当前块位置的运动矢量。

图1示出了块匹配运动估计器的典型示例。在包括图1的所有附图中，运动矢量用箭头的头位于该矢量所对应的块的中心处示出。帧被分成块，并且之前帧中的对象101已经移动到当前帧中的位置102。该对象的之前位置被示为叠加在当前帧上，并用103表示。针对块而非针对对象执行运动估计，其中当前帧中的一批像素与之前帧中的块大小的像素区域相匹配，其不必是块对准的。例如，块104被移动的对象102部分覆盖，并具有如105处所示的内容。如果执行得好的话，针对块104的运动估计将发现之前帧中的像素数据区域106，也能看到该像素数据区域106包含105中所示的像素，也就是好的匹配已经被发现。通过被叠加回当前帧上，匹配的像素数据区域位于107处。因此，与块104相关联的运动矢量由箭头108示出。

不是穷举性地考虑每一个可能的位置，许多基于块的运动估计器通过用诸如绝对差和（SAD）或平均平方差（MSD）的得分函数对运动矢量候选集进行测试来选择他们的输出运动矢量，以识别给出最低误差块匹配的运动矢量。图2示出了针对当前帧中的块201的候选评估进程，其中块201具有在211中所示的像素内容。在该简单的示例性系统中，考虑了三个运动矢量候选206、207和208，这三个运动矢量候选对应于之前帧中的位置202、203和204处的候选像素数据区域。这些像素数据区域的像素内容分别如212、213和214中所见。显然，位置202处的像素数据提供了针对块201的最佳匹配，因此应该被选为最佳匹配/最低差别候选。通过叠加回当前帧上，匹配的像素数据区域位于205处，并且相关联的运动矢量是206。

已知运动矢量在时间和空间上与相邻块中的矢量高度相关，那么这些邻近矢量常常被用作运动估计中所考虑的用于特定块的候选运动矢量集的基础。当视频中的运动改变时，随机元素也可以被合并到候选中以允许该系统适应。在块具有不能由其邻近块简单预测的运动时，系统可以依赖于矢量候选的随机扰动，称为抖动。这对于缓慢变化的矢量场是好的，但倾向于不允许运动估计器快速聚合于与其邻近块非常不同的新矢量。依赖于随机性的系统可以随时间的推移朝正确的运动游荡，但是易于在局部最小值中形成阻塞，或聚合得太慢以至于等其到达那里的时候该运动已经再次改变了。因此希望引入能够更准确地预测新的和改变的运动的候选或者改进候选运动矢量的选择以改进矢量场的聚合速度。针对每个块所测试的候选运动矢量的数目常常是在选择足够大以识别真实运动和/或提供具有低残差的良好匹配同时足够小以最小化计算开销的集合之间的折中。

视频序列典型地包括视频数据的一系列非交织帧，或视频数据的一系列交织场。交织序列由在显示器的交替行上携带数据的场产生，以便第一场将携带用于交替行的数据，且第二场将携带用于缺失行的数据。因此将这些场在时间和空间上分隔开。序列中的每个交替场都将携带同一空间位置处的数据。

不是所有的视频序列都由诸如可由视频相机产生的“真实”图像构成。诸如游戏、虚拟现实环境、计算机辅助设计（CAD）系统等的应用典型地输出可被称为人工生成的视频序列的一系列图像。

在计算机图形尤其是在3D计算机图形中，通常使用多个坐标系统。图8示出了三个重要的坐标系统。自然空间是具有任意原点800的空间，在该自然空间中，相机（或眼睛）点810、屏幕位置820以及三个对象830、840和850在平面视图中示出。相机正在指向的方向用860表示。呈现该场景的初始步骤是将对象变换到相机空间。在也以平面视图示出的相机空间中，相机处于原点并沿着z轴指向。屏幕820垂直于观察方向。第二步骤将对象投影到平面空间，其中屏幕上对象的x，y位置并不仅依赖于其x、y位置，而是还依赖于相机空间中他的z坐标。因此这是透视投影，这有助于向该场景提供“三维”外观。

在处理传统视频序列的运动估计系统中，对象的运动被认为是对象在显示屏幕上的表示在帧之间移动的距离。运动估计进程在整个屏幕空间中出现。实际上，显示屏幕上对象的运动是通过自然空间中对象的运动、那个运动在屏幕上的投影以及相机的位置和方向的任意改变来确定的。对于视频序列和人工生成的序列而言都是如此，但是在人工生成的序列中可能呈现出特定的问题，诸如3D游戏，其中快速运动常常与观察方向的突然改变相结合。这些相机移动不能由运动估计器容易地进行预测，并因而影响了运动估计性能。

为了呈现人工场景，负责创建帧序列的图形引擎必须具有关于场景中的对象的知识（knowledge）以及关于相机位置和方向的细节。虽然场景中的对象的位置和运动通常不能位于图形引擎的外部，但是图形引擎提供API（应用编程接口）是普遍的，该API允许一些信息能够由其他应用使用。方便的是，许多API常常以矩阵的形式提供相机位置和方向的细节，这些细节描述了从自然到相机空间的变换以及到屏幕空间的投影。访问深度（或“Z”）缓冲器信息常常是可能的，该深度缓冲器信息存储屏幕空间呈现的图像中的每个像素位置处对象的深度。

在已经使用传统的2D视频相机产生视频序列的情况中，相机位置和深度信息不是常规可用的。尽管如此，如果该信息或该信息的近似信息能够产生，则本发明仍然可以用于改进运动估计。用于近似场景中相机位置、方向以及到对象的距离的可能的方法可以使用计算机视觉中的“运动结构”技术获取。

现有技术

Agrawala,Beers和Chadda，Model-Based Motion Estimation for SyntheticAnimations，ACM Multimedia 1995。

发明内容

本发明引入了生成候选运动矢量的有效方法，该候选运动矢量从相机的位置和方向中获取并可选择地从场景中的相机与对象之间的距离中获取。相机位置和方向的改变有助于以能够用于指导运动矢量候选的选择的可预测方式进行对象的屏幕空间运动。

当相机运动与对象深度信息结合时，所得到的屏幕空间对象运动能够在数学上被确定。通过将屏幕空间中的对象运动表示为因相机移动导致的运动和因自然空间中对象移动导致的运动的组合，能够实现运动估计性能的进一步改进。

这些方法可以通过依赖于时间和空间上获取的候选来引入以其他方式通过其他矢量传播技术尚未可用的运动矢量候选来进行工作，并提供跟踪顺应因相机/观察者位置改变导致的视运动的运动的更有效的方法。本发明可以克服由用户控制的相机引入的不稳定的运动，允许快速或正在改变的运动区域中的更快聚合，允许考虑更少的候选，和/或补偿观察者位置的改变，所有这些都导致更精确的运动矢量场。

附图说明

现在将参考附图通过示例的方式详细描述本发明的优选实施例，其中：

图1示出了典型的块匹配运动估计器；

图2示出了块匹配运动估计器如何从候选运动矢量集中选择“最佳”运动矢量；

图3示出了由相机位置沿着平行于屏幕的矢量平移造成的屏幕空间运动；

图4示出了由相机位置沿着垂直于屏幕的矢量平移造成的屏幕空间运动；

图5示出了由相机方向绕着平行于屏幕的轴旋转造成的屏幕空间运动；

图6示出了由相机绕着垂直于屏幕的轴旋转造成的屏幕空间运动；

图7示出了由相机移动造成的屏幕空间运动对相机至对象的距离的依赖性；

图8示出了3D计算机图形中使用的不同坐标系统的示例；

图9示出了屏幕空间运动矢量，该矢量是自然空间中的对象运动导致的矢量与相机的观察位置和方向的变换导致的矢量的和；

图10示出了根据像素的深度值的像素分类如何允许多个运动矢量被分配给单个块；

图11示出了现有系统中的动量候选矢量查找的示例；

图12示出了对相机运动进行补偿的动量候选矢量查找的示例；

图13示出了传统运动估计器的系统级框图；

图14示出了运动估计器的系统级框图，其中外部“视频结构”系统用于计算近似的相机位置和方向，而且该信息用于在运动估计期间改进候选矢量；

图15示出了运动估计器的系统级框图，其中关于相机/观察者位置和方向以及场景的深度缓冲器的完整信息由图形引擎提供并用于改进在运动估计期间使用的候选矢量。

具体实施方式

在所有附图中，运动矢量用箭头的头位于矢量所对应的块的中心处示出，而且为了简单起见，认为对象具有点的大小。

典型相机移动的示例

图3至图6示出各种典型相机移动的示例，而且示出了期望产生的视运动矢量。

图3示出了在与屏幕的Y轴平行的方向上移动的相机。对于在点301处指出并在由矢量302所示的方向（即向下）上平移的相机，屏幕上的对象的视运动是向上的，如矢量303所示。对于沿着平行于屏幕平面的其他矢量的平移，存在类似的情况。

图4示出了在垂直于屏幕的方向上移动的相机。相机在点401处指出并向着场景移动。该场景中的对象的视运动因此是从中心向外的，如由矢量403和404所示的。更接近于屏幕中心的对象将具有更小的矢量，例如403，而更接近于屏幕边缘的对象将具有更大的矢量，例如404。

图5示出了绕着大体上平行于屏幕的X轴的轴旋转的相机。相机在点501处指出，并在向上方向上旋转，如502所示。屏幕上的对象的视运动是向下的，如矢量503所示。

图6示出了绕着大体上垂直于屏幕的轴旋转的相机。相机在点601处指出并如602所示那样旋转。场景中的对象看起来沿着弧形移动而且运动矢量与弧形相切，诸如603和604。更接近于屏幕中心的对象将具有更小的矢量，例如603，而更接近于屏幕边缘的对象将具有更大的矢量，例如604。

3D几何图形

三维计算机应用（诸如游戏）中的几何图形典型地在齐次坐标中给出。该表示将允许定义变换矩阵，该变换矩阵包括了相机位置的6个自由度（三个平移和三个旋转）。对于自然空间中的点p，对于相机空间中的相应点q的变换由下式给出：

$\left[\begin{array}{c}{p}_x\\ p_y\\ p_z\\ 1\end{array}\right]$

$C=\left[\begin{array}{cccc}{r}_1& r_2& r_3& t_x\\ r_4& r_5& r_6& t_y\\ r_7& r_8& r_9& t_z\\ 0& 0& 0& 1\end{array}\right]$

q=Cp

在相机矩阵C中，项t_x、t_y和t_z表示平移，以及项r₁至r₉表示旋转。本领域技术人员将意识到，该矩阵还能够表示诸如缩放和剪切之类的变换，但是这些在相机变换中很少使用。

然后由投影矩阵P给出q向齐性屏幕空间矢量r的投影，其中矢量d包括d_x、d_y和d_z，d_x和d_y是对屏幕的角的补偿，d_z是从相机到屏幕的距离：

$P=\left[\begin{array}{cccc}1& 0& 0& d_x\\ 0& 1& 0& d_y\\ 0& 0& 1& 0\\ 0& 0& 1/d_z& 0\end{array}\right]$

r=Pq

最后，除以齐次坐标得到2D屏幕上的点s的位置。没有示出比例因子，但是可能还需要该比例因子以将图像正确地映射到显示设备的坐标系统上：

$s=\left[\begin{array}{c}{r}_x/r_w\\ r_y/r_w\end{array}\right]$

典型地，深度缓冲器将存储齐性深度坐标r_w。

相机移动

假设相机矩阵从C_n-1变成C_n，则必须解决的问题是确定当前帧中的点s_n的之前帧中的屏幕空间位置s_n-1。随后我们将看到对象s_n-1的实际屏幕空间位置可以如何区别于预测位置。s_n-1的计算可以通过第一次从s_n来重构r_n并将其变换回自然空间位置p_n来实现。假设所述点在自然空间中没有移动，即p_n=p_n-1，则之后可以使用以上所示的方法将点p_n-1变换回屏幕空间坐标s_n-1。

注意，为了从2D矢量s_n构建4D矢量r_n，我们必须使用来自其他位置的信息。齐性深度r_w从深度缓冲器获取。r_z项看起来已经丢失了，但是能够被重新计算，因为我们从投影矩阵P知道r_z=q_z以及r_w=q_z/d_z。在下面的等式中，注意，我们使用不同的投影矩阵P_n和P_n-1，以允许不可能的可能性，即投影可以在帧之间改变：

$r_n=\left[\begin{array}{c}{S}_{x,n}\·r_{w,n}\\ S_{y,n}\·r_{w,n}\\ r_{w,n}\·d_{z,n}\\ r_{w,n}\end{array}\right]$

$p_n=C_n^{-1}{P}_n^{-1}{r}_n$

r_n-1=P_n-1C_n-1p_n-1

如果自然空间位置p_n等于p_n-1，则：

$r_{n-1}=P_{n-1}{C}_{n-1}{p}_{n-1}$

$=P_{n-1}{C}_{n-1}{p}_n$

$=P_{n-1}{C}_{n-1}{C}_n^{-1}{P}_n^{-1}{r}_n$

$s_{n-1}=\left[\begin{array}{c}{r}_{x,n-1}/r_{w,n-1}\\ r_{y,n-1}/r_{w,n-1}\end{array}\right]$

根据点的原始屏幕空间位置s_n以及之前帧中预测的屏幕空间位置s_n-1，能够简单地根据这两个矢量之间的差来计算运动矢量：

m_相机=S_n-S_n-1

由于其是基于预测位置s_n-1，所以该运动矢量也是预测值。该预测基于这样的假设，即自然空间位置p_n等于p_n-1，即在自然空间中该点尚未移动。该假设显然并不总是对的，因为绝大多数的3D应用包括移动的对象。然而，事实是即使在包含移动对象的场景中，仍然存在着仅显示背景和静态对象的大的区域甚至可能是每个图像的大部分。在这些区域中，因相机移动导致的预测运动矢量m_相机极有可能是有用的运动矢量候选。

移动对象

当相机是静止的且自然空间中的对象从p'_n-1移动到p'_n，则出现屏幕空间中从s'_n-1到s'_n的相应改变，其中s'_n-1和s'_n是使用以上概述的坐标系统变换而从p'_n-1和p'_n中获取的。这里使用上撇符号将移动对象的坐标与之前解释的静止对象的坐标进行区分。这两个屏幕空间位置之间的差异现在给出了屏幕空间矢量m_对象，其描述了屏幕上源自对象在自然空间中的移动的运动，即：

m_对象=S'_n-S'_n-1

带有相机移动的移动对象

屏幕空间中的对象的运动能够被描述为因任意相机移动导致的矢量与因自然空间中任意对象移动导致的矢量的和：

m_运动=m_相机+m_对象

图9示出了屏幕空间中的观察到的对象的运动如何由因自然空间中的对象运动导致的矢量和因相机变换中的变化导致的矢量构成。自然空间中的对象的运动（在没有任意相机变换的情况下）在屏幕空间中被观察为沿着矢量m_对象（903）从位置901移动到位置902的对象。如果同一对象在自然空间中保持静态但相机变换已经改变，则位置901处的点将已经沿着矢量m_相机（905）移动到了位置904。在相机变换的改变期间观察到的屏幕空间中移动对象的有效运动是矢量903和905的和，这引起该对象沿着矢量m_运动（906）从位置901移动到907。

将运动估计问题分解成两个分量允许我们应用本专利中公开的方法以明显改进复杂场景上的运动估计进程。

确定m _相机

相机的位置和方向（典型为矩阵C_n-1和C_n的形式）被假设直接从图形引擎或从一些其他源中获取，或者使用近似方法进行近似。当关于场景中的像素的深度（即深度缓冲器）的信息也能够由运动估计系统使用时，如上所述，这允许为帧中的每个像素计算相机变换矢量m_相机。

屏幕空间运动依赖于深度的方式在图7中示出。相机位于位置701处。矢量702识别相机所指向的方向以及观察场的中心。对象703和705位于与相机不同的距离处，但是都与观察场的中心具有类似的距离（704，706）。当相机被旋转（711）且观察方向改变到712时，能够看出，虽然对象703和705在自然空间中都未移动，但是他们现在处于与观察场的中心（712）不同的距离处（714，716）。当图像被投影到屏幕上时，这两个对象都将看起来是相对于彼此而移动。

在用于场景的深度信息缺失的情况下，相机矩阵能够用于基于图像中像素的位置来预测场景中像素运动的可能趋势（如图3至图6所示）。例如，在图3中，如果相机向下移动，则屏幕上的图像看起来可能是向上移动。虽然深度信息的缺失意味着不能计算m_相机的确切值，但是该信息能够用于在恰当的方向上偏置候选矢量。该偏置能够包括诸如生成与屏幕上的移动的所预测方向相对准的更多运动矢量候选、沿着所预测的对准扩展搜索范围或者偏置候选选择机制之类的方法。

由于深度缓冲器典型地提供了图像中的每个像素的深度值，所以还能够为图像中的每个像素计算m_相机矢量。这常常提供了比运动估计器能够合理使用的矢量候选更多的矢量候选。例如，简单的基于块的运动估计器可以使用单个矢量来表示一批像素的运动，或者更复杂的设计可以使用每个块的若干个矢量，但是每个块的矢量数量典型地明显少于该块中的像素数量。在这些情况中，许多可能的方法中的一种方法能够用于将大量的各像素的矢量降低成更少数量的各块的矢量。例如，如果能够找到一个用于表示一群像素的深度的深度，则一组变换计算能够为那群像素提供m_相机矢量。能够使用平均算法（诸如，平均、取模或取中值）来寻找像素的代表性深度。如果块中的像素能够基于他们的深度值而被分类成若干个群，则这允许为每个群计算一个m_相机矢量。

根据深度的像素群分类还可以用于识别对象之间的边界、或者图像的前景区域与背景区域之间的边界。显然，运动估计性能的益处是能够分别为每个像素群计算m_相机。下面描述在计算m_对象时所做出的进一步改进。

确定m _对象

关于自然空间中对象位置和运动的信息的缺失意味着矢量m_对象必须通过运动估计进行确定。在屏幕空间中操作的运动估计器实际上寻找总屏幕空间运动矢量m_运动，通过从m_运动中减去m_相机能够计算m_对象：

m_对象=m_运动–m_相机

诸如图1和图2中所示的典型的基于块的类型的运动估计器将当前帧中的每个块的像素与之前帧的像素数据区域进行比较，其中空间补偿等于多个候选运动矢量中的每一者。这些像素数据区域是块大小，但不必被约束为是块对准的。由于通常假设运动矢量在时间和空间上与相邻块中的矢量高度相关，所以这些邻近矢量常常被用作由用于特定块的运动估计所使用的用于选择候选运动矢量的基础。

困难在于使用传统的运动估计器来寻找m_运动，因为快速和/或不稳定的相机变换能够假设从一个帧到下一帧的运动和预测性的一致性。进一步地，当试图寻找匹配的像素数据区域时，运动估计器典型地在有限的搜索区域上进行操作。如果运动很大以致于在可用的搜索区域中不能找到匹配，则运动估计将失败。在搜索区域的布局中常常存在着一些灵活性，但这仅在在运动搜索开始之前近似运动能够被预测时才是有用的。

使用m_相机&m_对象来产生更好的运动矢量候选

m_相机的知识允许运动估计系统对由相机移动导致的运动的分量进行补偿。

例如，在以从当前块的零偏移为中心的搜索范围中，现有的运动估计系统或许测试4个矢量候选即a、b、c和z（零矢量）。如果突然的相机移动出现，则这些候选中没有一个候选能够给出好的像素匹配。在当前的发明中，m_相机根据相机矩阵和当前块的深度值进行计算，从而使得运动估计器将其搜索区域以从当前块偏移m_相机的位置处为中心。所搜索的矢量是a+m_相机、b+m_相机、c+m_相机、以及m_相机。现在所述搜索相当有可能找到好的匹配，因为相机移动的影响已经被补偿了。

现有系统中矢量候选的选择可以基于已经为邻近块计算的结果。例如，当运动估计进行时，运动估计器将在存储器阵列中存储每个块的最佳运动矢量m。由于已知在矢量场中存在高度的空间和时间的一致性，所以块的运动矢量候选可能包括从针对当前帧和之前帧的m个阵列得到的矢量。因此，四个典型的矢量候选是从当前帧中的邻近块得到的m_上和m_左、从之前帧中的位于同一位置的块得到的m_之前以及零矢量z。可见，在相机运动的情况中，这些矢量可能不是好的候选。特别地，如果自之前帧开始相机运动的改变已经存在，则m_之前不可能是好的候选，以及如果相机移动包括旋转或垂直于屏幕平面的移动，则m_上和m_左不可能是好的候选，因为这将导致不均匀的矢量场，分别如图4和图6所示。

在本发明中，运动估计在存储器阵列中存储两个矢量，优选为m_运动和m_对象。可以存储来自m_运动、m_对象、m_相机的任意矢量对，而且在需要时使用这三个矢量之间的已知关系计算这三个矢量。总体的屏幕空间运动m_运动典型地作为运动估计器的输出。m_对象矢量可以用于提供不受相机移动影响的矢量候选。在与上述的现有系统相类似的示例中，四个对象运动矢量候选将是m_对象，上、m_对象，左、m_{对象，之前}和z。最后，如之前一样对相机运动进行补偿，被测试的候选将是m_对象，上+m_相机、m_对象，左+m_相机、m_{对象，之前}+m_相机和m_相机。

图13示出了不知晓相机运动的运动估计器的典型系统级框图。使用在每个块位置处生成的候选运动矢量集将输入帧与序列中的之前输入帧进行比较。所得到的输出矢量场通过存储每个块位置处的最佳匹配/最低差异的候选来产生。“候选矢量集生成器”产生每个块位置处的候选运动矢量集，而且这些候选矢量不能预测相机位置和/或方向的快速改变。

图13的框图包括在2的输入帧N。之前帧N-1存储在帧缓冲器4中。在运动估计器6中使用在候选矢量集生成器8中生成的候选矢量集将输入帧N与帧N-1进行比较，所述候选矢量集生成器8可以根据多个众所周知的方法来生成候选矢量。运动估计器的输出是用于图像中的块或像素的输出矢量场。

图14示出了使用外部“视频结构”系统来近似相机方向的改变和可选地近似场景中的对象的深度的运动估计器的系统级框图。在深度信息缺失的情况下，该系统能够预测因单独的相机运动导致的屏幕的不同区域的一般运动趋势。之后该信息能够与候选矢量集进行组合，以向着或者背离候选进行偏置、偏移搜索区域或修改候选集。如果能够由“视频结构”系统确定足够精确的深度模型，则该系统能够如同由图形引擎提供所述信息一样被处理。

在图14中，图形系统10生成输出，该输出用于输出帧12。这些变为帧N和N-1，在在运动估计器6中对帧N和N-1进行比较以提供输出矢量场8之前将他们中的其中一者存储在帧缓冲器4中。

帧12的输出传递到视频结构系统14，该视频结构系统用于辅助获取候选矢量集。其向估计相机位置单元16以及可选地向估计场景深度单元18发送关于视频系统的数据。估计相机位置单元16的输出以及可选地估计场景深度单元18的输出被供应给对应于图像中的像素或像素块的相机变换获取的矢量场20。该相机变换获取的矢量场之后在相机校正的候选矢量集单元22中与来自候选矢量集生成器8的候选矢量相结合。这些相机校正的候选矢量集之后由运动估计器6使用。

图15示出了所提出的使用关于由图形引擎提供的相机方向上的变化和到场景中的对象的距离的信息的运动估计器的系统级框图。该信息允许使用之前概述的方法进行“相机变换获取的矢量场”的计算。之后，预测场景中的对象的运动的“候选矢量集”和预测因相机引起的视运动的“相机变换获取的矢量场”能够被组合到“相机校正的候选矢量集”的场中。这些候选矢量之后能够在运动估计器中使用，并期望证明与在没有图形引擎获取的矢量校正的系统中可用的那些候选矢量相比具有比真实运动的更好预测。

在图15中，图形引擎24使用帧缓冲器4提供输出帧12，该输出帧12能够向运动估计器6提供帧N和N-1以提供输出矢量场8。

输出图形引擎还向输出深度缓冲器提供与像素或像素群处的对象的深度相对应的数据。其还提供包括相机位置和方向的场景数据28。来自输出深度缓冲器26和场景数据单元28的数据形成相机变换获取的矢量场单元20的输入，如图14所示。来自相机变换获取的矢量场单元20的矢量在相机校正的候选矢量集中与来自候选矢量集生成器8的候选矢量集相结合。

当然，实际的系统将有希望测试比上面示出的示例更大数量的运动矢量候选。特别地，通常需要随机元素。对相机运动进行补偿的相同原理能够应用于一些或所有的运动矢量候选。

对相机移动进行补偿的情况在时间矢量候选（诸如上面描述的m_{对象，之前}）的计算中特别有用。通过将因在自然空间中移动的对象导致的运动分量与由相机移动导致的分量进行分离，还能够确定诸如动量和加速度之类的物理效应的更精确近似。在我们的英国专利申请no.0907039.2中，我们描述了对对象的动量和加速度进行建模的系统，生成位于与对象的当前位置相偏移的位置处的运动矢量候选，以使有希望表示该对象的运动的候选被布置在该对象在未来的帧中可能出现的位置。显然，这样的系统容易受到相机移动效应的影响，其中通过独立于对象的运动的相机移动不能预测被期望以恒定速度或恒定加速度移动的对象的视运动。

图11示出了在英国专利申请no.0907039.2的系统中如何生成动量候选。块1101包含对象1102。该对象在之前帧中的位置也被示出，其位于像素区域1104中。运动估计选择运动矢量1103来表示框1101处的运动。该矢量暗示以恒定速度移动并出现在当前帧的块1101中的任意对象有可能在下一帧中已经移动到块1106。假设该对象确实继续以相同速度移动，那么与1103大小和方向都相等但空间偏移的运动矢量1105是对继续运动的好的预测。块1101中由运动估计所选择的矢量的副本因此在下一帧中在与在块1106相对应的位置处被存储在存储器中，其中其将被用作运动矢量候选。

通过减去运动分量m_相机并使用m_对象分量进行矢量计算（诸如动量m_{对象，动量}和加速度m_{对象，加速}度候选矢量的计算），对相机移动进行补偿的相同方法能够应用于这种系统中。被存储在从当前块位置偏移了m_{对象，动量}或m_{对象，加速度}的位置处的矢量通常并不与下一帧中对象的屏幕空间位置相一致，因为那个位置依赖于尚未被计算的相机矢量m_相机，n+1。下一帧中动量或加速度候选的查找位置因此也必须由在那个时间计算的相机矢量进行补偿。

图12示出了图11的系统，其被扩展以补偿相机运动。已知屏幕空间运动矢量1203是因相机运动导致的矢量1205和因对象运动导致的矢量1206的和。动量矢量候选1208是因对象运动导致的运动的分量的副本，且被存储在对应于块1207的存储器位置处，该位置从当前块位置1201偏移了所述矢量。

图12给出了两个示例来说明在动量矢量候选的查找中如何对相机运动进行补偿。在第一示例中，运动估计在块1210处发生。所述矢量的对象分量从块1207获取，其中块1207从当前块偏移了负相机矢量，即-m_相机。所获取的矢量是1211，当该矢量被添加到相机矢量1212时，给出运动矢量候选1213。能够看出，在该情况中，矢量1213正确地预测了对象的运动。

在第二示例中，运动估计在块1220处发生，而且相机矢量已经改变成1222，从而负相机矢量1221指示对象分量应当从块1207获取。所述矢量再次是1211，当该矢量被添加到相机矢量1222时，给出总屏幕空间运动矢量候选1223。再次能够看出，该候选正确地预测了对象的运动，而且准确的候选已经被计算，不管相机运动是否改变。

上述以及在英国专利申请no.0907039.2中的讨论描述了屏幕空间中物理对象的运动的建模。本领域技术人员将意识到，相同的原理能够可替换地应用于自然空间中。自然空间中的建模独立于所使用的投影方法来预测未来的运动和位置，而且在投影使屏幕空间图像失真的情况中（例如，鱼眼透镜的情况中）更为稳健。

使用深度值来产生更高分辨率运动矢量

在深度值可用而且块中的像素已经根据深度进行分类的情况中，运动估计器可以通过再次划分块并将两个或更多个矢量分配给子块区域来使用该信息以改进运动估计。

可以通过将块分成具有类似深度的像素群并向这些像素群分配矢量来获取更高的分辨率。

简单的示例在图10中示出，其中块1000包含对象边缘。边缘内部的像素是移动对象1005的一部分，而边缘外部的像素包含静止背景对象1010。该布置在屏幕空间中而且也在平面视图中示出，能够看出，对象1005比背景对象1010更接近于相机位置1045，即前景对象和背景具有不同的深度值。如箭头1040所示，相机正从右向左拍摄，而且对象1005也以更大的速度正在从右向左移动。在这种情况中，分类系统将基于每个群中深度值的相似度以及两个群彼此的差异性来识别两个像素群1015和1030。

之后，可以针对每个像素群独立地进行运动估计，其中像素分类用于以比整个块的分辨率更细的分辨率来获取掩码。理想地，所述掩码将处于单独像素的分辨率。之后，在计算每个运动矢量候选的得分函数（例如，SAD或MSD）中，所述掩码可以被用于仅包括那个群中的像素。典型地，相同的运动矢量候选集将被用于每个像素群，但是也可以例如通过优选从也具有类似深度值的邻近块选择候选来为每个群独立地准备运动矢量候选集。

在图10中，能够看出，表示因相机移动1040而被观察到的静止背景1010的移动的矢量1020被分配给像素群1015，而对象1005的总屏幕空间运动的矢量1025被分配给像素群1030。

这种方法并没有明显地增加系统的计算需求，因为例如在计算SAD中，需要与用于整个块SAD相同数量的像素差异计算。掩码用于在两个累加器中的一个累加器中累积每个差异，以产生用于每个像素群的独立SAD。

显然，像素分类系统可以被扩展以识别多于两个群的深度值，从而允许向每个块分配多于两个矢量。

在诸如运动补偿的帧率转换之类的应用中，每个块中使用多个运动矢量是有价值的。每个块的单个矢量不能表示移动对象的轮廓边缘处的运动，而且这能够导致移动对象周围可见的“晕圈”伪像。通过使用采用于此描述的方法计算的多个运动矢量，“晕圈”效应大大降低了。

Claims (23)

1.一种用于图像序列的运动估计的方法，该方法包括以下步骤：

a）确定表示所述图像序列中的每对场或帧之间相机或观察者位置和方向的移动的一个或多个运动矢量；

b）确定用于从之前场或帧中的对象位置获取场或帧中的对象位置的候选运动矢量集；

c）使用表示相机或观察者位置的移动的运动矢量调整所述候选运动矢量集；以及

d）使用调整的候选运动矢量集由运动估计获取所述图像序列的运动矢量集。

2.根据权利要求1所述的方法，其中，使用相机或观察者位置的移动来调整所述候选运动矢量集通过由从由相机位置或方向的改变预测的所述运动矢量中获取的量对常规搜索范围进行偏移来实现。

3.根据权利要求1或2所述的方法，其中，在运动估计进程期间测试的矢量在由相机位置或方向的改变预测的所述运动矢量的方向上被偏置。

4.根据权利要求1、2或3中任一项权利要求所述的方法，其中，用于在运动估计过程期间从候选集中选择矢量的得分函数被修改成与由相机位置或方向的改变预测的运动矢量相类似的有利候选矢量。

5.根据权利要求1所述的方法，其中，所述图像序列中像素的深度信息用于计算因相机位置或方向的改变导致的预测运动。

6.根据权利要求5所述的方法，其中，由调整步骤获取的每个候选运动矢量包括因相机位置或方向的改变导致的矢量与因场景中所述对象的移动导致的矢量之和。

7.根据权利要求6所述的方法，其中，从邻近位置选择的候选运动矢量不利用表示相机或观察者位置的运动的矢量进行调整。

8.根据权利要求7所述的方法，其中，候选运动矢量被存储在由等于因场景中对象的移动导致的运动的分量的矢量所偏移的位置。

9.根据权利要求5或8所述的方法，其中，之前存储在偏移位置的候选运动矢量的获得进一步由从因相机位置或方向的改变而计算的运动中获取的量进行补偿。

10.根据权利要求5所述的方法，其中，所述场景的深度信息的可用性允许根据像素群的类似深度对所述像素群进行分类。

11.根据权利要求10所述的方法，其中，运动估计处理针对多个像素群中的每个像素群而发生，以使每个像素群被分配不同的运动矢量。

12.根据权利要求11所述的方法，其中，分辨率比所述运动估计器通常操作的分辨率更高的深度信息的可用性允许以所述更高分辨率生成运动矢量场。

13.根据权利要求7所述的方法，其中，矢量候选的选择从与当前像素群共享类似深度的邻近位置选择矢量。

14.根据权利要求7所述的方法，其中，用于在所述运动估计进程期间从候选集中选择矢量的得分函数被修改成源自与当前像素群共享类似深度的位置的有利候选矢量。

15.一种用于图像序列的运动估计的设备，该设备包括：

用于确定表示所述图像序列中的每对场或帧之间相机或观察者位置和方向的移动的一个或多个运动矢量的装置；

用于确定用于从之前场或帧中的对象位置获取场或帧中的对象位置的候选运动矢量集的装置；

用于使用表示相机或观察者位置的移动的运动矢量调整候选运动矢量集的装置；以及

用于使用调整的候选运动矢量集由运动估计获取图像序列的运动矢量集的装置。

16.根据权利要求15所述的设备，该设备包括用于通过由相机位置或方向的改变预测的量对常规搜索范围进行偏移的装置。

17.根据权利要求15或16所述的设备，其中，由用于通过估计进行获取的装置所测试的矢量在由相机位置或方向的改变所预测的所述运动矢量的方向上被偏置。

18.根据权利要求15、16或17中任一项权利要求所述的设备，其中，用于由通过运动估计进行获取的装置从候选矢量集中选择矢量的得分函数被修改成与由相机位置或方向的改变预测的运动矢量相类似的有利候选矢量。

19.根据权利要求15所述的设备，其中，所述图像序列中的像素的深度信息用于计算因相机位置或方向的改变导致的预测运动。

20.根据权利要求19所述的设备，其中，由所述用于调整所述候选运动矢量集的装置获取的每个候选运动矢量包括因相机位置或方向的改变导致的矢量与因场景中所述对象的移动导致的矢量之和。

21.根据权利要求20所述的设备，其中，从邻近位置选择的候选运动矢量不利用表示相机或观察者位置的运动的矢量进行调整。

22.根据权利要求21所述的设备，其中，候选运动矢量被存储在由等于因场景中对象的移动导致的运动的分量的矢量所偏移的位置。

23.根据权利要求19或22所述的设备，其中，之前存储在所述偏移位置的候选运动矢量的获得进一步由从因相机位置或方向的改变而计算的运动中获取的量进行补偿。

Images