CN102461150A - 在运动估计系统中使用动量和加速度矢量的对象跟踪 - Google Patents

Abstract

提供了一种用于视频图像序列中的运动估计的方法和设备。该方法包括：a)将视频图像序列的每个场或帧再分成多个块；b)向每个视频场或帧中的每个块分配各自的候选运动矢量集；c)针对当前视频场或帧中的每个块，确定其各自的候选运动矢量中的哪个候选运动矢量产生了到先前视频场或帧中的块的最佳匹配；d)通过使用如此确定的针对每个块的最佳匹配矢量来形成针对当前视频场或帧的运动矢量场；e)通过在被从候选运动矢量导出的距离所偏移的块位置处储存从最佳匹配矢量导出的候选运动矢量，形成进一步的运动矢量场。最后，针对跟随在当前视频场或帧之后的视频场或帧重复步骤a)到e)。在步骤b)中被分配给随后的视频场或帧中的块的候选运动矢量集包括在当前视频场或帧期间在步骤e)中被存储在那个块位置处的候选。该方法使得基于块或瓦块的运动估计器能通过引入从现实世界对象的物理行为导出的真实运动矢量候选来提高它的准确性。

Description

在运动估计系统中使用动量和加速度矢量的对象跟踪

技术领域

本发明涉及基于块的运动估计系统，特别涉及为了识别真实运动而考虑现实世界的物理性质的与产生候选运动矢量相关联的方法。

背景技术

使用基于块的匹配技术来识别视频序列中的运动是众所周知。这些方法通常考虑来自视频序列的两个连续的帧，并把它们再分成称为块或宏块的多个区域。在运动搜索过程中，每个块与来自先前帧中的各种候选位置的像素数据进行比较。最佳匹配的相对位置给出了描述在那个块位置处情景中的运动的矢量。共同地，帧中每个块位置处的这组运动矢量被称为针对那个帧的运动矢量场(motion vector field)。注意，术语“矢量场”的使用不能与用于描述如下文所描述的交织视频序列中的数据的“场”或“视频场”的使用混淆。

视频序列典型地包含视频数据的一系列非交织帧，或视频数据的一系列交织场。交织序列由携带显示器的交替行上的数据的场产生，以便第一场将携带交替行的数据，第二场将携带缺失行的数据。这些场因此被时间地和空间地隔开。序列中的每个交替场将携带同一空间位置处的数据。

图1示出了块匹配运动估计器的典型示例。在包括图1的所有附图中，运动矢量用箭头的头位于该矢量所对应的块的中心处示出。帧被分成了块，并且先前帧中的对象101已经移动到当前帧中的位置102。该对象的先前位置被示为叠加在当前帧上，并用103表示。是针对块而不是针对对象执行运动估计，其中当前帧中的一批像素与先前帧中的块大小的像素区域相匹配，其不必被块对准。例如，块104被移动的对象102部分覆盖，并具有如105处所示的内容。如果执行得好的话，针对块104的运动估计将发现先前帧中的像素数据区域106，也能看到该像素数据区域106包含105中所示的像素，也就是好的匹配已经被找到。通过被叠加回当前帧上，匹配的像素数据区域位于107处。因此，与块104关联的运动矢量由箭头108示出。

许多基于块的运动估计器通过采用绝对差和(SAD)或平均平方差(MSD)之类的方法通过测试一组运动矢量候选来选择它们的输出运动矢量，以识别给出最低误差块匹配的运动矢量。图2示出了针对当前帧中的块201的候选评估过程，块201具有211中所示的像素内容。在这个简单的示例性系统中，三个运动矢量候选206、207和208被考虑，它们对应于先前帧中的位置202、203和204处的候选像素数据区域。这些像素数据区域的像素内容分别如212、213和214中所见。显然，位置202处的像素数据提供了针对块201的最好匹配，因此应该被选为最佳匹配/最低差别候选。通过叠加回当前帧上，匹配的像素数据区域位于205处，并且相关的运动矢量是206。

不同的系统具有不同的运动估计需求。在视频编码器中，该需求是通过参考序列中的先前帧形成帧的最紧凑表示。该需求通常是找到给出最低误差块匹配的运动矢量，并且当获得的运动矢量通常是情景中的对象的实际运动的表示时，没有需求，这种情况总是存在的。在其他应用中，诸如去交织(de-interlacing)或帧率转换，即使视频中的其他失真意味着块匹配并不总是给出最低误差，运动矢量表示情景的真实运动仍然是更加重要的。通过在运动搜索期间应用合适的约束到候选运动矢量，结果能够在需要时被指引向“最低误差”或“真实运动”。

已知运动矢量在时间和空间上与相邻块中的矢量高度相关，那么这些邻近矢量常常被用作运动估计器中的候选的基础。当视频中的运动改变时，随机元素也可以被合并到候选中以允许该系统适应。在块具有不能由它的邻居简单预测的运动时，传统的系统依赖于矢量候选的随机扰动。这对于缓慢变化的矢量场是有效的，但倾向于不允许运动估计器快速收敛到与它的邻居很不相同的新矢量。依赖于随机性的系统可以随时间的推移朝正确的运动游荡，但是易于在局部最小值形成阻塞，或收敛得太慢以至于等它到达那里的时候该运动已经再次改变了。针对每个块而被测试的候选运动矢量的数目经常是在选择一个足够大的集合来识别真实运动和/或提供具有低残差的好的匹配之间的妥协，同时足够小以最小化计算开销。

本发明提出一种用于生成从现实世界对象中存在的物理动量和加速度导出的候选运动矢量的有效方法。这样，它们很可能是情景的真实运动的表示。这种候选是通过使用时间和空间地得到的候选的其他矢量传播技术所不可获得的，并且提供比完全依赖于随机性的系统更有效的用于跟踪运动和适应于变化的运动的方法。本发明不会完全移除对随机性的需求，但是精确预测运动的单一候选运动矢量明显好于可以选择或可以不选择正确的矢量的若干随机猜想。本发明允许使用更少的随机候选，或更可能地允许在快速或变化的运动区域中的更快速的收敛。

许多运动估计(例如，德汉(de Haan)等人的True-Motion Estimation with3-D Recursive Search Block Matching，IEEE电路和系统视频技术汇刊，第3卷，第5期，1993年10月)使用时间矢量作为运动估计器中候选运动矢量之一。该时间矢量候选被从同一位置或相似位置中的块带到当前块，但是使用在先前帧的运动估计过程期间针对那个块而获得的运动估计结果。时间矢量候选的使用是基于这样的假设，即对象大于块，并且如果某个块位置处的对象在过去正在以特定的速度运动，则然后到达该块中的新内容可能继续以相同的速度和方向移动。继续运动的假设是合理的，因为现实世界中的对象呈现出动量的物理特性，所以时间矢量提供了有用的候选运动矢量。

块加速度的概念也已经在现有技术中使用，例如，用来在MPEG-4视频编码中的增强型预测式区域搜索(EPZS)技术中生成针对静态块位置的预测器。在该方法中，通过考虑区别地增加/减少存在于两个帧上的固定块位置处的运动矢量和将得到的“加速器运动矢量”存储在同一块位置中以在随后的帧中使用来计算块的加速度。图3示出了对于当前帧中的块303的“加速器运动矢量”306的形成。块303、302和301分别位于当前帧、先前帧和先前帧之前的帧中的同一空间块位置处，因此可以被叫作是位于同位置的。该位于同位置的块的有区别的加速度可以被看作是来自帧n-1的运动矢量305和帧n-1与n-2之间的运动的有区别变化的和。因此矢量306由两倍的矢量305减去矢量304给出。

发明内容

根据本发明的第一方面，提供了一种用于视频图像序列中的运动估计的方法，其包括以下步骤：a)将视频图像序列的每个场或帧再分成多个块；b)向每个视频场或帧中的每个块分配各自的候选运动矢量集；c)针对当前视频场或帧中的每个块，确定其各自的候选运动矢量中的哪个候选运动矢量产生了到先前视频场或帧中的块的最佳匹配；d)使用如此确定的针对每个块的最佳匹配矢量形成针对当前视频场或帧的运动矢量场；e)通过存储从在被从候选运动矢量导出的距离所偏移的块位置处的最佳匹配矢量导出的候选运动矢量，来形成进一步的运动矢量场；和f)对于当前视频场或帧之后的视频场或帧而言，重复步骤a)到e)，其中在步骤b)处被分配给随后的视频场或帧中的块的候选运动矢量集包括在当前视频场或帧期间在步骤e)中存储在那个块位置处的候选。

从对非交织、或进行性视频信号(progressive video signal)进行操作的运动估计系统方面给出本发明的描述，其中视频包括一系列的全帧数据。通常也对交织视频执行运动估计，其中视频包括一系列的场。本发明的原理可以等同地应用于对非交织和交织视频进行操作的运动估计器。所以，术语“场或帧”或“视频场或帧”覆盖了对交织和非交织视频信号两者的运动估计。如果术语“帧”被使用，则它应当被解释为“场或帧”，也就是说用于覆盖对非交织视频信号和交织视频信号两者所执行的运动估计。

术语“当前”、“先前”和“随后”是仅用来表示视频信号中的帧或场的序列顺序的相对术语。“先前”场或帧可以是比“当前”场或帧早的任意数目的帧；它不必紧接“当前”场或帧之前，虽然实际中常常是这样。“随后”场或帧可以是比“当前”场或帧晚的任意数目的帧；它不必紧接“当前”场或帧之后，虽然实际中常常是这样。

本发明的优选实施方式提供一种方法，该方法使得基于块或瓦块(tile)的运动估计器能够通过引入从现实世界对象的物理行为导出的真实运动矢量候选来提高它的准确性。动量和加速度矢量候选被计算，它们被希望用于表示在下一帧时段期间对象的运动。这些矢量被重新定位到预测该对象将移动到的块，而不是在对象的当前块位置处存储这些矢量。这样，对象运动被跟踪，并且在特定位置处运动估计器可用的矢量候选包括基于被预测已经到达那个位置的对象的运动的预测。

在一个实施方式中，在步骤e)处储存的候选运动矢量从最佳匹配矢量导出，并且预测了视频图像序列中以不变的速度继续行进的对象的将来的位置和运动。

在另一实施方式中，在步骤e)处储存的候选运动矢量还从来自先前在步骤d)形成的运动矢量场中的一个或多个运动矢量场中的每一个运动矢量场的矢量得出。

在那个实施方式中，在步骤e)处储存的候选运动矢量可以从最佳匹配矢量和来自先前在步骤d)形成的一个运动矢量场中的矢量导出，并且预测在视频图像序列中具有以恒定比率改变的速度的对象的将来位置和运动。

可替换地，在那个实施方式中，在步骤e)处储存的候选运动矢量可以从最佳匹配矢量和来自先前在步骤d)形成的不止一个运动矢量场中的矢量导出，并且预测视频图像序列中对象的将来位置和运动，其中对象的速度的导数正以恒定比率改变。

在那个实施方式中，优选地，来自先前运动矢量场的每个矢量通过以下方式获取：向后通过先前运动矢量场序列，并且在每一步，从由从运动矢量导出的距离所后向偏移的位置中获取矢量，该运动矢量获取自该序列中的当前运动矢量场。

在那个情况中，从该序列中的当前运动矢量获取的运动矢量可以指向没有与块对准的位置，并且所述向后偏移位置通过将没有与块对准的位置转到最接近的块而得出。

可替换地，在那种情况中，从该序列中的当前运动矢量场获取的运动矢量可以指向没有与块对准的位置，并且从先前运动矢量场中的向后偏移位置中获取的矢量被从矢量插入到整个块位置处。

该方法还可以进一步包括在每个偏移块位置处储存多个候选运动矢量。这种情况可以产生，因为矢量场是不均匀的，并且运动矢量可以在一些区域中发散并在其他区域中收敛。

多个候选运动矢量可以通过使用优先级系统而被储存在每个偏移块位置处。当对于每个偏移块位置而言存在有限的存储空间并且没有足够的存储空间来存储被写到特定偏移块位置的每个运动矢量时，这是很有用的。在实际的系统中，更有可能是仅小数目的候选运动矢量能被储存在给定的块位置处。

优选地，优先级系统包括：对于从最佳匹配矢量导出并在步骤e)中被存储的候选运动矢量而言，在所述偏移块位置处储存表示在步骤c)中获得的最佳匹配的质量的度量；和根据所储存的质量度量来选择用于存储的候选运动矢量，以便被选择用于储存的候选运动矢量是具有表示最高可靠性的所储存的质量度量的矢量。

选择用于存储的候选运动矢量的步骤可以包括：比较针对每个候选运动矢量所确定的最佳匹配矢量的质量。该比较的步骤包括比较用于确定每个最佳匹配矢量的绝对差和(SAD)值。可替换地，该比较的步骤包括比较用于确定每个最佳匹配矢量的平均平方差(MSD)值。可替换地，该比较的步骤包括比较矢量的质量的任何其他合适的测量。

在一个安排中，在步骤e)，候选运动矢量指向没有与块对准的位置，并且步骤e)的所述偏移块位置通过将没有与块对准的位置转到最接近的块而得出。在实际的系统中，候选运动矢量将不是通常指向与整个块位置对准的位置。将该位置转到最接近的块通常足够跟踪对象运动。

在另一安排中，在步骤e)，候选运动矢量指向没有与块对准但接近块边缘的位置，并且步骤e)的所述偏移块位置包括邻近边界的不止一个块位置。

根据本发明的另一方面，提供了一种用于视频图像序列中的运动估计的设备，包括：用于将视频图像序列的每个场或帧再分成多个块的装置；用于向每个视频场或帧中的每个块分配各自的候选运动矢量集的装置；用于针对当前视频场或帧中的每个块确定其各自的候选运动矢量中的哪个产生了到先前视频场或帧中的块的最佳匹配的装置；用于通过使用如此确定的针对每个块的最佳匹配矢量来形成当前视频场或帧的运动矢量场的第一装置；和用于通过在被从候选运动矢量导出的距离所偏移的块位置处储存从最佳匹配矢量导出的候选运动矢量来形成进一步的运动矢量场的第二装置，其中，当所述设备对跟随在当前视频场或帧之后的视频场或帧进行操作时，在分配装置处被分配给随后的视频场或帧中的块的候选运动矢量集包括在当前视频场或帧期间在第二形成装置处被存储在那个块位置处的候选。

储存在第二形成装置处的候选运动矢量可以从最佳匹配矢量导出，并预测视频图像序列中继续以恒定速度行进的对象的将来的位置和运动。

可选择地，储存在第二形成装置处的候选运动矢量还可以进一步从来自先前在第一形成装置处形成的一个或多个运动矢量场中的每个运动矢量场的矢量导出。

在那种情况中，储存在第二形成装置处的候选运动矢量可以从最佳匹配矢量和从来自先前在第一形成装置处形成的一个运动矢量场的矢量中导出，并且预测视频图像序列中具有以恒定比率改变的速度的对象的将来位置和运动。可选择地，储存在第二形成装置处的候选运动矢量可以从最佳匹配矢量和从来自先前在第一形成装置处形成的不止一个运动矢量场的矢量中导出，并且预测视频图像序列中对象的将来位置和运动，其中对象的速度的导数正以恒定比率改变。

参照本发明一个方面描述的特点也可应用于本发明的其他方面。

附图说明

现在将参考附图通过示例的方式详细描述本发明的优选实施方式，其中：

图1示出了典型的块匹配运动估计器；

图2示出了块匹配运动估计器如何通过相应像素块的比较来从候选运动矢量集中选择“最好”运动矢量；

图3示出了在增强型预测式区域搜索系统中如何生成加速器运动矢量；

图4示出了在提出的系统的实施方式中如何生成空间偏移的动量矢量；

图5示出了加速度矢量候选的生成和使用中的第一步；

图6示出了加速度矢量候选的生成和使用中的第二步；

图7示出了加速度矢量候选的生成和使用中的第三步；

图8示出了生成多个动量候选的情况，该多个动量候选需要被储存在同一位置；

图9示出了典型视频编码器的框图，它示出了运动估计模块的公共应用程序；

图10示出了典型帧率转换器的框图，它示出了运动估计模块的公共应用程序；

图11示出了没有动量和加速度候选的传统运动估计模块的框图；和

图12示出了体现本发明的带有动量和加速度候选生成的运动估计模块的框图。

具体实施方式

在所有附图中，运动矢量用箭头的头位于矢量所对应的块的中心处示出。基于块的运动估计器中的每个块的输入是候选运动矢量的有限集，它试图预测出现在该块中的对象的运动。运动估计器将当前帧中的每个块的像素与由等于先前帧中的每个候选运动矢量的空间偏移所定义的像素数据区域进行比较。这些像素数据区域是块大小，但不必被约束为是块对准的。矢量选择过程在图2中示出，其中对应于每个运动矢量候选的块区域通过使用诸如绝对差和(SAD)和平均平方差(MSD)之类的度量进行比较。被选择以表示块处的运动的矢量是候选运动矢量，它通过使用所选的度量给出最好得分。找到好的匹配依赖于包括出现在该块中的对象的真实运动矢量或产生好的块匹配的候选(依据应用需要)的候选矢量集。动量和加速度矢量作为新颖的路线被提出，用以生成真实的运动矢量候选并因此改善运动估计的质量和准确性。

在块中被检测到的对象将继续像过去一样运动的前提下，“动量候选”作为值得考虑的运动矢量候选被提出。现实世界对象具有质量，因此在具有由已知的物理定律定义的动量和加速度的情况下进行运动。当对象在视频序列中被观察时，这个“现实世界”运动持续。不同于将动量/加速度看作帧位置的特性并在固定块位置处评价候选的传统技术，所提出的发明生成针对正在被直接跟踪的对象的运动矢量候选，并将它们定位在空间分离的位置处。这个空间偏移的候选生成允许运动预测跟踪帧内的对象，并且提供以其他方式不可获得的候选运动矢量。

图4示出了如何生成动量候选。块401包含对象402。该对象在先前帧中的位置也被示出，其位于像素区域404中。在针对块401的运动估计期间，该系统从它的候选矢量集中选择运动矢量403。这个运动矢量反映了在先前帧间隔期间对象的运动是从像素区域404到块401。该矢量暗示以恒定速度运动并出现在当前帧中的块401中的任意对象可能在下一帧中已经移动到块406。假设该对象确实继续以相同速度运动，那么与403大小和方向都相等但空间偏移的运动矢量405是针对继续运动的好的预测。这个矢量候选预测当前位于块401中的对象将继续运动到下一帧中的块406。因此，在块401中由运动估计所选择的矢量的复本被储存在存储器中，位于对应于块406的位置处，其中块406是当由矢量自身的值来偏移当前块401的位置时所到达的目的块。这个所选择矢量的空间偏移复本(用405示出)称为动量候选，并将从存储器中读出且在下一帧中针对块406的运动估计中用作候选运动矢量。

动量候选方法的进一步发展是扩展它到更高阶，例如，不仅考虑恒定运动而且考虑运动的变化率。虽然更高阶的微分也是可能的，但是逻辑步骤是创建“加速度候选”。注意，这里使用术语“加速度候选”来表示已经通过使用运动的变化率导出的运动矢量候选，而不是指示其矢量直接表示对象的加速度的候选。一阶加速度候选考虑两个帧上对象的运动历史，以便确定速度的变化率。这个一阶加速度候选能够预测其运动以恒定速率变化的对象的运动，如通常在现实世界情景中观察到的一样。

图5到图7示出了对象沿着曲线路径的运动，它示出了动量和加速度候选矢量的生成和使用。图5示出了包含对象502的块501，它被阴影示出以表示对象在当前帧中的位置。也示出了对象在过去帧和未来帧中的位置，其中对象在先前帧中的位置是像素区域503。针对块501的运动估计产生了运动矢量504(假设其是准确的)，它正确地表示了对象从先前帧中的像素区域503到当前帧中的块501的运动。与运动矢量504完全相同的动量候选矢量储存在对应于块505的位置处的存储器中，块505通过动量候选矢量506从当前块501的偏移找到。在这个阶段，没有充足的历史来生成或储存加速度候选。

图6示出了序列中的第二帧。块601现在包含对象602，对象602在先前帧中位于像素区域603中。在这种情况中，动量候选没有用，因为它错误地预测了对象的位置是块604并因此储存在那个位置处。这个候选在块601的运动估计期间是不可用的，并且由于运动方向的改变而无论如何不可能提供好的匹配。再次，我们假设针对块601的那个运动估计是成功的，从而产生运动矢量605，该运动矢量605正确地描述了对象从先前帧中的像素区域603到当前帧中的块601的运动。动量候选矢量被储存在对应于块607的位置处，其是由动量候选矢量606从当前块位置的偏移。

现在有足够的信息来计算针对下一帧的加速度候选。当前运动矢量605与在先前帧中针对块603计算的矢量608进行比较。块603的位置已知，因为它是对应于或最接近于与当前块匹配以产生运动矢量605的像素区域的块。换句话说，矢量608能从针对先前帧所确定的运动矢量场获得，位于由当前块的运动矢量605从当前块601的位置向后偏移的位置处。然后计算运动矢量609的变化，并且将其添加到当前运动矢量以产生试图预测下一帧中对象的位置的加速度候选610。加速度候选储存在对应于块611的位置处，它是由加速度候选矢量610从当前块位置601偏移得到的。

图7示出了序列中的第三帧。块701包含对象702，该对象702在先前帧中位于像素区域703处。在先前帧的处理期间，在对应于块703(图6中标记为601)的位置处的运动估计促使动量候选储存在对应于块704的位置处，并且加速度候选储存在对应于块701的位置处。在针对块701运动估计期间，发现加速度候选705给出好的块匹配，它准确地描述了对象从先前帧中的像素区域703到当前帧中的块701的运动。因此，该加速度候选非常可能被选择作为针对该块的运动矢量。从先前帧向前穿过的该加速度候选已经准确预测了对象的运动，并且已经提供了有用的矢量候选，其中在先前没有这样的候选存在。因此，运动估计的质量和准确性得到了改善。如之前一样，计算表示运动变化的矢量706，并将其添加到运动矢量705以产生新的加速度候选矢量707，该加速度候选矢量707储存在由加速度候选矢量大小从当前块偏移的位置708处。类似地，动量候选被储存在位置709处。

为了扩展该系统到更高阶的运动，需要附加的运动矢量历史，以便确定运动随时间的变化方式。该系统参与预测对象的位置和运动，所以有必要跟随运动矢量向后穿过先前运动矢量场序列，以便跟踪对象的位置。向后穿过先前运动矢量场序列的每一步从当前场获取运动矢量，并用它来确定先前场中的位置。例如，在图7中，当前块是701，并且相关的矢量是705。使用这个矢量作为向后偏移表示对象的先前位置在块703中。参考图6，相同的块被示为601。这个位置处的矢量是605，并且将这个矢量用作向后偏移表示对象的先前位置在块603中。在图5中，相同的块被示为501。类似的向后步骤使用矢量504来确定对象的先前位置是块503。给定准确的矢量，对象的运动能被后向跟踪如同所储存的矢量场那样多的帧。然后，这些位置中的每个位置处的运动矢量提供特定对象的运动历史，并且能被用来预测那个对象在将来的位置。

图4到图7以及图8(图8还没有被描述)示出了块大小的对象移动和加速，以致于它在每个帧中保持被对准到块位置。这是出于说明清楚的目的。对象可以大于单个块，并且运动矢量很少是块大小的简单倍数。动量或加速度候选的储存位置通过将运动矢量用作从当前块位置的偏移而被确定。类似地，当计算加速度矢量时，有必要例如从图6的示例中的块603的位置中和从图7的示例中的块703的位置中获得针对先前帧中的块所计算的运动矢量。这些块的位置也通过使用运动矢量来创建从当前块位置的偏移而被确定。如此确定的位置通常将不被对准到整个块位置，所以实际的系统需要一种方法来确定合适的块位置。一种合适的方法是确定矢量候选指向哪个像素，并在那个像素的母块中储存候选。换句话说，将候选的储存位置转到最近的整个块位置。这通常足够用于跟踪对象运动。大部分运动估计系统的传播好的矢量到附近的块的自然趋势意味着好的动量或加速度候选将“跳”回到被跟踪的对象上。系统还可以通过当执行运动估计时考虑来自邻近块位置和来自当前块的动量或加速度候选来选择增加附加的稳健性。可选择地，在加速度或动量候选本身用于指示两个块之间的储存位置中途的情况下，系统可以选择在两个位置中都储存该候选。当从先前帧获取运动矢量时，对绕行(round)的替代可以是在所需位置处插入矢量场。

注意到矢量场是不均匀的是很重要。运动矢量可以在一些区域中发散，在其他区域中收敛。这会导致在单个块中储存不止一个动量或加速度候选，并且对于一些块而言会没有被储存的候选。图8示出了通过将动量候选用作示例而导致每个块有多个候选的情形。针对当前帧中的块801的运动估计从先前帧的像素区域803中找到针对对象802的匹配，所以产生运动矢量804。针对当前帧中的块807的运动估计从先前帧的像素区域808中找到匹配，所以产生运动矢量809。因此，动量候选806和810被储存在由运动矢量从它们的初始块偏移的位置处。在这种情况下，两个动量矢量将都要求被储存在块805中。当储存更高阶的候选例如加速度候选时，相似的情况也可以存在。

当储存空间有限时，系统必须决定怎样管理要求储存在同一位置的多个候选。在空间能够用于储存多个候选的情况下和在运动估计期间有充足的计算单元来测试它们的情况下，对可以被储存并随后被使用的数量没有限制。在实际系统中，更可能是仅有小数目的动量/加速度候选将被储存在给定的块位置处，例如，1、2或4，并且有必要设计一种方法来区分候选的优先次序。例如，在具有每个块位置只有一个动量候选的存储空间的系统中，空位置将总是被请求被储存的第一候选所填满。那么，如果该系统试图在同一位置处储存第二候选，其必须决定是否用第二候选替换第一候选，或保持第一矢量并丢弃第二候选。SAD或MSD值给出矢量的“质量”的测量，所以达到这样的决定的合理方式可以是比较产生这两个矢量的块匹配过程的结果，并且选择源于最佳匹配的矢量。

图9示出了在典型视频编码器应用中使用的运动估计系统的框图。视频输入905被提供给运动估计单元901，该运动估计单元901将块与从先前编码的帧重建的参考图像902中的那些块进行比较。该参考图像902储存在存储器903中。该运动估计单元901产生一组运动矢量904，其中对于输入视频序列905的各个场或帧中的每个块而言，运动矢量904通过从参考图像902中导出那个块而给出最好的匹配。运动补偿单元906使用该矢量来仅从参考图像902的像素构建输入帧或场的近似。然后，在减法器907中将运动补偿单元906的输出与输入视频信号905的各个场或帧进行比较，以产生针对该图像的剩余或差分信号908。该剩余信号908被传递到变换/量化单元909，并然后在比特流编码器910中与运动估计单元901的输出相组合以产生比特流输出912。运动估计单元901和变换量化单元909与参考图像902一起形成到重建单元911的输入，该重建单元911用来重建用于储存在存储器903中、用于在运动估计单元901中与视频信号的随后场或帧进行比较的帧。因此，这是视频编码器中使用的传统的运动估计方案。根据本发明的具有动量和加速度矢量候选的系统能够改善运动估计单元901的性能。

要求准确表示视频中的对象的真实运动的应用程序包括帧率转换和去交织。帧率转换应用程序如图10所示。帧率转换可以例如用于将每秒60帧的视频序列转换成每秒120帧的更高速率。这通过在每对输入帧之间在时间实例中途处插入附加的帧来实现。在图10中，该系统包括视频输入1001，该视频输入1001去向存储器1002和运动估计单元1003，其中，存储器1002用于储存输入帧历史，而运动估计单元1003用于通过将来自视频输入1001的当前输入帧与来自存储器1002的先前帧进行比较来执行运动估计。运动矢量被发送到插入单元1004，该插入单元1004从输入帧构建插入帧并提供视频输出1007。已知运动矢量允许插入单元1004放置像素以便插入帧中的对象根据他们运动的轨迹出现在合适的位置中。帧率转换也可以以非整数帧频比率执行转换，例如，每秒24帧到每秒60帧。这种情况下，插入帧的时间实例变化并且不是恰好位于输入帧之间的中途。时序控制单元1005提供合适的缩放因子以允许插入单元创建正确的输出。图像分析单元1006也可以分析输入数据并监控系统的性能。例如，它可以通过调节时序控制的行为来提供误差隐藏(error concealment)。如果那些对象要被在输出帧或场中的正确位置处表示，则帧率转换和去交织非常依赖于表示对象的真实运动的高质量运动矢量。为了提供具有非常可能表示视频中的真实运动的矢量候选的运动估计器，使用动量和加速度矢量候选的系统利用了关于现实对象的行为方式的知识。

图11示出了可以在图9或图10的系统中使用的类型的传统的基于块的运动估计器的更详细的框图。其包括运动矢量存储器1101，该运动矢量存储器1101包括从先前帧导出的一组运动矢量1102和一组从已经被处理的当前帧的那些部分导出的运动矢量1103。当前帧中的块的运动估计在块定序器1104的控制下发生。为了提供针对块的合适的运动矢量候选，候选生成单元1105根据试图利用矢量场的时间和空间一致性的模式来从运动矢量存储器1101中选择矢量。候选生成单元1105也可以在矢量中引入随机度，这将允许矢量场在处理进行时适应和收敛到新的运动上。地址被提供给包含先前帧数据1108和当前帧数据1109的视频存储器1107，从而由该存储器返回的像素数据根据每个矢量候选被从当前块位置偏移。提供来自每个帧的像素数据，以用于在像素数据比较单元1110中进行比较。像素数据比较单元1110的输出是绝对差和值，该绝对差和值被提供到最好矢量选择单元1106，在从那个块位置处的另一帧导出一个帧时，该最好矢量选择单元1106使用该数据来识别来自候选生成单元1105的哪个矢量候选给出最佳匹配。然后，最好矢量选择单元1106提供所选择的矢量给运动矢量存储器1101中的当前帧运动矢量1103。

图12示出了也提供针对块的动量和加速度候选矢量的运动估计器的框图。这是图11的电路的修正版本，并且两个电路中的相同单元共享同样的参考标号。运动矢量存储器1101包括从多个先前帧导出的一组运动矢量1206和从已经被处理的当前帧的那些部分导出的一组运动矢量1103。另外，运动矢量存储器1101包括一批当前帧动量/加速度运动矢量候选1201和一组下一帧动量/加速度候选1202。除了根据关于图11所描述的方法所选择的候选之外，候选生成单元1105现在将包括来自存储器1101的动量和加速度候选。在在选择单元1106中选择最好矢量之后，在动量候选生成单元1203中生成在下一帧的运动估计中使用的动量候选矢量。这根据参照图4描述的方法生成了动量矢量候选，并且然后这些动量矢量候选被储存在下一帧动量/加速度候选块1202中。当接下来的帧被处理时，它们被传送到当前帧动量/加速度候选块1201。

在下一帧的运动估计中使用的加速度候选矢量在加速度候选生成单元1204中生成，该加速度候选生成单元1204还耦合到最好矢量选择单元1106的输出并根据参照图5到图7描述的方法生成加速度候选。在他们被传送到运动矢量存储器1101中的当前帧动量/加速度候选块1201之前这些也被储存在下一帧动量/加速度候选块1202中。如果期望的话该系统还能够生成更高阶的候选，并且也能够提供与所要求的更高阶候选的数量相对应的多个进一步的候选生成块(通常在1205处示出)。

Claims (18)

1.一种用于视频图像序列中的运动估计的方法，该方法包括以下步骤：

a)将视频图像序列的每个场或帧再分成多个块；

b)向每个视频场或帧中的每个块分配各自的候选运动矢量集；

c)针对当前视频场或帧中的每个块，确定其各自的候选运动矢量中的哪个候选运动矢量产生了到先前视频场或帧中的块的最佳匹配；

d)通过使用如此确定的针对每个块的最佳匹配矢量来形成针对当前视频场或帧的运动矢量场；

e)通过在被偏移从候选运动矢量导出的距离的块位置处储存从所述最佳匹配矢量导出的所述候选运动矢量，形成进一步的运动矢量场；和

f)针对跟随在当前视频场或帧之后的视频场或帧重复步骤a)到e)，其中在步骤b)被分配给所述之后的视频场或帧中的块的候选运动矢量集包括在所述当前视频场或帧期间在步骤e)中被存储在的块位置处的候选。

2.根据权利要求1所述的方法，其中，在步骤e)存储的所述候选运动矢量从所述最佳匹配矢量导出，并且预测所述视频图像序列中以不变速度继续行进的对象的将来的位置和运动。

3.根据权利要求1所述的方法，其中，在步骤e)存储的所述候选运动矢量进一步从先前在步骤d)形成的运动矢量场中的一个或多个运动矢量场中的每个运动矢量场的矢量导出。

4.根据权利要求3所述的方法，其中，在步骤e)存储的所述候选运动矢量从所述最佳匹配矢量和从先前在步骤d)形成的一个运动矢量场的矢量导出，并且预测所述视频图像序列中具有以恒定比率改变的速度的对象的将来的位置和运动。

5.根据权利要求3所述的方法，其中，在步骤e)存储的所述候选运动矢量从所述最佳匹配矢量和从先前在步骤d)形成的不止一个运动矢量场的矢量导出，并且预测所述视频图像序列中的对象的将来的位置和运动，其中该对象的速度的导数正以恒定比率改变。

6.根据权利要求3-5中任一权利要求所述的方法，其中，来自先前运动矢量场的每个矢量通过以下方式获取：

向后通过先前运动矢量场序列；和

在每一步，从被向后偏移由运动矢量导出的距离的位置获取矢量，该运动矢量获取自所述序列中的当前运动矢量场。

7.根据权利要求6所述的方法，其中，从所述序列中的当前运动矢量场获取的所述运动矢量指向未与块对准的位置，并且所述向后偏移的位置通过将所述未与块对准的位置转到最接近的块而得出。

8.根据权利要求6所述的方法，其中，从所述序列中的当前运动矢量场获取的所述运动矢量指向未与块对准的位置，并且从先前运动矢量场中的向后偏移的位置获取的所述矢量从所有块位置处的矢量被插入。

9.根据前述任意一项权利要求所述的方法，该方法进一步包括：在每个偏移块位置处储存多个候选运动矢量。

10.根据权利要求9所述的方法，其中，所述多个候选运动矢量通过使用优先级系统而被储存在每个偏移块位置处。

11.根据权利要求10所述的方法，其中，所述优先级系统包括：

对于从所述最佳匹配矢量导出并在步骤e)被存储的所述候选运动矢量，在所述偏移块位置处储存表示在步骤c)中获得的所述最佳匹配的质量的度量；和

根据所储存的质量度量选择用于存储的候选运动矢量，以便被选择以用于储存的候选运动矢量是具有指示最高可靠性的所储存的质量度量的矢量。

12.根据前述任意一项权利要求所述的方法，其中，在步骤e)，所述候选运动矢量指向未与块对准的位置，并且步骤e)的所述偏移块位置通过将所述未与块对准的位置转到最接近的块而得出。

13.根据权利要求1-11中任意一项权利要求所述的方法，其中，在步骤e)，所述候选运动矢量指向未与块对准但接近块边界的位置，并且步骤e)的所述偏移块位置包括与所述边界邻近的不止一个块位置。

14.一种用于视频图像序列中的运动估计的设备，该设备包括：

用于将视频图像序列的每个场或帧再分成多个块的装置；

用于向每个视频场或帧中的每个块分配各自的候选运动矢量集的装置；

用于针对当前视频场或帧中的每个块，确定其各自的候选运动矢量中的哪个候选运动矢量产生了到先前视频场或帧中的块的最佳匹配的装置；

用于通过使用如此确定的针对每个块的最佳匹配矢量来形成针对当前视频场或帧的运动矢量场的第一装置；和

用于通过在被偏移从候选运动矢量导出的距离的块位置处储存从所述最佳匹配矢量导出的所述候选运动矢量来形成进一步的运动矢量场的第二装置，其中，当所述设备针对跟随在当前视频场或帧之后的视频场或帧进行操作时，在分配装置处被分配被所述之后的视频场或帧中的块的候选运动矢量集包括在所述当前视频场或帧期间在第二形成装置处被存储在的块位置处的候选。

15.根据权利要求14所述的设备，其中，储存在所述第二形成装置处的候选运动矢量从最佳匹配矢量导出，并预测所述视频图像序列中以不变速度继续行进的对象的将来的位置和运动。

16.根据权利要求14所述的设备，其中，储存在所述第二形成装置处的候选运动矢量进一步从先前在第一形成装置处形成的运动矢量场中的一个或多个运动矢量场中的每个运动矢量场的矢量导出。

17.根据权利要求16所述的设备，其中，储存在所述第二形成装置处的候选运动矢量从所述最佳匹配矢量和从先前在所述第一形成装置处形成的一个运动矢量场的矢量导出，并且预测所述视频图像序列中具有以恒定比率改变的速度的对象的将来的位置和运动。

18.根据权利要求16所述的设备，其中，储存在所述第二形成装置处的候选运动矢量从所述最佳匹配矢量和从先前在所述第一形成装置处形成的不止一个运动矢量场的矢量导出，并且预测所述视频图像序列中的对象的将来的位置和运动，其中该对象的速度的导数正以恒定比率改变。

Images