CN101416516A - 运动估计方法 - Google Patents

Abstract

本发明涉及一种关于多图像3序列(I)的运动估计方法。基于预测向量(PV)生成相应的更新。所述的更新(UPV)分布在大量的表(t1 tN)中。仅对更新(UPV)的一个单独表(t1 tN)应用特定的预测向(PV)量，以便仅生成一套限定的候选向量(CV)。

Description

运动估计方法

技术领域

本发明涉及一种运动估计方法，特别是一种关于图像序列的运动估计方法。更特别的是，本发明涉及在用于运动估计过程的递归器或运动估计器的递归器中对于时空预测的多表更新。

背景技术

在许多图像处理或图像预处理的过程中，应用了关于图像序列的运动估计方法。在这些已知的基于预测向量的方法中，生成所谓的预测向量更新，它随后应用到预测向量或预测向量候选，从而生成候选向量或候选运动向量。然后对该候选向量进行分类，并依据特定标准选择明确的候选向量作为最好的。

.关键的一点是这一过程的转换。转换的执行，次像素的估计，粒度等能够通过增加大量的更新(该更新生成并应用到特定的预测向量)来改进。然而，计算负担会随着为了生成大量候选而不得不应用于预测向量的更新数量的增加而增加。

发明内容

因此，本发明的一个基本目标是提供一种运动估计方法，其增强了转换的特性和/或次像素估计粒度的特性，而计算负担却没有显著增加。

本发明的基本目标可以依据本发明通过具有独立权利要求1或3的特征的运动估计方法得以解决。本发明的运动估计方法的优选实施方式是在从属的次权利要求范围内。本发明的基本目标进一步通过分别依据独立的权利要求18、19和20的系统、计算机程序产品和计算机可读存储介质实现。

在本发明最广泛的意义上，提供了一种运动估计方法，其中，对于预测向量的更新分布在多个表中，以致于每个表包含少于对该预测向量生成更新的总数。此外，仅单个表的更新应用于预测值，以便生成候选向量。因此，及时更新的数量增大，当生成候选向量时计算负担也不会增加。

依据本发明，特别是，提供一种关于图像序列的运动估计方法。

依据本发明，提供一种关于图像序列的运动估计方法，其中基于预测向量生成相应的更新，其中所述的更新发布在单个表中，并且其中仅单个的更新表应用于特定的预测向量，以便仅生成受限制的候选向量组。

依据本发明，提供一种关于图像序列的运动估计方法，其另外或可选择地包括(a)提供表现图像序列(I)的数字图像数据的步骤，(b)提供一个或多个预测向量的步骤，(c)对预测向量生成更新的步骤，(d)为更新生成候选向量，籍此通过对特定预测向量应用所述的选择的更新来提供多个候选向量的步骤，(e)从所述的多个候选向量中选择明确的符合匹配准则的候选向量作为运动向量候选，(f)其中步骤(c)、(d)和(e)递归执行直到符合特定的终止准则，(g)其中，做为每一递归的结果，所述的预测向量或其子集通过提供相应的更新进行更新，(h)其中所述的更新分配地组织和存储在多个更新表内，(i)其中，作为结果，每个更新表包含小于更新的完全数，和(j)其中，在所述的生成所述的候选向量的步骤(d)中，仅将单个的更新表的更新应用于特定的预测向量。

因此，本发明的一个构想是通过从多个更新表中选出明确的更新表，仅将有限数量的更新应用于相应的预测向量。

附图说明

现在，基于其最佳实施方式并参考附图和示意图，对本发明进行说明。

图.1是一个示意框图，其阐述了本发明的运动估计方法一个最佳实施方式的一些基本面。

图.2是一个示意框图，其阐述了本发明的运动估计方法的另一面。

图.3是一个示意框图，其阐述了本发明的运动估计方法一个最佳实施方式，其中包括单个更新表组。

图.4是一个示意框图，其阐述了本发明的运动估计方法一个最佳实施方式，其中包括多个更新表组。

具体实施方式

在以下功能和结构相同或类似的要素和结构中，将用相同的参考符号表示。不在每个它们出现的情况下，重复详细说明。

依据本发明，提供一种关于图像序列的运动估计方法，其中基于预测向量PV生成相应的更新UPV，其中将所述的更新UPV分配到多个表t1，....，tN中，并且其中仅将更新UPV的单个的表t1，....，tN应用于特定的预测向量PV，以便仅生成受限制的一组候选向量CV。

正如从另外或可选择地依据本发明的特性中能够获得的一样，提供一种关于图像序列的运动估计方法，其包括(a)提供表现图像序列I的数字图像数据ID的步骤，(b)提供一个或多个预测向量PV的步骤，(c)为预测向量PV生成更新UPV的步骤，(d)为更新UPV生成候选向量CV，因此通过将所述的选定更新UPV应用于特定预测向量PV提供多个候选向量CV的步骤，(e)从所述的多个候选向量CV中选择明确的符合特定匹配准则的候选向量CV作为运动向量候选MVC，(f)其中，步骤(c)，(d)和(e)递归执行直至符合特定的终止准则，(g)其中，作为每一递归的结果，对所述的预测向量PV或其子集通过提供相应的更新UPV来进行更新，(h)其中所述的更新UPV被分配组织并存储在多个更新表t1，....，tN中，(i)其中，作为结果，每一更新表t1，....，tN包含的都少于更新UPV的完全数，并且(j)其中，在所述的生成所述的候选向量CV的步骤(d)中，仅将单个的更新表(t)的更新UPV应用于特定的预测向量PV。

依据优选的实施方式，所述的多个更新表t1，....，tN能够组织到多个表组s1，....，sm中。

特别式，表组s1，....，sm的数量能够小于表t1，....，tN的数量。

每个表组s1，....，sm可以包含相等或几乎相等数量的更新表t1，....，tN。

所述的更新UPV可以相等地或几乎相等地分配到全部更新表t1，....，tN中。

每个更新UPV可以包含或表现X分量更新值和Y分量更新值。

所述的更新表t1，....，tN和所述表组s1，....，sm存储在存储器M中。

所述的存储器M在运行期间可以是可动态配置的和/或已动态配置的。

所述的更新表t1，....，tN可以根据它们的内容动态配置。因此，可以满足特定的图像序列属性。

所述的图像序列属性可以是一个或多个小运动、强运动和旋转。

所述的提供一个或多个预测向量PV的步骤(b)可以包括在所述的递归过程(f)中。

对于每一个预测向量PV，大约可以生成50个更新UPV，特别地其可以分配到大约5个更新表t1，....，t5中。

可能的正、负、短、长、整数和/或分数更新值均匀地分配到更新表t1，....，tN中，以便减少空间相关性。

对于新向量列的估计可以通过表索引开始，该表索引不同于先前估计的向量列的表索引。

新向量场的估计可以通过表索引开始，该表索引不同于先前估计的向量场的表索引。

更新t1，....，tN和/或表组s1，....，sm的选择可以通过使用运动模型分类器MMC执行。

依据本发明的另一方面，提供一种运动估计系统，其适用于并包含为了依据本发明及其步骤执行运动估计的方法。

依据本发明的另一方面，提供一种由计算机程序方法组成的计算机程序产品，当其在计算机或数字信号处理装置上执行时，其适用于执行依据本发明的运动估计方法及其步骤。

此外，提供计算机可读存储介质，其包含依据本发明的计算机程序产品。

本发明的这些和另外方面将在以下进行讨论：

本发明此外还涉及在递归运动估计器中关于时空预测的多表更新。

时空递归运动估计算法典型地利用预测向量更新，以便生成候选向量。从这些候选中选择向量作为最适合的一个。为了改进收敛性能和次像素估计粒度，将对预测向量应用大量的更新。这会将候选评价的数量增加到一个不利的数量。本发明的构想是分配这个大数量的更新到一组更新表中，并仅将单个表的更新应用于相应的预测变量，以便生成一组候选向量。这样允许使用大量不同的更新-用于快速收敛的长/短值和用于次像素候选的整数、次整数值-然而每个估计向量仍然还有少量的候选需要评价。每个表包含有限数量的由X-和Y-分量更新值组成的更新，其用来从特定的预测向量生成候选向量。该表在运行期间存储在可配置的存储器中，以便允许该表内容的动态再配置来匹配某图像序列特性，如小运动、强运动、旋转等等。

对于所有的递归算法，并且也对于递归运动估计算法确实如此，收敛速度是一个问题。该递归方法在运动估计中利用这样的假设，相近的向量类似。这样允许对减少数量的候选向量进行评价，以便发现最匹配的向量。与评价相当大数量候选的全面搜索算法相比尤其如此。该递归部分是当前候选基于先前最匹配的向量，所谓的预测。通过对这样的预测应用一组更新向量，候选便可生成。

先前的技术方法当结果向量必须从例如背景速度向移动目标速度进行收敛时，显示出较差的估计性能。在这种情况下，为了候选向量更好地匹配理想的向量，空间预测和要估计的向量之间的差异太大。这样会导致接近物体边缘的向量场中的误差。由于更新值的数量有限，理想向量不是所评价的候选组的部分。巨大差异的一个典型实例是在物体速度和背景速度不为零，而且进一步向相反的方向运动。

更新由X-和Y-分量构成。例如，在±4范围内，具有分量值的10个更新用于先前的技术方法中。即，由此产生的向量一次仅能改变4个单元。现在，如果前和背景速度之间的差为，例如，13，在最佳情况下，要3个估计步骤用于生成能够收敛到新速度的向量。但是，最坏的情况，通过较差的更新，估计过程可能根本不会收敛到新的速度。这个缓慢的收敛导致差的向量场质量，其导致图像插值应用中的插值伪差。

此外，为了执行次像素准确运动估计过程，使用次像素更新值生成次像素候选。这甚至增加每个估计向量所要估计的候选的数量。

要克服这些问题，作为一个中间的发展步骤，每个预测的更新值的数量和它们的更新值的范围增加。该值的范围增加到例如±16，和更新数量增加到例如50。这样大量的候选显著改进收敛质量。但是，在该目标实现中，根据调查，这么大组的候选对实时性能是一个大问题。所以将巨大数量的候选分配到多个更新表中的构想减少了每个预测的候选数量，然而保持了估计质量并尽可能小地改变执行结构。.

必须指出的是，本说明中给出的数量是一般概念构想的具体实例值。从以上说明中，我们假设每个预测候选的优选数量为50。但是，在本发明的时候，这个数量由于逻辑大小和实时性能在HW中不可能实施，由于计算量原因在SW中也不可能实施。所以将更新值分为例如每组10个更新的5组，并且每个预测仅相应地应用10个更新，使实施变得可能。每个表项是由X-和Y-分量值组成的更新值。

通过对每个新的预测应用一组新的更新，在5个连续地预测中应用全部可能的更新，并且这样可以对全部50个理想的候选向量进行评价。这样足够小，能够在紧密的空间距离内对预测应用全部的更新值。一个最优选的甚至改进本方法的实施是将所有可能的更新值，正和负，短和长，以及整数和分数值均匀地分配到所有5个表中。这样将估计结果与相应空间位置的关联最小化。但是，当然，不同的表配置也是可能的。

对单独更新表内容与相应的估计向量的空间位置去关联是重要的。一个优选的方法是通过不同于先前列的表索引的表索引开始新向量列的估计。同样，新向量场的估计也应该通过表索引开始，该表索引不同于先前场的。

图1是一个示意框图，阐明了用于图像序列的运动估计的本发明方法的一个首选实施方式。

在初始化步骤S0之后，执行(a)提供数字图像数据ID的第一步骤S1。所述的数字图像数据(ID)表示图像序列I，例如，视频序列等等。

在以下步骤S2中，提供(b)一个或多个预测向量PV。

基于所述预测向量PV，在以下步骤S3中对于所述预测向量PV生成(c)更新UPV或更新值。

在下一步骤S4中，使用更新UPV，以便为每个选定更新值UPV生成候选向量CV。籍此，(d)提供多个候选向量。这通过将选定的更新或更新值UPV应用于特定的预测向量PV来实现。

从生成的多个候选向量CV中，在以下步骤S5中选择(e)明确的候选。选定的候选必须符合特定的匹配准则。选定的候选向量CV也称为运动向量候选MVC。

步骤S2到S5递归执行直至符合特定终止准则。

本方法如图1所示，通过一个完成步骤S6终止。

图2中的框图展示了估计过程的基本概念，估计通过使用预测PV和相应的更新UPV生成候选开始。从这些候选CV中，依据选择准则，特别是块匹配误差值，选择最佳的一个。最佳向量CMV将存储在存储器M中，然后从其中读取下一个预测PV。这个循环表示该运动估计技术的状态。

图.3展示了更新表构想的第一首选实施方式。预测PV的更新UPV存储在多表阵列中，所谓的表组s或s1。对于第一预测PV，使用来自具有例如索引(2)的表t2的更新UPV。对于下一预测PV从具有索引(3)的表t3中读取更新UPV。对于每一个新的预测PV，都从具有不同表索引J的表1j中读取更新UPV。当前表索引指针旋转经过所有可用的表t1，....，tN并且然后再次从表t1开始。

图.4中，展示了一个先进的概念，代表另一种实施方式。这里，提供几个表组s1，....，sm。表选择控制模块TSC选择将要使用的相应表组sk。几个表组sk之间的转换通过运动模型分类器MMC实现。该分类器MMC使用先经过向量过滤器VF过滤的估计向量CMV和视频图像，以便确定相应的运动模型。通过利用该运动模型并根据将要估计向量的当前空间位置，将对该预测更新UPV使用最佳表组。

参考符号

CG  候选生成

CS  候选选择

CV  候选向量

I   图像

ID  数字图像数据

M   存储器

MMC 运动模型分类器

MVC 运动向量候选

PV  预测向量

sj  表组，更新表的组；j＝1....m

tk  更新表，表；k＝1....N

TSC 表选择控制(模块)

VF  向量过滤器

Claims (20)

1.一种关于图像序列的运动估计方法，

其中基于预测向量(PV)生成相应的更新(UPV)，

其中所述的更新(UPV)被分配到多个表(t1，...，tN)中，以及

其中仅将更新(UPV)的单个表(t1，...，tN)应用于特定的预测向量(PV)，以便仅生成受限制的候选向量(CV)组。

2.依据权利要求1的方法，包括：

(a)提供表现图像序列(I)的数字图像数据(ID)的步骤，

(b)提供一个或多个预测向量(PV)的步骤，

(c)对于预测向量(PV)生成更新(UPV)的步骤，

(d)对于更新(UPV)生成候选向量(CV)，籍此通过将所述的选定更新(UPV)应用于特定的预测向量(PV)来提供多个候选向量(CV)的步骤，

(e)从所述的多个候选向量(CV)中选择明确的符合特定匹配准则的候选向量(CV)作为运动向量候选(MVC)，

(f)其中步骤(c)、(d)和(e)递归执行直至符合特定的终止准则，

(g)其中，作为每一递归的结果，对所述的预测向量(PV)或其子集通过提供相应的更新(UPV)来进行更新，

(h)其中，所述的更新(UPV)被分配组织和存储在多个更新表(t1，....，tN)中，

(i)其中，作为结果，每一更新表(t1，....，tN)包含少于更新(UPV)的完全数，和

(J)其中，在所述的生成所述候选向量(CV)的步骤(d)中，仅将单个更新表(t)的更新(UPV)应用于特定的预测向量(PV)。

3.关于图像序列的运动估计方法，包括：

(a)提供表现图像序列(I)的数字图像数据(ID)的步骤，

(b)提供一个或多个预测向量(PV)的步骤，

(c)对于预测向量(PV)生成更新(UPV)的步骤，

(d)对于更新(UPV)生成候选向量(CV)，籍此通过将所述的选定更新(UPV)应用于特定的预测向量(PV)来提供多个候选向量(CV)的步骤，

(e)从所述的多个候选向量(CV)中选择明确的符合特定匹配准则的候选向量(CV)作为运动向量候选(MVC)，

(f)其中步骤(c)、(d)和(e)递归执行直至符合特定的终止准则，

(g)其中，作为每一递归的结果，对所述的预测向量(PV)或其子集通过提供相应的更新(UPV)来进行更新，

(h)其中，所述的更新(UPV)被分配组织和存储在多个更新表(t1，....，tN)中，

(i)其中，作为结果，每一更新表(t1，....，tN，)包含少于更新(UPV)的完全数，和

(J)其中，在所述的生成所述候选向量(CV)的步骤(d)中，仅将单个更新表(t)的更新(UPV)应用于特定的预测向量(PV)。

4.依据前述任何一项权利要求的方法，

其中，多个更新表(t1，....，tN)组织在多个表组(s1....，sm)中，和

其中，特别是，表组(s1，....，sm)的数量(m)小于表(t1，....，tN)的数量(N)。

5.依据权利要求4的方法，

其中每个表组(s1，....，sm)都包含相等或几乎相等数量的更新表(t1，....，tN)。

6.依据前述任何一项权利要求的方法，

其中将所述的更新(UPV)相等地或几乎相等地分配到全部更新表(t1，....，tN)中。

7.依据前述任何一项权利要求的方法，

其中每一更新(UPV)都包含或表现X分量更新值和Y分量更新值。

8.依据前述任何一项权利要求的方法，其中所述更新表(t1，....，tN)和所述的表组(s1，....，sm)都存储在存储器(M)中。

9.依据权利要求8的方法，

其中所述的存储器(M)在运行期间是可动态配置的和/或已动态配置的。

10.依据权利要求9的方法，

其中，将所述的更新表(t1，....，tN)根据其内容进行动态配置。和

其中，籍此符合特定的图像序列属性。

11.依据权利要求10的方法，

其中所述的图像序列属性是一个或多个小运动、强运动和旋转。

12.依据前述任何一项权利要求的方法，

其中所述的提供一个或多个预测向量(PV)的步骤(b)包含在所述的递归过程(f)中。

13.依据前述任何一项权利要求的方法，

其中，对于每一个预测向量(PV)大约生成50个更新(UPV)，特别地，其分配到大约5个更新表(t1，....，t5)中。

14.依据前述任何一项权利要求的方法，

其中将可能的正、负、短、长、整数和/或分数更新值(UPV)均匀地分配到更新表(t1，....，tN)中，以便减少空间关联性。

15.依据前述任何一项权利要求的方法，

其中对于新向量列的估计通过表索引开始，该表索引不同于先前估计向量列的表索引。

16.依据前述任何一项权利要求的方法，

其中对于新向量场的估计通过表索引开始，该表索引不同于先前估计向量场的表索引。

17.依据前述任何一项权利要求的方法，

其中更新(t1，....，tN)和/或表组(s1，....，sm)的选择通过使用运动模型分类器(MMC)来执行。

18.一种运动估计系统，

其适用于并包含为了执行依据权利要求1到17的任何一项的运动估计方法及其步骤的装置。

19.一种计算机程序产品，

包括计算机程序组件，当其在计算机或数字信号处理装置上执行时，其适用于执行依据权利要求1到17的任何一项运动估计方法及其步骤。

20.一种计算机可读存储介质，包括依据权利要求19的计算机程序产品。

Images