CN1736108A - 有效的预测图像参数估计 - Google Patents

Abstract

本发明涉及一种用于根据从一个图像序列中取出的至少一幅图片递归地估计局部矢量的方法。为了降低估计方法的计算复杂度，同时不使其精确性恶化，建议该方法包括以下步骤：在至少部分使用递归的过程中生成第一组候选矢量，根据第一标准从第一组候选矢量中选择候选矢量以生成更小的第二组候选矢量，根据第二标准为一组像素估算第二组候选矢量的候选矢量，根据所述的第二标准从第二组候选矢量中确定最佳矢量，以及将所确定的最佳矢量分配给与为其估算了第二组候选矢量的候选矢量的那组像素有关的一组像素。本发明进一步涉及一种用于根据从一个图像序列中取出的至少一个图片递归地估计局部矢量的设备，以及一种包含用于根据从一个图像序列中取出的至少一幅图片递归地估计局部矢量的软件代码部分的计算机程序产品。

Description

有效的预测图像参数估计

技术领域

本发明涉及一种用于根据从一个图像序列中取出的至少一幅图片递归地估计局部矢量的方法，该方法包括以下步骤：至少部分地使用递归来生成第一组候选矢量，根据第一标准从第一组候选矢量中选择候选矢量，以便生成更小的第二组候选矢量，根据第二标准为一组像素估算第二组候选矢量的候选矢量，根据所述的第二标准从第二组候选矢量中确定最佳矢量，并且将所确定的最佳矢量分配给与为其估算了第二组候选矢量的候选矢量的那组像素有关的一组像素。本发明进一步涉及一种用于根据从一个图像序列中取出的至少一个图片递归地估计局部矢量的设备，以及一种包含有用于根据从一个图像序列中取出的至少一幅图片递归地估计局部矢量的软件代码部分的计算机程序产品。

背景技术

对于宽范围的图像处理应用、诸如编码/压缩、噪声降低、对象跟踪以及扫描率转换来说，需要根据图像数据进行局部矢量的估计。在诸如MPEG或者H.261的视频编码框架内，局部矢量用运动矢量来表示，该运动矢量确定从一幅图像到另一幅图像的运动(或者对象位移)。运动矢量的估计例如能够被用于运动补偿预测编码。由于一幅图像中的一个图片通常与其先前图片的移位副本非常相似，编码估计运动矢量数据以及有关实际图像和其预测图像在像素域或者在DCT域中的差别的信息允许极大地降低编码信号中的时间冗余。

估计局部矢量的其他例子包括用于将一幅图像分割成具有相似空间特征的区域(对象分割)的方法，其中局部矢量则表示对空间特征的定量量度，以及用于估计图像片段(对象)的运动模型的方法，其中局部矢量的分量则包括运动模型的参数。

用于根据图像数据来估计局部矢量的现有技术通常应用某种块匹配算法(BMA)，其中一幅图像被分解成具有固定尺寸或者可变尺寸的块。最好，能够将图像分解成其显著对象而不是块(对象分割)，以便随后的描述同样很好地适用于对象而不是块。为当前图像的每一个块搜索先前图像中的类似块，其中应用相似性测量来识别与当前块最相似的先前块。为先前图像的块确定了最大的相似性，与该先前图像的块有关的局部矢量表示与当前块的像素相关的局部矢量。注意，当计算相似性量度时，不必估计待比较的两个块的所有像素。举例来说，块能够被空间子采样，那么仅有两个块各自的第k个像素被考虑用于相似性量度的估计。

为了降低当尝试检查当前块与先前图像中的所有块的相似性时所遇到的计算量，局部矢量通常通过预测、即通过仅为有限数目的与当前块的邻近区域内的块有关的所谓的候选矢量估计相似性量度来估计。

US5072293公开了这种BMA，其中使用根据3D邻近区域的预测作为运动矢量估计的候选矢量。该组候选运动矢量包括运动矢量的空间(2D)和时间(1D)预测，为每一个块递归地确定其中的最佳预测。该技术是递归的，因为当前图像n中的一个块的候选运动矢量组中的至少一个候选矢量取决于已经确定的图像n(空间预测)或者先前图像n-1(时间预测)中的其他块的运动矢量。该递归估计技术隐含地假设对象大于一个块，因此能够在来自邻近块的至少一个空间预测中得到运动矢量。而且，假设对象的惯性，这能够使估计技术也使用时间预测，当由于因果关系还没有可用的空间预测时，时间预测尤其有帮助。根据这两个假设，先前得到的运动矢量因此被递归优化。

在递归BMA中，一个块的候选矢量组的合成确定递归运动估计技术的精确性和收敛速度，以及其计算复杂度，在每个递归步骤中必须针对该块估计相似性量度。为了保证精确的运动矢量估计，必须选择一大组候选运动矢量，这会使计算的复杂度增大。

发明内容

因此本发明的目的是提供一种用于精确地估计局部矢量、同时复杂度降低并且快速收敛的递归方法。

为了解决本发明的目的，提出一种用于根据从一个图像序列中取出的至少一幅图片递归地估计局部矢量的方法，该方法包括以下步骤：至少部分地使用递归生成第一组候选矢量，根据第一标准从第一组候选矢量中选择候选矢量，以便生成更小的第二组候选矢量，根据第二标准为一组像素估算第二组候选矢量的候选矢量，根据所述的第二标准从第二组候选矢量中确定最佳矢量，并且将所确定的最佳矢量分配给与为其估算了第二组候选矢量的候选矢量的那组像素有关的一组像素。

通过根据第一标准降低第一组候选矢量的尺寸，不得不为较少的候选矢量估算根据第二标准的相似性量度，因此与现有技术的估计器相比，计算复杂度可以被极大地降低，在现有技术的估计器中必须为第一组候选矢量的所有候选矢量估算相似性量度。第一标准与第二标准相比具有较低的计算复杂度，并且控制估计器的精度和收敛。所建议的方法的最大优点在于能够使用大的第一组候选矢量，同时预选择方法从该组中为相似性量度的实际估算拾取最有希望的候选矢量。结果几乎不需要比具有减少的第一组候选矢量的相同的现有技术的局部矢量估计器所需计算更多的计算，但是在进行相似性量度估算的矢量中具有希望的候选矢量的机会显著增加了。

该方法的进一步的优点在考虑专用硬件实施时变得清楚明了。这种实施通常不能从平均情况下很低的操作计数中得益。必须为最坏的情况进行设计。目前，利用有限的第一组候选矢量，实际上不同的候选矢量的数目很有可能低于硬件的容量。利用如在本发明中所建议的预选择模块所跟随的较大的第一组候选矢量，可以大大降低这种可能性。这导致硬件容量的更加优化的使用。

可选地，第二组候选运动矢量用不包含在第一组运动矢量中的候选运动矢量来扩展。举例来说，增加空矢量，即没有运动，或者增加基于第一组运动矢量的选定运动矢量的中值的候选运动矢量。

第一组候选矢量中的候选矢量优选地根据已经确定的所估计的局部矢量和/或零矢量和/或更新矢量来进行空间和/或时间预测，更新矢量矢量既可以是随机矢量或者属于一组有限的固定的更新矢量。假设一个图像序列中的一幅图片中的对象大于一个块，并且具有惯性，则当前块的局部矢量非常可能与已经确定的、围绕当前块(空间预测)的当前图片的其他邻近块中的局部矢量相似，或者与已经确定的先前图像中的邻近块(时间预测)的局部矢量相似。作为候选矢量的零矢量对于没有运动的图片部分尤其有帮助，而在空间和/或时间预测的局部矢量中增加更新矢量解决了在初始化阶段中的问题，预测可以基于的所有局部矢量是零。

根据本发明，局部矢量优选地表示描述一个图像序列的图片中的像素组的运动的运动矢量。

根据参数2D全局运动模型可以预测至少一个所述的运动矢量。例如，将一个运动矢量表示为2D一阶方程，诸如摇摄、倾斜、移动和变焦的摄像机运动能够被精确地建模。这种类型的运动具有规则的特征，与对象运动相比，产生平滑运动矢量。而变焦产生随空间位置线性变化的运动矢量，摇摄、倾斜和移动产生对整幅图片来说相同的运动矢量。如果发生这样的全局运动，则可以更有效地估计参数2D全局运动模型的参数来替代运动矢量本身。

局部矢量也能够表示描述一个图像序列中的图片中的像素组的运动模型的参数组。

作为另一种替代方案，局部矢量可以表示一组像素的空间特征，尤其是纹理，动态范围，颜色或者平均值。

根据本发明，第二标准能够作为匹配误差标准、例如绝对差的和(SAD)标准或者均方差(MSE)标准来执行。在运动矢量估计的环境中，计算预测的像素或者像素组与当前图像之间的SAD或MSE。相比之下，在图像分割的环境中，其中局部矢量的分量表示诸如纹理、动态范围、颜色或者图像片段的平均亮度值的空间特征，SAD和MSE标准被直接应用于局部矢量的分量以及根据局部图像内容测量的相应的空间特征。

从第一组候选矢量中选择候选矢量以形成更小的第二组候选矢量适宜地基于第一组候选矢量中的候选矢量的相应矢量分量的排序。

从第一组候选矢量中选择候选矢量以形成更小的第二组候选矢量也可以基于第一组候选矢量中的候选矢量的排序。

在本发明的一个优选实施例中，第二组候选矢量包括根据第一标准的第一组候选矢量的至少一个极限和/或最小极限候选矢量。

由于最小极限候选矢量在收敛情况下通常是一个很好的矢量，而在不收敛的情况下更多的极限矢量尤其有帮助，所以仅选择这些矢量用于利用接下来的计算更为昂贵的第二标准的估算是有意义的。增加零矢量(表示没有运动)作为极限矢量也有意义，因为在运动矢量的许多应用中固定图片部分的内插是非常严格的。

极限候选矢量优选地是与第一组候选矢量的多个候选矢量的平均矢量距离最大的两个矢量，或者是与第一组候选矢量组中的空间预测矢量距离最大的两个矢量，或者是最长和最短的矢量，或者是与第一组候选矢量的剩余候选矢量的距离最大的两个矢量。

最小极限候选矢量优选地是与第一组候选矢量的多个候选矢量的平均矢量距离最小的矢量，或者是与第一组候选矢量中的空间预测矢量距离最小的矢量，或者是矢量中值。

本发明的另一个优选实施例是一种用于根据从一个图像序列中取出的至少一个图片递归地估计局部矢量的设备，包括用于至少部分地使用递归生成第一组候选矢量的装置，用于根据第一标准从第一组候选矢量中选择候选矢量以生成更小的第二组候选矢量的装置，用于根据第二标准为一组像素估算第二组候选矢量的候选矢量的装置，用于根据所述的第二标准从第二组候选矢量中确定最佳矢量的装置，以及用于将所确定的最佳矢量分配给与为其估算了第二组候选矢量的候选矢量的那组像素有关的一组像素的装置。

本发明的最后一个优选实施例是一种可直接装载到数字计算机的内部存储器中的计算机程序产品，包括当所述产品在计算机上运行时用于执行下列步骤的软件代码部分：至少部分地使用递归生成第一组候选矢量，根据第一标准从第一组候选矢量中选择候选矢量以生成更小的第二组候选矢量，根据第二标准为一组像素估算第二组候选矢量的候选矢量，根据所述的第二标准从第二组候选矢量中确定最佳矢量，以及将所确定的最佳矢量分配给与为其估算了第二组候选矢量的候选矢量的那组像素有关的一组像素。

附图说明

本发明的这些以及其他方面将从参考下文中描述的实施例进行的说明中变得清楚明了。在附图中：

图1示出了根据本发明的递归BMA的第一实施例，其中运动矢量作为局部矢量来估计，以及

图2示出了根据本发明的递归BMA的第二实施例，其中作为局部矢量的运动矢量的估计通过结合根据全局运动模型预测的候选运动矢量来提高。

具体实施方式

图1表明了根据本发明的第一实施例的用于运动矢量估计的递归BMA。

令 表示一个图像序列的当前图像

与先前图像 之间的运动矢量场，其中

是像素栅格矢量。此外令 $\stackrel{\→}{D}(\stackrel{\→}{X},n)\∈\stackrel{\→}{D}\left(n\right)$ 表示被分配给当前图像

中的X×Y像素块B

的运动矢量，其中块的中心由块栅格矢量

来标识。

如图1中所示，预测存储器块1输出一组候选矢量

k＝-1，0，1；i＝-1，0，1；j＝0，1，

其中候选矢量 $\stackrel{\→}{C}=[C_x,C_y{]}^T$ 被限于离散候选组

$C{S}^{\max }=\left\{\stackrel{\→}{C}\right|-N\≤C_x\≤N,-M\≤C_y\≤M\},$

其中N和M为预定的常整数。

应注意的是关于候选矢量组CS 的组成以及在该优选实施例的描述结果中提供的更新程序存在多个的不同选择。该特定的实施例假设一幅图片中的块是从左上方向右下方扫描的，并且假设时间和/或空间连续，因此该实施例仅仅应该被看作是更加普通的局部矢量估计原则的例子。

所提供的候选矢量组

的4个空间候选矢量、即仅取决于索引k或者独立于所有的索引i，j，k的矢量然后被传送到更新块2，其中增加更新矢量 在包含于 中的空间候选矢量之一上增加更新矢量解决了在递归初始化阶段中出现的问题，所有的矢量等于

矢量。更新矢量可以作为噪音矢量产生，或者更为简单的，可以从存储在查找表中的有限的固定更新组中取出，例如

${\mathrm{US}}_i(\stackrel{\→}{X},n)=\{\stackrel{\→}{0},{\stackrel{\→}{y}}_u,-{\stackrel{\→}{y}}_u,{\stackrel{\→}{x}}_u,-{\stackrel{\→}{x}}_u,2{\stackrel{\→}{y}}_u,-2{\stackrel{\→}{y}}_u,3{\stackrel{\→}{x}}_u,-3{\stackrel{\→}{x}}_u\},$

如果期望具有整数更新值的像素分辨率，或者例如

${\mathrm{US}}_f(\stackrel{\→}{X},n)=\{\frac{1}{4}{\stackrel{\→}{y}}_u,-\frac{1}{4}{\stackrel{\→}{y}}_u,\frac{1}{4}{\stackrel{\→}{x}}_u,-\frac{1}{4}{\stackrel{\→}{x}}_u\}$

用于具有小数更新值的1/4像素分辨率。

在本文中， ${\stackrel{\→}{x}}_u=[\mathrm{1,0}{]}^T$ 和 ${\stackrel{\→}{y}}_u=[\mathrm{0,1}{]}^T$ 表示2D正交基矢量。

如图1所示，更新产生器块3包括模数p计数器4以及查找表5，更新产生器块3输出所需的更新矢量

更新矢量根据更新值组以p循环。模数p计数器由当前块计数N_b1触发。此外，整数p可以被选择为不是图片中的块数目的因子，以便避免图像中更新矢量与空间位置之间的耦合。

如来自预测存储器块1的输出的时间候选矢量和空间候选矢量被输入到预选择块6中，上述时间候选矢量或者空间候选矢量在更新块2中已被更新。预选择块执行包含在组

中的候选矢量

的排序，例如，通过确定所有的候选矢量与该 组中所有候选矢量的平均矢量的距离来排序。作为一种替代方案，候选矢量可以通过长度(幅度)来排序。预选择块6然后根据排序来确定两个极限候选矢量，例如与平均矢量距离最大的两个矢量或者最长和最短的矢量。预选择块6也确定候选矢量 的最小极限，例如与平均矢量距离最小的矢量。替代地，可以将中间矢量确定为最小极限矢量。如由预选择块6确定的最大和最小极限矢量构成组

该组被继续传送到最佳矢量选择块7。在该示范性的结构中，包括10个候选矢量的候选矢量组CS

因此被缩小为具有包含在 中的3个最大/最小极限候选矢量的组。

如图1中所示的最佳矢量选择块7通过计算相似性量度(例如绝对差的和，SAD)来确定以当前图像 的块栅格矢量

为中心的、所考虑的块 和与

组中的每个候选矢量有关的先前图像

中的块之间的相似性：

$\mathrm{\ϵ}(\stackrel{\→}{C},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{x}\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}|I(\stackrel{\→}{x},n)-I(\stackrel{\→}{x}-\stackrel{\→}{C},n-1)|+\mathrm{\α}\left|\right|\stackrel{\→}{U}(\stackrel{\→}{X},n)\left|\right|,$

其中 是更新矢量的长度，α是常数，而匹配误差是对在具有宽度X和长度Y的块栅格的位置

处的块 求和，被定义为

$B\left(\stackrel{\→}{X}\right)=\left\{\stackrel{\→}{x}\right|X_x-X/2\≤x\≤X_x+X/2,X_y-Y/2\≤y\≤X_y+Y/2\}.$

替代地，也可以应用诸如均方差(MSE)的不同的相似性量度作为第二标准。应注意，代替估算块

中的像素栅格上的所有像素

的相似性量度，在估算相似性量度之前可以执行在x和y方向上的空间子采样以便降低计算量，其中当然损失部分精度。

不管所应用的第二标准和采样技术，最佳矢量选择块7进一步选择导致最大相似性量度的候选运动矢量：

$\stackrel{\&RightArrow;}{D}(\stackrel{\&RightArrow;}{X},n)=\{\stackrel{\&RightArrow;}{C}\&Element;C{S}_{\mathrm{red}}(\stackrel{\&RightArrow;}{X},n)|\mathrm{\&epsiv;}(\stackrel{\&RightArrow;}{C},\stackrel{\&RightArrow;}{X},n)<\mathrm{\&epsiv;}(\stackrel{\&RightArrow;}{V},\stackrel{\&RightArrow;}{X},n)\}\&ForAll;\{\stackrel{\&RightArrow;}{V}\&Element;C{S}_{\mathrm{red}}(\stackrel{\&RightArrow;}{X},n)\}$

并且将该最佳候选运动矢量分配给块

中的像素栅格上的位置 $\stackrel{\&RightArrow;}{x}=[x,y{]}^T$ 处的所有像素(即使执行了空间子采样来降低估算相似性量度的计算量)。

然后最佳运动矢量

作为对块 的运动估计结果输出，并且也存储在预测存储器块7中以用于在随后的递归步骤中使用。

图2表明了本发明的第二优选实施例，其中运动矢量作为局部矢量被估计，并且其中通过结合根据全局运动模型预测的候选运动矢量来提高递归估计。

基本上，附图2的结构从图1的结构发展而来，因为图2的结构包括预测存储器块1、更新块2、由模数p计数器4和查找表5构成的更新产生器块3、预选择块6以及最佳矢量选择块7。

如在图1所示的本发明的第一优选实施例中那样，第一组候选运动矢量

由预测存储器块1进行空间和时间预测，并且被输入到预选择块6，在该预选择块6中空间候选矢量在更新块2中利用更新产生器块3所产生的循环更新矢量 预先更新。如由预选择块6确定的最大/最小极限候选矢量

然后在最佳矢量选择块7中进行相似性量度的估算，在该最佳矢量选择块7中确定块

的最佳运动矢量

并且将其存储在预测存储器1中以用于接下来的递归步骤。

但是，图2中所示的第二优选实施例与图1中所示的第一优选实施例的区别在于第一组候选矢量附加地包括能够利用下面的具有三个参数p₁(n)，p₂(n)和p₃(n)的2D一阶线性方程来描述的候选运动矢量：

${\stackrel{\&RightArrow;}{D}}_g(\stackrel{\&RightArrow;}{X},n)=\left(\begin{array}{c}{p}_1\left(n\right)+p_3\left(n\right)x\\ p_2\left(n\right)+p_3\left(n\right)y\end{array}\right),$

其中p₁(n)描述摄像机的摇摄，p₂(n)描述摄像机的倾斜，以及p₃(n)描述摄像机的变焦。该全局运动矢量模型因此假设运动具有非常规则的特征，该特征产生非常平滑的速度，即运动矢量。摄像机的变焦将生成随空间位置线性变化的运动矢量。另一方面，摄像机的摇摄、倾斜或者移动将为整个屏幕生成统一的运动矢量。将模型扩展到六参数模型能附加地允许描述由于旋转而产生的矢量场。由于摄像机的运动，这种类型的运动是不可能的，但是在其他条件下可能发生。

根据图2，运动模型的参数p₁(n)，p₂(n)和p₃(n)例如是由微处理器8根据来自预测存储器1的采样矢量确定的。从所估计的运动矢量场抽取全局运动模型的这些参数存在多种选择。在模型被集成在递归BMA中的本优选实施例中，从已经存在的运动矢量、即在时间预测存储器中存在的矢量开始是有意义的。为了保持操作次数低，使用仅在该存储器中存在的有限矢量组更有吸引力。

然后所估计的运动模型参数p₁(n)，p₂(n)和p₃(n)被输入到局部候选计算块9中，在那构成运动矢量

并且在不进行更新的情况下，连同来自预测存储器块1的空间(其中某些可以被更新)和时间预测一起被输入到预选择块6中。

Claims (14)

1.一种用于根据从一个图像序列中取出的至少一幅图片递归地估计局部矢量的方法，该方法包括以下步骤：

-至少部分地使用递归生成第一组候选矢量，

-根据第-标准从第一组候选矢量中选择候选矢量，以便形成更小的第二组候选矢量，

-根据第二标准为一组像素估算第二组候选矢量的候选矢量，

-根据所述的第二标准从第二组候选矢量中确定最佳矢量，以及

-将所确定的最佳矢量分配给与为其估算了第二组候选矢量的候选矢量的那组像素有关的一组像素。

2.如权利要求1所述的方法，其特征在于，根据已经确定的所估计的局部矢量和/或零矢量和/或更新矢量对所述的第一组候选矢量中的候选矢量进行空间和/或时间预测，所述更新矢量或者是随机矢量或者属于一组有限的固定的更新矢量。

3.如权利要求1或者2所述的方法，其特征在于，局部矢量是描述一个图像序列的图片中的像素组的运动的运动矢量。

4.如权利要求3所述的方法，其特征在于，所述的运动矢量根据参数2D全局运动模式来预测。

5.如权利要求1或者2所述的方法，其特征在于，局部矢量表示描述一个图像序列的图片中的一组像素的运动模型的参数组。

6.如权利要求1或者2所述的方法，其特征在于，局部矢量表示一组像素的空间特征，尤其是纹理，动态范围，颜色或者平均值。

7.如权利要求1-6所述的方法，其特征在于，第二标准是诸如绝对差的和(SAD)标准或者均方差标准的匹配误差标准。

8.如权利要求1-7所述的方法，其特征在于，从第一组候选矢量中选择候选矢量从而形成更小的第二组候选矢量是根据第一组候选矢量中的候选矢量的相应矢量分量的排序进行的。

9.如权利要求1-7所述的方法，其特征在于，从第一组候选矢量中选择候选矢量从而形成更小的第二组候选矢量是根据第一组候选矢量中的候选矢量排序进行的。

10.如权利要求1-9所述的方法，其特征在于，第二组候选矢量包括根据第一标准的第一组候选矢量的至少一个极限和/或一个最小极限候选矢量。

11.如权利要求10所述的方法，其特征在于，极限候选矢量是与第一组候选矢量的多个候选矢量的平均矢量的距离最大的两个矢量，或者是与第一组候选矢量中的空间预测矢量的距离最大的两个矢量，或者是最长和最短的矢量，或者是与第一组候选矢量的剩余的候选矢量的距离最大的两个矢量。

12.如权利要求10所述的方法，其特征在于，最小极限矢量是与第一组候选矢量的多个候选矢量的平均矢量的距离最小的矢量或者是与第一组候选矢量中的空间预测矢量的距离最小的矢量或矢量中值。

13.用于根据从一个图像序列中取出的至少一幅图片递归地估计局部矢量的设备，该设备包括：

-用于至少部分地使用递归来生成第一组候选矢量的装置，

-用于根据第一标准从第一组候选矢量中选择候选矢量以便形成更小的第二组候选矢量的装置，

-用于根据第二标准为一组像素估算第二组候选矢量的候选矢量的装置，

-用于根据所述的第二标准从第二组候选矢量中确定最佳矢量的装置，以及

-用于将所确定的最佳矢量分配给与为其估算了第二组候选矢量的候选矢量的那组像素有关的一组像素的装置。

14.一种可直接装载到数字计算机的内部存储器中的计算机程序产品，该计算机程序产品包括当所述的产品在计算机上运行时用于执行权利要求1的所述步骤的软件代码部分。

Images