CN101238714A - 数字图像稳定化方法和系统 - Google Patents

Abstract

本发明涉及一种用于数字图像稳定化的方法和系统，用于去除不希望的摄影机运动或抖动，包括平移和旋转抖动。该系统包括以下装置：1)摄影机全局运动的运动估计级(10)：计算图像特定部分的块运动矢量，然后推导出描绘摄影机运动的参数。2)运动/抖动滤波级(11)：分别滤波平移矢量和旋转角，然后进行边界检查以验证所做的校正是否不大于容许阈值。3)抖动补偿级(12)：根据提取出的抖动对原始序列进行补偿，并得到稳定序列。

Description

数字图像稳定化方法和系统

技术领域

本发明涉及一种用于数字图像稳定化的方法，用于将平移和/或旋转中不希望的摄影机运动(所谓的抖动)从由所述摄影机拍摄的原始图像序列中去除，并获得稳定图像序列。例如，这种方法可用于低档/中档数字电影摄影机或移动电话。本发明还涉及一种用于实现所述稳定化方法的相应系统。

背景技术

众所周知，数字图像稳定化方法(为简便起见，此后将数字图像稳定化方法称为“DIS”)的目的是消除不希望的摄影机运动或抖动，产生只显示希望的摄影机运动的序列，从而提供令人满意的视觉体验。抖动被定义为附加在摄影机有意运动(特别是平移和/或旋转)上的不希望图像的位置波动。在大多数现有技术DIS系统中，在两个连续帧(有时分别被称为t和t-1)之间进行运动估计，以获得由被称为“全局运动矢量”(以下“GMV”)的矢量所表示的图像帧的全局运动。因此，该运动只表示连续帧之间的平移运动，而据此实施的抖动校正只校正平移抖动。

这种校正是不够的。事实上，通常抖动还具有旋转的性质，或者是纯粹地旋转，或者混合了平移抖动分量。实际上，一旦去除了平移抖动，残留的旋转分量将变得愈加明显。

此外，大多数既支持旋转校正又支持平移校正的现有技术系统，既复杂又昂贵。作为此类方法的一个实例，值得一提的是，可以引用：Mc Reynolds等人发表于“Proceedings of the Conference VisionInterface 1999”的论文：“Stabilization of infra-red aerialimage sequence using robust estimation”。

发明内容

因此，本发明的目的在于提供一种低成本并易于在移动设备中实现的、去除平移和旋转抖动的方法。

为此，依照本发明的方法包括以下三个主要步骤：

-第一步骤，估计所述电影摄影机的全局运动，包括子步骤：计算所述图像(Img)预定部分的块运动矢量、确定各所述部分的宏块并将当前图像的所述宏块与前一图像的宏块进行匹配、以及由所述块运动矢量推导出描绘所述摄影机运动的平移矢量和旋转角矢量；

-第二步骤，通过分离有意运动和无意运动，滤波并提取出所述抖动，包括子步骤：平移矢量滤波和旋转角滤波；以及

-抖动补偿的第三步骤，根据所述提取出的抖动，对所述原始图像序列进行补偿，以获得所述的稳定图像序列。

依照本发明的方法检测并去除平移和旋转抖动且成本低。此外，该方法易于实现。

该方法的某些基本步骤本身是众所周知的。已公开于出版物、专利或专利申请。例如，S-J Ko等发表于“IEEE Transactions on ConsumerElectronics”(第45卷，第3期，598-603页，1999年8月)的“FastDigital Stablizer Based on Gray-Coded Bit-Plane Matching”公开了一种二进制运动估计的用途。美国Stanford大学的Chen发表于“EE392JProject Report，Winter，filtering method”的“Video Stablization AlgorithmUsing a Block-based Parametric Motion Model”公开了一种应用于块运动矢量的最小均方解的用途。题为“Method and system for stabilizingvideo data”(Stephane Auberger等人)的国际专利申请示教了一种平移抖动的滤波方法。S.Ertürk发表于Proceedings of the 2^nd InternationalSymposium on Image and Signal Processing and Alalysis 2001，266-271页的文章“Motion vector integration(MVI)versus frame positionsmoothing(FPS)”也描述了一种类似的方法。

然而，依照本发明的方法具体包括以下特定的步骤和特征：

-使用用于执行块运动搜索的二值纹理指示器；

-通过“绝对误差和”(“SAD”)阈值机制加速并改进运动搜索；

-在解方程组前对BMV进行彻底修剪(pruning)；

-对方程组的解应用舍弃准则；以及(旋转+平移)滤波和边界检查步骤。

在某些环境下，不能象这样应用依照本发明的稳定化方法。例如，虽然该方法能够满足稳定格式(如呈现出所谓“CIF-格式”的数据序列)所需的对存储器的要求，但由于设备上运行着过多的其他处理程序或由于电池电压过低而无法执行。

依照另一实施例，在这种情况下，在第一附加步骤中，首先利用预定因子k对原始数据序列进行下采样。然后，将下采样序列馈入执行依照本发明主要实施例的稳定化方法的各级电路，得到校正平移矢量和校正旋转矢量。只要将校正平移矢量的坐标与等于下采样步骤中使用因子的因子相乘。从而对原始的宽像幅(wide format)序列进行补偿。

依照该实施例，实现稳定化方法的电路只需处理更少量的数据，因此即使在计算机资源有限的情况下也可以使用该方法。

本发明还涉及能够实现该稳定化方法的系统。

为此，该系统包括：

-估计装置，用于估计所述电影摄影机全局运动，所述装置本身包括：用于计算所述图像(Img)预定部分的块运动矢量的装置、用于确定各所述部分的宏块并将当前图像的所述宏块与前一图像的宏块进行匹配的装置、以及用于由所述块运动矢量推导出描绘所述摄影机运动的平移矢量和旋转角矢量的装置；

-滤波及提取装置，用于通过分离有意运动和无意运动，滤波并提取出所述抖动，所述装置本身包括用于滤波平移矢量滤波和旋转角的装置；以及

-补偿装置，用于根据所述提取出的抖动，对所述原始图像序列进行补偿，以获得所述稳定图像序列。

附图说明

通过阅读以下详细说明，并参考附图，本发明的其他目的、特征和优势将变得更加明显，附图中：

-图1示意性地示出了实现依照本发明优选实施例的数字图像稳定化方法的系统的体系结构；

-图2示意性地示出了应用于二值图像的六个运动搜索区的示例；

-图3A至3C示出了图像边界检查的步骤；以及

-图4示意性地示出了实现依照本发明另一优选实施例的数字图像稳定化方法的系统的体系结构。

具体实施方式

在以下说明中，由于以不必要的详细程度对所属领域技术人员所熟知的功能和结构予以说明，将使发明要点变得不清楚，因此将不对其进行详细说明。

图1示意性地示出了实现依照本发明的数字图像稳定化(DIS)方法的系统1的体系结构。这种系统包括对应于该方法三个主要级的三个主要模块，即：运动估计级10、运动/抖动滤波级11和抖动补偿级12。

在第一块10中，实现对摄影机全局运动的估计。在第二块11中，提取出抖动，并将其与有意运动(如摇摄等)相分离。在第三块12中，根据所提取出的抖动对原始数据序列进行补偿，并得到稳定序列(块12的输出)。下面将详细说明依照本发明的DIS方法的上述三个主要级。

第一级10，即运动估计部分，可以被划分为三个子级：

-计算并产生摄影机所拍摄的图像的特定部分(角部、区域等)的所谓“块运动矢量”(此后称为“BMV”)，所述BMV使当前和前一图像的宏块相匹配；

-修剪用于仿射运动搜索的BMV；

-解方程组并确定舍弃准则，以便得到由BMV推导出的、描述摄影机运动的全局运动参数(平移矢量和旋转角)。

产生BMV的第一子级包括以下步骤：

第一步骤涉及二值图像的产生。

由于“二值图象”极大地放宽对存储器的限制，并且使用二值图像可以十分高效地计算参考块和搜索块间的失真函数，因此“二值图像”被用于运动估计。通过使用易于实现的“XOR”运算，计算失真函数“绝对误差和”(此后称为“SAD”)。利用“灰度编码比特平面”对图像进行分解。按以下方式创建灰度编码比特平面：

将某一位置处像素的亮度表示为：

F_lum(x，y)＝a_N-12^N-1+a_N-22^N-2+...+a_k2^k+...+a₁2¹+a₀2⁰    (1)；

其中x和y是所述平面的坐标，a_k，0≤k≤N-1，是0或1。例如，为巩固此概念，在N＝8的情况下，表示使用8比特亮度图像。

根据以下公式，计算第4个灰度比特码g₄：

g₄＝a₄a₅    (lbis)

其中符号表示“异或OR”运算，a_k是等式(1)给出的“2进制”表示的第k位。将与最初由摄影机拍摄的图像相对应的第4个灰度编码比特平面图像(或二值图像)记录在存储装置中。

第二步骤涉及块定位和纹理指示器。将所述例如描绘风景的二值图像Img划分为沿如图2所示的分别位于图像顶部和底部的两条平行线规则分布的六个区域，A1至A6。(在被称为QCIF图像格式的图像格式情况下)，A1至A6的每个区域包含9个16×16像素的宏块(以下称为“MB”)。

除了对8比特图像进行二值化，还为二值图像的二值MB计算可靠性度量。只需统计16×16像素块中的‘1’像素的个数，则可以计算出所述度量。将无明显纹理的MB(即，‘1’与‘0’相比比例过低或过高的MB)称为不可靠的运动估计，且不在其上进行运动估计。例如，某些块是十分均匀的，这些块往往导致错误的估计运动矢量。

第三步骤涉及块匹配搜索策略。所述策略包括以下子步骤：

在存在可变数量块运动矢量(BMV)的区域中，执行全搜索块匹配。

预测符和搜索范围：为进一步减少各区域中候选矢量的个数，只有各MB行的第一个矢量具有扩展搜索区。剩余的块具有以取自先前可靠BMV的预测符运动矢量为中心的缩减的搜索窗。如果选定的相邻BMV不可靠，则用最后一个有效MV作为预测符(假设处理顺序从左到右，从上到下)。

舍弃可能不可靠的MV：根据本发明的一个重要特征，加入了一种用于舍弃某些可能不可靠的运动矢量的机制。特别是在光线变换的情况下，运动搜索会产生结果，但该结果可能是完全错误的：匹配块差异很大，且结果矢量指向“差异较小的块”而不是指向“最相似的块”。因此，选择舍弃SAD在某一阈值(此后称为SAD_threshold以上的MV。

加快块匹配搜索：该阈值还可以用于加快运动搜索。此前，以下机制是适当的：对于每个MB搜索位置，在MB中每隔一行将当前SAD与当前最小SAD进行比较。如果当前SAD已大于当前最小SAD，则停止该位置的搜索。因此，通过将当前最小SAD初始化为SAD_threshold，则可以进一步加速匹配过程。

第四步骤涉及子像素运动估计。

执行子像素搜索的一种方法是内插8比特图像，以产生子像素采样，并对此扩展图像进行二值化。此时，对二值扩展图像进行匹配则可以得到子像素精度的运动矢量。

第一级10的第二子级包括对BMV进行修剪，以便进行仿射运动搜索。

由之前的步骤，已得到一组BMV，表示当前图像和前一图像之间的一组对应点。为了获得全局仿射运动参数，需解此方程组。利用两帧之间三对以上的对应点，则可以得到方程的最小平方解，后者给出全局仿射运动参数。为了得到可靠的结果，可以使用更多的矢量(至多54个矢量)，从而构造一个超定(over-determined)方程组。

然而，最小平方算法对于野值(outlier)非常敏感，因此适当去除野值是运动估计过程的一个关键步骤。这可用以下三个步骤来完成：

1.根据其SAD去除更多的BMV：舍弃SAD高于某个阈值(此后称为SAD_threshold_low)的矢量(当然，此阈值低于先前用于“运动估计”阈值)。

2.去除局部野值：首先局部去除各区域的野值。存在六个区域，每个区域至多有9个矢量。

下面将阐释处理矢量坐标(如x坐标)的方法。对于区域中的每个矢量k(0≤k≤有效矢量数)，计算该矢量与区域中所有其他矢量(i)的绝对误差和sum_diff[k]：

sum_diff[k]＝∑_iabs(value[k]-value[i])    (2)

然后进行以下计算：

average_diff＝(∑_ksum_diff[k])/number_of_valid_vectors(2bis)；

其中average_diff是该区域中绝对误差和的平均值。

最后，舍弃准则sum_diff_[k]如以下所示：

sum_diff_[k]＞(number_of_valid_vectors/α)+β*average_diff    (2ter)

α和β是预定的阈值。

独立于x和y矢量值完成该运算。如果任意一个矢量坐标满足等式(2ter)，则舍弃所述矢量。

3.去除全局野值：使用全部运动矢量，利用和局部去除相同的原理，在图像层面上执行野值舍弃过程。局部步骤是必要的，由于某些矢量可能在全局步骤中形成聚类，因此如果可能首先在局部层面上去除的话，则应先在局部层面上去除。由于某些区域只有很少的矢量或包含未参与全局运动的运动物体，因此全局去除可以去除第一级后剩余的野值。然而，为了避免在例如高度旋转运动的情况下舍弃过多的矢量，阈值α和β的限制性较弱。

第一级10的第三子级涉及解方程组和确定舍弃准则。

解过定方程组(用Gauss-Jordan法解一次联立方程组)。该方程组为：

X＝ax+by+e

Y＝cx+dy+f，

x和y是所述二值图像的坐标。

最小均方法解给出六个参数a、b、c、d、e和f。将所述方程组的变换建模成(平移矢量(Tx、Ty))+旋转(旋转角θ)+摄影机的变焦(缩放因子r)，则上述等式对应于：

X＝rcosθx-rsinθy+Tx

Y＝rsinθx+rcosθy+Ty，

因此，计算旋转角θ，同时检查由方程组解给出的参数a、b、c和d的一致性：

-执行第一次检查以确定是否近似满足以下等式：

a²+b²＝c²+d²(应都等于r²)，当满足以下不等式时舍弃结果：

(a²+b²)-(c²+d²)＞max_diff_zoom_factor    (3)；

max_diff_zoom_factor是预定变焦参数。

-执行第二次检查以确定是否两个方程产生近似相等的旋转角，当满足以下不等式时舍弃结果：

|θ₁-θ₂|＞max_angle_difference    (4)；

其中max_angle_difference是预定的旋转角参数，θ₁＝arctan(-b/a)，θ₂＝arctan(c/d)

此外，如果另外一个表示为medium_angle_difference的预定的旋转角参数，满足以下方程：

medium_angle_difference＜|θ₁-θ₂|＜max_angle_difference(4bis)

则将解出的最小旋转角选作θ的值。

如果认为结果一致，则得到了平移矢量(Tx＝c，Ty＝f)和旋转角θ，后者由下式给出：

θ＝(θ₁+θ₂)/2

如果由于等式(3)或等式(4)为真导致无法解开方程组，则令旋转角为0。对于平移矢量，(在野值去除过程后)取BMV的中值。

依照本发明的DIS方法的第二级11是运动滤波。

分别对平移矢量和旋转角进行滤波。一旦得到了理想的平移和旋转校正，则进行边界检查。因此，所述第二级11包括三个主要步骤。

第一步是滤波平移。在序列中以一致的方式分离有意运动与抖动是一个复杂的问题。对于实时应用，主要的约束在于：不允许存在任何延迟，即不能将一些帧存储在存储装置中；以及一种运动更广为人知。正如已回顾的那样，平移矢量的滤波方法本身为人们所熟知。因此，不必再进一步详述这种方法。

第二步包括滤波旋转角矢量。由于预计旋转角的变化与平移矢量的变化相比规律性稍强，因此采用一种不同的、更简便的方法对旋转角进行滤波。将由运动估计得到的角对于由摄影机拍摄的图像序列进行累积。该步骤试图对它们进行补偿。通过将所有旋转角在整个序列上求和以计算累积角，例如，在帧n：

(Accθ)[n]＝∑_(1≤k≤n)θ[k]

原始累积角定义为(由运动估计过程得到的)原始旋转角的和。修正累积角被定义为(如以下所述，在由于边界检查步骤导致的修剪之后)修正累积角的和。

通常，由于边界检查步骤，不能补偿全旋转角，或者在用户决定主动用摄影机进行俯仰拍摄的情况下，甚至不想补偿全旋转角。当回到初始位置时，新角“定”位(对应于修正累积角)相对于原始序列可能稍稍有所倾斜。为避免这种情况，将运动估计测出的原始累积角存储在存储装置中。如果，对于某一数量的连续帧，修正累积角与原始累积角相差过大，则附加一额外校正，使修正序列回到靠近用户期望位置的位置。

第三步骤包括边界检查。在“边界检查步骤”中，检查“旋转+平移校正”(此后称为“R+T”)，以确定所述校正是否不大于与授权的额外输入区域相对应的预定容许阈值。若是，则进一步修正“R+T”，使之保持在容许范围以内(为巩固此概念，举例来说，±8像素的边缘)：首先侧重于平移校正(仿真额外区域稍小于实际额外区域)，然后修剪旋转角，使之保持在容许图像的额外边界以内。

以下参考图3A至3C，说明详细过程。在所述图形中，用相同参考符号标识相同项目。

首先，将图像帧F(此后称为“帧”)平移(将帧中心从O移动到O’)：平移矢量VT(Vx、Vy)。给定新中心O’的位置，只能将帧F旋转(帧F’＝旋转帧)至某一需经计算才能得到的角度。图3A示出了最终的成帧过程：捕捉器，例如一个摄影机(未示出)，产生具有一额外区域输入Ai(灰色区域：边界尺寸等于1)的帧F。如图所示，如果形成稳定帧F’的旋转角过大，则会在旋转帧中出现一个洞(黑色区域)。帧F的内部矩形ABCD定义了显示给用户的图像的边界(即最大容许边界MAB)。

下面，将阐释边界检查步骤如何工作以考虑剪裁图像的一角(例如A，左上角)，然而该过程对于其他角是相同的，且必须对每个角重复。边界检查的目的是计算旋转图像边界与A相交的限制角，考虑到边界尺寸为1。

当逆时针或顺时针旋转时，每个角部可能存在两个限制角。这两个限制角之间的任意角度不会导致产生洞(则角部A而言：对剩余角部必须重新进行检查)。

图3B示出了根据以下等式，在点A附近未产生洞的情况(第一种情况)下，计算第一限制角θ1_A的方法。

θ1_A＝α_1A-ArcCos(O’M/L_A)

其中α_1A＝ArcCos((nl/2-1+vy))/L_A)，L_A是移位后的中心O’距角部A的距离(很容易根据帧大小、边界尺寸1和平移矢量VT计算出来)，Vy是矢量VT的y值，O’M＝nl/2(np和nl分别是捕获帧F的宽和高)。

同样，图3C示出了在点A(第二种情况)附近未产生洞的情况下，计算另一个限制角θ2_A的方法。

θ2_A＝α2_A-ArcCos(O’N/L_A)

其中α_2A＝ArcCos((np/2-1+vx))/L_A)，vx是矢量VT的x值，O’N＝np/2。按照这种方式，通过遍历四个角部A、B、C和D，得到八个角。然后，计算出最小正角度和最大负角度。必要时，将运动估计给出的旋转角修剪成这两个最终角中的一个。

依照本发明的DIS方法的第三也是最后一个级12是抖动补偿。由平移矢量和旋转角推导出图像左上和右上点的位移，并将这些坐标馈入能够补偿残留平移和旋转的渲染引擎(未示出)。这种引擎本身为人们所熟知，例如Quynh-Lien Nguyen-Pluc和Carolina Miro Sorolla发表于“Journal of VLSI Signal Processing 33”(2003，255-265页)的论文：“An MPEG-4 Render for High Quality VideoComposistion and Texture Mapping”描述了这种引擎。因此，不再对该电路予以说明。

然而，正如已回顾的那样，在某些环境下，可能不能照这样应用依照本发明的稳定化方法。例如，虽然该方法能够满足稳定格式(如所谓的“CIF-格式”的序列)所需的对存储器的要求，但由于设备上运行着过多的其他处理程序或由于电池电压过低而无法执行它。

图4示意性地示出了依照本发明的数字图像稳定化的另一实施例2。

输入序列20，例如将呈现出CIF格式乃至VGA格式的数据(称为“原始宽幅”序列)馈入下采样电路21。为了执行这个下采样步骤，可以使用众所周知的双线性内插器。将存储于寄存器26或类似设备的预定的下采样因子k用于电路21。从而，获得(22)“原始小像幅序列”(关于QCIF格式)，并将其馈入图1所示的电路，即实现依照本发明主要实施例的稳定化方法的系统1。

所述电路根据上述方法，提供了校正矢量和校正角，即稳定的小像幅序列23。将此稳定的小像幅序列23馈入上采样电路24，后者将校正矢量的坐标与和在下采样过程(电路21)中使用的因子相同的因子k相乘。从而得到用于任意其他用途的稳定的宽像幅序列25。

因此，本实施例可以使稳定化系统根据存储器需要和能耗进行缩放。

正如已回顾的那样，如果该稳定化方法能够满足稳定CIF-格式序列的存储器需求，但由于设备上运行着过多的其他处理程序或由于电池电压过低而无法执行它，它可以自动转换到将序列进行下采样并采用消耗更少计算资源的算法的处理过程。实际上，这种算法处理的数据量较少。

从先前的说明可见，显然，本发明很好地实现了其目的。本方法还带来了许多优势，值得一提的是，在保持得以简单实现的同时，提供了一种成本极低和可靠度极高的解决方案。

当应用于低档/中档数字视频摄影机时，依照本发明的DIS方法尤其引人关注，然而还可以将其安装于移动电话或Key-ring内部，以提供低成本的校正旋转抖动的视频稳定化应用。由于旋转补偿序列将极大程度地减少需要编码的剩余部分，因此本发明还可用于视频编码的目的，从而提高提供给终端用户的结果图像质量。

应当理解的是，本发明并不局限于上述实施例和明确说明的变体，可以在不背离本方法精神的范围的前提下对其进行改进。假设一个硬件或软件可以实现多种功能，则存在多种通过硬件或软件项目或者两者的结合实现依照本发明的功能的方式。不排除使用硬件或软件项目的或者两者的结合的组装实现一种功能，从而在不改变依照本发明DIS方法的情况下形成单一功能。可以用多种方式实现所述硬件或软件项目，如通过使用分别进行了适当程序设计的有线电子电路或集成电路。

Claims (17)

1.一种用于数字图像稳定化的方法，用于将在平移和/或旋转中被称作抖动的不希望的摄影机运动从由所述摄影机拍摄的原始图像序列中去除，并获得稳定图像序列，其特征在于所述方法包括以下步骤：

-第一步骤，估计所述电影摄影机的全局运动，包括子步骤：计算所述图像(Img)的预定部分的块运动矢量，确定各所述部分的宏块并将当前图像的所述宏块与前一图像的宏块进行匹配，以及由所述块运动矢量推导出描绘所述摄影机运动的平移矢量和旋转角矢量；

-第二步骤，通过分离有意运动和无意运动，滤波并提取出所述抖动，所述第二步骤包括平移矢量滤波和旋转角滤波的子步骤；以及

-抖动补偿的第三步骤，根据所述提取出的抖动，对所述原始图像序列进行补偿，以获得所述稳定图像序列。

2.根据权利要求1所述的方法，其特征在于，在所述全局运动估计的第一步骤中，产生1比特二值图像，并将其划分为预定数量的区域(A₁-A₆)，各区域包括预定数量的所述宏块。

3.根据权利要求2所述的方法，其特征在于，所述方法包括子步骤：通过对逻辑电平为‘1’的图像像素的数目进行计数，计算各所述宏块的可靠性度量，将逻辑电平‘1’相对于逻辑电平‘0’的比例过低或过高的所述宏块标记为不可靠，并且不对所述不可靠宏块进行运动估计。

4.根据权利要求3所述的方法，其特征在于，为了减少各所述区域(A₁-A₆)中候选矢量的个数，只针对各所述宏块行的第一运动矢量执行扩展搜索区，而对剩余宏块实行缩减的搜索区，所述缩减的搜索区以取自先前的可靠运动矢量的预测符运动矢量为中心。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括子步骤：舍弃所述绝对误差和或“SAD”大于预定阈值的、可能不可靠的运动矢量，通过使用二值图像计算所述“SAD”。

6.根据权利要求5所述的方法，其特征在于，为了加快所述块匹配，所述方法还包括子步骤：对于所述宏块中各搜索位置，在所述宏块中每隔一行将当前“SAD”与当前最小“SAD”进行比较，然后确定所述当前“SAD”是否已大于所述最小值，如果结果为真则停止对此位置的所述搜索。

7.根据权利要求6所述的方法，其特征在于，所述方法包括子步骤：修剪所述块运动矢量，所述修剪包括去除“SAD”大于预定阈值的块运动矢量，去除各所述搜索区的局部野值，并在所述图像的层面上去除全局野值。

8.根据权利要求7所述的方法，其特征在于，去除所述局部和全局野值包括：

-对于每个所述搜索区(A₁-A₆)和所述区域中的每个所述块运动矢量k，其中0≤k≤有效矢量数，计算所述矢量与所述区域中所有剩余矢量的绝对误差和，记为sum_diff[k]；

-对于所述区域计算所述绝对误差和的平均值，记为sum_diff[k]＝∑_iabs(value[k]-value[i])，其中average_diff是所述区域(A₁-A₆)中绝对误差和的平均值；

-将舍弃准则确定为：

sum_diff[k]＞(number_of_valid_vectors/α)+β*average_diff，α和β是预定阈值；以及

-如果任意矢量坐标满足以上关系，则舍弃所述矢量。

9.根据权利要求8所述的方法，其特征在于，为了计算所述平移矢量和旋转角，所述方法包括子步骤：

-定义一个具有六个参数a、b、c、d、e和f的方程组，并利用均方解来求解所述方程组，该方程组如下所示：

X＝ax+by+e

Y＝cx+dy+f

x和y是所述二值图像的坐标；

-将所述方程组的变换建模成满足下式的坐标为Tx和Ty的平移矢量、旋转角θ和所述摄影机的变焦缩放因子r：

X＝rcosθx-rsinθy+Tx

Y＝rsinθx+rcosθy+Ty；

-执行检查，包括确定是否近似满足等式a²+b²＝c²+d²，以便确定系数a、b、c和d的一致性；

-如果(a²+b²)-(c²+d²)＞max_diff_zoom_factor，则舍弃结果，max_diff_zoom_factor是所述变焦缩放因子r的预定最大值；

-如果|θ₁-θ₂|＞max_angle_difference，则舍弃结果，其中max_angle_difference是预定的旋转角参数，θ₁＝arctan(-b/a)，θ₂＝arctan(c/d)；

-确定被记为medium_angle_difference的另一个预定旋转角参数是否满足以下等式：

medium_angle_difference＜|θ₁-θ₂|＜max_angle_difference，并将解出的最小旋转角选择为所述旋转角θ的值；

-如果认为所述结果是一致的，则设所述平移向量的坐标Tx＝c，Tx＝f，所述旋转角θ为θ＝(θ₁+θ₂）/2；以及

-否则，将旋转角θ强制为0，并设所述平移矢量的值等于所述野值去除子步骤之后所述块运动矢量的中值。

10.根据权利要求9所述的方法，其特征在于，所述第二步骤中的旋转角滤波包括：对于所述图像的序列累积由所述运动估计得到的角度，尝试对所述角度进行补偿，通过针对所述序列将所有旋转角相加来计算所述累积角度。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括子步骤：进行边界检查，以确定待执行的旋转和平移校正值是否不大于预定容许阈值，所述阈值对应于所述图像中经授权的额外输入区域，如果所述确定结果为真，则进一步校正所述值，使之保持在所述授权的额外区域内。

12.根据权利要求1至11之一所述的方法，其特征在于，所述方法包括：第一附加步骤，利用预定下采样因子(26)对被称为原始宽像幅图像序列(20)的原始图像序列进行下采样，以便获得原始小像幅图像序列(22)，对所述小像幅图像序列(22)执行数字图像稳定化(1)的三个所述步骤，以便获得稳定的小像幅图像序列；以及第二附加步骤，利用等于所述下采样因子的上采样因子(26)对所述小像幅图像序列(23)进行上采样，以便得到稳定的宽像幅图像序列(25)。

13.根据权利要求12所述的方法，其特征在于，使用双线性内插器执行所述下采样(21)的第一附加步骤。

14.根据权利要求12或13所述的方法，其特征在于，所述方法包括第三附加步骤，检查预定条件，并在当且仅当满足所述条件时，自动地执行所述下采样附加步骤(21)。

15.根据权利要求14所述的方法，其特征在于，所述方法实现于计算资源有限的系统中，所述检查步骤包括：确定所述资源是否充足；如果结果非真，则执行所述下采样附加步骤(21)。

16.根据权利要求14所述的方法，其特征在于，所述方法实现于用电池供电的系统中，所述检查步骤包括：确定所述电池的电平是否过低；如果结果为真，则执行所述下采样附加步骤(21)。

17.一种数字图像稳定化的系统，用于将平移和/或旋转中不希望的被称为抖动的摄影机运动从由所述摄影机拍摄的原始图像序列中去除，并获得稳定的图像序列，其特征在于所述系统包括：

-估计装置(10)，用于估计所述电影摄影机的全局运动，所述装置本身包括：用于计算所述图像(Img)预定部分的块运动矢量的装置、用于确定各所述部分的宏块并将当前图像的所述宏块与前一图像的宏块进行匹配的装置以及用于由所述块运动矢量推导出描绘所述摄影机运动的平移矢量和旋转角矢量的装置(10)；

-滤波和提取装置(11)，用于通过分离有意运动和无意运动，滤波并提取出所述抖动，所述装置本身包括用于滤波平移矢量和旋转角的装置；以及

-补偿装置(12)，用于根据所述提取出的抖动，对所述原始图像序列进行补偿，以获得所述稳定图像序列。

Images