CN101281650B

CN101281650B - 用于视频稳定的快速全局运动估计方法

Info

Publication number: CN101281650B
Application number: CN 200810105897
Authority: CN
Inventors: 李波; 宋嫱嫱; 刘养科; 姜宏旭
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2008-05-05
Filing date: 2008-05-05
Publication date: 2010-05-12
Anticipated expiration: 2028-05-05
Also published as: CN101281650A

Abstract

本发明公开了一种用于视频稳定的快速全局运动估计方法。该方法中，首先利用下采样图像进行全局运动矢量的初步估计，然后利用重叠区域对应局部块实现全局运动矢量的精确校正，最后对获得的全局运动矢量进行检验，从而获得当前帧的全局运动矢量。与以往的方法相比较，本发明在保证了计算精度和稳像范围的同时，大大减少了计算量，提高了计算速度，并且提高了抗局部干扰的能力。

Description

用于视频稳定的快速全局运动估计方法

技术领域

本发明涉及一种用于视频稳定的快速全局运动估计方法，尤其涉及一种基于傅立叶变换的相位相关方法实现，可改善视频稳定效果的快速全局运动估计方法，属于数字图像处理技术领域。

背景技术

随着数字视频的不断普及，视频处理技术变得越来越重要，而视频稳定是最重要的处理技术之一。视频稳定技术是根据视频中图像之间的运动参数模型，估计图像间的运动情况，并分析获得用于补偿的参数，通过对于输入视频中每帧图像进行重排和调整获得稳定后的视频进而提高输出视频质量的一种视频处理技术。它的作用在于消除视频中不必要的抖动，并补偿丢失信息，从而产生一段新的高质量视频。

全局运动估计技术用于获得视频序列中相邻两帧图像之间的整体运动情况。它是视频稳定技术中最为关键的技术环节。常用的全局运动估计技术主要分为以下几类方法：基于灰度、基于特征、以及基于变换域信息的全局运动估计方法。基于灰度的运动估计方法简单直观，但是易受到噪声等因素的干扰，准确性较差；基于特征的运动估计方法，一般都具有较好的抗干扰能力，但是该方法普适性较差；基于变换域信息的运动估计方法，在准确性和普适性方面常有较好的表现，因此是当前研究的热点。其中，基于傅立叶变换的相位相关方法是一种典型的基于变换域信息的方法，它适用范围广，无论在计算精度还是实际抗干扰能力方面都有很大的优势，但是该方法的缺陷在于数据量和运算量都比较大，所以如果对整幅图像采用该方法进行全局运动估计，很难满足视频稳定系统对于实时性的要求。

在实际进行图像采集时，视频稳定系统需要具有较高的运算速度和较强的抗干扰能力，以满足不同应用中实时视频稳定的需要。因此，在实现视频稳定时对全局运动估计技术的合理选择就显得尤为重要。全局运动估计技术对视频稳定系统性能的影响主要体现在两个方面：首先，全局运动估计的准确性直接决定了视频稳定的质量；其次，由于全局运动估计部分的计算量一般占到系统计算量的90％，所以全局运动估计的速度决定了系统的实时性。

针对上述的问题，目前主要有以下几种解决办法：第一种是利用图像的局部块参与运算(具体参考论文“Digital image stabilization withsub-Image phase correlation based global motion estimation(一种基于子图像相位相关全局运动估计的数字图像稳定方法)”，载于《IEEE Trans.Consumer Electron》，1999年49期，第591～597页)；第二种是对于现有的图像进行下采样(具体参考论文“基于相位相关性的数字稳像技术研究”，载于《第十三届全国图象图形学术会议论文集》第450～453页，清华大学出版社2006年11月版)；第三种是公开号为CN101009021的中国发明专利申请所介绍的基于特征匹配与跟踪的视频稳定方法.第三种方法将基于SIFT特征匹配方法应用于视频稳定中，其步骤包括：找出每一帧视频的SIFT特征点；采用仿射模型作为参数估计模型，进行全局参数估计；采用高斯滤波和曲线拟合方法对视频序列的运动进行光滑化处理；对于未知区域进行填补.

总体而言，现有技术方案都是通过减少数据量的方法来减少计算时间，但是在实际应用中仍然存在明显的不足。例如利用图像局部块的方法通过计算局部块的运动情况估计图像的全局运动矢量，不但减小了运动估计范围，而且容易受到前景运动的干扰。下采样的方法则会减小所获得的运动矢量的精度，并且对图像进行下采样容易破坏图像帧之间的相关性，从而导致计算结果的不准确。在此背景下，需要研究一种能够在提高视频稳定速度的同时提高稳像精度和抗干扰能力的全局运动估计方法。

发明内容

针对现有技术在实时性、稳像精度和抗干扰性方面所存在的不足，本发明的目的是提供一种用于视频稳定的快速全局运动估计方法，该方法具有良好的抗干扰能力，适合在实时采集条件下使用。

为实现上述的发明目的，本发明采用下述的技术方案。

一种用于视频稳定的快速全局运动估计方法，其特征在于包括如下步骤：

(1)对视频序列中当前帧及前一帧图像分别进行下采样，利用两帧相邻图像的下采样图像进行基于傅立叶变换的相位相关估计，获得当前帧的全局运动矢量的初估值；

(2)利用所述初估值，在当前帧及前一帧对应的位置上选取局部块，对于所述局部块进行基于傅立叶变换的相位相关计算获得局部块间的局部运动矢量；

(3)重复步骤(2)在所述两帧相邻图像中其他对应位置上获得局部块，计算获得另一局部运动矢量，当两个局部运动矢量为一致时，将所述局部运动矢量作为校正值，转步骤(5)；否则继续步骤(3)，直到已经获得预定数目的局部运动矢量时，转步骤(4)；

(4)对于步骤(2)、(3)获得的预定数目的局部运动矢量，计算两两之间的距离，找到距离最小的一组计算获得校正值；

(5)将所述初估值与所述校正值进行累加，获得当前帧的全局运动矢量；

(6)利用步骤(5)获得的全局运动矢量对所述两帧相邻图像的重叠区域中的像素对应相减，统计灰度值差异较大的像素比例；当所统计的像素比例超过预定值时，认为获得的全局运动矢量不可信，直接利用当前帧前面几帧图像的全局运动矢量预测当前帧的全局运动矢量；当所述比例不超过预定值时，根据步骤(5)获得的全局运动矢量确定当前帧的全局运动矢量。

其中，所述步骤(1)具体包括如下步骤：

(11)对视频序列中当前帧及前一帧图像分别利用取中值下采样方法，获得k倍下采样图像，其中k为采样倍数；

(12)对步骤(11)中获得的下采样图像利用基于傅立叶变换的相位相关方法获得下采样图像间的相对运动矢量；

(13)用步骤(12)获得的相对运动矢量乘以k获得当前帧的全局运动矢量的初估值。

所述步骤(11)中，所述取中值下采样方法是指根据所述采样倍数把图像等分为若干子区域，在每个区域中取排序中值，获得下采样图像。

所述步骤(6)具体包括如下步骤：

(61)利用步骤(5)获得的全局运动矢量，计算两帧相邻图像的重叠区域中对应像素的灰度差值，当差值大于经验阈值时，记录该点为1，否则记录其为0；

(62)统计步骤(61)中被记录为1的像素点个数以及所述重叠区域像素点的总个数，当两者比值超过预定值时，转步骤(63)；否则认为计算结果可信，根据步骤(5)获得的全局运动矢量确定当前帧的全局运动矢量；

(63)利用当前帧前面几帧图像的全局运动矢量推测当前帧的全局运动矢量。

所述步骤(61)中，所述经验阈值在10～20之间。

所述步骤(62)中，所述预定值为1/6。

本发明是基于傅立叶变换的相位相关全局运动估计方法实现的。通过对现有技术的改进，在保证了计算精度和稳像范围的同时，很大程度上减少了计算量，提高了计算速度，并且提高了本方法的抗局部干扰的能力。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1为本发明所提供的用于视频稳定的快速全局运动估计方法的流程简图；

图2为在全局运动矢量的精度校正过程中，局部采样的典型分布示意图；

图3为在检验全局运动矢量的过程中，往复的抖动过程的示意图。

具体实施方式

在实际进行视频采集的环境下，特别是在实时工作条件下，一种适用的全局运动估计方法必须在保证计算准确性的同时，具有很高的计算速度、很强的抗干扰性和很好的容错能力。本发明通过对现有基于傅立叶变换的相位相关全局运动估计方法的改进，基本满足了上述的要求。

下面对此展开具体的说明。

本发明所使用的相位相关全局运动估计方法的原理来自于傅立叶变换的平移特性，即通过比较两幅图像频谱的相位关系，估计得到空域中图像间的运动偏移量。

通过形式化的方法，可描述为：两幅图像f₁(x，y)和f₂(x，y)，之间存在平移矢量(x₀，y₀)即：

f₂(x，y)＝f₁(x-x₀，y-y₀) (1)

将两幅图像分别进行Fourier变换，则变换结果F₁(x，y)和F₂(x，y)满足如下关系：

F₂(u，v)＝F₁(u，v)exp{-j(ux₀+vy₀)} (2)

由此可以得到两幅图像的归一化互功率谱(Normalized Cross PowerSpectrum)：

NCPS (u, v) = \frac{F_{1} (u, v) F_{2}^{*} (u, v)}{| F_{1} (u, v) F_{2}^{*} (u, v) |}

= \exp {j ({ux}_{0} + {vy}_{0})} - - - (3)

其中F₂ ^*表示F₂的复数共轭，通过对于(3)式进行反傅里叶变换，得到一个脉冲函数：

IFT(NCPS)＝δ(x+x₀，y+y₀) (4)

通过简单的搜索，即可得到反变换后的峰值点，进而获得该峰值坐标(x₀，y₀)。

现有相位相关全局运动估计方法的适用性比较广，对于局部运动、光照变化及噪声等干扰都有很强的抵抗能力。但是这种方法计算比较复杂，对整幅图像进行计算很难满足实际系统对于计算时间的要求。为此，本发明对这种方法进行了必要的改进，只利用了原始图像中的部分采样数据。这样就大大减少了计算量，提高了运算速度。

参见图1所示的本快速全局运动估计方法的流程简图。该快速全局运动估计方法是基于傅立叶变换的相位相关估计技术实现的，包括如下步骤：第一步，进行全局运动矢量的初步估计：利用取中值的方法对于视频序列中当前帧及其前一帧图像进行下采样获得低分辨率的下采样图像，对于采样后的结果进行基于傅立叶变换的相位相关估计获得当前帧的全局运动矢量初估值；第二步，实现全局运动矢量的精度校正：利用获得的初估值，在该两帧图像的重叠区域上局部选择多个局部块，再次进行基于傅立叶变换的相位相关估计以获得多个更高精度的全局运动矢量校正值，在获得的校正值中选择差异较小的一对再综合初估值获得全局运动矢量；第三步，对获得的全局运动矢量进行检验：利用获得全局运动矢量，对于两帧图像重叠区域中的像素对应相减，统计灰度值的差异较大的像素的个数，当超过像素总数的1/6时，就认为获得的全局运动矢量不可信，这时利用前面两帧通过计算获得的全局运动矢量预测当前帧的全局运动矢量。

下面，分别对上述各个步骤的具体实现过程展开详细的说明。

1.进行全局运动矢量的初步估计

对于分辨率为M×N的下采样图像，干扰目标的最大面积为M/2×N/2，运动估计范围是(-M/2，-N/2)×(M/2，N/2)，理论计算精度为采样块的采样精度。因此采样数据的取法决定了计算的精度、运动估计范围、以及抵抗局部运动干扰的能力。

在进行全局运动矢量的初步估计时，采用了基于取中值下采样的相位相关方法。首先需要对于输入视频序列中当前帧及其前一帧图像进行下采样。最简单的下采样是均匀下采样，对于分辨率为M×N的图像f进行k倍(k是采样倍数，为自然数)下采样，获得m×n大小的数据块g，采样过程如式(5)，这种方法比较简单，但是这种方法获得图像数据时，可能会破坏图像之间的相关性从而影响计算的准确性。为此，本发明在进行下采样时，对于采样区域中的像素点进行了排序，取中值作为采样点参与相位相关计算，如式(6)。这种处理方式可以大大减少计算错误。

g(i，j)＝f(ki，kj)(i＝0...m，j＝0...n) (5)

g(i，j)＝mid{f(ki，kj)，F(ki+1，ki)...

，F(kj+k，kj+k)}(i＝0...m，j＝0...n) (6)

利用上面对采样数据进行相位相关估计获得的相对运动矢量乘采样倍数k就可获得当前帧的全局运动矢量初估值。

2.实现全局运动矢量的精度校正

由于所述两帧图像中可能存在运动目标及噪声等局部画面变化，取图像的局部数据进行计算，利用当前帧的局部运动矢量代替全局运动矢量。一方面能够大幅度的提高计算的速度，另一方面可能导致计算错误。因此本发明选择在相邻帧中，选择多个局部块进行多次局部估计的方法，以避免干扰对于计算结果的影响。

具体而言，经过了初步估计过程，获得了当前帧的全局运动矢量初估值(a，b)，在此基础上，可以在所述两帧图像中选择面积较小但包含很多相关内容的对应局部块用于相关估计.对应局部块的选择方法如图2所示，在K帧中采样局部块S1(K)，在K+1帧中要选择采样中心平移(a，b)后的对应局部块S1(K+1).

按照上述方法在所述两帧图像中获得多个对应局部块进行相关计算可以获得一组局部运动矢量。当获得的局部运动矢量中有一致的，则将其作为本步骤的结果。这里认为差异不超过一个像素的两个局部运动矢量为一致的量。为了提高计算速度不需要对图2所示的4对局部块均进行计算。当获得的两个计算结果一致时便可以停止计算将其作为全局运动矢量校正值。在最坏的情况下将获得4个局部运动矢量V₁、V₂、V₃、V₄。

在不存在干扰的情况下，获得的4个局部运动矢量应该是一致的，但是由于局部图像运动的干扰往往会影响计算获得的若干几个矢量而增加获得矢量之间的差异。而这对于运动矢量行列方向上的两个分量的影响不是孤立的，当对应的局部块中存在局部画面变化时，会减少其内容相关性，从而对于矢量的两个运动分量均造成影响。

因此本发明将运动矢量的两个分量看作一个整体定义两个矢量S(S_x，S_y)和T(T_x，T_y)之间的差异D，如下式：

D(S，T)＝|S_x-S_y|+|S_y-T_y| (7)

前面提到过局部画面干扰会加大获得的几个矢量之间的差异，所以对于获得的4个局部运动矢量可以先两两比较，取差异值最小的一组用于计算当前帧的全局运动矢量的校正值M(M_x，M_y)，局部的计算公式如下：

M = (\frac{S_{x} + T_{x}}{2}, \frac{S_{y} + T_{y}}{2})

(8)

S，T∈{V₁，V₂，V₃，V₄}and D(S，T)＝min{D(V_i，V_j)，i≠j∈{1，2，3，4}}

这样校正值为M(M_x，M_y)，由于前面获得了初估值(a，b)，可计算获得当前帧的全局运动矢量值为(a+M_x，b+M_y)。

3.对于获得的全局运动矢量进行检验

由于实际采集的视频数据往往存在很强的随意性，对于所述相邻两帧图像，由于可能存在内容大面积变化等因素使上面的计算过程失败，利用这样的全局运动矢量直接补偿不但达不到应有的稳像效果，反而可能会影响输出视频的质量，所以需要一种检验方法来检验计算的结果。

鉴于在计算无明显错误的情况下，所属两帧图像重叠区域对应像素的灰度差异往往不会很大，本发明利用这一特点对前面获得的全局运动矢量进行检验，具体步骤如下：

利用获得的全局运动矢量(a+M_x，b+M_y)，计算当前帧K和前一帧K′中重叠像素的灰度差值，如式(9)，当差异大于某预定值时，记录该点为1，否则记录其为0。

d (x, y) = \{\begin{matrix} 1 & if & | K (x, y) - K^{'} (x + a + M_{x}, y + b + M_{y}) | &GreaterEqual; Threshold \\ 0 & if & | K (x, y) - K^{'} (x + a + M_{x}, y + b + M_{y}) | < Threshold \end{matrix} - - - (9)

式中常量Threshold为一个经验阈值，往往与采集设备的质量有关。根据实践经验，常用的取值范围应该在10～20之间。

统计重叠区域灰度差异值较大的个数，当个数过多，这里认为大于重叠区域像素总数的1/6就认为结果不可信，如式(10)为用于检验的公式.式中α为重叠区域，|α|为重叠区域的像素总数.

\underset{x, y &Element; α}{Σ} d (x, y) &GreaterEqual; \frac{| α |}{6} - - - (10)

当检验认为全局运动矢量估计失败时，可以利用前面几帧计算获得的全局运动矢量预测作为当前帧的全局运动矢量。

视频的抖动情况反映了摄像机的抖动情况，在通常情况下抖动指的是由于外界的干扰造成无规律的往复运动，但是在实际的采集环境中一秒中可以采集25帧图像数据，而往复的抖动过程会在连续若干帧中进行，如图3所示。利用这些数据可以简单预测出图像下一帧的抖动情况。

预测方法如下，假设前面连续3帧图像计算获得的全局运动矢量分别为S(S_x，S_y)和R(R_x，R_y)，当前未知预测值表示为t(t_x，t_y)。

预测在两个方向上分别进行按照下面的原则：

以X方向为例，S_x和R_x同号时表示运动在一个方向上，这时比较S_x和R_x，|S_x|≤|R_x|表示抖动在加速过程时，此时取t_x＝R_x，反之t_x＝0；S_x和R_x异号时，表示运动在不同方向上，t_x＝T_x。对Y方向的处理也是一样的。

以上公开的仅为本发明的具体实施例。根据本发明提供的技术思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims

1.一种用于视频稳定的快速全局运动估计方法，其特征在于包括如下步骤：

2.如权利要求1所述的用于视频稳定的快速全局运动估计方法，其特征在于：

所述步骤(1)具体包括如下步骤：

3.如权利要求2所述的用于视频稳定的快速全局运动估计方法，其特征在于：

4.如权利要求1所述的用于视频稳定的快速全局运动估计方法，其特征在于：

所述步骤(6)具体包括如下步骤：

5.如权利要求4所述的用于视频稳定的快速全局运动估计方法，其特征在于：

所述步骤(61)中，所述经验阈值在10～20之间。

6.如权利要求4所述的用于视频稳定的快速全局运动估计方法，其特征在于：

所述步骤(62)中，所述预定值为1/6。