CN101951463A - 基于简易快速全局运动参数估计的实时视频稳像方法 - Google Patents

Abstract

本发明公开了一种基于简易快速全局运动参数估计的实时视频稳像方法，该方法实现简单，并且估计精度较高，为低速嵌入式平台环境下的实时视频稳像提供了一种非常有效的方法。它包括如下步骤：第一步，对当前帧进行块分割，第二步，基于钻石搜索法获取每个块的运动矢量，第三步，判断块运动是否异常，如果不异常则标注为有效块，第四步，统计所述有效块平移量的平均值估算出全局平移量，第五步，根据所述全局平移量估算出每一个有效块相对于前一帧中的匹配块的旋转和缩放量，第六步，统计所述的旋转和缩放量估算出全局的旋转和缩放量，第七步，对全局的平移、旋转和缩放量进行运动滤波处理，第八步，根据滤波结果进行运动补偿。

Description

基于简易快速全局运动参数估计的实时视频稳像方法

技术领域

本发明涉及是一种可广泛用于手机、数码相机、摄像机等消费电子类产品，同时亦可广泛用于飞机、舰船、卫星、导弹等所装备的摄像和监视系统中的实时视频稳像方法。

背景技术

摄像机在移动过程中拍摄的视频序列，不仅包含了摄像机的主动运动部分，同时也引入了不规则的随机运动，这种随机运动的存在，会造成视频的抖动和模糊，严重影响了人的视觉感受，视频稳像的目的就是消除或削弱这种随机运动对视频画面所造成的破坏性影响。视频稳像的实现包括运动估计、运动滤波和无效区域补偿三个模块，针对这三个模块，国内外学者提出了很多方法。在运动估计方面，有基于块、基于特征点、基于位平面等方法；在运动滤波方面，有加权均值滤波、卡尔曼滤波(Kalman Filter)等；在无效区域补偿方面，有基于图像放大、基于视频修复(Video Inpaint)等方法。尽管提出了这么多方法，但是这些方法在速度和效果上仍没能做到很好的折中，比如：在运动估计方面，基于块的方法，速度快，但是受光照影响较大，基于特征点方法，具有较好的抗光照效果，但是对局部运动较敏感，基于位平面方法，对光照不敏感，但是速度较慢且数据存储量较大。

另外在运动滤波方面，基本都是采用传统卡尔曼滤波或加权均值滤波，滤波的响应性不好，有的滤波方法利用未来帧信息进行前向平滑处理，尽管滤波效果较好，但是由于利用未来帧信息不能实时处理；无效区域补偿方面，目前较好的一种方法是利用视频修复思想来实现，但是这种方法致命缺点是速度慢并且依赖未来帧信息，无法实时处理。因此，对于一个鲁棒的视频稳像器而言，设计一组实时有效的运动估计、运动滤波和无效区域补偿方法显得非常重要。

最后，经对现有技术文献的检索发现Marius Tico在《IEEEInternational Conference on Image Processing》(pp569-572，2005)上发表“Constraint motion filtering for videostabilization”(基于约束运动滤波的视频稳像方法，图像处理IEEE国际会议)，该文采用了特征点跟踪方法及带约束限制的卡尔曼运动滤波方法，试验结果表明该方法有较好的稳像效果，但是文中的运动估计采用了基于全像素的特征匹配，精度高，但是速度慢，同时文中采用了基于匀速模型的卡尔曼运动滤波方法，当运动模型匹配时，滤波效果较好，但是一旦模型发生变化，则滤波效果会受到很大影响，而实际摄像机在拍摄过程中往往不符合匀速运动规律。

发明内容

本发明所要解决的技术问题是提供一种基于简易快速全局运动参数估计的实时视频稳像方法，该方法实现简单，避免了复杂的高维矩阵运算，并且估计精度较高，为低速嵌入式平台环境下的实时视频稳像提供了一种非常有效的方法。

为了解决以上技术问题，本发明提供了一种基于简易快速全局运动参数估计的实时视频稳像方法，它包括如下步骤：第一步，对当前帧进行块分割，第二步，基于钻石搜索法获取每个块的运动矢量，第三步，判断块运动是否异常，如果不异常则标注为有效块，第四步，统计所述有效块平移量的平均值估算出全局平移量，第五步，根据所述全局平移量估算出每一个有效块相对于前一帧中的匹配块的旋转和缩放量，第六步，统计所述的旋转和缩放量估算出全局的旋转和缩放量，第七步，对全局的平移、旋转和缩放量进行运动滤波处理，第八步，根据滤波结果进行运动补偿。

另外，所述第二步包括：步骤1，利用积分图特征描述每个块内容；步骤2，以积分图特征误差最小为匹配准则对每个块进行块匹配运动估计。

其中，所述第七步滤波处理是采用粒子滤波方法进行运动滤波处理，并且所述第七步粒子滤波方法中的重要性采样通过自适应卡尔曼滤波方法获取。

本发明首先进行了异常块的剔除，然后，在判断出有效块后，需利用这些块的运动参数估计出全局运动参数，经典方法是采用最小二乘法求解一个超定方程组，即

其中

为全局运动参数，X为前一帧中块的坐标，X’为当前帧中对应块的坐标，在求解该方程时，需要求矩阵逆，该矩阵的维数一般都较高，因此运算较复杂，并且有可能会由于计算机数值问题出现矩阵不可逆，导致无法求出全局运动参数，而本发明利用估计出当前帧每个块相对于前一帧块所产生的平移、旋转和缩放量，然后，采用统计均值的方法求出全局运动参数，该方法实现简单，避免了复杂的高维矩阵求逆运算，并且估计精度较高。另外，本发明采用了基于积分图特征的块运动估计方法，而该块运动估计方法，首先将当前帧图像分成若干块，如8x8或16x16，将每块在参考帧内特定搜索范围内进行匹配，块与块之间的匹配准则，传统方法采用绝对误差、均方误差等，这些准则易于计算，但是对图像噪声和光照变化较敏感，本发明采用了积分图特征误差作为匹配准则，该特征具有运算速度快，且具有对图像噪声和光照变化不敏感的优点，增强了摄像设备的抗光照和图像噪声的能力，提高了全局运动参数估计的鲁棒性。最后，本发明设计一种基于自适应卡尔曼滤波的概率粒子滤波方法(Particle Filter)，通过调节观测噪声方差，提高卡尔曼滤波的响应速度，同时通过概率粒子滤波方法来校正卡尔曼滤波在运动模型不匹配时的状态估计误差。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1(a)-1(h)为本发明处理方法总体框图。

其中图1(a)为积分图特征描述图；图1(b)为运动块的积分图特征描述图；图1(c)为块运动估计流程图；图1(d)为异常运动块和无效运动块标注图；图1(e)为单个有效块的旋转角度量和缩放量的估计示意图；图1(f)为基于有效块的全局运动参数估计流程图；图1(g)为运动滤波实现过程图；图1(h)为视频稳像的总体框图。

图2(a)-2(b)为本发明中两种运动滤波效果比较图。

其中图2(a)为带约束限制的卡尔曼运动滤波方法效果图，图2(b)为基于自适应卡尔曼滤波的概率粒子滤波方法效果图。

图3(a)-(f)为本发明中视频稳像效果图。

其中图3(a)为原始视频序列，图3(b)为稳像后序列，图3(c)为x方向位移量的运动滤波效果图，图3(d)为y方向位移量的运动滤波效果图，图3(e)为旋转角度量的运动滤波效果图，图3(f)为缩放量的运动滤波效果图。

具体实施方式

图1(a)-1(h)为本发明提出的一种基于简易快速全局运动参数估计的实时视频稳像方法的总体框图。各部分具体实施细节如下：

图1(a)为积分图特征描述图

1.积分图特征(对应的英文为Integral Image Feature)

如图1(a)所示，所谓积分图特征，在图中白色矩形区域内像素灰度值之和与黑色矩形区域内像素灰度值之和的差值即为积分图特征，图中采用了5种积分图特征。该特征的好处体现在：(1)区域内的像素值之和可有效抵制图像噪声的影响，(2)相邻矩形区域内像素和的差值可有效客服光照影响，因此该特征对图像噪声和光照均有较好的抗干扰能力。为了快速计算这些特征，需将原始图像转换成积分图像，转换公式为：

$\mathrm{ii}(x,y)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\mathrm{\Σ}}i(x^{\′},y^{\′})---\left(1\right)$

其中，x和y为积分图像中的像素点坐标，x′和y′为原始图像中的像素点坐标，ii为积分图像，i为原始图像，有了积分图像，那么积分图特征的计算简化为对矩形顶点位置上的积分图像素值的简单加减。

图1(b)为运动块的积分图特征描述图

1.块积分图特征及块匹配准则

块的内容可以由一组大小和位置不同的单个积分图特征来描述，对于一个16x16的块来说，其内的积分图特征有成千上万个，如果用全部的积分图特征来描述块的内容，精度高，但是实时性差，通过试验发现大约100个积分图特征就可以很好地描述出一个块的内容。用积分图特征描述好每个块后，则两个块的匹配误差准则可设计如下：

$\mathrm{ISAD}({\mathrm{\Δ}}_x,{\mathrm{\Δ}}_y)=\underset{k=0}{\overset{M}{\mathrm{\Σ}}}|F_{B(i,j)}\left(k\right)-F_{B(i+{\mathrm{\Δ}}_x,j+{\mathrm{\Δ}}_y)}\left(k\right)|---\left(2\right)$

其中，k为积分图特征的索引号，M为积分图特征总数，Δ_x和Δ_y为位移量，B(i，j)为当前帧中心位置为(i，j)的块，B(i+Δ_x，j+Δ_y)为前一帧中心位置为(i+Δ_x，j+Δ_y)的块，F_B(i，j)(k)和

分别为块B(i，j)和B(i+Δ_x，j+Δ_y)上第k个积分图特征，如果这个误差在搜索过程中为最小，则表明这两个块匹配。

图1(c)为块运动估计流程图

1.块运动估计

确定了匹配误差准则后，搜索算法根据这个准则在前一帧图像中搜索出与当前帧块匹配误差最小的对应块。为了确保匹配的精准性，在搜索过程中，尽量选择特征丰富的块去进行搜索，而对那些特征不丰富的块，直接进行无效块标记，不参与运动匹配。特征丰富程度，可由下式计算得到：

$T=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{F}_B\left(k\right)---\left(3\right)$

其中，F_B(k)为块B上的第k个积分图特征，M为积分图特征总数。一般情况下，块内的纹理信息与T值大小有关，T值越大，该块纹理信息越明显，特征越丰富，否则，反之。如果T小于一个最小阈值，则该块的特征被定义为不丰富，直接标注为无效块。同样，对那些在运动估计中匹配误差较大的块，也进行无效块标记，因为误差偏大，说明匹配可能不准确。对部分块进行无效标注，可以提高全局运动参数估计的精准度。在搜索方法上，本发明采用了传统的钻石搜索法，该方法速度快、搜索精度高。

图1(d)为异常运动块和无效运动块标注图

1.异常运动块剔除

剔除异常运动块与标注无效块的目的是一样的，都是为了更准确地估计出全局运动参数，一般情况下，大多数块的运动趋势都是一致的，但是有的块会由于物体的局部运动或干扰，出现运动趋势异常，必须找出这些块并加以剔除。在本发明中，采用了一种统计方法来实现对异常运动块的剔除，首先，统计所有块的运动矢量的均值和方差，然后以这个均值和方差构造一个高斯分布函数，如果某个块的运动矢量分布在该高斯分布均值的3倍方差以外，则将该块标注为异常运动块。图1(d)中标有灰白色线的块为运动异常块，无线条标注的块为特征不丰富或匹配过程中误差较大的块，标有黑色线的块为有效块。异常运动块的判断实现步骤如下：

步骤1：统计块运动参数的均值和方差

块运动参数的均值和方差计算公式如下：

$U_x=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{V}_x\left(l\right)---\left(4\right)$

$S_x^2=\frac{1}{L-1}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{[V_x\left(l\right)-U_x]}^2---\left(5\right)$

$U_y=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{V}_y\left(l\right)---\left(6\right)$

$S_y^2=\frac{1}{L-1}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{[V_y\left(l\right)-U_y]}^2---\left(7\right)$

其中，l为块的索引值，L为块的总数量，V_x(l)为第l个块在x方向上的运动位移，V_y(l)为y方向上的运动位移，U_x为所有块在x方向上的运动位移均值，

为x方向上的运动位移方差，U_y为所有块在y方向上的运动位移均值，

为y方向上的运动位移方差。

步骤2：检验每个块的运动异常性

对于第k个块，如果其x和y方向位移量V_x(k)和V_y(k)满足下面任何一个公式，则该块为异常运动块，需剔除，不参与下一次均值和方差计算，公式如下：

$\left\{\begin{array}{c}{[V_x\left(k\right)-U_x]}^2>T*S_x^2\\ {[V_y\left(k\right)-U_y]}^2>T*S_y^2\end{array}\right.---\left(8\right)$

其中，T为阈值，一般取2.5-4。

步骤3：循环步骤1和步骤2，当迭代满足一个最大迭代次数，或当前统计出的均值与前一次的均值相比变化很小时，停止迭代。

图1(e)为单个有效块的旋转角度量和缩放量的估计示意图

1.单个有效块的旋转角度量和缩放量估计

判断出有效块后，需基于这些块的运动参数估计出全局运动参数。当前帧相对于前一帧的全局运动过程，如果反应到一个块上，则可以由图1(e)中的块运动过程描述，即：前一帧的块从O₁点平移到当前帧的O₂点，然后，旋转到O₃点，最后，缩放至O₄点。在估计单个有效块的旋转角度量和缩放量之前，需先统计出全局平移量，全局平移量可以由下式计算得到：

$G_x=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{V}_x\left(m\right)---\left(9\right)$

$G_y=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{V}_y\left(m\right)---\left(10\right)$

其中，G_x和G_y为当前帧相对于前一帧的全局平移量，M为有效块的总数，m为有效块的索引，V_x(m)和V_y(m)分别为第m个有效块在x方向和y方向上的运动位移量。

块在O₁位置经过了G_x和G_y平移后，到达O₂点，然后旋转到O₃点，旋转角度θ(m)可以通过下式计算：

$\mathrm{\θ}\left(m\right)=\∠O_2{\mathrm{OO}}_4$

$=\∠{\mathrm{BOO}}_4-\∠{\mathrm{BOO}}_2$

$=a\tan \left(\frac{O_{4x}}{O_{4y}}\right)-a\tan \left(\frac{O_{2x}}{O_{2y}}\right)---\left(11\right)$

$=a\tan \left(\frac{O_{4x}}{O_{4y}}\right)-a\tan \left(\frac{O_{1x}+G_x}{O_{1y}+G_y}\right)$

其中，O_4y和O_4x为当前帧中心位置为(O_4y，O_4x)的块，O_1y和O_1x为在前一帧中搜索到的最佳匹配块中心位置，G_x和G_y为估计到的全局平移量。

同理，可以推导出每个有效块的缩放量：

$S\left(m\right)=\frac{r_{\mathrm{oo}4}}{r_{\mathrm{oo}3}}=\frac{r_{\mathrm{oo}4}}{r_{{\mathrm{oo}}_2}}$

$=\frac{\sqrt{O_{4y}^2+O_{4x}^2}}{\sqrt{O_{2y}^2+O_{2x}^2}}---\left(12\right)$

$=\frac{\sqrt{O_{4y}^2+O_{4x}^2}}{\sqrt{{(O_{1y}+G_y)}^2+{(O_{1x}+G_x)}^2}}$

图1(f)为基于有效块的全局参数估计流程图

1.全局运动参数估计

在获得每个有效块的平移量、旋转角度量和缩放量后，则全局运动参数并可由这些量统计得到，其中，全局平移量由式(9)和式(10)估计出，而全局旋转角度量和缩放量可由下式估计出：

$G_{\mathrm{\θ}}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{\θ}\left(m\right)---\left(13\right)$

$G_S=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}S\left(m\right)---\left(14\right)$

其中，G_θ是全局旋转量，G_S是全局缩放量，θ(m)是第m个有效块的旋转角度量，S(m)是第m个有效块的缩放量。

图1(g)为运动滤波实现过程图

所谓运动滤波就是滤除抖动分量，使处理后的视频变得平稳。由于本发明中的无效区域补偿采用了基于图像放大的方法，因此对滤波算法的输出需要进行限幅，即补偿量不能大于某个阈值。本发明借鉴了Marius Tico论文中带约束的卡尔曼滤波思想，但是该论文中的方法存在滤波响应性不好，以及运动模型不匹配时，状态估计误差偏大问题，针对这两个问题，本发明设计了一种基于自适应卡尔曼滤波的概率粒子滤波方法，通过自适应调节观测噪声方差来提高卡尔曼滤波的快速响应性，同时通过概率粒子滤波算法来客服运动模型不匹配时状态估计误差偏大问题。

粒子滤波是一种基于蒙特卡罗方法的概率滤波算法，它能有效解决非线性、非高斯情况下的状态估计问题。粒子滤波算法通过一组带权重的粒子来逼近状态的后验分布，当粒子的数目趋于无穷大时，则这些粒子在理论上可以逼近状态的真实后验分布。粒子滤波算法一般包括重要性采样、重采样以及状态估计三个步骤。在重要性采样步，首先，t-1时刻的粒子

通过运动模型

传递到下一时刻；然后，在给定的观测值Z_t，每个被传递的粒子被赋予权值

最后，归一化这些权值在重采样步，粒子

将被重新采样，每个粒子被选择的次数与它的权值大小成正比，权值越大的粒子被选择的可能性越大。在估计出状态的后验分布后，目标的状态可以利用最小均方根误差估计方法(MMSE)估计出。基于自适应卡尔曼滤波的概率粒子滤波方法实现步骤如下：

步骤1：重要性采样

在重要性采样步骤中，通过自适应卡尔曼滤波方法获得概率粒子滤波的采样状态，具体实现过程如下：

$X_{t|t-1}^{\left(i\right)}={\mathrm{AX}}_{t-1}^{\left(i\right)},i=1,...,N---\left(15\right)$

$P_{t|t-1}^{\left(i\right)}={\mathrm{AP}}_{t-1}^{\left(i\right)}{A}^T+{\mathrm{\σ}}_e^2{\mathrm{BB}}^T---\left(16\right)$

$G=P_{t|t-1}^{\left(i\right)}C{(C^T{P}_{t|t-1}^{\left(i\right)}C+{\mathrm{\σ}}_{t,u}^2)}^{-1}---\left(17\right)$

$P_t^{\left(i\right)}=(I-{\mathrm{GC}}^T)P_{t|t-1}^{\left(i\right)}---\left(18\right)$

$X_t^{\left(i\right)}=X_{t|t-1}^{\left(i\right)}+G[Z_t-C^T{X}_{t|t-1}^{\left(i\right)}]---\left(19\right)$

${\tilde{X}}_t^{\left(i\right)}=X_t^{\left(i\right)}+N(0,P_t^{\left(i\right)})---\left(20\right)$

其中，i为粒子的索引值，N为粒子总数，

B＝[1 1]^T，C＝[1 0]^T，

为第i个粒子t-1时刻的状态，

为第i个粒子在t时刻的预测状态，为第i个粒子t-1时刻的状态协方差阵，

为第i个粒子在t时刻的状态协方差预测阵，G为卡尔曼滤波的增益阵，

为第i个粒子在t时刻的状态协方差估计阵，

为第i个粒子在t时刻卡尔曼滤波的估计状态，

为第i个粒子重采样后的状态，Z_t为观测值，

为状态噪声方差，

为t时刻的观测噪声方差，该值在传统卡尔曼滤波方法中是利用先验信息设定一个固定值，但是实际系统中很难获得这种先验信息，而该值的大小直接影响卡尔曼滤波的响应速度，本发明中，设计了一种自适应调节观测噪声方差的方法。

当抖动很厉害时，反应在观测值上为其方差较大，此时，如果还用固定的观测噪声方差进行卡尔曼滤波的话，滤波的快速响应性受到影响，为了提高滤波的快速响应性，本发明设计了如下的自适应调节观测噪声方差的策略。首先，统计一段时间窗内的观测值变化剧烈程度，剧烈程度的描述公式如下：

$M_z=\frac{1}{L}\underset{l=t-L-1}{\overset{t}{\mathrm{\Σ}}}{Z}_l---\left(21\right)$

$S_z=\frac{1}{L}\underset{l=t-L-1}{\overset{L}{\mathrm{\Σ}}}|Z_l-M_z|---\left(22\right)$

其中，L为时间窗长度，Z_l为第l时刻的观测值，M_z为时间窗内的观测值均值，S_z为时间窗内的观测值变化剧烈程度，当S_z越大，则在该时间窗内，观测值变化越剧烈，否则，反之。其次，根据观测值变化剧烈程度，自适应调节观测噪声方差，调节公式为：

$\left\{\begin{array}{cc}{\mathrm{\&sigma;}}_{t,u}^2=\mathrm{\&alpha;}{\mathrm{\&sigma;}}_{t-1,u}^2,& \mathrm{if}{S}_z>S_{\max }\\ {\mathrm{\&sigma;}}_{t,u}^2={\mathrm{\&sigma;}}_{t-1,u}^2,& \mathrm{if}{S}_{\min }\&le;S_z\&le;S_{\max }\\ {\mathrm{\&sigma;}}_{t,u}^2=\mathrm{\&beta;}{\mathrm{\&sigma;}}_{t-1,u}^2,& \mathrm{if}{S}_z<S_{\min }\end{array}\right.---\left(23\right)$

其中，为t时刻的观测噪声方差，

为t-1时刻的观测噪声方差；S_z为时间窗内的观测值变化剧烈程度，和β为调节系数，α一般取0.7-0.9，β一般取1.1-1.3；S_max为观测值变化剧烈程度的最大阈值，S_min为观测值变化剧烈程度最小阈值。也就是说当S_z大于S_max时，减小t时刻的观测噪声方差；当S_z小于S_min时，增加t时刻的观测噪声方差。式(23)的目的就是在观测值变化剧烈时，通过调小观测噪声方差来增加卡尔曼滤波的增益，从而提高状态估计的响应速度。

为了防止调节出的观测噪声方差过大或过小，采用下式进行约束，使观测噪声方差在一个最大和最小值之间自适应调整，调节公式设计如下：

$\left\{\begin{array}{cc}{\mathrm{\&sigma;}}_{t,u}^2={\mathrm{\&sigma;}}_{\max }^2,& \mathrm{if}{\mathrm{\&sigma;}}_{t,u}^2>{\mathrm{\&sigma;}}_{\max }^2\\ {\mathrm{\&sigma;}}_{t,u}^2={\mathrm{\&sigma;}}_{\min }^2,& \mathrm{if}{\mathrm{\&sigma;}}_{t,u}^2<{\mathrm{\&sigma;}}_{\min }^2\end{array}\right.---\left(24\right)$

也就是说

的调节过程中的值当大于最大设定阈值时，取最大设定阈值，当小于最小设定阈值时，取最小设定阈值。最大设定阈值一般取40²-50²之间的值，最小设定阈值一般取5²-10²之间的值。

步骤2：计算粒子权值

$w_t^{\left(i\right)}=\frac{1}{\sqrt{2{\mathrm{\&pi;\&sigma;}}_{t,u}}}\exp [-\frac{{({\tilde{X}}_t^{\left(i\right)}-Z_t)}^2}{2{\mathrm{\&sigma;}}_{t,u}^2}]---\left(25\right)$

步骤3：归一化粒子权值

${\tilde{w}}_t^{\left(i\right)}=w_t^{\left(i\right)}/\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{w}_t^{\left(i\right)}---\left(26\right)$

步骤4：重采样粒子

${\{X_t^{\left(i\right)},1/N\}}_{i=1}^N=\mathrm{Resample}\left[{\{{\tilde{X}}_t^{\left(i\right)},{\tilde{w}}_t^{\left(i\right)}\}}_{i=1}^N\right]---\left(27\right)$

步骤5：状态估计

在状态估计时，如果被选择的粒子状态和实际观测值的差值太大，即运动补偿量太大时，需要对补偿量进行约束处理，约束过程实现如下：

$X_t^{\left(i\right)}=\left\{\begin{array}{c}{X}_t^{\left(i\right)}+\mathrm{sign}(Z_n-C^T{X}_t^{\left(i\right)})\left[\right|Z_t-C^T{X}_t^{\left(i\right)}|-D]P_t^{\left(i\right)}C{\left[C^T{P}_t^{\left(i\right)}C\right]}^{-1},\mathrm{if}|Z_t-C^T{X}_t^{\left(i\right)}|>D\\ X_t^{\left(i\right)},\mathrm{otherwise}\end{array}\right.---\left(28\right)$

其中，Z_t为t时刻的观测值，C＝[1 0]，

为第i个粒子在t时刻的状态协方差估计阵，D为补偿量的最大阈值。

步骤6：状态输出

对每个粒子状态进行限幅处理后，最终输出状态由下式得到：

${\hat{X}}_t=\frac{1}{N}{X}_t^{\left(i\right)}---\left(29\right)$

其中，

为t时刻的估计状态，

为重采样并限幅处理后的第i个粒子状态。

图2(a)-2(b)为本发明中两种运动滤波方法的效果比较图，该图中的目标状态在快速运动和静止两种状态之间来回切换。图2(a)为带约束限制的卡尔曼运动滤波方法效果图，图2(b)为基于自适应卡尔曼滤波的概率粒子滤波方法效果图，两图中虚线2为滤波后的效果图，实线1为滤波前的效果图，纵轴表示水平x方向的位移量(Horizontal Position)，横轴表示帧数(Frame)。从图中可以明显看出，基于自适应卡尔曼滤波的概率粒子滤波方法无论在快速响应性还是模型不匹配时的状态估计上均优于带约束限制的卡尔曼运动滤波方法。

图3(a)-3(f)为本发明中视频稳像效果图。其中，图3(a)为原始视频序列，图3(b)为稳像后序列，图3(c)为x方向位移量的运动滤波效果图，图3(d)为y方向位移量的运动滤波效果图，图3(e)为旋转角度量的运动滤波效果图，图3(f)为缩放量的运动滤波效果图，其中图3(c)、(d)、(e)和(f)中的虚线2为滤波后的效果图，实线1为滤波前的效果图，图3(c)的纵轴表示水平x方向位移量(Horizontal Position)，横轴表示帧数(Frame)，图3(d)的纵轴表示垂直y方向的位移量(Vertical Position)，横轴表示帧数(Frame)，图3(e)纵轴表示旋转角度量(Rotation Angle)，横轴表示帧数(Frame)，图3(f)纵轴表示缩放量(Scale)，横轴表示帧数(Frame)。从这些结果图中可以看出，本发明中的滤波方法在滤波响应性和模型不匹配时的状态估计均有较好效果。

Claims (14)

1.基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，第一步，对当前帧进行块分割，第二步，基于钻石搜索法获取每个块的运动向量，第三步，判断块运动是否异常，如果不异常则标注为有效块，第四步，统计所述有效块平移量的平均值估算出全局平移量，第五步，根据所述全局平移量估算出每一个有效块相对于前一帧中的匹配块的旋转和缩放量，第六步，统计所述块的旋转和缩放量估算出全局的旋转和缩放量，第七步，对全局的平移、旋转和缩放量进行运动滤波处理，第八步，根据滤波结果进行运动补偿。

2.根据权利要求1所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，所述第三步中判断块是否异常包括如下步骤：

步骤1：统计块在x，y方向上的运动参数的均值和方差，具体计算公式如下：

$U_x=\frac{1}{L}\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{V}_x\left(l\right)---\left(1\right)$

$S_x^2=\frac{1}{L-1}\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{[V_x\left(l\right)-U_x]}^2---\left(2\right)$

$U_y=\frac{1}{L}\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{V}_y\left(l\right)---\left(3\right)$

$S_y^2=\frac{1}{L-1}\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{[V_y\left(l\right)-U_y]}^2---\left(4\right)$

其中，l为块的索引值，L为块的总数量，V_x(l)为第l个块在x方向上的运动位移，V_y(l)为y方向上的运动位移，U_x为所有块在x方向上的运动位移均值，

为x方向上的运动位移方差，U_y为所有块在y方向上的运动位移均值，

为y方向上的运动位移方差；

步骤2：检验每个块的运动异常性，对于第k个块，如果其x和y方向位移量V_x(k)和V_y(k)满足下面任何一个公式，则该块为异常运动块，否则标注为有效块，公式如下：

$\left\{\begin{array}{c}{[V_x\left(k\right)-U_x]}^2>T*S_x^2\\ {[V_y\left(k\right)-U_y]}^2>T*S_y^2\end{array}\right.---\left(5\right)$

其中，T为阈值，一般取2.5-4。如该块为异常运动块，则不参与下次均值和方差的统计；

步骤3：循环步骤1和步骤2，当迭代满足一个最大迭代次数，或当前统计出的均值与前一次的均值相比变化很小时，停止迭代。

3.根据权利要求1或2所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，所述第四步统计所述有效块平移量的平均值估算出全局平移量，所述全局平移量包括在x方向上的全局平移量G_x和y方向上的全局平移量G_y，具体计算公式如下：

$G_x=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{V}_x\left(m\right)---\left(6\right)$

$G_y=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{V}_y\left(m\right)---\left(7\right)$

其中，M为有效块的总数，m为有效块的索引，V_x(m)和V_y(m)分别为第m个有效块在x方向和y方向上的运动位移。

4.根据权利要求3所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，所述第五步的第m个有效块的旋转角度量θ(m)通过如下公式计算：

$\mathrm{\&theta;}\left(m\right)=a\tan \left(\frac{O_{4x}}{O_{4y}}\right)-a\tan \left(\frac{O_{1x}+G_x}{O_{1y}+G_y}\right)---\left(8\right)$

其中，O_4y和O_4x为当前帧中心位置为(O_4y，O_4x)的块，O_1y和O_1x为在前一帧中搜索到的最佳匹配块中心位置，G_x和G_y为估计到的所述的在x方向和y方向上全局平移量，m从1到M，M为有效块的总数。

5.根据权利要求3所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，所述第五步的第m个有效块的缩放量S(m)通过如下公式计算：

$S\left(m\right)=\frac{\sqrt{O_{4y}^2+O_{4x}^2}}{\sqrt{{(O_{1y}+G_y)}^2+{(O_{1x}+G_x)}^2}}---\left(9\right)$

其中，O_4y和O_4x为当前帧中心位置为(O_4y，O_4x)的块，O_1y和O_1x为在前一帧中搜索到的最佳匹配块中心位置，G_x和G_y为估计到的全局平移量。

6.根据权利要求3所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，所述第六步统计所述的全局旋转和缩放量，可以通过如下公式计算得到：

$G_{\mathrm{\&theta;}}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{\&theta;}\left(m\right)---\left(10\right)$

$G_S=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}S\left(m\right)---\left(11\right)$

其中，G_θ是全局旋转量，G_S是全局缩放量，θ(m)是第m个有效块的旋转角度量，S(m)是第m个有效块的缩放量。

7.根据权利要求1所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，所述第二步基于钻石搜索法包括：步骤1，利用积分图特征描述每个块内容；步骤2，以积分图特征误差最小为匹配准则对每个块进行块匹配运动估计。

8.根据权利要求7所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，在所述步骤2之前还包括对所述块的特征丰富程度进行判定，由下式计算得到：

$T=\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}{F}_B\left(k\right)---\left(12\right)$

其中，F_B(k)为块B上的第k个积分图特征，M为积分图特征总数，T表示特征丰富程度，T值越大，特征越丰富，如果T小于一个最小阈值，则该块的特征被定义为不丰富，直接标注为无效块，对该块不进行所述步骤2的积分图特征的块匹配运动估计。

9.根据权利要求7或8所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，所述步骤2还包括块匹配误差判断步骤，该步骤是对前后两个块的匹配误差按照如下公式进行计算：

$\mathrm{ISAD}({\mathrm{\&Delta;}}_x,{\mathrm{\&Delta;}}_y)=\underset{k=0}{\overset{M}{\mathrm{\&Sigma;}}}|F_{B(i,j)}\left(k\right)-F_{B(i+{\mathrm{\&Delta;}}_x,j+{\mathrm{\&Delta;}}_y)}\left(k\right)|---\left(13\right)$

其中，k为积分图特征的索引号，M为积分图特征总数，Δ_x和Δ_y为位移量，B(i，j)为当前帧中心位置为(i，j)的块，B(i+Δ_x，j+Δ_y)为前一帧中心位置为(i+Δ_x，j+Δ_y)的块，F_B(i，j)(k)和

分别为块B(i，j)和B(i+Δ_x，j+Δ_y)上第k个积分图特征，ISAD(Δ_x，Δ_y)为匹配误差值，如果该匹配误差值大于一个最大设定值，则标注为无效块，该块不参与所述第四步和第六步中的全局运动参数估计。

10.根据权利要求1所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征在于，所述第七步滤波处理是采用粒子滤波方法进行运动滤波处理。

11.根据权利要求10所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征是，所述第七步粒子滤波方法中的重要性采样通过自适应卡尔曼滤波方法获取。

12.根据权利要求11所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征是，所述的自适应卡尔曼滤波方法是通过判断全局运动参数的变化剧烈程度来自适应调节卡尔曼滤波中的观测噪声方差，其中调节观测噪声方差采用如下公式：

$\left\{\begin{array}{cc}{\mathrm{\&sigma;}}_{t,u}^2={\mathrm{\&alpha;\&sigma;}}_{t-1,u}^2,& \mathrm{if}{S}_z>S_{\max }\\ {\mathrm{\&sigma;}}_{t,u}^2={\mathrm{\&sigma;}}_{t-1,u}^2,& \mathrm{if}{S}_{\min }\&le;S_z\&le;S_{\max }\\ {\mathrm{\&sigma;}}_{t,u}^2={\mathrm{\&beta;\&sigma;}}_{t-1,u}^2,& \mathrm{if}{S}_z<S_{\min }\end{array}\right.---\left(14\right)$

其中，

为t时刻的观测噪声方差，

为t-1时刻的观测噪声方差；S_z为时间窗内的观测值变化剧烈程度，当S_z越大，则在该时间窗内，观测值变化越剧烈，否则，反之；α和β为调节系数，α一般取0.7-0.9，β一般取1.1-1.3；S_max为观测值变化剧烈程度的最大阈值，S_min为观测值变化剧烈程度最小阈值。

13.根据权利要求12所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征是，所述的

的调节过程中的值当大于最大设定阈值时，取最大设定阈值，当小于最小设定阈值时，取最小设定阈值。

14.根据权利要求12或13所述的基于简易快速全局运动参数估计的实时视频稳像方法，其特征是，所述最大设定阈值一般取40²-50²之间的值，最小设定阈值一般取5²-10²之间的值。

Images