CN104135598B - 一种视频图像稳定方法及装置 - Google Patents

Abstract

本发明公开了一种视频图像的稳像方法及装置，该方法包括如下步骤：使用SURF特征点检测算法提取第n‑1帧和第n帧图像的特征点。将第n帧图像的特征点与第n‑1帧图像的特征点进行匹配，形成多对匹配点对，确定第n帧图像与第n‑1帧之间的仿射关系，通过匹配特征点解出仿射矩阵；将前n‑1个仿射矩阵参考第1帧进行参数级联，通过滤波器对级联后的仿射参数进行kalman滤波，得到滤波后的级联仿射矩阵参数；根据所述滤波后的仿射参数对第n帧图像进行补偿得到滤波后的第n帧图像。本发明获得的图像的滤波效果较好，有效消除视频抖动噪声。

Description

一种视频图像稳定方法及装置

【技术领域】

本发明涉及视频图像数字处理领域，具体涉及一种视频图像稳定方法及装置。

【背景技术】

由于拍摄者或者载体的振动与抖动导致最后获取的视频源质量下降，主要表现为获取视频振动厉害，给观测人员以及视频的后续处理带来很大的麻烦，视频稳像技术就是去除引入的噪声抖动或者振动。稳向技术经历了机械式稳像、光学式稳像到目前研究比较多的电子稳像。其中电子稳像又可以根据不同的全局运动估计方法分为：块匹配法、灰度投影法、相位相关法、特征跟踪法等不同的类型。块匹配法计算量太大影响处理速度。灰度投影法适用于图像信息丰富的场景否则效果不好。相位相关法对发生平移的场景有很好的性能但是对旋转和缩放无能为力。特征跟踪法对不同的特征采用不同的特征提取算法，如轮廓、直线、边缘或者特征点等。传统的机械系统多是基于陀螺传感器和伺服系统，虽然可以达到一定的稳像精度，但由于伺服系统体积庞大、造价高、消耗功率大等缺点，在一定的场合下满足不了进一步发展的需要。光学稳像控制比较复杂而且维护很复杂，成本相对电子稳像较高。电子稳像相对传统的稳像方法有控制简单、容易集成小型化和成本低等优势，航空领域都有着广阔的应用前景。

目前的电子稳像技术存在着稳像质量不高的问题。

【发明内容】

为了克服现有技术的不足，本发明提供了一种视频图像稳定方法及装置，以提高处理后的视频的质量。

一种视频图像的稳像方法，包括如下步骤：

S10，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；

S20，将第n帧图像的特征点与相邻的第n-1帧图像的特征点进行匹配，形成多组匹配的特征点对；

S30，分别确定第n帧图像之前的相邻的第m帧图像与第m-1帧图像之间的仿射参数，得到n-1组仿射参数，然后对n-1组仿射参数进行级联，得到第n帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于n的自然数；

S40，对第n帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；

S50，根据所述滤波后的级联参数对第n帧图像参考第一帧图像进行补偿得到滤波后的第n帧图像；

在所述步骤S30中：通过如下式子确定第n帧图像与第一帧图像之间的级联参数：

其中，n≥2；

其中，对于n≥0，

其中，I_n(x)表示第n帧图像，a_n-1，b_n-1，c_n-1，d_n-1，e_n-1，f_n-1表示第n帧图像与第n-1帧图像之间的仿射参数，A_n-1和B_n-1表示第n帧图像与第n-1帧图像之间的仿射参数矩阵，和表示第n帧图像与第一帧图像之间的级联参数矩阵，I₁(x)表示第一帧图像，P_n表示第n帧图像的一个特征点，P_n-1表示第n-1帧图像的与所述第n帧图像的一个特征点匹配的特征点；

在所述步骤S40中，对和进行卡尔曼滤波分别得到和且

在所述步骤S50中，通过如下式子对第n帧图像参考第一帧图像进行补偿：

其中，表示补偿后的第n帧图像。

在优选的实施例中，

还包括如下步骤，通过如下卡尔滤波模型对所述级联参数进行滤波：

利用第k-1帧图像与第一帧图像的级联参数Y_k-1的最终滤波结果X_k-1得到第k帧图像的级联参数初始预测结果

利用第k-1帧时刻的误差方差值P_k-1得到第k帧时刻的误差方差估计值

计算第k帧时刻的卡尔曼增益参数K_k，

计算第k帧时刻的仿射参数最终滤波结果X_k：

计算第k帧时刻的误差方差最终值P_k：

其中，Q_k-1为第k-1帧时刻的输入参数噪声矩阵，C_k为第k帧图像的观测矩阵，R_k为第k帧时刻的测量噪声矩阵，为第k帧时刻的状态矩阵，Q_k-1，C_k，R_k和在计算过程中设置为常量且与k无关，I为单位矩阵；k＝n，Y_k-1表示和中的参数。

在优选的实施例中，

本发明还提供一种视频图像的稳定装置，包括：

第一处理单元，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；

第二处理单元，将第n帧图像的特征点与相邻的第n-1帧图像的特征点进行匹配，形成多组匹配的特征点对；

第三处理单元，用于分别确定第n帧图像之前的相邻的第m帧图像与第m-1帧图像之间的仿射参数，得到n-1组仿射参数，然后对n-1组仿射参数进行级联，得到第n帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于n的自然数；

第四处理单元，用于对第n帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；

第五处理单元，用于根据所述滤波后的级联参数对第n帧图像参考第一帧图像进行补偿得到滤波后的第n帧图像；

所述第三处理单元通过如下式子确定第n帧图像与第一帧图像之间的级联参数：

其中，n≥2；

其中，对于n≥0，

其中，I_n(x)表示第n帧图像，a_n-1，b_n-1，c_n-1，d_n-1，e_n-1，f_n-1表示第n帧图像与第n-1帧图像之间的仿射参数，A_n-1和B_n-1表示第n帧图像与第n-1帧图像之间的仿射参数矩阵，和表示第n帧图像与第一帧图像之间的级联参数矩阵，I₁(x)表示第一帧图像，P_n表示第n帧图像的一个特征点，P_n-1表示第n-1帧图像的与所述第n帧图像的一个特征点匹配的特征点；

所述第四处理单元对和进行卡尔曼滤波分别得到和且

所述第五处理单元通过如下式子对第n帧图像参考第一帧图像进行补偿：

其中，表示补偿后的第n帧图像。

在优选的实施例中，

还包括第六处理单元，用于通过如下卡尔滤波模型对所述级联参数进行滤波：

利用第k-1帧图像与第一帧图像的级联参数Y_k-1的最终滤波结果X_k-1得到第k帧图像的级联参数初始预测结果

利用第k-1帧时刻的误差方差值P_k-1得到第k帧时刻的误差方差估计值

计算第k帧时刻的卡尔曼增益参数K_k，

计算第k帧时刻的仿射参数最终滤波结果X_k：

计算第k帧时刻的误差方差最终值P_k：

其中，Q_k-1为第k-1帧时刻的输入参数噪声矩阵，C_k为第k帧图像的观测矩阵，R_k为第k帧时刻的测量噪声矩阵，为第k帧时刻的状态矩阵，Q_k-1，C_k，R_k和在计算过程中设置为常量且与k无关，I为单位矩阵；k＝n，Y_k-1表示 和中的参数。

在优选的实施例中，

通过采用卡尔曼滤波模型对级联后的级联参数进行滤波充分考虑摄像机摄制视频时的平移、旋转以及缩放三种情况，使得获得的图像的滤波效果较好，有效消除视频抖动噪声。另外，选取初始帧作为参考帧保证后续处理结果连续性较好，否则，如果选择中间的某一帧作为参考帧，很容易出现跳帧的现象(即一段稳定突然出现突变然后又稳定一段时间，反复出现这个过程)。

【附图说明】

图1是本发明一种实施例的视频图像的稳像方法的原理框图；

图2是本发明一种实施例的视频图像的稳像方法的某一尺度的X方向的方框滤波器；

图3是本发明一种实施例的视频图像的稳像方法的与图2同一尺度的Y方向的方框滤波器；

图4是本发明一种实施例的视频图像的稳像方法的图2同一尺度的XY方向的方框滤波器；

图5是本发明一种实施例的视频图像的稳像方法的最小尺度的某一方向的方框滤波器；

图6是本发明一种实施例的视频图像的稳像方法的较大尺度的与图5同一方向的方框滤波器；

图7是本发明一种实施例的视频图像的稳像方法的较大尺度的与图5同一方向的方框滤波器；

图8是本发明一种实施例的视频图像的稳像方法的某一点与在不同尺度层的点之间的关系示意图；

图9是本发明一种实施例中经过视频图像的稳像方法处理前的相邻三帧图像的示意图；

图10是本发明一种实施例中经过视频图像的稳像方法处理后的相邻三帧图像的示意图；

图11是本发明一种实施例中稳定前一帧(before)与稳定后一帧(after)之间的差值图对比；

图12是本发明一种实施例视频序列稳定前后峰值信噪比图。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1至9所示，一种实施例的视频图像的稳像方法，包括如下步骤：

S10，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；

本实施例中使用SURF特征点检测算法通过如下过程获取特征点。

获取原始视频序列中的一系列图像帧，使用多个不同尺寸的方框滤波器对目标帧的图像进行滤波，从而得到一系列不同尺度的模糊图像，通过计算Hessian响应以及判断同一位置不同尺度下的像素是否为极大值来决定对应的像素点是否为目标帧的图像的特征点。

S101，首先建立不同尺度的x方向、y方向、xy方向的方框滤波器，图2、图3和图4分别是同一尺度下的x方向、y方向、xy方向的方框滤波器(尺度为9)，图5、图6和图7分别是不同尺度下X方向的方框滤波器。

S102，建立完这些不同尺度下的滤波器后，对同一幅目标帧的图像进行滤波会得到一系列的滤波后的模糊图像(一般尺度层数控制在3到5层)，计算每一幅目标帧的图像的每一像素位置的Hessian响应值，该Hessian响应值是根据这个像素的x方向、y方向、xy方向的滤波值计算得到。如果Hessian响应值为正，则判断该点为局部极值点，并进一步判断在尺度方向上该点的Hessian响应值是否为极值点，即是否为该图像的特征点。将多层模糊图像进行比较如图8所示，建立一个3x3x3的矩阵判断中心点(如图8中的第二层中“X”所代表的点)的Hessian响应值是否为极大值点，如果是说明该点为该层尺度的极值点，也就是一个特征点，否则不是特征点，一旦该点是该尺度上的特征点，即认为它为该帧的一个特征点。

然后通过曲线拟合的方式对特征点进行亚像素精确定位，待特征点定位完成后，需要使用一个64维的特征点描述向量(x1,x2,...xn)描述标记每一个特征点，其中利用每个特征点周围的像素信息，计算得到一组64个的数值组成一个64维向量，来描述这个特征点。

S20，将第n帧图像的特征点与相邻的第n-1帧图像的特征点进行匹配，形成多组匹配的特征点对；

确定匹配的特征点对的方法很多，本实施例中采用单边最近领域法进行匹配：

通过步骤S10得到一帧图像的所有特征点以特征点描述向量，再确定视频序列中后一帧图像的特征点，然后进行匹配，得到多组匹配的特征点对。

计算一帧图像的某个特征点(x1,x2,...xn)与后一帧图像的某个特征点(y1,y2,...yn)之间欧氏距离

设定阈值σ，若d_min/d_secmin＜σ，则认为(x1,x2,...xn)与(y1,y2,...yn)对为一组匹配的特征点对。

S30，去除错误匹配的特征点对。

在原始视频序列中如果包含了前景运动物体的话，那么步骤S20得到的多组匹配的特征点对中夹杂着正确匹配的特征点对(也就是所需要的静止背景上的匹配的特征点对)、错误匹配的特征点对以及分布在前景运动物体上的正确匹配的特征点对(理论上该匹配的两点是同一个物体上的同一个点，但是该物体与静止背景发生了相对移动，给后面的仿射矩阵求解引入了错误，故要去除)。后两者会导致求解的仿射矩阵的误差较大，因此，为了求解得到的仿射矩阵更加精确，除掉后两者，在本实施例中引入了随机抽样一致性(RANSAC)思想。具体步骤如下：

S301，从前后两帧图像匹配的特征点对中随机抽取设定个数(例如6对)计算出仿射矩阵M。

S302，设定第一欧式距离阈值、计数器阈值和比值阈值。利用仿射矩阵M对前一帧图像的特征点进行仿射变换得到对应的变换点坐标，将该变换点与对应的下一帧的特征点进行欧式距离计算，得到第一欧式距离，如果第一欧式距离小于第一欧式距离阈值，则计数器加1，如果计数器与总匹配的特征点对的对数的比值超过比值阈值，进入步骤S303，否则回到步骤S301重新计算。

S303，设定循环阈值和第二欧氏距离阈值。

S304，利用得到的更新的矩阵M，对前一帧的特征点做仿射变换，得到对应的变换点，并计算变换点与第二帧对应的特征点计算欧氏距离，如果欧氏距离小于第二欧氏距离阈值，则将该特征点定为“内点”，否则定为“外点”，保存“内点”，该“外点”对应的特征点对即为错误匹配的特征点对，或者分布在前景运动物体上的正确匹配的特征点对，去除该“外点”对应的匹配的特征点对，从而可以获得正确匹配的特征点对；

S305，利用S304中得到的“内点”使用最小二乘法重新计算仿射矩阵M，循环计数器加1。

S306，如果循环次数小于循环阈值，重新从S304开始计算，否则退出循环，最后得到的矩阵M为所求。

S40，确定第n帧图像与第一帧图像的仿射参数(定义为第n帧图像的仿射参数)。

第n帧图像之前的相邻的两帧图像之间能够求出一组仿射参数矩阵：I_n(x)＝A_{n- 1}I_n-1(x)+B_n-1，I_n-1(x)＝A_n-2I_n-2(x)+B_n-2，I_n-2(x)＝A_n-3I_n-3(x)+B_n-3…I₂(x)＝A₁I₁(x)+B₁，然后将第一帧图像作为参考帧，将后续第N帧与第N-1帧求得的两者之间的仿射矩阵参数与前面N-2组仿射矩阵参数进行级联，从而可以得到第N帧图像相对于参考帧第一帧的图像的级联参数矩阵，第n帧图像与第一帧图像之间的级联参数的本质是第n帧图像相对参考帧第一帧的仿射矩阵参数。

通过参数级联关系可以推导出第n帧的图像与参考帧第一帧的图像的仿射关系，即求得级联参数：

其中，

A_n-1矩阵包含仿射变换的旋转和缩放因子，B_n-1矩阵包含了仿射变换的平移因子。A_n-1和B_n-1矩阵一起构成了仿射参数矩阵

a_n-1，b_n-1，c_n-1，d_n-1，e_n-1，f_n-1表示第n帧图像与第n-1帧图像之间的仿射矩阵参数；其中，n≥2；其中，对于

其中，第N帧的图像中的一个特征点P_n(x_n,y_n)与第N-1帧的图像对应的特征点P_n-1(x_n-1,y_n-1)之间的仿射变化关系为：

S50，第n帧图像与第一帧图像的级联参数进行卡尔曼滤波，得到滤波后的级联参数。

第n帧图像与第一帧图像之间的级联参数只是一系列待处理的级联参数数据，需要通过当前的级联参数数据和前一个的预测级联参数数据来预测出下一个预测值。级联参数数据源源不断的进入滤波模型，滤波后的级联参数源源不断从滤波模型出来。

Kalman滤波的过程如下：

利用第k-1帧图像的仿射参数Y_k-1(包括和中的所有参数，也就是说，利用以下卡尔滤波模型，分别对和中的每个参数进行滤波)最终滤波结果X_k-1得到第k帧图像的级联参数初始预测结果(中间变量)：

公式一：

利用第k-1帧时刻的误差方差值P_k-1得到第k帧时刻的误差方差估计值

公式二：

计算第k帧时刻的卡尔曼增益参数K_k：

公式三：

计算第k帧时刻的仿射参数最终滤波结果X_k：

计算第k帧时刻的误差方差最终值P_k：

公式五：

随着K值得变化可以连续得到后续的滤波参数值，其中，Q_k-1为第k-1帧时刻的输入参数噪声矩阵，C_k为第k帧时刻的观测矩阵，R_k为第k帧时刻的测量噪声矩阵，为第k帧时刻的状态矩阵，Q_k-1，C_k，R_k和在计算过程中设置为常量且与k无关，I为单位矩阵，k＝n。另外在计算开始时，需要对X₀，P₀等初始参数进行设置。其中，

在本实施例的卡尔曼滤波中，全面考虑到了摄像机平移、旋转以及缩放三种情况。

S60，根据所述滤波后的仿射参数对第n帧图像相对参考帧进行补偿得到滤波后的第n帧图像。

从第五步中得到kalman滤波后第n帧图像与参考帧的级联参数矩阵，该步骤就是要将原有含有噪声的第n帧图像补偿到滤波稳定后的位置，从而得到滤波后的第n帧图像。

对和进行滤波分别得到和且

通过如下式子对第n帧图像进行补偿：

其中，表示补偿后的第n帧图像。

利用本实施例的方法对车载、舰载、机载抖动视频进行处理，处理后的视频峰值性噪比有大幅度的提升。图9为稳定前三帧之间的效果，图10为稳定后三帧间效果，图11为稳定前一帧(before)与稳定后一帧(after)之间的差值图对比，图12为视频序列稳定前后峰值信噪比图。

从图9为有振动的不稳定序列，相邻三帧(Frame：K-1、Frame：K、Frame：K+1)晃动很大，通过算法处理之后，外界噪声量被去除而保留了自身摄像机的一个扫描运动，表现在图10中三帧连续图像处于稳定状态。通过图像差值法可以明显看到稳定的实际效果如图11所示。图12为129帧图像序列处理前后的峰值信噪比。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (6)

1.一种视频图像的稳定方法，其特征是，包括如下步骤：

S10，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；

S20，将第n帧图像的特征点与相邻的第n-1帧图像的特征点进行匹配，形成多组匹配的特征点对；

S30，分别确定第n帧图像之前的相邻的第m帧图像与第m-1帧图像之间的仿射参数，得到n-1组仿射参数，然后对n-1组仿射参数进行级联，得到第n帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于n的自然数；

S40，对第n帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；

S50，根据所述滤波后的级联参数对第n帧图像参考第一帧图像进行补偿得到滤波后的第n帧图像；

在所述步骤S30中：通过如下式子确定第n帧图像与第一帧图像之间的级联参数：

$I_n\left(x\right)=A_{n-1}{I}_{n-1}\left(x\right)+B_{n-1}=...={\stackrel{\‾}{A}}_{n-1}{I}_1\left(x\right)+{\stackrel{\‾}{B}}_{n-1};$

其中，n≥2；

其中，对于n≥0，

$\begin{array}{cc}{A}_{n-1}=\left[\begin{array}{cc}{a}_{n-1}& b_{n-1}\\ c_{n-1}& d_{n-1}\end{array}\right],& B_{n-1}=\left[\begin{array}{c}{e}_{n-1}\\ f_{n-1}\end{array}\right];\end{array}$

$P_n=M_{n-1}*P_{n-1}=\left[\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{n-1}& b_{n-1}& e_{n-1}\\ c_{n-1}& d_{n-1}& f_{n-1}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{n-1}\\ y_{n-1}\\ 1\end{array}\right];$

其中，I_n(x)表示第n帧图像，a_n-1，b_n-1，c_n-1，d_n-1，e_n-1，f_n-1表示第n帧图像与第n-1帧图像之间的仿射参数，A_n-1和B_n-1表示第n帧图像与第n-1帧图像之间的仿射参数矩阵，和表示第n帧图像与第一帧图像之间的级联参数矩阵，I₁(x)表示第一帧图像，P_n表示第n帧图像的一个特征点，P_n-1表示第n-1帧图像的与所述第n帧图像的一个特征点匹配的特征点；

在所述步骤S40中，对和进行卡尔曼滤波分别得到和且

在所述步骤S50中，通过如下式子对第n帧图像参考第一帧图像进行补偿：

其中，表示补偿后的第n帧图像。

2.如权利要求1所述的视频图像的稳定方法，其特征是，还包括如下步骤，通过如下卡尔滤波模型对所述级联参数进行滤波：

利用第k-1帧图像与第一帧图像的级联参数Y_k-1的最终滤波结果X_k-1得到第k帧图像的级联参数初始预测结果

$X_{k-1}^k={\mathrm{\φ}}_{k-1}^k{X}_{k-1};$

利用第k-1帧时刻的误差方差值P_k-1得到第k帧时刻的误差方差估计值

$P_{k-1}^k={\mathrm{\φ}}_{k-1}^k{P}_{k-1}{\left({\mathrm{\φ}}_{k-1}^k\right)}^T+Q_{k-1};$

计算第k帧时刻的卡尔曼增益参数K_k，

$K_k=P_{k-1}^k{\left(C_k\right)}^T{(C_k{P}_{k-1}^k{\left(C_k\right)}^T+R_k)}^{-1};$

计算第k帧时刻的仿射参数最终滤波结果X_k：

$\begin{array}{cc}{X}_k=X_{k-1}^k+K_k(Y_k-Y_{k-1}^k);& Y_{k-1}^k=C_k{X}_{k-1}^k;\end{array}$

计算第k帧时刻的误差方差最终值P_k：

$P_k=(I-K_k{C}_k)P_{k-1}^k;$

其中，Q_k-1为第k-1帧时刻的输入参数噪声矩阵，C_k为第k帧图像的观测矩阵，R_k为第k帧时刻的测量噪声矩阵，为第k帧时刻的状态矩阵，Q_k-1，C_k，R_k和在计算过程中设置为常量且与k无关，I为单位矩阵；k＝n，Y_k-1表示和中的参数。

3.如权利要求2所述的视频图像的稳定方法，其特征是，

${\mathrm{\φ}}_{k-1}^k=\left[\begin{array}{cccccccccc}1& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1& 1\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right].$

4.一种视频图像的稳定装置，其特征是，包括：

第一处理单元，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；

第二处理单元，将第n帧图像的特征点与相邻的第n-1帧图像的特征点进行匹配，形成多组匹配的特征点对；

第三处理单元，用于分别确定第n帧图像之前的相邻的第m帧图像与第m-1帧图像之间的仿射参数，得到n-1组仿射参数，然后对n-1组仿射参数进行级联，得到第n帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于n的自然数；

第四处理单元，用于对第n帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；

第五处理单元，用于根据所述滤波后的级联参数对第n帧图像参考第一帧图像进行补偿得到滤波后的第n帧图像；

所述第三处理单元通过如下式子确定第n帧图像与第一帧图像之间的级联参数：

$I_n\left(x\right)=A_{n-1}{I}_{n-1}\left(x\right)+B_{n-1}=...={\stackrel{\‾}{A}}_{n-1}{I}_1\left(x\right)+{\stackrel{\‾}{B}}_{n-1};$

其中，n≥2；

其中，对于n≥0，

$\begin{array}{cc}{A}_{n-1}=\left[\begin{array}{cc}{a}_{n-1}& b_{n-1}\\ c_{n-1}& d_{n-1}\end{array}\right],& B_{n-1}=\left[\begin{array}{c}{e}_{n-1}\\ f_{n-1}\end{array}\right];\end{array}$

$P_n=M_{n-1}*P_{n-1}=\left[\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{n-1}& b_{n-1}& e_{n-1}\\ c_{n-1}& d_{n-1}& f_{n-1}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{n-1}\\ y_{n-1}\\ 1\end{array}\right];$

其中，I_n(x)表示第n帧图像，a_n-1，b_n-1，c_n-1，d_n-1，e_n-1，f_n-1表示第n帧图像与第n-1帧图像之间的仿射参数，A_n-1和B_n-1表示第n帧图像与第n-1帧图像之间的仿射参数矩阵，和表示第n帧图像与第一帧图像之间的级联参数矩阵，I₁(x)表示第一帧图像，P_n表示第n帧图像的一个特征点，P_n-1表示第n-1帧图像的与所述第n帧图像的一个特征点匹配的特征点；

所述第四处理单元对和进行卡尔曼滤波分别得到和且

所述第五处理单元通过如下式子对第n帧图像参考第一帧图像进行补偿：

其中，表示补偿后的第n帧图像。

5.如权利要求4所述的视频图像的稳定装置，其特征是：还包括第六处理单元，用于通过如下卡尔滤波模型对所述级联参数进行滤波：

利用第k-1帧图像与第一帧图像的级联参数Y_k-1的最终滤波结果X_k-1得到第k帧图像的级联参数初始预测结果

$X_{k-1}^k={\mathrm{\φ}}_{k-1}^k{X}_{k-1};$

利用第k-1帧时刻的误差方差值P_k-1得到第k帧时刻的误差方差估计值

$P_{k-1}^k={\mathrm{\φ}}_{k-1}^k{P}_{k-1}{\left({\mathrm{\φ}}_{k-1}^k\right)}^T+Q_{k-1};$

计算第k帧时刻的卡尔曼增益参数K_k，

$K_k=P_{k-1}^k{\left(C_k\right)}^T{(C_k{P}_{k-1}^k{\left(C_k\right)}^T+R_k)}^{-1};$

计算第k帧时刻的仿射参数最终滤波结果X_k：

$\begin{array}{cc}{X}_k=X_{k-1}^k+K_k(Y_k-Y_{k-1}^k);& Y_{k-1}^k=C_k{X}_{k-1}^k;\end{array}$

计算第k帧时刻的误差方差最终值P_k：

$P_k=(I-K_k{C}_k)P_{k-1}^k;$

其中，Q_k-1为第k-1帧时刻的输入参数噪声矩阵，C_k为第k帧图像的观测矩阵，R_k为第k帧时刻的测量噪声矩阵，为第k帧时刻的状态矩阵，Q_k-1，C_k，R_k和在计算过程中设置为常量且与k无关，I为单位矩阵；k＝n，Y_k-1表示 和中的参数。

6.如权利要求5所述的视频图像的稳定装置，其特征是：

${\mathrm{\φ}}_{k-1}^k=\left[\begin{array}{cccccccccc}1& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1& 1\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right].$