CN102780846A - 一种基于惯导信息的电子稳像方法 - Google Patents

Abstract

本发明提出一种基于惯导信息的电子稳像方法，首先对视频的每幅图像提取特征点，然后利用特征点匹配算法对相邻的两帧进行全局运动估计，如果全局运动估计出现较大误差，将利用惯导系统所获得的运动信息对全局运动进行估计，弥补由于单纯利用图像进行全局运动估计的误差，全局运动估计的模型采用仿射变换模型，然后结合图像和惯导信息对模型中进行运动滤波，区分出摄像机的有意运动和抖动分量，并且求出由于抖动引入的旋转分量，再利用所得到的抖动和旋转分量对原始视频图像进行补偿，获得稳定的视频，以及结合图像信息和惯导预测运动信息对视频的每帧图像进行图像复原处理，提高图像质量。该方法无需复杂硬件，提高了运算精度，电子稳像效果好。

Description

一种基于惯导信息的电子稳像方法

技术领域

本发明涉及数字信号处理领域，具体涉及一种基于惯导信息的电子稳像方法。

背景技术

摄像机在拍摄过程中，如果摄像机未固定在稳定的三角架或其他固定装置上，所拍摄的图像将会出现抖动现象。例如：在飞机航行过程中，由于受到气流的影响而颠簸，机载的可见光或者红外传感器所拍摄图像出现抖动现象；在道路交通监测中，由于易受大风雨雪等自然条件影响，摄像头的晃动也将导致所拍摄图像也非常不稳定；手持相机拍摄的过程中，由于人手的抖动导致所拍摄图像出现晃动都将影响所拍摄视频的观看质量。由于这种随机抖动导致图像中所要关注的目标在显示窗口内来回晃动，这会使观察者产生疲劳感，从而导致误判和漏判，也会给自动化系统对有效信息的提取和应用带来困难。

由此，稳像技术对于提高摄像机的拍摄质量起着至关重要的作用。传统的稳像方式有机械稳像、光学稳像、还有电子稳像。前两种稳像方式都需要借助复杂的硬件实现，机械稳像对大幅度剧烈运动可起到较好稳像效果，但是由于设备的摩擦等因素，精度不高，稳定效果还需要进一步处理。而光学稳像技术只能补偿轻微的抖动，而且只有在平行光下才能达到较好的效果，应用场合受到极大地限制。电子稳像技术以其不依赖复杂的外部硬件，应用灵活广泛而备受关注。但是，传统的电子稳像也存在很大的技术瓶颈，传统电子稳像的方法都是单纯利用图像信息对所拍摄的视频图像进行稳像处理，但是由于场景过于复杂，则会导致稳像失效。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的目的在于提出一种附加设备简单、运算精度高的电子稳像方法。

根据本发明实施例的基于惯导信息的电子稳像方法，包括以下步骤：A、提取视频中的每帧图像的特征点；B、对相邻两帧图像的所述特征点进行匹配，并求取匹配成功的特征点对的运动信息；C、将所述匹配成功的特征点对代入全局运动模型并进行拟合，并判断拟合程度是否达到预定阈值，若达到预定阈值则直接进入到步骤E，若未达到预定阈值则进入到步骤D；D、根据惯导测量参数计算惯导预测运动信息，参照所述惯导预测运动信息对所述匹配成功的特征点对进行校验，提取出符合惯导预测运动信息的特征点对；E、将所述符合惯导预测运动信息的特征点对的运动信息与惯导预测运动信息进行融合，并进行运动滤波，获得摄像机的抖动位移分量；F、利用相邻两帧图像的所述特征点对的坐标对应关系，求取相邻两帧旋转分量，并对视频进行运动补偿；以及G、结合所述特征点对的运动信息和惯导预测运动信息对视频的每帧图像进行图像复原处理，提高图像质量。

根据本发明实施例的基于惯导信息的电子稳像方法无需复杂的硬件，提高了运算精度，电子稳像效果好，可适用于解决室内、室外灯移动场景下摄像机或其他摄像设备的不平稳造成的视频图像序列抖动模糊的问题，以及对帧内图像模糊也有一定改善。

另外，根据本发明上述的基于惯导信息的电子稳像方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，采用尺度旋转不变特征变换方法，提取视频中的每帧图像的特征点。

在本发明的一个实施例中，所述步骤B进一步包括：B1.提取相邻两帧图像，当前帧和前一帧分别记为f_c和f_p；B2.对所述f_c和f_p中的特征点进行匹配，匹配成功的特征点对的记为Pair_i，其中i表示匹配的特征点对的序号，i=1,2,…,m，Pair_i包含当前帧的匹配特征点F_ci和前一帧的匹配特征点F_pi；以及B3.计算匹配成功的特征点对Pair_i的运动方向D_i，其中其中下标x,y表示图像上的x和y坐标。

在本发明的一个实施例中，采用随机采样一致性方法，将所述匹配成功的特征点代入全局运动模型并进行拟合，其中，所述全局运动模型满足仿射变换。

在本发明的一个实施例中，所述步骤D进一步包括：D1.根据加速度计测得的x轴加速度a_x、、y轴加速度a_y和z轴加速度a_z，进行积分运算，获得x轴方向的运动位移d_x、y轴方向的运动位移d_y和z轴方向的运动位移d_z，并且根据陀螺仪测得的旋转角速度ω_p、俯仰角速度ω_t和滚转角速度ω_r，进行积分计算，获得旋转角θ_p、俯仰角θ_t和滚转角θ_r；D2.根据所述d_x和d_y计算惯导预测运动方向D_g，其中D3.参照所述D_g对所述匹配成功的特征点对Pair_i进行校验，提取符合所述惯导预测运动信息的特征点对，即筛选出满足‖D_g-D_i‖＜ε条件的Pair_i，记为Couple_j，其中j表示符合惯导预测运动信息的特征点对的序号，j=1,2,…,m，ε为预设阈值，且2°＜ε＜5°。

在本发明的一个实施例中，所述步骤E进一步包括：E1.对所有的所述符合惯导预测运动信息的特征点对Couple_j的x和y方向位移求平均值，得到全局平均位移E2.对所述全局平均位移

进行卡尔曼滤波，得到平滑运动位移(kd_x,kd_y)；E3.对所述平滑运动位移(kd_x,kd_y)进行求导并归一化，得到基于图像的沿x和y方向的移动速度(vt_x,vt_y)；E4.对所述加速度计测得的x轴加速度a_x和y轴加速度a_y积分求速度并归一化，得到基于惯导信息的沿x和y方向的移动速度(v_x,v_y)；E5.对所述(vt_x,vt_y)和所述(v_x,v_y)进行加权平均，得到平稳全局速度信息(vf_x,vf_y)；E6.对所述平稳全局速度信息(vf_x,vf_y)对时间进行积分，得到摄像机的有意运动位移(T_x,T_y)；以及E7.计算所述全局平均位移

和所述有意运动位移(T_x,T_y)的差值，得到无意抖动位移(N_x,N_y)。

在本发明的一个实施例中，所述步骤F进一步包括：F1.在所述符合惯导预测运动信息的特征点对Couple_j，j=1,2,…,m带入仿射变换矩阵中，求取旋转矩阵R；以及F2.根据所述旋转矩阵R和所述无意抖动位移(N_x,N_y)，对所述当前帧f_c进行变换补偿，得到补偿后的前一帧图像 $f_p^c={\mathrm{Rf}}_c+{(N_x,N_y)}^T.$

在本发明的一个实施例中，所述步骤G进一步包括：G1.利用所述相邻帧的全局平均位移

根据运动方向和像素的偏移大小初步估计模糊核Kernel，并对退化的模糊图像进行恢复；以及G2.利用图像的归一化的梯度幅值作为图像质量的评价函数来衡量所恢复的图像的锐化程度，依据此准则使模糊核函数向真值逐步迭代收敛，当G大于预定阈值，图像无需恢复，其中，所述评价函数的计算公式为：

其中N,M表示图像的长和宽。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的基于惯导信息的电子稳像方法的流程图；

图2为本发明方法中涉及的相邻帧图像的匹配特征点的示意图；

图3为本发明方法中涉及的图像全局运动信息图；以及

图4为本发明方法中的对某一帧图像锐化的评价函数曲线图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明的给予惯导的电子稳像方法的核心原理在于：首先对视频序列中的每幅图像依次进行特征点提取，然后利用特征点匹配算法对视频序列相邻的两帧进行全局运动估计，在此阶段，如果全局运动估计出现较大误差，将直接利用惯导系统中加速度计和陀螺仪所获得的运动信息对全局运动进行估计，弥补由于全局运动不准确所引入的误差。全局运动估计的模型采用仿射变换模型，然后结合图像和惯导信息对模型中进行运动滤波，区分出摄像机的有意运动和抖动分量，并且求出由于抖动引入的旋转分量。再利用所得到的抖动和旋转分量对原始视频图像进行补偿，获得稳定的视频。同样由于抖动现象的存在，当抖动频率大于帧频率时，还会导致所拍摄的视频中存在帧内运动模糊现象，此时可结合惯导系统所获得的运动信息，对图像进行运动补偿，得到更为清晰的图像。

图1为本发明的基于惯导信息的电子稳像方法的流程图。如图1，包括以下步骤：

步骤S101.提取视频中的每帧图像的特征点。

具体地，可采用采用尺度旋转不变特征变换方法（SIFT）提取视频中每帧图像的特征点。

步骤S102.对相邻两帧图像的特征点进行匹配，并求取匹配成功的特征点对的运动信息。

具体地：首先，提取相邻两帧图像，将当前帧和前一帧分别记为f_c和f_p。

其次，对f_c和f_p中的特征点进行匹配，匹配成功的特征点对的记为Pair_i，其中i表示匹配的特征点对的序号，i=1,2,…,m，Pair_i包含当前帧的匹配特征点F_ci和前一帧的匹配特征点F_pi。

图2示出了相邻两帧图像匹配特征点的示意图。

再次，计算匹配成功的特征点对Pair_i的运动方向D_i，其中

其中下标x，y表示图像上的x和y坐标。该运动方向D_i在后续步骤中，可用于和惯导预测运动方向进行比较，以筛选出符合惯导运动信息的匹配特征点对。

步骤S103.将匹配成功的特征点对代入全局运动模型并进行拟合，并判断拟合程度是否达到预定阈值，若达到预定阈值则直接进入到步骤S105，若未达到预定阈值则进入到步骤S104。

具体地，可采用随机采样一致性方法，将匹配成功的特征点代入全局运动模型并进行拟合，其中，全局运动模型满足仿射变换。当拟合程度达到预定阈值T(T一般取值99％)时，则认为基于图像的全局运动估计是有效的，可以直接进入步骤S105；若所拟合的模型准确率低于该阈值，则认为基于图像的全局运动估计是无效的，需要引入惯导信息进行进一步计算处理，即进入步骤S104。

步骤S104.根据惯导测量参数计算惯导预测运动信息，参照惯导预测运动信息对匹配成功的特征点对进行校验，提取出符合惯导预测运动信息的特征点对。

一般地，惯导系统的仪器通常包括加速度计和陀螺仪。

首先，根据加速度计测得的x轴加速度a_x、y轴加速度a_y和z轴加速度a_z，进行积分运算，获得x轴方向的运动位移d_x、y轴方向的运动位移d_y和z轴方向的运动位移d_z，并且根据陀螺仪测得的旋转角速度ω_p、俯仰角速度ω_t和滚转角速度ω_r，进行积分计算，获得旋转角θ_p、俯仰角θ_t和滚转角θ_r。即：

$\left\{\begin{array}{c}{d}_x={\∫a}_x\mathrm{tdt}\\ d_y={\∫a}_y\mathrm{tdt}\\ d_z={\∫a}_z\mathrm{tdt}\end{array}\right.$ 以及 $\left\{\begin{array}{c}{\mathrm{\θ}}_p={\∫\mathrm{\ω}}_p\mathrm{dt}\\ {\mathrm{\θ}}_t={\∫\mathrm{\ω}}_t\mathrm{dt}\\ {\mathrm{\θ}}_r={\∫\mathrm{\ω}}_r\mathrm{dt}\end{array}\right.$

一般情况下，由于摄像机的抖动所引入的位移偏差主要来自于d_x和d_y，而垂直于成像面方向的d_z变化相对于摄像机到景物之间的距离相对较小，可以忽略不计。以及，一般情况下，假定旋转角θ_p和俯仰角θ_t的变化不会超过5°，如果超过5°则应考虑摄像机是有意做旋转或俯仰观察。因此，由于抖动所引入的角变化主要来自翻滚角θ_r。由此，所需估计的摄像机全局运动模型中，主要由平行于成像的沿水平和竖直方向的位移变化d_x和d_y，沿摄像机主光轴方向的滚转角θ_r所决定。即d_x、d_y和θ_r即可表示图像的全局运动信息。用如图3所示，为本发明的方法中的一组图像全局运动信息图，从上到下的六条曲线分别示出了x方向位移、x方向加速度、y方向位移、y方向加速度、旋转角度和旋转角速度的信息。其次，根据d_x和d_y计算惯导预测运动方向D_g，其中

再次，参照D_g对匹配成功的特征点对Pair_i进行校验，提取符合惯导预测运动信息的特征点对，即筛选出满足||D_g-D_i‖＜ε条件的Pair_i，记为Couple_j，其中j表示符合惯导预测运动信息的特征点对的序号，j=1,2,…,m，ε为预设阈值，且2°＜ε＜5°。

步骤S105.将符合惯导预测运动信息的特征点对的运动信息与惯导预测运动信息进行融合，并进行运动滤波，获得摄像机的抖动位移分量。该步骤可详细过程如下：

(1)对所有的所述符合惯导预测运动信息的特征点对Couple_j的x和y方向位移求平均值，得到全局平均位移

(2)对所述全局平均位移

进行卡尔曼滤波，得到平滑运动位移(kd_x,kd_y)。

(3)对所述平滑运动位移(kd_x,kd_y)进行求导并归一化，得到基于图像的沿x和y方向的移动速度(vt_x,vt_y)。该过程的计算公式为：

$\left\{\begin{array}{c}{\mathrm{vt}}_x\text{=}\frac{\frac{\∂{\mathrm{kd}}_x}{\∂x}}{{\left|\right|\frac{{\∂\mathrm{kd}}_x}{\∂x}\left|\right|}_2}\\ {\mathrm{vt}}_y=\frac{\frac{\∂{\mathrm{kd}}_y}{\∂x}}{{\left|\right|\frac{{\∂\mathrm{kd}}_y}{\∂x}\left|\right|}_2}\end{array}\right.$

(4)对所述加速度计测得的x轴加速度a_x和y轴加速度a_y积分求速度并归一化，得到基于惯导信息的沿x和y方向的移动速度(v_x,v_y)。该过程的计算公式为：

$\left\{\begin{array}{c}{v}_x=\frac{\∫a_x\mathrm{dt}}{{\left|\right|\∫a_x\mathrm{dt}\left|\right|}_2}\\ v_y=\frac{\∫a_y\mathrm{dt}}{{\left|\right|{\∫a}_y\mathrm{dt}\left|\right|}_2}\end{array}\right.$

(5)对所述基于图像的沿x和y方向的移动速度(vt_x,vt_y)和所述基于惯导信息的沿x和y方向的移动速度(v_x,v_y)进行加权平均，得到平稳全局速度信息(v_fx,v_fy)。该过程的计算公式为：

$\left\{\begin{array}{c}{v}_{\mathrm{fx}}={\mathrm{\αv}}_x+{\mathrm{\βvt}}_x\\ v_{\mathrm{fy}}={\mathrm{\αv}}_x+{\mathrm{\βvt}}_x\\ \mathrm{\α}+\mathrm{\β}=1\end{array}\right.$

其中，α,β的选取取决于陀螺仪和图像中所测的速度的精度的权重，简单的可以取 $\mathrm{\α}=\frac{1}{2},$ $\mathrm{\β}=\frac{1}{2}.$

(6)对所述平稳全局速度信息(v_fx,v_fy)对时间进行积分，得到摄像机的有意运动位移(T_x,T_y)。该过程的计算公式为： $\left\{\begin{array}{c}{T}_x={\∫v}_{\mathrm{fx}}\mathrm{dt}\\ T_y={\∫v}_{\mathrm{fy}}\mathrm{dt}\end{array}\right.$

(7)计算所述全局平均位移

和所述有意运动位移(T_x,T_y)的差值，得到无意抖动位移(N_x,N_y)。该过程的计算公式为： $\left\{\begin{array}{c}{N}_x=d_x-T_x\\ N_y=d_y-T_y\end{array}\right.$

步骤S106.利用相邻两帧图像的所述特征点对的坐标对应关系，求取相邻两帧旋转分量，并对视频进行运动补偿。具体地：

首先，在所述符合惯导预测运动信息的特征点对Couple_j，j=1,2,…,m带入仿射变换矩阵中，求取旋转矩阵R。一般来说，步骤S104所获得的特征点对数都会大于3，即m>3。因此，可令 $H=\left[\begin{array}{ccc}s\cos \mathrm{\θ}& -s\sin & d_x\\ s\sin \mathrm{\θ}& s\cos \mathrm{\θ}& d_y\\ 0& 0& 1\end{array}\right],$ 其中s是整个图像的缩放系数，如果摄像机没有缩放变换，s=1。定义一对特征点Couple_j中，当前帧中的特征点齐次坐标为X_c，前一帧的特征点齐次坐标为X_p，因此根据仿射变换关系，则有X_p＝HX_c，即X_p×HX_c＝0，将矩阵H写成向量形式h=vec(H)，利用直接线性变换(DLT)算法，可以直接求取h，从而得出旋转矩阵 $R=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]$ 即可将当前帧补偿旋转引起的抖动。由此，可以将当前帧f_c进行仿射变换补偿到前一帧f_p，其变换如下：

其中N=(N_x,N_y)^T。

其次，根据所述旋转矩阵R和所述无意抖动位移(N_x,N_y)，对所述当前帧f_c进行变换补偿，得到补偿后的前一帧图像

步骤S107.结合所述特征点对的运动信息和惯导预测运动信息对视频的每帧图像进行图像复原处理，提高图像质量。具体地：

首先，利用所述相邻帧的全局平均位移

根据运动方向和像素的偏移大小来初步估计模糊核Kernel，并对退化的模糊图像进行恢复；然后再利用图像的归一化的梯度幅值作为图像质量的评价函数来衡量所恢复的图像的锐化程度，其中，所述评价函数的计算公式为：

其中N,M表示图像的长和宽，并依据此评价函数使模糊核函数向

真值逐步迭代收敛。若当G大于预定阈值（该预定阈值通常取0.1），图像无需恢复，从而提

高算法效率。若当G小于等于预定阈值时，需找到G的全局最大值的点，则可认为在该处的锐化程度最好。由此可得到较为平滑的图像。

在实际应用中，我们可以任取一帧图像，并且基本上最大偏移一般不超过10个像素，以全局平均位移

作为初值进行计算，直到达到最大偏移量时运算结束，从而利用评价函数G来进行度量所恢复图像的锐化程度，并在整个G的函数曲线上进行全局搜索得到全局的最大值点，由此可认为图像恢复已完成，绘制曲线如图4所示，其中，a点获得最大值。

根据本发明实施例的基于惯导信息的电子稳像方法无需复杂的硬件，提高了运算精度，稳像效果好。此方法不仅可简化原有电子稳像算法需要逐帧进行块匹配或角点匹配运算量大的缺陷，同时利用惯导的测量信息，还可以简化全局运动估计，并且在图像中出现遮挡或者全局运动一致性不好的情况下，可以利用惯导提供辅助信息，避免了传统电子稳像再出现全局运动不具有一致性时，稳像容易失败等问题。同时，在基于惯导测量的指导下，能够更好的并且自适应的将相机运动的有意运动和无意运动区分开来。该方法可适用于解决室内、室外灯移动场景下摄像机或其他摄像设备的不平稳造成的视频图像序列抖动模糊的问题，以及对帧内图像模糊也有一定改善。

需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.本发明提出一种基于惯导信息的电子稳像方法，其特征在于，包括以下步骤：

A、提取视频中的每帧图像的特征点；

B、对相邻两帧图像的所述特征点进行匹配，并求取匹配成功的特征点对的运动信息；

C、将所述匹配成功的特征点对代入全局运动模型并进行拟合，并判断拟合程度是否达到预定阈值，若达到预定阈值则直接进入到步骤E，若未达到预定阈值则进入到步骤D；

D、根据惯导测量参数计算惯导预测运动信息，参照所述惯导预测运动信息对所述匹配成功的特征点对进行校验，提取出符合惯导预测运动信息的特征点对；

E、将所述符合惯导预测运动信息的特征点对的运动信息与惯导预测运动信息进行融合，并进行运动滤波，获得摄像机的抖动位移分量；

F、利用相邻两帧图像的所述特征点对的坐标对应关系，求取相邻两帧旋转分量，并对视频进行运动补偿；以及

G、结合所述特征点对的运动信息和惯导预测运动信息对视频的每帧图像进行图像复原处理，提高图像质量。

2.如权利要求1所述的基于惯导信息的电子稳像方法，其特征在于，采用尺度旋转不变特征变换方法，提取视频中的每帧图像的特征点。

3.如权利要求1所述的基于惯导信息的电子稳像方法，其特征在于，所述步骤B进一步包括：

B1.提取相邻两帧图像，将当前帧和前一帧分别记为f_c和f_p；

B2.对所述f_c和f_p中的特征点进行匹配，匹配成功的特征点对的记为Pair_i，其中i表示匹配的特征点对的序号，i=1,2,…,m，Pair_i包含当前帧的匹配特征点F_ci和前一帧的匹配特征点F_pi；

以及

B3.计算匹配成功的特征点对Pair_i的运动方向D_i，其中

其中下标x,y表示图像上的x和y坐标。

4.如权利要求1所述的基于惯导信息的电子稳像方法，其特征在于，采用随机采样一致性方法，将所述匹配成功的特征点代入全局运动模型并进行拟合，其中，所述全局运动模型满足仿射变换。

5.如权利要求1-4中任一项所述的基于惯导信息的电子稳像方法，其特征在于，所述步骤D进一步包括：

D1.根据加速度计测得的x轴加速度a_x、y轴加速度a_y和z轴加速度a_z，进行积分运算，获得x轴方向的运动位移d_x、y轴方向的运动位移d_y和z轴方向的运动位移d_z，并且根据陀螺仪测得的旋转角速度ω_p、俯仰角速度ω_t和滚转角速度ω_r，进行积分计算，获得旋转角θ_p、俯仰角θ_t和滚转角θ_r；

D2.根据所述d_x和d_y计算惯导预测运动方向D_g，其中

D3.参照所述D_g对所述匹配成功的特征点对Pair_i进行校验，提取符合所述惯导预测运动信息的特征点对，即筛选出满足‖D_g-D_i‖＜ε条件的Pair_i，记为Couple_j，其中j表示符合惯导预测运动信息的特征点对的序号，j=1,2,…,m，ε为预设阈值，且2°＜ε＜5°。

6.如权利要求5所述的基于惯导信息的电子稳像方法，其特征在于，所述步骤E进一步包括：

E1.对所有的所述符合惯导预测运动信息的特征点对Couple_j的x和y方向位移求平均值，得到全局平均位移

E2.对所述全局平均位移

进行卡尔曼滤波，得到平滑运动位移(kd_x,kd_y)；

E3.对所述平滑运动位移(kd_x,kd_y)进行求导并归一化，得到基于图像的沿x和y方向的移动速度(vt_x,vt_y)；

E4.对所述加速度计测得的x轴加速度a_x和y轴加速度a_y积分求速度并归一化，得到基于惯导信息的沿x和y方向的移动速度(v_x,v_y)；

E5.对所述(vt_x,vt_y)和所述(v_x,v_y)进行加权平均，得到平稳全局速度信息(v_fx,v_fy)；

E6.对所述平稳全局速度信息(v_fx,v_fy)对时间进行积分，得到摄像机的有意运动位移(T_x,T_y)；以及

E7.计算所述全局平均位移

和所述有意运动位移(T_x,T_y)的差值，得到无意抖动位移(N_x,N_y)。

7.如权利要求6所述的基于惯导信息的电子稳像方法，其特征在于，所述步骤F进一步包括：

F1.在所述符合惯导预测运动信息的特征点对Couple_j，j=1,2,…,m带入仿射变换矩阵中，求取旋转矩阵R；以及

F2.根据所述旋转矩阵R和所述无意抖动位移(N_x,N_y)，对所述当前帧f_c进行变换补偿，得到补偿后的前一帧图像

8.如权利要求7所述的基于惯导信息的电子稳像方法，其特征在于，所述步骤G进一步包括：

G1.利用所述相邻帧的全局平均位移

根据运动方向和像素的偏移大小初步估计模糊核Kernel，并对退化的模糊图像进行恢复；以及

G2.利用图像的归一化的梯度幅值作为图像质量的评价函数来衡量所恢复的图像的锐化程度，依据此准则使模糊核函数向真值逐步迭代收敛，当G大于预定阈值，图像无需恢复，其中，所述评价函数的计算公式为：

其中N,M表示图像的长和宽。

Images