CN103841297A - 一种适用于合成运动摄像载体的电子稳像方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种适用于合成运动摄像载体的电子稳像方法。本发明的方法包括：建立运动模型；计算全局运动参数；运动补偿；图像拼接融合。本发明解决了现有技术中电子稳像方法难以对进行随机抖动和扫描拍摄引起的合成运动的摄像载体所获取的动态图像序列进行稳像处理的技术问题；针对进行合成运动的摄像载体所获取的动态图像序列帧间运动为平移、旋转和缩放混合的复杂运动的特点，矫正相机在水平、垂直、旋转多个方向上的抖动，有效进行电子稳像处理。

Description

一种适用于合成运动摄像载体的电子稳像方法

技术领域

本发明属于图像处理技术领域，具体涉及一种适用于合成运动摄像载体的电子稳像方法。

背景技术

在一些恶劣的环境中，当使用摄像机对景物、场景、目标等进行拍摄、监视时，由于摄像机所处的工作平台会收到环境因素和载体运动的影响，会发生抖动、不能稳定拍摄，从而导致成像目标在图像序列中的位置发生随机性跳跃变化。这种视频序列的随机抖动使人观察疲劳并影响跟踪精度，甚至使跟踪失效，影响后续的图像处理效果。因此，需要对摄像系统进行稳像处理。

电子稳像是应用计算机数字图像处理和电子技术的方法来直接对随机运动或抖动的摄像机所获取的动态图像序列进行修改、重排，确定图像序列的帧间偏移并进行补偿，以使动态图像在监视器上能平稳显示的一种视频稳定技术。电子稳像具有稳定精度高、体积小、重量轻、功耗低以及能实时处理等特点，在国外已应用于摄影、航空侦察、跟踪和监视等各种任务中心。

电子稳像系统主要由运动估计和运动补偿两部分组成。运动估计是通过算法估算出图像序列运动偏移量的过程。运动补偿是根据运动估计所得到的偏移量确定图像的抖动，并根据抖动的大小和方向将图像上的像素作等量的反方向移动，实现图像的行、列序重组，从而实现图像序列稳定的过程。

目前应用于电子稳像的配准方法以块匹配算法和灰度投影法居多，而大部分算法针对拍摄载体做单一的平移或旋转运动。对于摄像机做复杂运动的拍摄应用场景，如机载弹载成像系统和舰船侦查系统，其成像系统的特点为作用距离远、焦距长，而且载体不仅平移振动剧烈，且存在旋转运动。此时，摄像机的随机抖动和扫描拍摄引起的合成运动，表现为帧间的平移、旋转和缩放混合的复杂运动，现有技术中的电子稳像方法难以对进行上述合成运动的摄像机获取的动态图像序列运动进行稳像处理。

发明内容

本发明需要解决的技术问题为：现有技术中的电子稳像方法难以对进行随机抖动和扫描拍摄引起的合成运动的摄像载体所获取的动态图像序列进行稳像处理。

本发明的技术方案如下所述：

一种适用于合成运动摄像载体的电子稳像方法，包括以下步骤：步骤一、建立运动模型；步骤二、计算全局运动参数；步骤三、运动补偿；步骤四、图像拼接融合。

步骤一具体包括以下步骤：

采用仿射模型描述两帧图像间的对应关系：

$\left(\begin{array}{c}{x}_k\\ y_k\\ 1\end{array}\right)=M\left(\begin{array}{c}{x}_k^{\′}\\ y_k^{\′}\\ 1\end{array}\right),$ $M=\left(\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 0\end{array}\right)---\left(1\right)$

其中(x_k,y_k)和(x′_k,y′_k)表示两帧图像中对应的像素坐标；仿射矩阵M描述缩放、旋转、水平位移和竖直位移的变化。

步骤二具体包括以下步骤：

使用Harris特征点提取算法和金字塔光流法得到当前帧I_k和前一帧I_k-1中一组对应的匹配点

记从当前帧I_k和前一帧I_k-1的仿射变换参数为

根据步骤一中式（1）所示两帧间的映射关系构造线性方程组(2)：

$\left(\begin{array}{cccccc}{x}_1^{\′}& y_1^{\′}& 1& 0& 0& 0\\ 0& 0& 0& x_1^{\′}& y_1^{\′}& 1\\ & \·& & & \·& \\ & \·& & & \·& \\ & \·& & & \·& \\ x_n^{\′}& y_n^{\′}& 1& 0& 0& 0\\ 0& 0& 0& x_n^{\′}& y_n^{\′}& 1\end{array}\right)\tilde{m}=\left(\begin{array}{c}{x}_1\\ y_1\\ \·\\ \·\\ \·\\ x_n\\ y_n\end{array}\right)---\left(2\right)$

得到从I_k-1到I_k的仿射变换矩阵M_k(k=1,…,K)，以第一帧I₁为参考帧，得到当前帧图像相对于参考帧的全局仿射变换矩阵

M₁为3阶单位阵，也为仿射矩阵：

${\tilde{M}}_k=\left(\begin{array}{ccc}{\tilde{m}}_{k,1}& {\tilde{m}}_{k,2}& {\tilde{m}}_{k,3}\\ {\tilde{m}}_{k,4}& {\tilde{m}}_{k,5}& {\tilde{m}}_{k,6}\\ 0& 0& 1\end{array}\right);$

将

转换为相似变换矩阵：

$\left(\begin{array}{ccc}{s}_k\cos {\mathrm{\α}}_k& -s_k\sin {\mathrm{\α}}_k& u_k\\ s_k\sin {\mathrm{\α}}_k& s_k\cos {\mathrm{\α}}_k& v_k\\ 0& 0& 1\end{array}\right)---\left(4\right)$

其中，s_k表示缩放，α_k表示旋转，u_k表示竖直位移，v_k表示水平位移；

即 $s_k=\sqrt{({\tilde{m}}_{k,1}^2+{\tilde{m}}_{k,2}^2+{\tilde{m}}_{k,4}^2+{\tilde{m}}_{k,5}^2)/2};$ ${\mathrm{\α}}_k={\tan }^{-1}\left(\frac{{\tilde{m}}_{k,4}-{\tilde{m}}_{k,2}}{{\tilde{m}}_{k,1}+{\tilde{m}}_{k,5}}\right);$ $u_k={\tilde{m}}_{k,3};$ $v_k={\tilde{m}}_{k,6}.$

步骤三具体包括以下步骤：

根据维纳滤波原理，对运动矢量θ_k进行滤波处理：

${\mathrm{\θ}}_k^f=\underset{l=0}{\overset{L}{\mathrm{\Σ}}}{h}_{k,l}{\mathrm{\θ}}_{k-l}---\left(5\right)$

其中，h_k,l为滤波器系数，L为滤波器长度，

为滤波结果；

设计一组滤波器{h_k，l}，使得代价函数J最小：

$J=E\left|\left({\left|\right|{\mathrm{\θ}}_k-{\mathrm{\θ}}_k^f\left|\right|}^2\right)\right|+{\mathrm{\λ}}_{1}E\left|\left({\left|\right|{\▿\mathrm{\θ}}_k^f\left|\right|}^2\right)\right|+{\mathrm{\λ}}_{2}E\left|\left({\left|\right|{\▿}^2{\mathrm{\θ}}_k^f\left|\right|}^2\right)\right|---\left(6\right)$

由

得到

${\mathrm{\θ}}_k^f=({\mathrm{\θ}}_k+({\mathrm{\λ}}_1+2{\mathrm{\λ}}_2){\mathrm{\θ}}_{k-1}^f-{\mathrm{\λ}}_2{\mathrm{\θ}}_{k-2}^f)/(1+{\mathrm{\λ}}_1+{\mathrm{\λ}}_2)---\left(7\right)$

通过改变参数λ₁和λ₂调节目标函数中

一阶和二阶导数的比重，来控制运动滤波的平滑性；

滤波后的运动矢量

对应着当前帧I_k稳定后的仿射变换阵

得到当前帧的运动补偿量：

${\mathrm{\ΔM}}_k={\tilde{M}}_k^f{\tilde{M}}_k^{-1}---\left(8\right)$

将当前帧I_k经仿射变换ΔM_k即可得到稳定后的图像

步骤四具体包括以下步骤：

对稳定后图像

中丢失的边界信息进行重建，得到完整的图像结果

以稳定后的当前帧

为基准，将前一帧结果图像

变换到的坐标系下得到

进行图像融合：

其中，权重参数d₁和d₂代表点(x,y)相对位置与重叠区域宽度的比例，满足d₁+d₂＝1、0<d₁,d₂≤1；通过控制d₁和d₂的变化，实现在重叠区域中像素变化的平滑度，得到图像序列{I_k}的稳像结果

本发明的有益效果为：

（1）本发明针对进行合成运动的摄像载体所获取的动态图像序列帧间运动为平移、旋转和缩放混合的复杂运动的特点，矫正相机在水平、垂直、旋转多个方向上的抖动，有效进行电子稳像处理；

（2）本发明中估计全局运动参数的算法计算速度块、精度高；

（3）本发明提出的利用维纳滤波的稳像补偿算法，能够简单有效地实现平滑帧间运动同时保留相机的有效运动，并且避免了更换参考帧时带来的扰动；

（4）本发明使用图像拼接融合手段有效保证稳定视频的完整性。

附图说明

图1为航拍视频图像及特征点检测结果：

(1a)参考帧图像；

(1b)当前帧图像；

(1c)参考帧中使用Harris算法提取的特征点；

(1d)当前帧中使用金字塔光流法的匹配结果；

图2为参考帧经变换后与当前帧的差图像；

图3为水平和竖直运动参数及滤波结果：

(3a)水平运动参数及滤波结果；

(3b)竖直运动参数及滤波结果；

图4为视频序列运动补偿和全景补偿结果：

(4a)原视频序列；

(4b)运动补偿结果；

(4c)全景补偿结果。

具体实施方式

下面结合附图和实施例对本发明的一种适用于合成运动摄像载体的电子稳像方法进行详细说明。

本发明的一种适用于合成运动摄像载体的电子稳像方法包括以下步骤：

步骤一、建立运动模型

由于全局运动参数是通过估计图像序列帧间运动得到的，所以先建立视频图像的运动模型。本发明使用仿射模型描述两帧图像间的对应关系：

$\left(\begin{array}{c}{x}_k\\ y_k\\ 1\end{array}\right)=M\left(\begin{array}{c}{x}_k^{\&prime;}\\ y_k^{\&prime;}\\ 1\end{array}\right),$ $M=\left(\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 0\end{array}\right)---\left(1\right)$

其中(x_k,y_k)和(x′_k,y′_k)表示两帧图像中对应的像素坐标。仿射矩阵M描述缩放、旋转、水平位移和竖直位移的变化。

步骤二、计算全局运动参数

如图1所示，使用Harris特征点提取算法和金字塔光流法得到当前帧I_k和前一帧I_k-1中一组对应的匹配点

记从当前帧I_k和前一帧I_k-1的仿射变换参数为

根据步骤一中式（1）所示两帧间的映射关系构造线性方程组(2)。不直接求解线性方程组(2)，而是通过变换推导得到其最小二乘解，以降低常规求解方法的运算量。

$\left(\begin{array}{cccccc}{x}_1^{\&prime;}& y_1^{\&prime;}& 1& 0& 0& 0\\ 0& 0& 0& x_1^{\&prime;}& y_1^{\&prime;}& 1\\ & \&CenterDot;& & & \&CenterDot;& \\ & \&CenterDot;& & & \&CenterDot;& \\ & \&CenterDot;& & & \&CenterDot;& \\ x_n^{\&prime;}& y_n^{\&prime;}& 1& 0& 0& 0\\ 0& 0& 0& x_n^{\&prime;}& y_n^{\&prime;}& 1\end{array}\right)\tilde{m}=\left(\begin{array}{c}{x}_1\\ y_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ x_n\\ y_n\end{array}\right)---\left(2\right)$

根据式(2)，进行行的重新排列得到

$\left(\begin{array}{cccccc}{x}_1^{\&prime;}& y_1^{\&prime;}& 1& 0& 0& 0\\ & \&CenterDot;& & & \&CenterDot;& \\ & \&CenterDot;& & & \&CenterDot;& \\ & \&CenterDot;& & & \&CenterDot;& \\ x_n^{\&prime;}& y_n^{\&prime;}& 1& 0& 0& 0\\ 0& 0& 0& x_1^{\&prime;}& y_1^{\&prime;}& 1\\ & \&CenterDot;& & & \&CenterDot;& \\ & \&CenterDot;& & & \&CenterDot;& \\ & \&CenterDot;& & & \&CenterDot;& \\ 0& 0& 0& x_n^{\&prime;}& y_n^{\&prime;}& 1\end{array}\right)\tilde{m}=\left(\begin{array}{c}{x}_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ x_n\\ y_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ y_n\end{array}\right),$ 并记 $A=\left(\begin{array}{ccc}{x}_1^{\&prime;}& y_1^{\&prime;}& 1\\ & \&CenterDot;& \\ & \&CenterDot;& \\ & \&CenterDot;& \\ x_n^{\&prime;}& y_n^{\&prime;}& 1\end{array}\right),$ $X=\left(\begin{array}{c}{x}_1^{\&prime;}\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ x_n^{\&prime;}\end{array}\right),$ $Y=\left(\begin{array}{c}{y}_1^{\&prime;}\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ y_n^{\&prime;}\end{array}\right),$ 于是线性方程组(2)可以写为 $\left(\begin{array}{cc}A& 0\\ 0& A\end{array}\right)\tilde{m}=\left(\begin{array}{c}X\\ Y\end{array}\right),$ 则解得仿射变换参数

${(m_1,m_2,\&CenterDot;\&CenterDot;\&CenterDot;,m_6)}^T=\left(\begin{array}{c}{\left(A^{T}A\right)}^{-1}{A}^{T}X\\ {\left(A^{T}A\right)}^{-1}{A}^{T}Y\end{array}\right)---\left(3\right)$

得到从I_k-1到I_k的仿射变换矩阵M_k(k=1,…,K)，以第一帧I₁为参考帧，则得到当前帧图像相对于参考帧的全局仿射变换矩阵

（M₁为3阶单位阵），而且

也为仿射矩阵： ${\tilde{M}}_k=\left(\begin{array}{ccc}{\tilde{m}}_{k,1}& {\tilde{m}}_{k,2}& {\tilde{m}}_{k,3}\\ {\tilde{m}}_{k,4}& {\tilde{m}}_{k,5}& {\tilde{m}}_{k,6}\\ 0& 0& 1\end{array}\right).$ 为了验证全局运动参数的计算精度，将图像(1a)按照估计的参数、经仿射变换后与当前帧(1b)相减，结果如图2所示。可见，图2中的背景部分几乎不见、只留下运动的前景物体，证明本文提出的运动估计方法能有效的得到两帧图像间的运动参数。

由于仿射矩阵只是描述了两帧图像间的仿射变换关系，现将

转换为相似变换矩阵(4)，从而能直观地观察到每帧视频的缩放s_k、旋转α_k、竖直位移u_k和水平位移v_k的变化：

$\left(\begin{array}{ccc}{s}_k\cos {\mathrm{\&alpha;}}_k& -s_k\sin {\mathrm{\&alpha;}}_k& u_k\\ s_k\sin {\mathrm{\&alpha;}}_k& s_k\cos {\mathrm{\&alpha;}}_k& v_k\\ 0& 0& 1\end{array}\right)---\left(4\right)$

其中， $s_k=\sqrt{({\tilde{m}}_{k,1}^2+{\tilde{m}}_{k,2}^2+{\tilde{m}}_{k,4}^2+{\tilde{m}}_{k,5}^2)/2},$ ${\mathrm{\&alpha;}}_k={\tan }^{-1}\left(\frac{{\tilde{m}}_{k,4}-{\tilde{m}}_{k,2}}{{\tilde{m}}_{k,1}+{\tilde{m}}_{k,5}}\right),$ $u_k={\tilde{m}}_{k,3},$ $v_k={\tilde{m}}_{k,6}.$

步骤三、运动补偿

在对图像进行补偿时，必须明确需要补偿的只是摄像机的随机抖动，而保留正常的扫描运动，从而达到有效减轻摄像机的抖动，同时又能实时跟踪真实场景。因此，需要对检测出来的全局运动向量中的平稳运动量(即摄像系统的扫描运动)和不稳定运动量(即载体的高频抖动)区分开来，即就是对运动矢量信号进行滤波。本发明根据帧间运动的特点，提出一种利用维纳滤波的稳像补偿算法，能够简单有效地实现平滑帧间运动同时保留相机的有效运动，并且避免了更换参考帧时带来的扰动。

根据维纳滤波原理，对运动矢量θ_k进行滤波处理：

${\mathrm{\&theta;}}_k^f=\underset{l=0}{\overset{L}{\mathrm{\&Sigma;}}}{h}_{k,l}{\mathrm{\&theta;}}_{k-l}---\left(5\right)$

其中，h_k,l为滤波器系数，L为滤波器长度，

为滤波结果。我们希望的滤波效果是与θ_k的运动趋势一致，同时

具有一定的平滑性。为了满足这个要求，我们需要设计一组滤波器{h_k，l}，使得代价函数J最小：

$J=E\left|\left({\left|\right|{\mathrm{\&theta;}}_k-{\mathrm{\&theta;}}_k^f\left|\right|}^2\right)\right|+{\mathrm{\&lambda;}}_{1}E\left|\left({\left|\right|{\&dtri;\mathrm{\&theta;}}_k^f\left|\right|}^2\right)\right|+{\mathrm{\&lambda;}}_{2}E\left|\left({\left|\right|{\&dtri;}^2{\mathrm{\&theta;}}_k^f\left|\right|}^2\right)\right|---\left(6\right)$

由

得到

${\mathrm{\&theta;}}_k^f=({\mathrm{\&theta;}}_k+({\mathrm{\&lambda;}}_1+2{\mathrm{\&lambda;}}_2){\mathrm{\&theta;}}_{k-1}^f-{\mathrm{\&lambda;}}_2{\mathrm{\&theta;}}_{k-2}^f)/(1+{\mathrm{\&lambda;}}_1+{\mathrm{\&lambda;}}_2)---\left(7\right)$

可以通过改变参数λ₁和λ₂调节目标函数中

一阶和二阶导数的比重，来控制运动滤波的平滑性。由于滤波后的运动矢量

对应着当前帧I_k稳定后的仿射变换阵

于是得到当前帧的运动补偿量：

${\mathrm{\&Delta;M}}_k={\tilde{M}}_k^f{\tilde{M}}_k^{-1}---\left(8\right)$

所以，根据模型(1)将当前帧I_k经仿射变换ΔM_k即可得到稳定后的图像

补偿后的图像序列

帧间仅存在摄像机的扫描运动，而抖动被消除或者大大减弱，从而结果图像变得平稳连续。如图3所示，对航拍视频中连续的100帧图像的水平和竖直参数进行滤波（参数λ₁=8和λ₂=4）。可见，使用维纳滤波原理可以很好地平滑运动矢量序列、同时有效跟踪摄像系统的全局扫描轨迹。

步骤四、图像拼接融合

进行运动补偿后的图像边界附近有无法获得像素值的区域，需要对稳定后图像

中丢失的边界信息进行重建，得到完整的图像结果

本发明采用图像拼接技术来实现边界信息的重建：以稳定后的当前帧

为基准，将前一帧结果图像变换到

的坐标系下得到

进行图像融合：

其中，权重参数d₁和d₂代表点(x,y)相对位置与重叠区域宽度的比例，满足d₁+d₂＝1、0<d₁,d₂≤1。通过控制d₁和d₂的变化，可以实现在重叠区域中

像素变化的平滑度，使图像融合的效果更自然。至此，最终得到了图像序列{I_k}的稳像结果

如图4所示，图(4a)为原视100帧频序列中连续的四帧图像，利用本发明给出的方法估计帧间运动参数，并对6个仿射变换参数构成的运动矢量进行滤波、运动补偿（图(4b)）和全景补偿（图(4c)）。从结果可以看出，利用本发明的图像拼接方法，重建了运动补偿后视频中丢失的边界信息，从而保证整个场景全貌的观察效果及视频序列的完整流畅。

综上所述，本发明提出的电子稳像方法能有效地去除视频序列中的复杂抖动，并得到稳定完整的输出视频。

Claims (5)

1.一种适用于合成运动摄像载体的电子稳像方法，其特征在于：包括以下步骤：

步骤一、建立运动模型；

步骤二、计算全局运动参数；

步骤三、运动补偿；

步骤四、图像拼接融合。

2.根据权利要求1所述的适用于合成运动摄像载体的电子稳像方法，其特征在于：步骤一具体包括以下步骤：

采用仿射模型描述两帧图像间的对应关系：

$\left(\begin{array}{c}{x}_k\\ y_k\\ 1\end{array}\right)=M\left(\begin{array}{c}{x}_k^{\&prime;}\\ y_k^{\&prime;}\\ 1\end{array}\right),$ $M=\left(\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 0\end{array}\right)---\left(1\right)$

其中(x_k,y_k)和(x′_k,y′_k)表示两帧图像中对应的像素坐标；仿射矩阵M描述缩放、旋转、水平位移和竖直位移的变化。

3.根据权利要求2所述的适用于合成运动摄像载体的电子稳像方法，其特征在于：步骤二具体包括以下步骤：

使用Harris特征点提取算法和金字塔光流法得到当前帧I_k和前一帧I_k-1中一组对应的匹配点

记从当前帧I_k和前一帧I_k-1的仿射变换参数为

根据步骤一中式（1）所示两帧间的映射关系构造线性方程组(2)：

$\left(\begin{array}{cccccc}{x}_1^{\&prime;}& y_1^{\&prime;}& 1& 0& 0& 0\\ 0& 0& 0& x_1^{\&prime;}& y_1^{\&prime;}& 1\\ & \&CenterDot;& & & \&CenterDot;& \\ & \&CenterDot;& & & \&CenterDot;& \\ & \&CenterDot;& & & \&CenterDot;& \\ x_n^{\&prime;}& y_n^{\&prime;}& 1& 0& 0& 0\\ 0& 0& 0& x_n^{\&prime;}& y_n^{\&prime;}& 1\end{array}\right)\tilde{m}=\left(\begin{array}{c}{x}_1\\ y_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ x_n\\ y_n\end{array}\right)---\left(2\right)$

得到从I_k-1到I_k的仿射变换矩阵M_k(k=1,…,K)，以第一帧I₁为参考帧，得到当前帧图像相对于参考帧的全局仿射变换矩阵M₁为3阶单位阵，

也为仿射矩阵：

${\tilde{M}}_k=\left(\begin{array}{ccc}{\tilde{m}}_{k,1}& {\tilde{m}}_{k,2}& {\tilde{m}}_{k,3}\\ {\tilde{m}}_{k,4}& {\tilde{m}}_{k,5}& {\tilde{m}}_{k,6}\\ 0& 0& 1\end{array}\right);$

将转换为相似变换矩阵：

$\left(\begin{array}{ccc}{s}_k\cos {\mathrm{\&alpha;}}_k& -s_k\sin {\mathrm{\&alpha;}}_k& u_k\\ s_k\sin {\mathrm{\&alpha;}}_k& s_k\cos {\mathrm{\&alpha;}}_k& v_k\\ 0& 0& 1\end{array}\right)---\left(4\right)$

其中，s_k表示缩放，α_k表示旋转，u_k表示竖直位移，v_k表示水平位移；即 $s_k=\sqrt{({\tilde{m}}_{k,1}^2+{\tilde{m}}_{k,2}^2+{\tilde{m}}_{k,4}^2+{\tilde{m}}_{k,5}^2)/2};$ ${\mathrm{\&alpha;}}_k={\tan }^{-1}\left(\frac{{\tilde{m}}_{k,4}-{\tilde{m}}_{k,2}}{{\tilde{m}}_{k,1}+{\tilde{m}}_{k,5}}\right);$ $u_k={\tilde{m}}_{k,3};$ $v_k={\tilde{m}}_{k,6}.$

4.根据权利要求3所述的适用于合成运动摄像载体的电子稳像方法，其特征在于：步骤三具体包括以下步骤：

根据维纳滤波原理，对运动矢量θ_k进行滤波处理：

${\mathrm{\&theta;}}_k^f=\underset{l=0}{\overset{L}{\mathrm{\&Sigma;}}}{h}_{k,l}{\mathrm{\&theta;}}_{k-l}---\left(5\right)$

其中，h_k,l为滤波器系数，L为滤波器长度，

为滤波结果；

设计一组滤波器{h_k，l}，使得代价函数J最小：

$J=E\left|\left({\left|\right|{\mathrm{\&theta;}}_k-{\mathrm{\&theta;}}_k^f\left|\right|}^2\right)\right|+{\mathrm{\&lambda;}}_{1}E\left|\left({\left|\right|{\&dtri;\mathrm{\&theta;}}_k^f\left|\right|}^2\right)\right|+{\mathrm{\&lambda;}}_{2}E\left|\left({\left|\right|{\&dtri;}^2{\mathrm{\&theta;}}_k^f\left|\right|}^2\right)\right|---\left(6\right)$

由

得到

${\mathrm{\&theta;}}_k^f=({\mathrm{\&theta;}}_k+({\mathrm{\&lambda;}}_1+2{\mathrm{\&lambda;}}_2){\mathrm{\&theta;}}_{k-1}^f-{\mathrm{\&lambda;}}_2{\mathrm{\&theta;}}_{k-2}^f)/(1+{\mathrm{\&lambda;}}_1+{\mathrm{\&lambda;}}_2)---\left(7\right)$

通过改变参数λ₁和λ₂调节目标函数中

一阶和二阶导数的比重，来控制运动滤波的平滑性；

滤波后的运动矢量

对应着当前帧I_k稳定后的仿射变换阵

得到当前帧的运动补偿量：

${\mathrm{\&Delta;M}}_k={\tilde{M}}_k^f{\tilde{M}}_k^{-1}---\left(8\right)$

将当前帧I_k经仿射变换ΔM_k即可得到稳定后的图像

5.根据权利要求4所述的适用于合成运动摄像载体的电子稳像方法，其特征在于：步骤四具体包括以下步骤：

对稳定后图像

中丢失的边界信息进行重建，得到完整的图像结果

以稳定后的当前帧

为基准，将前一帧结果图像

变换到

的坐标系下得到

进行图像融合：

其中，权重参数d₁和d₂代表点(x,y)相对位置与重叠区域宽度的比例，满足d₁+d₂＝1、0<d₁,d₂≤1；通过控制d₁和d₂的变化，实现在重叠区域中像素变化的平滑度，得到图像序列{I_k}的稳像结果

Images