CN102665032A - 一种机载视频稳像方法 - Google Patents

Abstract

本发明涉及一种机载视频稳像方法，其特征在于：首先利用惯性平台上进行一次稳定，去除旋转角度大于5度的较大的抖动干扰，然后再利用电子稳像进行二次精稳。在二次精稳中，用灰度投影算法对局部运动矢量进行估计，并基于仿射变换模型估计帧间的平移和旋转量，通过对当前图像进行反向旋转和平移来达到补偿的目的。利用本发明方法，可有效有效消除机载视频旋转、抖动等干扰，与传统的单模稳定方法相比，可以减少运算时间，提高稳像效率，更好的满足实时性的要求。

Description

一种机载视频稳像方法

技术领域

本发明涉及一种基于惯性稳定和电子稳像的双模稳定机制的机载视频稳像方法，可以应用于各类军用或民用的机载稳像处理系统。

背景技术

航空摄影中，由于受到发动机和气流波动等因素的干扰，摄像机始终处于剧烈震动摇摆中，这将导致成像系统拍摄的图像存在大量的旋转抖动等影响，清晰度下降，甚至无法观看。传统的稳像方法多是进行单模稳像，即利用惯性稳定平台或者直接进行电子稳像。

然而，惯性稳定平台结构复杂，稳定精度较差。直接进行电子稳像则处理的数据量巨大，处理时间较长，不利于实时性的要求，而且有些电子稳像算法(比如灰度投影算法)对于具有旋转变化较大的图像处理效果不好。这样严重影响了稳像效果，仍然对观察者造成很大的视觉麻烦。

发明内容

要解决的技术问题

为了满足机载视频稳像实时性的要求，减少运算处理时间，提高稳像精度，本发明提出了一种基于惯性稳定和电子稳像的双模稳定机制的机载视频稳像方法。

本发明的思想在于：针对机载视频旋转抖动剧烈的图像，先在惯性稳定平台上进行一次稳定，去除旋转角度大于5°的较大的抖动干扰，然后再利用电子稳像进行二次精稳。在二次精稳中，用灰度投影算法对局部运动矢量进行估计，并基于仿射运动模型估计帧间的平移和旋转量，通过对当前图像进行反向旋转和平移来达到补偿的目的。

技术方案

一种机载视频稳像方法，其特征在于步骤如下：

步骤1：利用惯性稳定平台得到旋转角度小于5°的机载视频图像，采用基于图像全分布固定块的方法在该机载视频图像352×240的帧选择16个固定块；以机载视频图像相邻两帧中前一帧为参考帧，后一帧为当前帧；以当前帧中任意一点为坐标点，以该点为中心的匹配块的平移位移矢量来代替该点的位移矢量，用灰度投影算法计算该匹配块的平移位移矢量，得到该坐标点在参考帧中的对应坐标：

$\left\{\begin{array}{c}{x}_j=x_i+{\mathrm{\Δx}}_1\\ y_j=y_i+{\mathrm{\Δy}}_1\end{array}\right.$

式中：(x_i，y_i)表示机载视频图像当前帧中的像素坐标，(x_j，_j)表示机载视频图像参考帧中对应的像素坐标，(Δx₁，Δy₁)表示机载视频图像中匹配块的平移运动参数；

所述每个匹配块的大小为25×25；

步骤2：对该帧机载视频图像建立描述机载视频图像运动状态的仿射运动模型：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}1& -\mathrm{\θ}\\ \mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

式中：θ表示机载视频图像旋转角度，(Δx，Δy)表示机载视频图像平移运动参数；

步骤3：按照步骤1的方法，在机载视频图像当前帧中的像素坐标中任选2组点的坐标(x_i，y_i)、(x′_i，y′_i)求出其在参考帧中对应的坐标(x_j，y_j)、(x′_j，y′_j)，对仿射运动模型三个未知参数θ，Δx和Δy进行求解，具体步骤如下：

步骤a：根据仿射运动模型建立求解2组点的方程：

$\left\{\begin{array}{c}{x}_j-x_i=-{\mathrm{\θy}}_i+\mathrm{\Δx}\\ y_j-y_i={\mathrm{\θx}}_i+\mathrm{\Δy}\\ x_j^{\′}-x_i^{\′}=-{\mathrm{\θy}}_i^{\′}+\mathrm{\Δx}\\ y_j^{\′}-y_i^{\′}={\mathrm{\θx}}_i^{\′}+\mathrm{\Δy}\end{array}\right.,$ 令： $A=\left[\begin{array}{ccc}-y_i& 1& 0\\ x_i& 0& 1\\ -y_i^{\′}& 1& 0\\ x_i^{\′}& 0& 1\end{array}\right],$ $x=\left[\begin{array}{c}\mathrm{\θ}\\ \mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$ $b=\left[\begin{array}{c}{x}_j-x_i\\ y_j-y_i\\ x_j^{\′}-x_i^{\′}\\ y_j^{\′}-y_i^{\′}\end{array}\right],$

将上述方程记为Ax＝b，得到F(x)最小二乘解的求解公式：

$\min F\left(x\right)={(b-\mathrm{Ax})}^T{(b-\mathrm{Ax})}^T=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(b_i-\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j)}^2$

式中：min表示求最小二乘解，F(x)表示多元函数，T表示矩阵的转置，表示把i＝1到i＝4这4个对应运算数值加到一起，

表示把j＝1到j＝3这3个运算数值加到一起，a_ij表示的是矩阵A中对应第i行，第j列的数值；

步骤b：对 $\min F\left(x\right)={(b-\mathrm{Ax})}^T{(b-\mathrm{Ax})}^T=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(b_i-\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j)}^2$ 求偏导得到多元函数F(x)的驻点，步骤为：

$1)\frac{\∂F}{{\∂x}_k}=0,$ k＝1，2，3；

$2)\frac{\∂}{{\∂x}_k}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j=a_{\mathrm{ik}},\⇒\frac{\∂}{\∂x}\left(\mathrm{Ax}\right)=A_k;$

$3)\frac{\∂F}{{\∂x}_k}=-A_k^T(b-\mathrm{Ax})-{(b-\mathrm{Ax})}^T{A}_k=-2A_k^T(b-\mathrm{Ax})=0,$ k＝1，2，…，n；

得到A^TAx＝A^Tb；

式中：F表示F(X)的简化形式，

表示对多元函数F(X)求关于x的偏导，k表示的是x的下标个数，a_ik表示的是矩阵A中对应第i行，第k列的数，a_ij表示的是矩阵A中对应第i行，第j列的数，A^TA表示n阶方阵，A^Tb表示的是n维列向量；

步骤c：令r(A^TAx)＝n，根据A^TAx＝A^Tb求得θ，Δx和Δy三个未知量的数值；式中：r表示矩阵A^TAx的置；

步骤4：得到θ，Δx和Δy后，对该帧图像进行反向旋转θ角度，反向平移Δx和Δy来达到补偿目的，得到该帧机载视频图像去除扰动后的稳定图像；

针对每帧机载视频图像重复上述步骤1～步骤4，得到去除扰动后的机载视频。

有益效果

本发明提出的基于惯性稳定和电子稳像的双模稳定机制的机载视频稳像方法，在电子稳像中进行了算法改进，由于之前的惯性稳定已对图像进行了一次稳像处理，得到了旋转角度小于5°的图像，用灰度投影算法进行块匹配时，可以认为匹配块之间只做平移运动，采用灰度投影算法估计机载视频图像当前帧各匹配块局部运动矢量，局部运动矢量利用仿射变换模型求取全局平移量和旋转角度，将全局平移量和旋转角度利用仿射变换模型对机载视频图像当前帧进行补偿，从而得到稳定后的机载视频图像。

本发明处理后的图像与原图像相比，旋转运动得到了明显改善，稳像效果令人满意，并且快速性好，满足了实时性的要求。

附图说明

图1：惯性稳定simulink系统仿真

图2：基于灰度投影算法的匹配块选择

图3：本发明提出的电子稳像改进型算法(PA)与耗尽搜索算法(ES)，三步搜索算法(TSS)和四步搜索算法(4SS)的信噪比(PSNR)的对比

图4：本发明提出的电子稳像改进型算法(PA)与耗尽搜索算法(ES)，三步搜索算法(TSS)和四步搜索算法(4SS)的平均搜索点数(COMPUTATIONS)的对比

图5：利用本发明中的方法得到的消旋稳像视频图像

a未处理视频第1帧图像

b未处理视频第21帧图像

c未处理视频第34帧图像

d处理后视频第1帧图像

e处理后视频第21帧图像

f处理后视频第34帧图像

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：联想Lenovo计算机、1GB内存、256M显卡，运行的软件环境是：Matlab2008a和Windows XP。我们用MATLAB软件实现了本发明提出的方法。

本发明具体实施如下：

1、惯性稳定平台的建立：设计由电流环(电流反馈系统)、速度环(速度反馈系统)和位置环(位置反馈系统)三个环路组成的控制系统。

其中，电流环的传递函数是

速度环的传递函数是

位置环的传递函数是

exp表示取指数。惯性稳定系统采用比例控制(P)、积分控制(I)、微分控制(D)结合在一起的PI控制器进行控制。其中，取P＝300，I＝0.05，D＝0.2可以得到较好的稳定效果。

1、惯性稳定平台仿真：平台角速度30°/s为输入，在Simulink环境中进行仿真测试，加入10°/s和20°/s的扰动检验该惯性稳定系统是否能达到自动稳定。加入扰动大约0.22s后(仿真时间1s)系统重新达到稳定。加入10°/s扰动，系统的稳态误差是

加入20°/s扰动，系统的稳态误差是

取旋转角度的最大值360°，稳态误差1.2％，得到经过惯性稳定处理后的图像中最大旋转角度为360°×1.2％＝4.32°＜5°，故可用基于仿射变换模型的改进型算法进行二次精稳。

2、灰度投影算法

(1)图像映射

对于输入的机载视频图像序列中的每一帧图像把其灰度值映射成两个独立的一维波形，即把两维图像信息用两个独立的一维信息来表示，其投影公式可表示为：

$\left\{\begin{array}{c}{G}_k\left(j\right)=\underset{j}{\mathrm{\Σ}}{G}_k(i,j)\\ G_k\left(i\right)=\underset{i}{\mathrm{\Σ}}{G}_k(i,j)\end{array}\right.$

式中，G_k(j)表示第k帧机载视频图像第j列的灰度投影值，G_k(i)表示第k帧机载视频图像第i行的灰度投影值，G_k(i，j)表示第k帧机载视频图像上(i，j)处的像素灰度值；

(2)位移相关检测

将第k帧图像的行、列灰度投影曲线与参考帧图像的行、列灰度投影曲线做相互运算，根据两条相关曲线的波谷值即可以确定当前帧图像相对于参考帧图像的行、列位移矢量值。下式为进行行列相关运算的计算公式：

$C\left(w\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[G_k(j+w)-G_r(m+j)]}^2$ 1＜w＜2m+1

式中，G_k(j)和G_r(j)分别表示第k帧机载视频图像和参考帧图像的第j列的灰度投影值，N表示列的长度(N＝240)，m表示位移矢量相对于参考帧在一侧的搜索宽度(m＝10)；

由上式，第k帧机载视频图像相对于参考帧图像在垂直方向的位移矢量为

δ_c＝m+1-w_min，w_min表示C(w)取最小值时w的值；

由此，就可以用灰度投影算法求出机载视频图像当前帧各匹配块局部运动矢量Δx₁和Δy₁。

所述Δx₁表示匹配块水平方向的平移矢量，所述Δy₁表示匹配块垂直方向的平移矢量。

3、图像分块并求匹配块位移矢量

将该帧的352×240的机载视频图像序列采用基于图像全分布固定块的方法选择16个固定块，用灰度投影算法进行块匹配时，可以认为匹配块之间只做平移运动，选择该机载视频图像相邻两帧中前一帧为参考帧，后一帧为当前帧，在当前帧中人为的选好一个坐标点，用以该点为中心的匹配块的平移位移矢量来代替该点的位移矢量，用灰度投影算法计算该匹配块的平移位移矢量，进而可以求出该坐标点在参考帧中的对应坐标：

$\left\{\begin{array}{c}{x}_j=x_i+{\mathrm{\Δx}}_1\\ y_j=y_i+{\mathrm{\Δy}}_1\end{array}\right.$

式中：(x_i，y_i)表示机载视频图像当前帧中的像素坐标，(x_j，y_j)表示机载视频图像参考帧中对应的像素坐标，(Δx₁，Δy₁)表示机载视频图像中匹配块的平移运动参数；

所述每个匹配块的大小为25×25；

4、基于仿射运动模型的电子稳像改进算法：

由各匹配块局部运动矢量计算全局运动矢量：

(1)、建立仿射运动模型，其公式如下：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}1& -\mathrm{\θ}\\ \mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

式中：(x_i，y_i)表示机载视频图像当前帧中的像素坐标，(x_j，y_j)表示机载视频图像参考帧中对应的像素坐标，θ表示机载视频图像旋转角度，(Δx，Δy)表示机载视频图像平移运动参数；

相关参数的求解：在机载视频图像当前帧中的像素坐标中任选2组点的坐标(x_i，y_i)、(x′_i，y′_i)求出其在参考帧中对应的坐标(x_j，y_j)、(x′_j，y′_j)，对仿射运动模型三个未知参数θ，Δx和Δy进行求解，具体步骤如下：

根据仿射运动模型建立求解2组点的方程：

$\left\{\begin{array}{c}{x}_j-x_i=-{\mathrm{\θy}}_i+\mathrm{\Δx}\\ y_j-y_i={\mathrm{\θx}}_i+\mathrm{\Δy}\\ x_j^{\′}-x_i^{\′}=-{\mathrm{\θy}}_i^{\′}+\mathrm{\Δx}\\ y_j^{\′}-y_i^{\′}={\mathrm{\θx}}_i^{\′}+\mathrm{\Δy}\end{array}\right.,$ 令： $A=\left[\begin{array}{ccc}-y_i& 1& 0\\ x_i& 0& 1\\ -y_i^{\′}& 1& 0\\ x_i^{\′}& 0& 1\end{array}\right],$ $x=\left[\begin{array}{c}\mathrm{\θ}\\ \mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$ $b=\left[\begin{array}{c}{x}_j-x_i\\ y_j-y_i\\ x_j^{\′}-x_i^{\′}\\ y_j^{\′}-y_i^{\′}\end{array}\right],$ 将上述方程记为

Ax＝b，得到得到F(x)最小二乘解的求解公式：

$\min F\left(x\right)={(b-\mathrm{Ax})}^T{(b-\mathrm{Ax})}^T=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(b_i-\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j)}^2;$

式中，(x′_i，y′_i)表示另一组当前帧中的像素坐标，(x′_j，y′_j)表示另一组参考帧中对应的像素坐标，θ表示旋转角度，(Δx，Δy)表示平移运动参数，min表示求最小二乘解，F(x)表示多元函数，T表示矩阵的转置，

表示把i＝1到i＝4这4个对应运算数值加到一起，

表示把j＝1到j＝3这3个运算数值加到一起，a_ij表示的是矩阵A中对应第i行，第j列的数值；

对 $\min F\left(x\right)={(b-\mathrm{Ax})}^T{(b-\mathrm{Ax})}^T=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(b_i-\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j)}^2$ 求偏导，得到多元函数F(x)的驻点，步骤为： $1)\frac{\∂F}{{\∂x}_k}=0,$ k＝1，2，3；

$2)\frac{\∂}{{\∂x}_k}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j=a_{\mathrm{ik}},\⇒\frac{\∂}{\∂x}\left(\mathrm{Ax}\right)=A_k,$

$3)\frac{\∂F}{{\∂x}_k}=-A_k^T(b-\mathrm{Ax})-{(b-\mathrm{Ax})}^T{A}_k=-2A_k^T(b-\mathrm{Ax})=0,$ k＝1，2，…，n，得到A^TAx＝A^Tb式中，F表示F(X)的简化形式，

表示对多元函数F(X)求关于x的偏导，k表示的是x的下标个数，a_ik表示的是矩阵A中对应第i行，第k列的数，a_ij表示的是矩阵A中对应第i行，第j列的数，T表示矩阵的转置，A^TA表示n阶方阵，A^Tb表示的是n维列向量；

令r(A^TAx)＝n，根据A^TAx＝A^Tb求得θ，Δx和Δy三个未知量的数值；

式中：r表示矩阵A^TAx的置；

得到θ，Δx和Δy后，对该帧图像进行反向旋转θ角度，反向平移Δx和Δy来达到补偿目的，得到该帧机载视频图像去除扰动后的稳定图像；

综上所述，针对每帧机载视频图像重复上述步骤，得到去除扰动后的机载视频。

表1本发明方法与其他三种方法处理时间

算法	ES算法	TSS算法	4SS算法	本发明方法
					时间(s)	99.227969	14.681124	11.978270	10.192075

表2先经过惯性稳定，再经过各自电子稳像算法得到的每帧图像处理时间

利用本发明方法进行机载视频稳像可以减少了处理时间，将每帧的稳像反应时间提高到毫秒级。

Claims (1)

1.一种机载视频稳像方法，其特征在于步骤如下：

步骤1：利用惯性稳定平台得到旋转角度小于5°的机载视频图像，采用基于图像全分布固定块的方法在该机载视频图像352×240的帧选择16个固定块；以机载视频图像相邻两帧中前一帧为参考帧，后一帧为当前帧；以当前帧中任意一点为坐标点，以该点为中心的匹配块的平移位移矢量来代替该点的位移矢量，用灰度投影算法计算该匹配块的平移位移矢量，得到该坐标点在参考帧中的对应坐标：

$\left\{\begin{array}{c}{x}_j=x_i+{\mathrm{\Δx}}_1\\ y_j=y_i+{\mathrm{\Δy}}_1\end{array}\right.$

式中：(x_i，y_i)表示机载视频图像当前帧中的像素坐标，(x_j，y_j)表示机载视频图像参考帧中对应的像素坐标，(Δx₁，Δy₁)表示机载视频图像中匹配块的平移运动参数；

所述每个匹配块的大小为25×25；

步骤2：对该帧机载视频图像建立描述机载视频图像运动状态的仿射运动模型：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}1& -\mathrm{\θ}\\ \mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

式中：θ表示机载视频图像旋转角度，(Δx，Δy)表示机载视频图像平移运动参数；

步骤3：按照步骤1的方法，在机载视频图像当前帧中的像素坐标中任选2组点的坐标(x_i，y_i)、(x′_i，y′_i)求出其在参考帧中对应的坐标(x_j，y_j)、(x′_j，y′_j)，对仿射运动模型三个未知参数θ，Δx和Δy进行求解，具体步骤如下：

步骤a：根据仿射运动模型建立求解2组点的方程：

$\left\{\begin{array}{c}{x}_j-x_i=-{\mathrm{\θy}}_i+\mathrm{\Δx}\\ y_j-y_i={\mathrm{\θx}}_i+\mathrm{\Δy}\\ x_j^{\′}-x_i^{\′}=-{\mathrm{\θy}}_i^{\′}+\mathrm{\Δx}\\ y_j^{\′}-y_i^{\′}={\mathrm{\θx}}_i^{\′}+\mathrm{\Δy}\end{array}\right.,$ 令： $A=\left[\begin{array}{ccc}-y_i& 1& 0\\ x_i& 0& 1\\ -y_i^{\′}& 1& 0\\ x_i^{\′}& 0& 1\end{array}\right],$ $x=\left[\begin{array}{c}\mathrm{\θ}\\ \mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$ $b=\left[\begin{array}{c}{x}_j-x_i\\ y_j-y_i\\ x_j^{\′}-x_i^{\′}\\ y_j^{\′}-y_i^{\′}\end{array}\right],$

将上述方程记为Ax＝b，得到F(x)最小二乘解的求解公式：

$\min F\left(x\right)={(b-\mathrm{Ax})}^T{(b-\mathrm{Ax})}^T=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(b_i-\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j)}^2$

式中：min表示求最小二乘解，F(x)表示多元函数，T表示矩阵的转置，表示把i＝1到i＝4这4个对应运算数值加到一起，

表示把j＝1到j＝3这3个运算数值加到一起，a_ij表示的是矩阵A中对应第i行，第j列的数值；

步骤b：对 $\min F\left(x\right)={(b-\mathrm{Ax})}^T{(b-\mathrm{Ax})}^T=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(b_i-\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j)}^2$ 求偏导得到多元函数F(x)的驻点，步骤为：

$1)\frac{\∂F}{{\∂x}_k}=0,$ k＝1，2，3；

$2)\frac{\∂}{{\∂x}_k}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j=a_{\mathrm{ik}},\⇒\frac{\∂}{\∂x}\left(\mathrm{Ax}\right)=A_k;$

$3)\frac{\∂F}{{\∂x}_k}=-A_k^T(b-\mathrm{Ax})-{(b-\mathrm{Ax})}^T{A}_k=-2A_k^T(b-\mathrm{Ax})=0,$ k＝1，2，…，n；

得到A^TAx＝A^Tb；

式中：F表示F(X)的简化形式，

表示对多元函数F(X)求关于x的偏导，k表示的是x的下标个数，a_ik表示的是矩阵A中对应第i行，第k列的数，a_ij表示的是矩阵A中对应第i行，第j列的数，A^TA表示n阶方阵，A^Tb表示的是n维列向量；

步骤c：令r(A^TAx)＝n，根据A^TAx＝A^Tb求得θ，Δx和Δy三个未知量的数值；式中：r表示矩阵A^TAx的置；

步骤4：得到θ，Δx和Δy后，对该帧图像进行反向旋转θ角度，反向平移Δx和Δy来达到补偿目的，得到该帧机载视频图像去除扰动后的稳定图像；

针对每帧机载视频图像重复上述步骤1～步骤4，得到去除扰动后的机载视频。

Images