CN104010130A - 一种多窗口跟踪的稳像方法 - Google Patents

Abstract

本发明是一种多窗口跟踪的稳像方法，包括获取目标场景的大视场图像；根据跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口；对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像并作为参考图像；更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量加权处理，得到成像光学系统焦平面图像整体偏移量；利用每个窗口图像偏移量的统计特性，将有效焦平面图像偏移量转换成成像光学系统中摆镜转动的位置控制量并转换成模拟量，用于控制摆镜驱动器驱动成像光学系统中的摆镜偏转；直至成像光学系统完成高分辨率图像成像。

Description

一种多窗口跟踪的稳像方法

技术领域

本发明属于高分辨率成像领域，具体地说，它涉及一种多窗口跟踪的稳像方法。

背景技术

稳像系统是空间太阳望远镜和地面遥感卫星实现高分辨率成像的关键器件。在空间太阳观测和地面遥感过程中，卫星平台姿态控制的残余抖动引起光学系统指向不稳定，导致成像相机采样积分时间内的图像抖动，进而严重地影响光学系统的成像分辨率。解决这一问题的方法有两种：一种是提高航天器姿态控制系统的控制精度以改进卫星平台随机抖动特性降低其对成像分辨率的影响，这种方法技术难度大、成本高；另一种是在空间太阳望远镜和地球遥感卫星上安装补偿图像偏移的稳像系统以获得高质量的图像。

稳像系统实时探测、校正主光轴随机抖动的原理图如图1所示。从光学系统主镜来的主光线经摆镜镜面反射后成像在主成像相机和高帧频探测相机上。当稳像系统不工作时，摆镜静止，由于光学系统平台抖动等原因造成主光线在摆镜镜面上的入射角发生变化，主光线出射角相应变化，最终导致图像在主成像相机上晃动，得到模糊的图像，严重降低了光学系统的空间分辨率。当稳像系统工作时，由于高帧频探测相机的积分时间非常短，对于高频分量少的扰动仍可以采集到清晰的图像，根据这一图像序列与起始参考图像的相关计算结果，可以得到图像运动的方向和大小，进而用伺服控制算法得到实际的控制量，经过D/A转换驱动摆镜偏转，使经摆镜镜面反射的光线仍然趋向于原来的主光线，从而衰减图像的运动，达到在主成像相机的积分时间内稳定图像的目的，得到空间高分辨率的图像。

图像互相关算法作为稳像系统探测图像运动方向和大小的关键算法，其计算精度和计算效率是影响系统的跟踪精度和稳定性的重要因素之一。在十多年的稳像技术研究中，我们发现用互相关算法计算图像相对偏移量的方法具有以下特点：(1)互相关计算量巨大，一般随图像尺寸N成4次方增长；(2)受图像内容的影响，在图像的相互垂直方向上的两个偏移量的计算精度通常是不一样的，有时会出现一个方向计算精度尚可，另一个方向计算结果出错的情况，严重时导致稳像系统振荡、无法正常工作；(3)探测视场内目标的时变特性会对探测精度产生不利影响，即随时间的推移，探测精度逐渐下降。

传统稳像系统采用单一的小探测窗口(32×32像元或64×64像元)进行目标图像运动相关探测，运算量小，但同时也因探测窗口小且位置固定，探测相机拍摄到的图像即为相关探测目标图像，不具备目标图像选择功能，也无法考虑目标图像时变特性的影响。这样的稳像系统和探测方法虽具有简单和计算量较少的特点，但相关探测精度因相关目标图像不同而不同，在某些情况下相关探测结果出现振荡、甚至出错，导致稳像系统工作不稳定，严重影响光学系统成像质量。

发明内容

(一)要解决的技术问题

为提高稳像系统的跟踪精度、稳定性和可靠性，本发明的目的是研究一种新型的考虑了目标图像内容和时变特性影响且计算效率高的稳像系统和探测方法，为此本发明的目的是提出了一种应用范围广、适用性强、且能适用于时变特性目标的在多窗口跟踪的稳像方法。

(二)技术方案

本发明提供一种多窗口跟踪的稳像方法的步骤如下：

步骤S1：获取目标场景的大视场图像；

步骤S2：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口；

步骤S3：对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像，并将每个窗口图像作为参考图像；

步骤S4：更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，得到相关峰值的位置，获得每个窗口图像偏移量；

步骤S5：利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量进行加权处理，得到成像光学系统焦平面图像整体偏移量；

步骤S6：利用每个窗口图像偏移量的统计特性，判断成像光学系统的焦平面图像整体偏移量是否为有效偏移量，如果焦平面图像整体偏移量有效，则执行步骤S7，如果焦平面图像整体偏移量无效，则执行步骤S1；

步骤S7：利用伺服控制器将有效焦平面图像偏移量转换成成像光学系统中摆镜转动的位置控制量，并将位置控制量转换成模拟量；

步骤S8：根据模拟量控制摆镜驱动器驱动成像光学系统中的摆镜偏转；重复步骤S4～步骤S8，直至成像光学系统完成高分辨率图像成像。

优选实施例，利用开窗探测相机对目标场景成像，以低帧频得到目标场景的大视场图像，以高帧频得到稳像跟踪时的多个跟踪窗口的窗口图像。

优选实施例，获取稳像跟踪时的多个跟踪窗口的步骤包括：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，将大视场图像分割成多个跟踪窗口大小的图像，记录各跟踪窗口的位置并计算各跟踪窗口中的图像特征值，根据图像特征值的统计特性设定跟踪窗口选取阈值，选出稳像跟踪时的多个跟踪窗口。

优选实施例，所述当前窗口图像与参考图像进行互相关函数计算是找出函数最大值的位置，并用该函数最大值的位置周围的互相关函数值进行曲面拟合，拟合得到的曲面最大值为相关峰值，相关峰值表示当前图像与参考图像的相似程度，相关峰值所在位置表示当前图像与参考图像之间的偏移量。

优选实施例，所述成像光学系统焦平面图像整体偏移量是各窗口图像偏移量的加权和，互相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为0。

(三)有益效果

本发明与现有技术相比的优点如下：

(1)本发明方法可动态优化选择多个跟踪窗口，提高成像光学系统焦平面图像整体偏移量的计算精度和可靠性，使稳像系统工作时的稳定性更好、可靠性更高。现有方法中探测相机成像视场很小，在稳像系统稳像跟踪时仅有一个跟踪窗口，且窗口大小不变、位置固定，无法主动选择跟踪图像，而跟踪图像的内容对成像光学系统焦平面图像偏移量的计算精度和可靠性具有决定性作用，严重时将影响稳像系统的稳定性和可靠性。例如，当探测相机对准地球海面或是太阳黑子中心时，跟踪窗口图像为对比度极低的均匀图像，用这样的图像序列进行相关计算得到的计算结果无法正确描述成像光学系统焦平面真实移动量，相关计算失效，稳像系统不能正常工作。本发明方法采用开窗探测相机对大视场目标场景成像，视场范围较现有方法中的探测视场增大了数百倍从而使得视场内图像内容较之更为丰富，在这样的大视场图像中采用适于稳像跟踪的图像特征优化选择了多个跟踪窗口，跟踪窗口的个数、大小和位置可以动态调整。各跟踪窗口图像均包含明显内容且适于进行相关计算，相比现有方法的单一跟踪窗口随机图像，从跟踪图像内容方面降低了相关计算失效的概率，从而提高了稳像系统的稳定性和可靠性，使稳像系统通用性更好、适用范围更广。同时，本发明方法采用多个跟踪窗口主要是考虑了对于同一光轴抖动所引起的成像光学系统焦平面图像运动的相关探测精度因不同跟踪图像而不同，各个跟踪窗口的图像偏移量加权得到成像光学系统焦平面图像偏移量可减小相关计算误差，提高稳像系统的闭环跟踪精度，从而使成像光学系统拍摄到的高分辨率图像更清晰。

(2)本发明方法考虑了跟踪图像的时变特性对相关探测精度的影响，根据各个窗口图像相关峰值的变化情况修正其在成像光学系统焦平面图像运动中的加权系数，减缓了相关探测精度随时间延长而下降的趋势，使得稳像效果更好，尤其是对成像光学系统长时间的曝光拍摄。现有方法是单一跟踪窗口的随机图像相关探测，跟踪场景不同，图像变化情况不同。例如太阳观测时，米粒组织的寿命只有8分钟，而太阳黑子的寿命可长达数小时甚至几天，当跟踪视场对准米粒组织时，对于长于1分钟的成像光学系统高分辨率图像拍摄，稳像效果会明显下降。本发明方法中成像光学系统焦平面图像整体偏移量是各窗口图像偏移量的加权和，相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为0，使得图像内容变化快的跟踪窗口偏移量在焦平面图像整体偏移量加权计算中的占比减少，从而减缓相关探测精度随时间延长而下降的趋势。对于相同场景、相同曝光时间(尤其是长曝光时间)的高分辨率图像拍摄，本发明方法的稳像效果优于现有方法。

(3)采用本发明方法的稳像系统的实时性与现有系统实时性基本相同。本发明方法在多个跟踪窗口选定后仅输出多个跟踪窗口图像，当跟踪窗口为1时，采用本发明方法的实时性与现有系统相同，当跟踪窗口多于1个时，研制的计算控制单元可采用并行处理技术，同时计算多个跟踪窗口的图像偏移量，使系统实时性与现有系统基本相同。所以采用本发明方法的稳像系统与现有系统实时性基本相同，但稳像效果和适用范围却优于现有系统。

附图说明

图1为稳像系统工作原理示意图；

图2为采用本发明方法的稳像系统组成框图；

图3为本发明方法的流程图；

图4为本发明的跟踪窗口选择示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图2示出本发明方法所采用多窗口跟踪的稳像系统。该稳像系统由开窗探测相机、计算控制单元、摆镜驱动器、摆镜和计算机监控单元组成的稳像系统，其中：

开窗探测相机，用于在稳像跟踪前的单一窗口大视场成像和稳像跟踪时的多窗口小视场成像，采用高速CMOS(互补金属氧化物半导体)相机或具有多窗口开窗功能的CCD(电荷耦合元件)相机，开窗探测相机分辨率达到1280×1024像素，输出帧频500帧/秒，并可根据用户需要设置相机输出图像的大小、位置和帧频，开窗探测相机将探测到的数字图像信号(单窗口大视场图像或多窗口小视场图像)传输到计算控制单元的现场可编程逻辑门阵列(FPGA)和数据处理器(DSP)，并接收来自计算控制单元的相机控制指令；

计算控制单元是由现场可编程逻辑门阵列(FPGA)、数据处理器(DSP)和DA转换器组成，现场可编程逻辑门阵列与数据处理器连接，DA转换器与数据处理器连接。计算控制单元分别与开窗探测相机、计算机监控单元和摆镜驱动器连接，用于接收开窗探测相机输出的大视场图像，由图像特征函数优选多个跟踪窗口，设定开窗探测相机小视场成像窗口并接收小视场图像，对多跟踪窗口进行相关计算再加权得到探测焦面上图像的运动量，稳像跟踪过程中根据各窗口相关系数的变化修改加权系数，由伺服控制器得到摆镜的位置控制数字量，并由DA转换成模拟数据输出到摆镜驱动器，计算控制单元将开窗探测相机输出图像的大小、位置和帧频的相机工作模式控制指令经计算控制单元的DSP后到FPGA再传输到开窗探测相机，稳像跟踪时计算控制单元的DSP将摆镜的位置控制数字量输出到DA并转换成摆镜位置控制电压模拟量输出到摆镜驱动器，根据接收到的计算机监控单元的监控指令，计算控制单元的DSP还将计算控制单元的伺服控制器参数等状态信息输出到计算机监控单元；

摆镜驱动器，将计算控制单元输出的摆镜位置控制电压模拟量放大为摆镜驱动电压模拟量输出到摆镜，采用市场上供应的摆镜驱动器；

摆镜，由摆镜驱动器输出的摆镜驱动电压模拟量驱动偏转以减小成像光轴的抖动达到稳像的目的，采用市场上供应的摆镜平台，摆镜镜片为自研产品，口径由成像光学系统决定；

计算机监控单元，与计算控制单元相连，用于监控稳像系统工作状态，采用Windows操作系统的商业计算机，计算机监控单元可根据监控内容(稳像系统控制器参数等)输出监控计算控制单元的监控指令到计算控制单元，并接收计算控制单元返回的监控信息。

本发明方法在该稳像系统中的具体实现步骤如图3所示。

步骤1：启动稳像系统所有组件：开窗探测相机、计算控制单元、摆镜驱动器、摆镜和计算机监控单元，系统进入窗口搜索模式；

开窗探测相机为单一窗口大视场成像输出模式，帧频设置为f_low，单位为帧每秒，200≤f_low≤500；接收目标场景的光信号，目标场景的光信号经光电转换和模拟数字转换产生目标场景大视场数字图像I，以下简称为大视场图像I。大视场图像I长度为A个像素、宽度为B个像素。

步骤2：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，选取稳像系统稳像跟踪时的多个跟踪窗口。

图4示出跟踪窗口选取示意图，确定跟踪窗口长度为P个像素、跟踪窗口宽度为Q个像素，其中P<A、Q<B；如图4虚线所示，将大视场图像I分割为N_window个跟踪窗口大小的小视场图像；以序列号标识每个小视场图像，如图4中数字所示；第i个小视场图像表示为W_i，i为小视场图像的序列号，i＝1，2，……，N_window；图4中第i个小视场图像W_i左上角第一个像素在大视场图像I中的坐标为(a_i，b_i)，用以表示第i个小视场图像W_i的位置，a_i，b_i是坐标(a_i，b_i)的坐标点。

选用能够描述小视场图像内容且计算量小、抗噪声干扰能力强的图像特征算子S，计算各小视场图像的特征值，如公式(1)～(4)示出：

$F_i\left(j\right)=\underset{p=1}{\overset{P-h+1}{\mathrm{\&Sigma;}}}\underset{q=1}{\overset{Q-h+1}{\mathrm{\&Sigma;}}}S\left(j\right)D_i(p,q),j=\mathrm{1,2},...,N_{\mathrm{operator}}---\left(3\right)$

$G_i=\underset{j=1}{\overset{N_{\mathrm{operator}}}{\mathrm{\&Sigma;}}}{F}_i\left(j\right)---\left(4\right)$

其中：

S(j)为小视场图像特征算子S的第j个算子矩阵，j为算子矩阵序列号，N_operator为算子矩阵个数，h为算子矩阵维数，s₁₁(j)为小视场图像特征算子S的第j个算子矩阵的第1行第1列元素，s_h1(j)为小视场图像特征算子S的第j个算子矩阵的第h行第1列元素，以此类推第j个矩阵算子的其他元素；

D_i(p，q)是与小视场图像特征算子S的算子矩阵同维的第i个小视场图像W_i的像素灰度值矩阵，w_i(p，q)为第i个小视场图像W_i在坐标(p，q)处像素的灰度值，p，q是坐标(p，q)的坐标点；

F_i(j)是小视场图像特征算子S的第j个算子矩阵S(j)与第i个小视场图像W_i的所有像素灰度值矩阵D_i(p，q)点乘的和；

G_i为第i个小视场图像W_i的特征值。

小视场图像特征算子的算子矩阵个数、算子矩阵维数和算子矩阵元素因算子类型不同而不同，具体可使用Robert(罗伯特)算子、Sobel(索贝尔)算子、Prewitt(普鲁伊特)算子、Kirsch(基尔希)算子等算子中的一种，各算子形式如下：

Robert算子： $S\left(1\right)=\left[\begin{array}{cc}-1& 0\\ 0& 1\end{array}\right],S\left(2\right)=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right],$ 那么N_operator＝2，h＝2；

Sobel算子： $S\left(1\right)=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],S\left(2\right)=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ 那么N_operator＝2，h＝3；

Prewi“算子： $S\left(1\right)=\left[\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right],S\left(2\right)=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right],$ 那么N_operator＝2，h＝3；

Kirsch算子： $S\left(1\right)=\left[\begin{array}{ccc}5& 5& 5\\ -3& 0& -3\\ -3& -3& -3\end{array}\right],S\left(2\right)=\left[\begin{array}{ccc}-3& 5& 5\\ -3& 0& 5\\ -3& -3& -3\end{array}\right],S\left(3\right)=\left[\begin{array}{ccc}-3& -3& 5\\ -3& 0& 5\\ -3& -3& 5\end{array}\right]$

$S\left(4\right)=\left[\begin{array}{ccc}-3& -3& -3\\ -3& 0& 5\\ -3& 5& 5\end{array}\right],S\left(5\right)=\left[\begin{array}{ccc}-3& -3& -3\\ -3& 0& -3\\ 5& 5& 5\end{array}\right],S\left(6\right)=\left[\begin{array}{ccc}-3& -3& -3\\ 5& 0& -3\\ 5& 5& -3\end{array}\right]$

$S\left(7\right)=\left[\begin{array}{ccc}5& -3& -3\\ 5& 0& -3\\ 5& -3& -3\end{array}\right],S\left(8\right)=\left[\begin{array}{ccc}5& 5& -3\\ 5& 0& -3\\ -3& -3& -3\end{array}\right],$ 那么N_operator＝8，h＝3；

根据所有小视场图像的特征值的统计特性设定跟踪窗口选取阈值T，如公式(5)～(7)。选取小视场图像特征值大于该阈值的窗口为稳像跟踪时的跟踪窗口。稳像跟踪时的跟踪窗口共N_track个，N_track≥1，将所有跟踪窗口的位置和尺寸信息传送给开窗探测相机，启动开窗探测相机进入多窗口小视场成像输出模式。

$G_{\mathrm{\&sigma;}}=\frac{1}{N_{\mathrm{window}}-1}\sqrt{\underset{i=1}{\overset{N_{\mathrm{window}}}{\mathrm{\&Sigma;}}}{(G_i-G_{\mathrm{mean}})}^2}---\left(6\right)$

T＝G_mean+G_σ               (7)

其中，表示向下取整，G_mean和G_σ分别是所有小视场图像特征值的平均值和方差。

步骤3：对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像，并将每个窗口图像作为参考图像；稳像系统进入稳像跟踪模式，开窗探测相机为多窗口小视场成像输出模式，帧频设置为f_high，单位为帧每秒，1000≤f_high≤10000；接收目标场景的光信号，经光电转换和模拟数字转换后输出目标场景小视场跟踪窗口数字图像，共N_track个，以下简称为跟踪窗口图像。第k个跟踪窗口图像表示为M_k，k为跟踪窗口图像的序列号，k＝1，2，…，N_track；在计算控制单元的存储器内存储所有跟踪窗口图像，并将每个跟踪窗口图像作为各自跟踪窗口的参考图像，第k个参考图像记为R_k，后续跟踪窗口图像以参考图像为基准计算它们与参考图像的偏移量。

步骤4：更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，得到相关峰值的位置，计算各跟踪窗口图像的偏移量。

开窗探测相机保持多窗口小视场成像输出模式和输出帧频f_high，更新每个跟踪窗口图像，以t表示跟踪窗口图像的更新次数，第t次更新称为当前更新。以每个跟踪窗口更新后的跟踪窗口图像作为各自跟踪窗口的活动图像，当前更新的第k个活动图像表示为L_k。计算第k个活动图像与第k个参考图像的互相关函数C_k(x，y)，见公式(8)，以下简称为第k个跟踪窗口的相关函数C_k(x，y)，x，y是互相关函数C_k(x，y)的坐标变量。

C_k(x，y)＝IFFT[FFT(R_k)×FFT^*(L_k)]           (8)

其中FFT、IFFT分别表示正、逆快速傅里叶变换，*号表示傅里叶变换的复共轭，×号表示矩阵叉乘。

找出第k个跟踪窗口的相关函数C_k(x，y)最大值所在位置的坐标(x_maxk，y_maxk)，x_maxk，y_maxk是坐标(x_maxk，y_maxk)的坐标点，是个常量。以第k个跟踪窗口的相关函数C_k(x，y)最大值的位置为中心，用相关函数C_k(x，y)最大值周围的3×3矩阵区域的相关函数值进行曲面拟合，拟合得到的曲面最大值为相关峰值C_maxk，相关峰值C_maxk的位置为第k个跟踪窗口图像的偏移量δx_k，δy_k，计算公式见公式(9)、(10)。所有跟踪窗口的相关峰值都保存在计算控制单元的存储区内以备后续使用。

$\left\{\begin{array}{c}{\mathrm{\&delta;x}}_k=x_{\max k}+0.5\frac{C_k(x_{\max k}-1,y_{\max k})-C_k(x_{\max k}+1,y_{\max k})}{C_k(x_{\max k}-1,y_{\max k})+C_k(x_{\max k}+1,y_{\max k})-{2C}_k(x_{\max k},y_{\max k})}\\ {\mathrm{\&delta;y}}_k=y_{\max k}+0.5\frac{C_k(x_{\max k},y_{\max k}-1)-C_k(x_{\max k},y_{\max k}+1)}{C_k(x_{\max k},y_{\max k}-1)+C_k(x_{\max k},y_{\max k}+1)-{2C}_k(x_{\max k},y_{\max k})}\end{array}\right.---\left(9\right)$

$\begin{array}{c}{C}_{\max k}=C_k(x_{\max k},y_{\max k})\\ -0.0625\frac{{[C_k(x_{\max k}-1,y_{\max k})-C_k(x_{\max k}+1,y_{\max k})]}^2}{C_k(x_{\max k}-1,y_{\max k})+C_k(x_{\max k}+1,y_{\max k})-{2C}_k(x_{\max k},y_{\max k})}\\ -0.0625\frac{{[C_k(x_{\max k},y_{\max k}-1)-C_k(x_{\max k},y_{\max k}+1)]}^2}{C_k(x_{\max k},y_{\max k}-1)+C_k(x_{\max k},y_{\max k}+1)-{2C}_k(x_{\max k},y_{\max k})}\end{array}---\left(10\right)$

其中C_k(x_maxk，y_maxk)是第k个跟踪窗口的相关函数C_k(x，y)在坐标(x_maxk，y_maxk)的相关函数值，也就是第k个跟踪窗口的相关函数C_k(x，y)最大值；C_k(x_maxk-1，y_maxk)第k个跟踪窗口的相关函数C_k(x，y)在坐标(x_maxk-1，y_maxk)的相关函数值；以此类推其他互相关函数值。

步骤5：利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量进行加权处理，计算成像光学系统焦平面图像的整体偏移量。

成像光学系统焦平面图像的整体偏移量δx、δy是各跟踪窗口图像偏移量的加权和，见公式(11)，计算结果保存在计算控制单元的存储区内以备后续使用。由于各跟踪窗口图像的内容不同且随时间而变化的情况也不同，为了提高焦平面图像整体偏移量的计算精度，公式(11)中的加权系数需进行修正。一般，各跟踪窗口图像的相关峰值变化情况表示窗口图像内容变化情况，内容变化快的跟踪窗口图像的偏移量计算精度下降也快，应减小这样的跟踪窗口图像在公式(11)中的加权系数，具体的各跟踪窗口图像第t次更新的加权系数修正方法见公式(12)。

$\mathrm{\&delta;x}=\underset{k=1}{\overset{N_{\mathrm{track}}}{\mathrm{\&Sigma;}}}{v}_k\&CenterDot;{\mathrm{\&delta;x}}_k,\mathrm{\&delta;y}=\underset{k=1}{\overset{N_{\mathrm{track}}}{\mathrm{\&Sigma;}}}{v}_k\&CenterDot;{\mathrm{\&delta;y}}_k---\left(11\right)$

其中，v_k为第k个跟踪窗口图像当前更新的加权系数；C_maxk、和是第k个跟踪窗口图像的当前更新、第t-1次更新和第1次更新的相关峰值，这些相关峰值从计算控制单元存储区内提取。

步骤6：利用每个窗口图像偏移量的统计特性，判断成像光学系统的焦平面图像整体偏移量是否为有效偏移量，如果焦平面图像整体偏移量有效，则执行步骤7，如果焦平面图像整体偏移量无效，则执行步骤1；

计算所有跟踪窗口图像偏移量的平均值δx_mean、δy_mean和方差δx_σ、δy_σ，见公式(13)、(14)。当成像光学系统焦平面图像的整体偏移量与跟踪窗口图像偏移量平均值的偏差不超过一倍跟踪窗口图像偏移量方差，即|δx-δx_mean|≤δx_σ且|δy-δy_mean|≤dy_σ时，认为成像光学系统焦平面图像的整体偏移量计算有效，转入步骤7；否则，稳像系统退出稳像跟踪模式重新进入窗口搜索模式，即返回步骤1；

${\mathrm{\&delta;x}}_{\mathrm{mean}}=\underset{k=1}{\overset{N_{\mathrm{track}}}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;x}}_k,{\mathrm{\&delta;x}}_{\mathrm{\&sigma;}}=\frac{1}{N_{\mathrm{track}}-1}\sqrt{\underset{k=1}{\overset{N_{\mathrm{track}}}{\mathrm{\&Sigma;}}}{({\mathrm{\&delta;x}}_k-{\mathrm{\&delta;x}}_{\mathrm{mean}})}^2}---\left(13\right)$

${\mathrm{\&delta;y}}_{\mathrm{mean}}=\underset{k=1}{\overset{N_{\mathrm{track}}}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;y}}_k,{\mathrm{\&delta;y}}_{\mathrm{\&sigma;}}=\frac{1}{N_{\mathrm{track}}-1}\sqrt{\underset{k=1}{\overset{N_{\mathrm{track}}}{\mathrm{\&Sigma;}}}{({\mathrm{\&delta;y}}_k-{\mathrm{\&delta;y}}_{\mathrm{mean}})}^2}---\left(14\right)$

步骤7：利用伺服控制器将有效焦平面图像偏移量转换成成像光学系统中摆镜转动的位置控制量，并将位置控制量转换成模拟量；由步骤5得到的成像光学系统焦平面图像的整体偏移量δx、δy经过伺服控制器后得到摆镜转动的位置控制量u_x、u_y，并将摆镜转动的位置控制量u_x、u_y保存在计算控制单元的存储区。

$u_x=u_x^{(t-1)}+q_{x0}\mathrm{\&delta;x}+q_{x1}{\mathrm{\&delta;x}}^{(t-1)}+q_{x2}{\mathrm{\&delta;x}}^{(t-2)}---\left(15\right)$

$u_y=u_y^{(t-1)}+q_{y0}\mathrm{\&delta;y}+q_{y1}{\mathrm{\&delta;y}}^{(t-1)}+q_{y2}{\mathrm{\&delta;y}}^{(t-2)}---\left(16\right)$

其中q_x0，q_x1，q_x2和q_y0，q_y1，q_y2分别为水平和垂直两个方向伺服控制器的三个参数，参数值由系统性能指标决定；u_x、u_y和分别是当前循环和第t-1次循环的摆镜转动的位置控制量；δx、δy、δx^(t-1)、δy^(t-1)和δx^(t-2)、δy^(t-2)分别是当前循环、第t-1次循环和第t-2次循环的成像光学系统焦平面图像的整体偏移量。

步骤8：由步骤7得到的摆镜转动的位置控制量u_x、u_y经过数字模拟转换后输出位置控制电压模拟量，摆镜驱动器将该模拟量放大输出到摆镜，进而驱动成像光学系统中的摆镜偏转；重复执行上述步骤4～步骤8，对稳像系统进行实时反馈控制，直到成像光学系统完成高分辨率图像成像。

成像光学系统得到一幅高分辨率图像后，稳像系统退出稳像跟踪模式，进入待机模式，摆镜控制电压设为中置电压，等待下一次稳像命令。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (5)

1.一种多窗口跟踪的稳像方法，该方法包括步骤如下：

步骤S1：获取目标场景的大视场图像；

步骤S2：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口；

步骤S3：对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像，并将每个窗口图像作为参考图像；

步骤S4：更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，得到相关峰值的位置，获得每个窗口图像偏移量；

步骤S5：利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量进行加权处理，得到成像光学系统焦平面图像整体偏移量；

步骤S6：利用每个窗口图像偏移量的统计特性，判断成像光学系统的焦平面图像整体偏移量是否为有效偏移量，如果焦平面图像整体偏移量有效，则执行步骤S7，如果焦平面图像整体偏移量无效，则执行步骤S1；

步骤S7：利用伺服控制器将有效焦平面图像偏移量转换成成像光学系统中摆镜转动的位置控制量，并将位置控制量转换成模拟量；

步骤S8：根据模拟量控制摆镜驱动器驱动成像光学系统中的摆镜偏转；重复步骤S4～步骤S8，直至成像光学系统完成高分辨率图像成像。

2.如权利要求1所述的多窗口跟踪的稳像方法，其特征在于，利用开窗探测相机对目标场景成像，以低帧频得到目标场景的大视场图像，以高帧频得到稳像跟踪时的多个跟踪窗口的窗口图像。

3.如权利要求2所述的多窗口跟踪的稳像方法，其特征在于，获取稳像跟踪时的多个跟踪窗口的步骤包括：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，将大视场图像分割成多个跟踪窗口大小的图像，记录各跟踪窗口的位置并计算各跟踪窗口中的图像特征值，根据图像特征值的统计特性设定跟踪窗口选取阈值，选出稳像跟踪时的多个跟踪窗口。

4.如权利要求1所述的多窗口跟踪的稳像方法，其特征在于，所述当前窗口图像与参考图像进行互相关函数计算是找出函数最大值的位置，并用该函数最大值的位置周围的互相关函数值进行曲面拟合，拟合得到的曲面最大值为相关峰值，相关峰值表示当前图像与参考图像的相似程度，相关峰值所在位置表示当前图像与参考图像之间的偏移量。

5.如权利要求1所述的多窗口跟踪的稳像方法，其特征在于，所述成像光学系统焦平面图像整体偏移量是各窗口图像偏移量的加权和，互相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为0。