CN106357957A - 基于亚像素相位相关检测的快速反射镜稳像装置及方法 - Google Patents

Abstract

本发明公开了一种基于亚像素图像相关检测的快速反射镜稳像方法，通过快速反射镜偏转光束，对光电稳定跟踪平台在运动或震动环境中的抖动光轴进行稳定跟踪和校正。本方法首先通过图像相关的方法计算出由于光电系统本身抖动引起的亚像素级的图像偏移量，然后根据光电稳定跟踪平台中光电成像系统的光学参数解算出不稳定光轴的偏移量来，将此光轴偏移量反馈给快速反射镜的控制器，实时控制快速反射镜偏转实现光轴的稳定。该系统可以实现单帧频图像和视频序列的稳像，消除光电稳定跟踪平台中的光电‑电视传感器由于光轴抖动造成的视频信号抖动或图像模糊，提高成像系统的视频质量。同时提高了光电稳定跟踪平台的瞄准线稳定精度和作战效能。本发明具有快速、简单、解算精度高、成本低等优点。

Description

基于亚像素相位相关检测的快速反射镜稳像装置及方法

技术领域

本发明属于数字图像处理和伺服控制领域，主要涉及一种适用于各种光电稳定跟踪平台中的快速反射镜(FSM)稳像方法，具体为一种基于亚像素相位相关检测的快速反射镜稳像装置及方法。

背景技术

光电稳定跟踪平台被广泛应用于地基、车载、舰载、机载、弹载以及各种航天设备中。当这些平台上的成像系统对目标成像时，会由于一些内部原因(例如平台的运动、抖动及姿态变化等)，或者一些外部原因(例如大气效应，即风效应或载体上局部压力变化等)使各种图像传感器(相机、多光谱及超光谱传感器或电视或红外传感器等)在曝光的同时，待成像物体与感光元件间存在相对运动。这种相对运动会导致成像模糊或产生拖尾效应，使得成像质量往往产生一定程度的退化，对比度以及分辨率降低，对于高分辨率图像传感器的来说情况更为严重。这严重影响了光电稳定跟踪系统的精确跟踪和打击能力。如何降低甚至消除各种干扰对成像质量的影响也成为了稳像技术的关键所在。

目前常用的稳像技术主要有：光学稳像技术、微机械稳像技术、电子稳像技术。

光学稳像技术是在光路中设置一些光学元件作为对不稳定图像的补偿，典型的光学稳像方法是利用光楔来控制瞄准线的方向，通过移动或者转动光楔，改变出射光线的角度和方向，来进行像移的补偿，从而达到稳像的目的。光学稳像技术的主要缺陷是仅适用于振动较小的环境条件，且补偿器的结构和制造工艺太复杂。同时，如果仅依靠棱镜、反射镜或者光楔等光学元件进行被动补偿，稳定能力受到较大限制。

微机械稳像技术是通过微机械装置直接控制偏转镜的转动或成像焦面移动，补偿像移，完成稳像任务。微机械稳需要通过一定方法来获得焦面位置并对位移进行控制。

电子稳像技术是应用数字图像处理的方法来直接确定图像序列的偏移并进行补偿的技术，电子稳像方法只是去除视频图像序列帧间因摄像机无意抖动造成的扰动，它只能使视频序列在播放过程中在视觉上产生一种稳定播放的效果，而不能对单幅图像在曝光时间内进行稳像，不能对瞄准线进行稳定控制，也不能真正提高其成像的分辨率。

中国专利201210073946.1公开了一种基于图像相关检测的快速反射镜稳像系统来解决一些光学成像体统对相机高分辨像质的要求。但是该专利中的方法主要适用于高分辨率遥感器，并且该专利中提到的算法运算量大，对于图像的处理是在整像素精度上，精度不高。

发明内容

为了解决上述现有技术存在的问题，本发明提出了一种基于亚像素相位相关检测的快速反射镜稳像装置及方法。本发明中所使用的方法不仅具有运算量小、速度快、精度高、功耗低等优点，并且由于在光电稳瞄、跟踪系统中普遍采用快速反射镜来进行二级稳定，所以本发明的方法还有提高瞄准线稳定精度的作用，在实战中应用本发明的方法可以提高武器系统的精确跟踪、打击能力，提高我军的作战能力。

本发明的技术方案为：

所述一种基于亚像素相位相关检测的快速反射镜稳像装置，其特征在于：包括探测器和图像相关处理单元；

探测器处于光电稳定跟踪平台的成像光路中，光电稳定跟踪平台快速反射镜反射的光学信号汇聚在探测器上；

探测器将采集的图像信号输出给图像相关处理单元，并在图像相关处理单元中缓存；图像相关处理单元将输入的图像与缓存的前一帧图像进行亚像素级的图像相位互相关计算，得到两帧图像的全局运动矢量；图像相关处理单元根据得到的全局运动矢量和光电稳定跟踪平台光学系统参数，计算得到引起两帧图像位移的偏转角度；

图像相关处理单元将计算得到的偏转角度输出给光电稳定跟踪平台中快速反射镜的控制模块，控制模块驱动快速反射镜偏转。

进一步的优选方案，所述一种基于亚像素相位相关检测的快速反射镜稳像装置，其特征在于：探测器采用CCD/CMOS探测器，图像相关处理单元为基于FPGA的图像相关处理单元。

进一步的优选方案，所述一种基于亚像素相位相关检测的快速反射镜稳像装置，其特征在于：基于FPGA的图像相关处理单元由图像预处理单元、帧缓存模块、图像FFT变换模块、图像iFFT变换模块和软核模块组成。

进一步的优选方案，所述一种基于亚像素相位相关检测的快速反射镜稳像装置，其特征在于：基于FPGA的图像相关处理单元中，采用快速傅里叶变换的方法实现两帧图像的实时相关运算，采用在FPGA内部调用软核的方法，在软核内部计算两帧图像的互相关谱以及计算全局运动矢量。

所述一种基于亚像素相位相关检测的快速反射镜稳像方法，其特征在于：包括以下步骤：

步骤1：基于FPGA的图像相关处理单元从CCD/CMOS探测器读取第N帧图像信息，当N＝1时，该帧图像存入缓存中，作为参考帧；当N＝2,3,…时，该帧图像作为本次图像处理流程的当前帧，并存入缓存中作为下一次图像处理流程的参考帧；

步骤2：基于FPGA的图像相关处理单元对当前帧进行暗电流校正、增益校正、滤波处理，消除图像噪声；

步骤3：基于FPGA的图像相关处理单元对当前帧和参考帧进行采样，并进行快速傅里叶变换；利用FPGA内部的软核计算快速傅里叶变换后的当前帧和参考帧的互相关谱；基于FPGA的图像相关处理单元对互相关谱进行反傅立叶变换后再送入软核，在软核内计算当前帧和参考帧的整像素全局运动矢量；

步骤4：依据整像素全局运动矢量，选取当前帧和参考帧重叠的部分进行插值，对插值后的两帧图像再进行快速傅里叶变换；利用FPGA内部的软核计算快速傅里叶变换后的两帧插值图像的互相关谱；基于FPGA的图像相关处理单元对互相关谱进行反傅立叶变换后再送入软核，在软核内计算插值后的两帧图像的亚像素运动矢量；

步骤5：根据整像素全局运动矢量和亚像素运动矢量加权计算得到当前帧和参考帧的亚像素全局运动矢量。

进一步的优选方案，所述一种基于亚像素相位相关检测的快速反射镜稳像方法，其特征在于：步骤3计算当前帧和参考帧的整像素全局运动矢量的具体过程为：

对当前帧f(x,y)和参考帧g(x,y)进行n倍下采样得到f′(x,y)和g′(x,y)；再对f′(x,y)和g′(x,y)进行FFT变换后得到F(u,v)和G(u,v)；在FPGA内部调用软核根据公式

$P(u,v)=\frac{F(u,v)\·G^{*}(u,v)}{|F(u,v)\·G^{*}(u,v)|}$

计算互功率谱，其中G^*(u,v)为G(u,v)的复共轭，|·|表示取模；

在FPGA内部对互功率谱P(u,v)进行反傅立叶变换后再送入软核，在软核内计算当前帧和参考帧的整像素全局运动矢量。

进一步的优选方案，所述一种基于亚像素相位相关检测的快速反射镜稳像方法，其特征在于：步骤5中根据整像素全局运动矢量和亚像素运动矢量加权计算得到当前帧和参考帧的亚像素全局运动矢量的具体过程为：

根据公式

$\left\{\begin{array}{c}x=Delta\_nx*n\±\frac{Delta\_mx}{m}\\ y=Delta\_ny*n\±\frac{Delta\_my}{m}\end{array}\right.$

计算得到亚像素全局运动矢量Δ(x,y)，其中Δ(Delta_nx，Delta_ny)为整像素全局位移矢量，Δ_sub(Delta_mx，Delta_my)为亚像素运动矢量；m为步骤4中的插值倍数，n为步骤3中的下采样倍数。

有益效果

本发明中所使用的方法不仅具有运算量小、速度快、精度高、功耗低等优点。并且由于在光电稳瞄、跟踪系统中普遍采用快速反射镜来进行二级稳定，所以本发明的方法还有提高瞄准线稳定精度的作用，在实战中应用本发明的方法可以提高武器系统的精确跟踪、打击能力，提高我军的作战能力。

附图说明

图1是基于亚像素相位相关检测的快速反射镜稳像系统结构示意图。

图2是图像处理硬件平台原理图。

图3是FPGA内部工作流程图。

图4是快速反射镜控制原理图。

具体实施方式

下面结合具体实施例描述本发明：

本如图1所示，实施例中的基于亚像素相位相关检测的快速反射镜稳像装置括高速CCD/CMOS探测器5和基于FPGA的图像相关处理单元7。CCD/CMOS探测器5处于光电稳定跟踪平台的成像光路中，光电稳定跟踪平台的成像光路以及其余控制系统还有固定反射镜1、第一透镜组2、快速反射镜3、第二透镜组4，光电-电视传感器6，以及快速反射镜控制单元8。

固定反射镜1采用普通的反射镜；

第一透镜组2，口径为150mm，焦距1800mm，F数为12，分辨率＜5”，系统瞬时视场为8urad，总视场0.95°；

快速反射镜3采用四支点XY轴压电偏转平台，其闭环倾斜角度可达+2mrad，分辨率达0.05urad，镜面直径为50mm，闭环线性度0.2％，共振频率3.3KHz，其镜面与焦平面的距离H为100mm；

第二透镜组4，口径为150mm，焦距1800mm，F数为12，分辨率＜5”，系统瞬时视场为8urad，总视场0.95°；

高速CCD/CMOS探测器5采用高帧频CMOS器件，其面阵大小可配置，最大2048×1088，本发明中配置为640×480，可见光波段，像移尺寸为5.5μm×5.5μm，帧频最大帧频780fps，本发明中设置为500fps，积分时间小于1ms；

光电-电视传感器6采用具有全局快门的单色面阵CCD器件，其面阵大小为1024×768，响应波长为400～1000nm，像元尺寸为14um×14um，帧频25fps，积分时间可调整，模拟接口，PAL制式；

FPGA图像相关处理单元7如图2所示，它由图像预处理单元、帧缓存模块、图像FFT变换模块、图像iFFT变换模块和软核模块组成。FPGA选用Xilinx公司的XC6SLX45T-3FGG484I，该芯片属于Spartan-6系列，性价比高，资源丰富，速度等级高，有296个有效I/O口，54576个slice，2088Kb ram block，4个锁相环，1个microblaze软核，工业级温度范围-40℃～85℃；

快速反射镜控制单元8采用四支点XY轴压电偏转平台，其闭环倾斜角度可达+2mrad，分辨率达0.05urad，镜面直径为50mm，闭环线性度0.2％，共振频率3.3KHz，其镜面与焦平面的距离H为100mm。

目标的光学信号通过成像光学系统经过快速反射镜3的反射后将信号汇聚在CCD/CMOS探测器5和光电-电视传感器6上，FPGA图像相关处理单元7实现对CCD/CMOS探测器5的控制和图像信号采集，采集后的图像信号在FPGA图像相关处理单元7内部进行缓存，并与前一帧图像进行亚像素级的图像相位互相关计算，得到前后两帧图像的全局运动矢量，根据图像的全局运动矢量结合光学系统的参数计算出前后引起两帧图像位移的偏转角度。将该角度送给快速反射镜控制单元8，由快速反射镜控制转换成电压量来驱动快速反射镜的偏转。使图像在光电-电视传感器6上保持相对稳定或抖动频率保持在一定范围内，最后光电-电视传感器6对图像信号进行积分，这样光电-电视传感器6就获得了稳定的高分辨率的视频图像。同时抑制了瞄准线的漂移，并且保证探测器的图像稳定。

由于图像相关计算量较大的问题，本发明设计了基于FPGA的数字图像采集及数字图像处理模块，FPGA具有并行处理，灵活编程的特点。由于FPGA处理逻辑和时序信号效率很高，但是对于数字信号处理相对较弱。本发明采用了在FPGA内部调用软核的方法进行数字信号计算。该系统中的FPGA图像相关处理单元采用快速傅里叶变换的方法实现两帧图像的实时相关运算，而计算两帧图像的互相关谱和计算位移矢量则在软核内部完成。其内部功能模块如图3所示，其进行图像处理的流程如下：

步骤1：基于FPGA的图像相关处理单元从CCD/CMOS探测器读取第N帧图像信息，当N＝1时，该帧图像存入缓存中，作为参考帧；当N＝2,3,…时，该帧图像作为本次图像处理流程的当前帧，并存入缓存中作为下一次图像处理流程的参考帧。

步骤2：基于FPGA的图像相关处理单元对当前帧进行暗电流校正、增益校正、滤波处理，消除图像噪声。

步骤3：基于FPGA的图像相关处理单元对当前帧f(x,y)和参考帧g(x,y)进行n倍下采样得到f′(x,y)和g′(x,y)；再对f′(x,y)和g′(x,y)进行FFT变换后得到F(u,v)和G(u,v)；这里为了保证FPGA的处理速度，选择流水处理方式，在FPGA内部调用软核根据公式

$P(u,v)=\frac{F(u,v)\·G^{*}(u,v)}{|F(u,v)\·G^{*}(u,v)|}$

计算互功率谱，其中G^*(u,v)为G(u,v)的复共轭，|·|表示取模；

在FPGA内部对互功率谱P(u,v)进行反傅立叶变换后再送入软核，在软核内计算当前帧和参考帧的整像素全局运动矢Δ(Delta_nx，Delta_ny)。

步骤4：依据整像素全局运动矢量，选取当前帧和参考帧重叠的部分f_sub(x,y)和g_sub(x,y)进行m倍插值得到f’_sub(x,y)和g’_sub(x,y)，对插值后的两帧图像f’_sub(x,y)和g’_sub(x,y)再进行快速傅里叶变换；利用FPGA内部的软核计算快速傅里叶变换后的两帧插值图像的互相关谱；基于FPGA的图像相关处理单元对互相关谱进行反傅立叶变换后再送入软核，在软核内计算插值后的两帧图像的亚像素运动矢量Δ_sub(Delta_mx，Delta_my)；

步骤5：根据整像素全局运动矢量和亚像素运动矢量加权计算得到当前帧和参考帧的亚像素全局运动矢量：根据公式

$\left\{\begin{array}{c}x=Delta\_nx*n\±\frac{Delta\_mx}{m}\\ y=Delta\_ny*n\±\frac{Delta\_my}{m}\end{array}\right.$

计算得到亚像素全局运动矢量Δ(x,y)。

而后将亚像素全局运动矢量Δ(x,y)送给控制模块8，控制模块8内部的角速率解析单元结合基于亚像素图像相关检测的快速反射镜稳像系统的光学参数，计算出图像全局运动角度结合前后两帧图像的采样间隔时间Δt，可计算出图像的抖动角速度ω_x，ω_y，将抖动角速度信号送给如图4中的控制系统。控制系统将图像的抖动角速度信号ω_x，ω_y与外界控制信号v_x，v_y叠加后得到误差信号e_x，e_y，送入驱动模块转换成快速反射镜的驱动电压量V_x，V_y送出，驱动快速反射镜偏转，实现偏移量的反馈控制。保证光电-电视传感器所接收到的图像相对惯性空间保持稳定，达到稳像和稳定瞄准线的目的。

Claims (7)

1.一种基于亚像素相位相关检测的快速反射镜稳像装置，其特征在于：包括探测器和图像相关处理单元；

探测器处于光电稳定跟踪平台的成像光路中，光电稳定跟踪平台快速反射镜反射的光学信号汇聚在探测器上；

探测器将采集的图像信号输出给图像相关处理单元，并在图像相关处理单元中缓存；图像相关处理单元将输入的图像与缓存的前一帧图像进行亚像素级的图像相位互相关计算，得到两帧图像的全局运动矢量；图像相关处理单元根据得到的全局运动矢量和光电稳定跟踪平台光学系统参数，计算得到引起两帧图像位移的偏转角度；

图像相关处理单元将计算得到的偏转角度输出给光电稳定跟踪平台中快速反射镜的控制模块，控制模块驱动快速反射镜偏转。

2.根据权利要求1所述一种基于亚像素相位相关检测的快速反射镜稳像装置，其特征在于：探测器采用CCD/CMOS探测器，图像相关处理单元为基于FPGA的图像相关处理单元。

3.根据权利要求2所述一种基于亚像素相位相关检测的快速反射镜稳像装置，其特征在于：基于FPGA的图像相关处理单元由图像预处理单元、帧缓存模块、图像FFT变换模块、图像iFFT变换模块和软核模块组成。

4.根据权利要求3所述一种基于亚像素相位相关检测的快速反射镜稳像装置，其特征在于：基于FPGA的图像相关处理单元中，采用快速傅里叶变换的方法实现两帧图像的实时相关运算，采用在FPGA内部调用软核的方法，在软核内部计算两帧图像的互相关谱以及计算全局运动矢量。

5.利用权利要求4所述装置进行基于亚像素相位相关检测的快速反射镜稳像方法，其特征在于：包括以下步骤：

步骤1：基于FPGA的图像相关处理单元从CCD/CMOS探测器读取第N帧图像信息，当N＝1时，该帧图像存入缓存中，作为参考帧；当N＝2,3,…时，该帧图像作为本次图像处理流程的当前帧，并存入缓存中作为下一次图像处理流程的参考帧；

步骤2：基于FPGA的图像相关处理单元对当前帧进行暗电流校正、增益校正、滤波处理，消除图像噪声；

步骤3：基于FPGA的图像相关处理单元对当前帧和参考帧进行采样，并进行快速傅里叶变换；利用FPGA内部的软核计算快速傅里叶变换后的当前帧和参考帧的互相关谱；基于FPGA的图像相关处理单元对互相关谱进行反傅立叶变换后再送入软核，在软核内计算当前帧和参考帧的整像素全局运动矢量；

步骤4：依据整像素全局运动矢量，选取当前帧和参考帧重叠的部分进行插值，对插值后的两帧图像再进行快速傅里叶变换；利用FPGA内部的软核计算快速傅里叶变换后的两帧插值图像的互相关谱；基于FPGA的图像相关处理单元对互相关谱进行反傅立叶变换后再送入软核，在软核内计算插值后的两帧图像的亚像素运动矢量；

步骤5：根据整像素全局运动矢量和亚像素运动矢量加权计算得到当前帧和参考帧的亚像素全局运动矢量。

6.根据权利要求5所述一种基于亚像素相位相关检测的快速反射镜稳像方法，其特征在于：步骤3计算当前帧和参考帧的整像素全局运动矢量的具体过程为：

对当前帧f(x,y)和参考帧g(x,y)进行n倍下采样得到f′(x,y)和g′(x,y)；再对f′(x,y)和g′(x,y)进行FFT变换后得到F(u,v)和G(u,v)；在FPGA内部调用软核根据公式

$P(u,v)=\frac{F(u,v)\·G^{*}(u,v)}{|F(u,v)\·G^{*}(u,v)|}$

计算互功率谱，其中G^*(u,v)为G(u,v)的复共轭，|·|表示取模；

在FPGA内部对互功率谱P(u,v)进行反傅立叶变换后再送入软核，在软核内计算当前帧和参考帧的整像素全局运动矢量。

7.根据权利要求5所述一种基于亚像素相位相关检测的快速反射镜稳像方法，其特征在于：步骤5中根据整像素全局运动矢量和亚像素运动矢量加权计算得到当前帧和参考帧的亚像素全局运动矢量的具体过程为：

根据公式

$\left\{\begin{array}{c}x=Delta\_nx*n\±\frac{Delta\_mx}{m}\\ y=Delta\_ny*n\±\frac{Delta\_my}{m}\end{array}\right.$

计算得到亚像素全局运动矢量Δ(x,y)，其中Δ(Delta_nx，Delta_ny)为整像素全局位移矢量，Δ_sub(Delta_mx，Delta_my)为亚像素运动矢量；m为步骤4中的插值倍数，n为步骤3中的下采样倍数。