CN112689084A - 一种机载光电侦察成像系统及电子稳像方法 - Google Patents

Abstract

本发明公开了一种机载光电侦察成像系统，由与机载相机连接的惯性器件和与惯性器件刚性连接的伺服控制部件，以及空间偏移信息解算部件、成像传感器、同步信号发生器和FPGA图像处理部件组成，还公开了其基于惯性器件控制残差量的电子稳像方法，先快速计算成像传感器工作参数，然后开启成像并完成光电平台惯性空间指向偏移量实时解算，利用惯性器件与伺服控制部件构成的稳像平台来补偿成像传感器的相对运动，最后实时成像画面像素偏移计算并完成图像偏移补偿；通过跟踪计算惯性器件控制残差量与像移补偿技术来实现视频画面输出稳定，有效降低了成像系统的画面抖动问题，提高了光电侦察设备的侦察效率。

Description

一种机载光电侦察成像系统及电子稳像方法

技术领域

本发明属于图像传感器稳定控制技术领域，具体涉及一种机载光电侦察成像系统，以及其电子稳像方法。

背景技术

光电侦察成像系统侦查的目标往往具有距离远、移动缓慢的特点，侦查设备中的相机一般选用长焦距小视场相机。在这种结构下，当侦查设备所在的载机平台发生轻微晃动，也会给成像图片带来强烈的平移振动和明显的旋转运动，这种现象不仅会导致操作手的视觉疲劳，同时也会使后续的图像处理算法难度加大，严重时会影响运动目标的跟踪、识别从而使得机载武器的性能下降，因此获取高质量的稳定图像成为机载侦查成像系统中需要迫切解决的问题。

机载侦查设备的观察范围较为广泛，当对地观察时其观察目标周围纹理特征较为复杂此时电子稳像方法中经典特征法能发挥较好的作用，然而当其观察目标移动到空中时，其观察目标周围背景单一，缺乏纹理单元，特征法随即会失去作用。

而常用的运动估计算法又都存在一定的问题，比如块匹配在匹配搜索时存在着搜索效率低、无法实时的问题，灰度投影方法在处理包含较大旋转或者平移变化时稳像效果较差等，而位平面算法又极其依赖位平面选择的正确性。

因此，在复杂的作战环境下，结合高精度的惯性器件残差量，采用高频伺服控制与电子稳像技术，突破应用场景的限制，可获得可靠有效的图像序列从而实现稳定的视频画面输出。

发明内容

针对上述背景，本发明的目的之一是提供一种机载光电侦察成像系统，以降低成像系统的画面抖动问题，提高光电侦察设备的侦察效率。

本发明解决其技术问题所采用的技术方案是：一种机载光电侦察成像系统，包括与机载相机连接的惯性器件和与惯性器件刚性连接的伺服控制部件，惯性器件上还连接有空间偏移信息解算部件，所述的空间偏移信息解算部件上分别连接有同步信号发生器和FPGA图像处理部件，所述的同步信号发生器和FPGA图像处理部件同时连接机载相机的成像传感器。

所述的一种机载光电侦察成像系统，其惯性器件为光纤陀螺。

本发明的目的之二是提供一种机载光电侦察成像系统的电子稳像方法，针对载机执行侦察监视任务过程中，光电探测平台随着载机不规则抖动而引起的图像画面晃动问题，通过跟踪计算惯性器件控制残差量与像移补偿技术来实现稳定。

本发明解决其技术问题所采用的技术方案是：一种机载光电侦察成像系统的电子稳像方法，包括以下步骤

步骤一，快速计算成像传感器工作参数：首先根据成像传感器的视场和曝光时间，快速计算成像传感器的工作参数，获取光电平台瞄准线空间的初始指向信息；

步骤二，产生同步控制信号同步触发成像传感器与惯性器件，开启成像并完成光电平台惯性空间指向偏移量实时解算：控制同步信号发生器依照成像传感器工作参数以固定的时间间隔产生同步触发控制信号，同步触发成像传感器进行曝光拍摄，并触发空间偏移信息解算部件完成惯性器件的空间偏移信息实时解算；

步骤三，利用惯性器件与伺服控制部件构成的稳像平台来补偿运动基座上成像传感器的相对运动：机械式伺服控制部件同时依靠惯性器件的信息完成机载相机的一级回馈稳定控制；

步骤四，实时成像画面像素偏移计算并完成图像偏移补偿：FPGA图像处理部件完成成像传感器平移运动估计并依据具体应用场景来完成像移补偿，最终实现画面的稳定。

所述的一种机载光电侦察成像系统的电子稳像方法，其步骤一中还包括判断成像传感器的工作参数是否有效，否则进行错误参数处理，是则进行光电平台瞄准线空间的初始指向信息计算。

所述的一种机载光电侦察成像系统的电子稳像方法，其步骤二中的空间偏移信息实时解算步骤如下

步骤1，简化成像传感器的运动模型

通过下列公式描述显示在成像平面上的理论运动模型：

，

其中(x _i,y _i)为图像中相机抖动之前的应该成像的像素点坐标，(x _i,y _i ^′)为抖动后的像素点坐标，m，n 分别为x，y方向上的平移量，θ为画面发生的旋转量；

忽略旋转变化，只考虑相机的俯仰以及偏航两个方向的变化，则将运动模型简化为下列公式：

；

步骤2，同步惯性器件与机载相机的曝光时刻

机载相机工作在外触发模式，光纤陀螺以1Khz稳定输出角速度数据，收到外触发信号的机载相机与光纤陀螺同步工作，通过同步触发信号，发出曝光传输数据，最终形成图像帧数据与陀螺数据；

步骤3，成像传感器平移运动估计

依靠成像传感器的数据来进行相机平移运动估计，成像传感器在固定的时刻T输出角速度信息S(T)，对于时间间隔T1到T2，假设每个帧间隔之间的陀螺角速度稳定不变，按照下列积分式可以计算出光纤陀螺在其轴向上的转动角度：

；

在长焦小视场状态下观察兴趣目标时候，忽略相机畸变的微弱影响，根据相机成像模型，设相机单一像元尺寸大小为a*b mm，相机焦距为f mm，成像平面宽高的像元数量为wid、hig，则成像平面的中心像素移动1个像素对应的弧度为公式a /（wid * f ）；

成像平面像素点在X方向偏移量，根据上述公式计算得到当前帧与参考帧之间相机X方向弧度变化为C，则成像平面中心像素点的偏移量Xshift可以由公式Xshift= C *wid*f /a计算；

步骤4，像移补偿方法

当前帧画面未发生都抖动的时候Block的位置与参考帧中Block位置相同，此时当前帧不需要进行任何处理；当发生抖动的时候，将Block2向左上方移动到Block所在的区域，根据设备的工作情况，直接选择丢弃图像外围15%的区域并留下黑边以产生良好的观感体验。

所述的一种机载光电侦察成像系统的电子稳像方法，其步骤三中还依次包括：对曝光时间更新，对拍摄时刻瞄准线空间角坐标缓存，对图像帧间移动角度计算，驱动伺服控制部件的伺服电机对瞄准线空间指向更新，以及帧间像素偏移量计算。

本发明的有益效果在于：

1，简化平台运动模型。本发明基于光电平台观察目标距离远的现实，忽略载机平台的旋转变化，只考虑成像轴俯仰与偏航两个方向的变化，简化运动模型为平移运动，从而达到在载机硬件平台实时处理的效果；

2，本发明利用惯性器件与伺服控制部件构成的稳像平台来补偿运动基座上的成像系统的相对运动，依靠伺服结构的机械式稳像方法作为一级稳定结构，将画面抖动降低到一定的程度后，再依靠电子稳定的方法，来将画面稳定到像素级别；

3，高精度的成像与惯性器件同步触发控制。为了估算出相邻成像图像之间的相对运动情况，本发明利用外触发信号精确控制连续成像画面之间的曝光时刻同时采用高精度高频率输出的惯性器件，以保证空间运动映射到成像画面上的误差达到像素级别；

4，进行场景区分的实时像移补偿。本发明根据应用场景的复杂性来选择相应的像移补偿方法，适用于光电侦察探测领域。

附图说明

图1是本发明成像系统的结构示意图；

图2为本发明惯性器件与机载相机同步触发控制流程；

图3为单个像素对应弧度角解算示意图；

图4为像移补偿示意图；

图5为稳像处理流程框图。

各附图标记为：1—惯性器件，2—伺服控制部件，3—空间偏移信息解算部件，4—成像传感器，5—同步信号发生器，6—FPGA图像处理部件，100—角速度数据，200—外触发信号，300—曝光传输数据，400—图像帧数据与陀螺数据。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

参照图1所示，本发明针对载机执行侦察监视任务过程中，光电探测平台随着载机不规则抖动而引起的图像画面晃动问题，提供一种机载光电侦察成像系统，包括与机载相机连接的惯性器件1和与惯性器件1刚性连接的伺服控制部件2，惯性器件1上还连接有空间偏移信息解算部件3，所述的空间偏移信息解算部件3上分别连接有同步信号发生器5和FPGA图像处理部件6，所述的同步信号发生器5和FPGA图像处理部件6同时连接机载相机的成像传感器4。

伺服控制部件2获取载机的飞行姿态/位置/速度，惯性器件1分别向伺服控制部件2和空间偏移信息解算部件3发送轴角速度信号，同步信号发生器5分别向空间偏移信息解算部件3和成像传感器4发送同步触发信号和触发成像使能信号，空间偏移信息解算部件3和成像传感器4分别向FPGA图像处理部件6发送轴角度信号和图像数据信号。其中所述的惯性器件1为光纤陀螺。

参照图5所示，本发明公开的一种基于惯性器件控制残差量的电子稳像方法，包括以下步骤。

步骤一，快速计算成像传感器4工作参数：首先根据成像传感器4的视场和曝光时间，快速计算成像传感器4的工作参数，获取光电平台瞄准线空间的初始指向信息；判断成像传感器4的工作参数是否有效，否则进行错误参数处理，是则进行光电平台瞄准线空间的初始指向信息计算。

步骤二，产生同步控制信号同步触发成像传感器4与惯性器件1，开启成像并完成光电平台惯性空间指向偏移量实时解算：控制同步信号发生器5依照成像传感器4工作参数以固定的时间间隔产生同步触发控制信号，同步触发成像传感器4进行曝光拍摄，并触发空间偏移信息解算部件3完成惯性器件1的空间偏移信息实时解算。

如图2所示，惯性器件1与机载相机同步触发控制流程为：光纤陀螺以1Khz稳定输出角速度数据100，收到外触发信号200的机载相机与光纤陀螺同步工作，通过同步触发信号，发出曝光传输数据300，最终形成图像帧数据与陀螺数据400传输。

步骤三，利用惯性器件1与伺服控制部件2构成的稳像平台来补偿运动基座上成像传感器4的相对运动：机械式伺服控制部件2同时依靠惯性器件1的信息完成机载相机的一级回馈稳定控制。还包括曝光时间更新和拍摄时刻瞄准线空间角坐标缓存，以及图像帧间移动角度计算，驱动伺服控制部件2的伺服电机，对瞄准线空间指向更新，以及帧间像素偏移量计算。

步骤四，实时成像画面像素偏移计算并完成图像偏移补偿：FPGA图像处理部件6完成成像传感器4平移运动估计并依据具体应用场景来完成像移补偿，最终实现画面的稳定。

对本发明基于惯性器件控制残差量的电子稳像方法进一步说明如下。

本发明的空间偏移信息实时解算步骤如下：

1，简化成像传感器4运动模型。

一般情况下，当机载相机发生抖动的时候，当前帧数据与参考帧数据之间的抖动不仅会发生俯仰以及偏航两个方面的变化，还会存在一定的旋转变化，因此显示在成像平面上的理论运动模型需要用下列公式来进行描述。

其中(x _i,y _i)为图像中相机抖动之前的应该成像的像素点坐标，(x _i,y _i ^′)为抖动后的像素点坐标，m，n 分别为x，y方向上的平移量，θ为画面发生的旋转量。光电侦察设备中配备的两轴四框架机械式稳像结构，能够将相机的抖动控制在一个较小的范围，同时考虑到不修改设备硬件结构，因此忽略旋转变化，只考虑相机的俯仰以及偏航两个方向的变化，将运动模型简化为下列公式。

2，同步惯性器件1与机载相机的曝光时刻。

机载相机工作在外触发模式，采用的惯性器件1为光纤陀螺，假设以1Khz的频率向外输出角速度。通过同步触发信号，机载相机与光纤陀螺同步工作时序示意如图2所示。

3，成像传感器4平移运动估计。

设备中光纤陀螺与机载相机固定在一起组成一个刚性结构。对于成像传感器4，其只能测量出其轴向上的角速度信息，而机载相机成像面一般是X方向(偏航)与Y方向(俯仰)垂直分布的一个矩形结构，所以在将机载相机与光纤陀螺安装组成刚性结构时候，需要将机载相机的俯仰、偏航两个方向与光纤陀螺的轴向尽量重合。

依靠成像传感器4的数据来进行相机平移运动估计，成像传感器4能够以一定的频率fgyro，在固定的时刻T输出角速度信息S(T)，对于时间间隔T1到T2，假设每个帧间隔之间的陀螺角速度稳定不变，按照下列积分式可以计算出光纤陀螺在其轴向上的转动角度：

。

在长焦小视场状态下观察兴趣目标时候，忽略相机畸变的微弱影响，根据相机成像模型，设相机单一像元尺寸大小为a*b mm，相机焦距为f mm，成像平面宽高的像元数量为wid、hig，则成像平面的中心像素移动1个像素对应的弧度为公式a /（wid * f ），示例图如图3所示。

成像平面像素点在X方向偏移量，根据上述公式计算得到当前帧与参考帧之间相机X方向弧度变化为C，则成像平面中心像素点的偏移量Xshift可以由公式Xshift= C *wid*f /a计算。

4，像移补偿方法。

像移补偿技术是电子稳像技术中重要的技术，在根据稳像算法计算出当前帧与参考帧之间的画面变化关系后，将当前帧图像对齐到参考帧图像即为像移补偿技术，根据上节简化运动模型，其示意图原理如图4所示。

当前帧画面未发生都抖动的时候Block的位置与参考帧中Block位置相同，此时当前帧不需要进行任何处理。当发生抖动的时候，假设此时Block成像到了Block2的地方，那么就需要将Block2向左上方移动到Block所在的区域，移动的时候外围某些像素点会出现缺失的情况，因此根据设备的工作情况，当对陆地工作时，画面缺失的区域场景较为复杂，直接选择丢弃图像外围15%的区域并留下黑边以产生良好的观感体验，当对海或对空工作时，图像外围区域的数据特征较为稳定，因此选择保留上一帧的外围缺失位置的图像数据作为下一帧的数据可产生良好的观感体验。

上述实施例仅例示性说明本发明的原理及其功效，以及部分运用的实施例，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种机载光电侦察成像系统，其特征在于：包括与机载相机连接的惯性器件（1）和与惯性器件（1）刚性连接的伺服控制部件（2），惯性器件（1）上还连接有空间偏移信息解算部件（3），所述的空间偏移信息解算部件（3）上分别连接有同步信号发生器（5）和FPGA图像处理部件（6），所述的同步信号发生器（5）和FPGA图像处理部件（6）同时连接机载相机的成像传感器（4）。

2.根据权利要求1所述的一种机载光电侦察成像系统，其特征在于，所述的惯性器件（1）为光纤陀螺。

3.一种如权利要求2所述机载光电侦察成像系统的电子稳像方法，其特征在于，包括以下步骤

步骤一，根据成像传感器（4）的视场和曝光时间，快速获取成像传感器（4）的工作参数，以及瞄准线空间的初始指向信息；

步骤二，同步信号发生器（5）依照成像传感器（4）工作参数以固定的时间间隔产生控制信号，同步触发成像传感器（4）进行曝光拍摄，并触发空间偏移信息解算部件（3）完成惯性器件（1）的空间偏移信息实时解算；

步骤三，伺服控制部件（2）同时依靠惯性器件（1）的信息完成机载相机的一级回馈稳定控制；

步骤四， FPGA图像处理部件（6）完成成像传感器（4）平移运动估计，完成像移补偿，最终实现画面的稳定。

4.根据权利要求3所述的一种机载光电侦察成像系统的电子稳像方法，其特征在于，所述的步骤一中还包括判断成像传感器（4）的工作参数是否有效，否则进行错误参数处理，是则进行光电平台瞄准线空间的初始指向信息计算。

5.根据权利要求3所述的一种机载光电侦察成像系统的电子稳像方法，其特征在于，所述步骤二中的空间偏移信息实时解算步骤如下

步骤1，简化成像传感器（4）的运动模型

通过下列公式描述显示在成像平面上的理论运动模型：

，

其中(x _i,y _i)为图像中相机抖动之前的应该成像的像素点坐标，(x _i,y _i ^′)为抖动后的像素点坐标，m，n 分别为x，y方向上的平移量，θ为画面发生的旋转量；

忽略旋转变化，只考虑相机的俯仰以及偏航两个方向的变化，则将运动模型简化为下列公式：

；

步骤2，同步惯性器件（1）与机载相机的曝光时刻

机载相机工作在外触发模式，光纤陀螺以1Khz稳定输出角速度数据（100），收到外触发信号（200）的机载相机与光纤陀螺同步工作，通过同步触发信号，发出曝光传输数据（300），最终形成图像帧数据与陀螺数据（400）；

步骤3，成像传感器（4）平移运动估计

依靠成像传感器（4）的数据来进行相机平移运动估计，成像传感器（4）在固定的时刻T输出角速度信息S(T)，对于时间间隔T1到T2，假设每个帧间隔之间的陀螺角速度稳定不变，按照下列积分式可以计算出光纤陀螺在其轴向上的转动角度：

；

在长焦小视场状态下观察兴趣目标时候，忽略相机畸变的微弱影响，根据相机成像模型，设相机单一像元尺寸大小为a*b mm，相机焦距为f mm，成像平面宽高的像元数量为wid、hig，则成像平面的中心像素移动1个像素对应的弧度为公式a /（wid * f ）；

成像平面像素点在X方向偏移量，根据上述公式计算得到当前帧与参考帧之间相机X方向弧度变化为C，则成像平面中心像素点的偏移量Xshift可以由公式Xshift= C *wid*f /a计算；

步骤4，像移补偿方法

当前帧画面未发生都抖动的时候Block的位置与参考帧中Block位置相同，此时当前帧不需要进行任何处理；当发生抖动的时候，将Block2向左上方移动到Block所在的区域，根据设备的工作情况，直接选择丢弃图像外围15%的区域并留下黑边以产生良好的观感体验。

6.根据权利要求3所述的一种机载光电侦察成像系统的电子稳像方法，其特征在于，所述的步骤三中还依次包括：对曝光时间更新，对拍摄时刻瞄准线空间角坐标缓存，对图像帧间移动角度计算，驱动伺服控制部件（2）的伺服电机对瞄准线空间指向更新，以及帧间像素偏移量计算。

Images