CN104729482B - 一种基于飞艇的地面微小目标侦测系统及方法 - Google Patents

Abstract

本发明一种基于飞艇的地面微小目标侦测系统及方法，该系统包括：系统包含以下四个部分：图像采集模块、飞艇位置姿态信息测量模块、数据处理与记录模块和红外相机地面定标场。利用飞艇艇身较长的特点，使用两台红外相机组成双目视觉测量系统，完成目标检测的同时还可实现目标的定位，极大的简化了测量平台的组成；利用水平仪和卫星定位终端结合的方式对飞艇的姿态进行测量，解决了卫星定位数据高度方向误差较大的问题，同时避免了因采用惯导设备长时间测量产生误差漂移的问题，提高了飞艇姿态测量精度；采用“全帧处理、挑帧存储”的工作方式，降低图像存储成本。

Description

一种基于飞艇的地面微小目标侦测系统及方法

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于飞艇的地面微小目标侦测系统及方法，可应用于沙漠戈壁背景下微小目标的空中侦测。

背景技术

沙漠戈壁区域具有面积广阔、背景相对单一的特点，置身于其中的小目标(如陨石、电子器件等)不易被发现。拉网式搜索、航空/天遥感探测等是常用的搜寻手段，但由于技术和使用成本的限制，上述方法均不适用于沙漠戈壁背景中的小目标探测搜寻。低空摄影测量技术的发展为解决上述问题提供了一种新思路。低空摄影测量系统为以无人机或者飞艇为平台，以数字相机为有效载荷，飞行高度在1000m以下，能够获取规则重叠度影像的系统。近年来由于大比例地形图的制作需求，低空摄影测量成为人们研究的热点。

低空摄影测量具有获取成果快、生产周期短、成本低、可操作性强等特点，特别是飞艇平台具有承载能力大、相机拍摄像点位移小的优点，将其用来弥补航空摄影测量的不足，在大比例尺地形图的制作与修改方面具有较好的应用前景。然而，传统的低空摄影系统主要用于地形图的制作，为了实现微小目标的侦测和定位能力，需要给系统增加红外测量相机提高其探测能力，增加高程测量和相机指向测量设备使其具备定位能力，同时还需解决飞艇自身姿态的高精度测量问题。

发明内容

针对上述问题和不足，本发明提出了一种基于飞艇的地面微小目标侦测手段，利用两台红外相机组成双目视觉测量系统实现目标的探测和定位，利用水平仪和差分GPS/北斗定位系统实现飞艇姿态的测量。

为了实现上述技术任务，本发明采用如下技术方案予以实现：

一种基于飞艇的地面微小目标侦测系统，包括：图像采集模块、飞艇位置姿态信息测量模块、数据处理与记录模块、设置在地面上的差分GPS/北斗基站和红外相机地面定标场；

图像采集模块，由两台红外相机组成，分别布设于飞艇头部和尾部，红外相机采用定焦镜头，视场指向飞艇正下方区域，用于飞艇巡航过程中地表红外图像的扫描拍摄和可疑目标的初步检测；两台红外相机组成长基线的双目视觉测量系统，实现目标定位；

飞艇位置姿态信息测量模块，由电子水平仪系统、差分GPS/北斗定位系统组成；电子水平仪系统用于飞行过程中飞艇俯仰角和滚转角的测量；差分GPS/北斗定位系统完成飞行过程中飞艇位置和航向角的测量；

图像数据处理与记录模块，用于对采集到图像进行处理并结合相邻帧的图像进行管道滤波的方式对小目标进行提取，结合飞艇的飞行速度和相机的视场覆盖区域及采集帧频，对采集到的图像进行挑帧存储；

红外相机地面定标场，完成两台红外相机的内参数标定，并结合差分GPS/北斗定位系统实现两台相机相对于飞艇中心位置和指向的标定；

其中，电子水平仪、差分GPS/北斗定位数据处理系统、图像处理储存系统设置在飞艇的吊舱上，红外相机通过布置在飞艇艇身的线缆将图像传输至图像存储系统，差分GPS/北斗天线通过布置在飞艇艇身的同轴电缆将信号(包括时间、位置信息)传输至差分GPS/北斗定位数据处理系统。

所述差分GPS/北斗定位数据处理系统包括四个差分GPS/北斗天线，四个差分GPS/北斗天线均布在飞艇上。

一种基于飞艇的地面微小目标侦测系统的侦测方法，包括以下步骤：

1)飞艇飞过地面红外相机定标场上方，对两台红外相机进行参数标定，得到两台相机参数矩阵M_i：

式中，i＝1、2，为相机序号，M_i1(3×3矩阵)为相机的内参数矩阵，由等效焦距f_ix、f_iy和光心位置u_i0、v_i0组成；M_i2(3×4矩阵)为相机的外参数矩阵，由相机相对于飞艇坐标系的旋转矩阵R_i(3×3矩阵)和相机光心相对于飞艇中心的平移向量t_i(3×1向量)组成；

2)飞艇对侦测区域进行巡航，单台红外图像对可疑目标的进行检测，利用经典的基于背景预测红外弱小目标检测方法实现可疑目标的检测；采用移动式管道滤波方法对可疑目标进行确认；

3)利用两台红外相机的匹配对可疑目标进行二次确认，并对目标进行三维位置测量；

4)根据飞艇的飞行速度、红外相机的视场宽度和拍摄帧频，对红外图像进行挑帧存储；

5)结合差分GPS/北斗定位系统的定位数据、航向角，电子水平仪的俯仰角、滚转角数据，双目视觉系统解算出的目标相对飞艇坐标系的三维坐标，对目标在大地坐标系的位置进行解算，并输出结果。

作为本发明的进一步改进，步骤3)中，三维位置测量具体计算如下：

目标在飞艇坐标系下坐标与两红外相机中像素位置有如下关系：

其中，(u₁,v₁,1)^T、(u₂,v₂,1)^T分别为目标在两台红外相机图像中的像素齐次坐标，(X,Y,Z,1)^T为目标在飞艇坐标系下的齐次坐标；在式(2)、(3)中消去Z_c1与Z_c2，可以得到关于X、Y、Z的四个线性方程：

写成矩阵形式，即：

利用最小二乘法计算得到目标在飞艇坐标系的三维坐标：

同时记录下当前时间。

作为本发明的进一步改进，步骤5)中，对目标在大地坐标系的位置进行解算，具体算法如下：

5a)首先将目标在飞艇坐标系下的坐标(X,Y,Z)^T转换为以飞艇中心为原点的垂线坐标系下的坐标(X_c,Y_c,Z_c)^T：

式中R_c为3×3旋转矩阵，由飞艇的航向角、俯仰角、滚转角决定；

5b)其次结合艇上4台差分GPS/北斗定位数据和1台差分GPS/北斗基站数据获得飞艇的位置(B_t,L_t,h_t)^T，并将其转到地心直角坐标系(X_t,Y_t,Z_t)^T下：

X_t＝(N+h_t)cosB_tcosL_t

Y_t＝(N+h_t)cosB_tsinL_t (9)

Z_t＝[N(1-e²)+h_t]sinB_t

式中N为参考椭球卯酉圈曲率半径，e为参考椭球的第一偏心率；a为参考椭球长半轴长度；

5c)将目标在垂线坐标系下的坐标(X_c,Y_c,Z_c)^T转换到地心直角坐标系(X_w,Y_w,Z_w)^T下：

式中，为飞艇中心的天文坐标：(ξ,η)为当地的垂线偏差；

5d)(X_w,Y_w,Z_w)^T即目标的位置表达，也可将其转换到大地坐标系(B_w,L_w,h_w)^T下：

式中，W＝(1-e²sin²B_w)^1/2，在计算大地纬度B_w时需采用迭代法计算。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种基于飞艇的地面微小目标侦测系统，利用飞艇艇身较长的特点，使用两台红外相机组成双目视觉测量系统，完成目标检测的同时还可实现目标的定位，极大的简化了测量平台的组成，相对于现有技术，无需进行相机指向测量和高程测量；利用水平仪和卫星定位终端结合的方式对飞艇的姿态进行测量，解决了卫星定位数据高度方向误差较大的问题，同时避免了因采用惯导设备长时间测量产生误差漂移的问题，提高了飞艇姿态测量精度；采用“全帧处理、挑帧存储”的工作方式，降低图像存储成本。采用水平仪和差分GPS/北斗定位系统实现飞艇姿态的精度测量。结合差分GPS/北斗位置信息和飞艇平台上双相机视觉系统可以实现地面目标绝对位置坐标测量。

本发明一种基于飞艇的地面微小目标侦测方法，采用“全帧处理、挑帧存储”的工作方式，降低图像存储成本。基于飞艇的地面微小目标侦测手段，适用于沙漠戈壁背景以及其它简单背景下的微小目标的检测和定位。

附图说明

图1是本发明系统的示意图：

其中，1、2为组成双目视觉测量系统的两台红外相机；3为飞艇的吊舱，包含电子水平仪、差分GPS/北斗定位数据处理系统、图像处理储存系统；4、5、6、7为差分GPS/北斗天线；8为差分GPS/北斗基站；9为双目视觉测量系统的视场。

具体实施方式

本发明提出了一种基于飞艇的地面微小目标侦测系统，系统包含以下四个部分：图像采集模块、飞艇位置姿态信息测量模块、数据处理与记录模块和红外相机地面定标场。

(1)图像采集模块，由两台红外相机组成，分别布设于飞艇头部和尾部，采用定焦镜头，视场指向飞艇正下方区域，完成飞艇巡航过程中地表红外图像的扫描拍摄和可疑目标的初步检测。

(2)飞艇位置姿态信息测量模块，由电子水平仪系统、差分GPS/北斗定位系统组成。电子水平仪系统完成飞行过程中飞艇俯仰角和滚转角的测量；差分GPS/北斗定位系统完成飞行过程中飞艇位置和航向角的测量。

(3)图像数据处理与记录模块，采用“全帧处理、挑帧存储”的工作方式，根据飞艇飞行速度慢的特点，红外相机图像相邻帧之间具有较大的重合，对采集到图像进行处理并结合相邻帧的图像进行管道滤波等方式对小目标进行提取。结合飞艇的飞行速度和相机的视场覆盖区域及采集帧频，对采集到的图像进行挑帧存储。同时利用飞艇艇身较长的特点，两台红外相机组成长基线的双目视觉测量系统，实现目标定位。

(4)红外相机地面定标场，完成两台红外相机的内参数标定，并结合差分GPS/北斗定位系统实现两台相机相对于飞艇中心位置和指向的标定。

其中，电子水平仪、差分GPS/北斗定位数据处理系统、图像处理储存系统设置在飞艇的吊舱(3)上，红外相机通过布置在飞艇艇身的线缆将图像传输至图像存储系统，差分GPS/北斗天线通过布置在飞艇艇身的同轴电缆将信号(包括时间、位置信息)传输至差分GPS/北斗定位数据处理系统。

本发明为基于飞艇的地面微小目标侦测平台，不包含飞艇的飞行控制、能源等其它分系统。

下面结合附图和具体实施方式对本发明作进行一步详细说明：

(1)飞艇飞过地面红外相机定标场上方，对两台红外相机进行参数标定，得到两台相机参数矩阵M_i(i＝1、2，为相机序号)：

式中，M_i1(3×3矩阵)为相机的内参数矩阵，由等效焦距f_ix、f_iy和光心位置u_i0、v_i0组成；M_i2(3×4矩阵)为相机的外参数矩阵，由相机相对于飞艇坐标系的旋转矩阵R_i(3×3矩阵)和相机光心相对于飞艇中心的平移向量t_i(3×1向量)组成；考虑到图像处理的实时性且红外相机采用长焦镜头，镜头畸变可忽略。

(2)飞艇对侦测区域进行巡航，单台红外图像对可疑目标的进行检测，利用经典的基于背景预测红外弱小目标检测方法实现可疑目标的检测，该方法运算效率高但虚景概率较高。由于飞艇巡航速度较慢，利用图像相邻帧之间具有较大重合的特点，采用移动式管道滤波方法对可疑目标进行确认。

(3)利用两台红外相机的匹配对可疑目标进行二次确认，并对目标进行三维位置测量。具体计算如下：目标在飞艇坐标系下坐标与两红外相机中像素位置有如下关系：

其中，(u₁,v₁,1)^T、(u₂,v₂,1)^T分别为目标在两台红外相机图像中的像素齐次坐标，(X,Y,Z,1)^T为目标在飞艇坐标系下的齐次坐标。在式(2)、(3)中消去Z_c1与Z_c2，可以得到关于X、Y、Z的四个线性方程：

写成矩阵形式，即：

利用最小二乘法计算得到目标在飞艇坐标系的三维坐标：

同时记录下当前时间。

(4)根据飞艇的飞行速度、红外相机的视场宽度和拍摄帧频，对红外图像进行挑帧存储，在确保相邻帧存储图像具有一定边缘重合度的条件下，降低存储成本。

(5)结合差分GPS/北斗定位系统的定位数据、航向角，电子水平仪的俯仰角、滚转角数据，双目视觉系统解算出的目标相对飞艇坐标系的三维坐标，对目标在大地坐标系的位置进行解算。具体算法如下：

(5a)首先将目标在飞艇坐标系下的坐标(X,Y,Z)^T转换为以飞艇中心为原点的垂线坐标系下的坐标(X_c,Y_c,Z_c)^T：

式中R_c为3×3旋转矩阵，由飞艇的航向角、俯仰角、滚转角决定。

(5b)其次结合艇上4台差分GPS/北斗定位数据和1台差分GPS/北斗基站数据获得飞艇的位置(B_t,L_t,h_t)^T，并将其转到地心直角坐标系(X_t,Y_t,Z_t)^T下：

X_t＝(N+h_t)cosB_tcosL_t

Y_t＝(N+h_t)cosB_tsinL_t (9)

Z_t＝[N(1-e²)+h_t]sinB_t

式中N为参考椭球卯酉圈曲率半径,e为参考椭球的第一偏心率；a为参考椭球长半轴长度。

(5c)将目标在垂线坐标系下的坐标(X_c,Y_c,Z_c)^T转换到地心直角坐标系(X_w,Y_w,Z_w)^T下：

式中，为飞艇中心的天文坐标：(ξ,η)为当地的垂线偏差。

(5d)(X_w,Y_w,Z_w)^T即目标的位置表达，也可将其转换到大地坐标系(B_w,L_w,h_w)^T下：

式中，W＝(1-e²sin²B_w)^1/2，在计算大地纬度B_w时需采用迭代法计算。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (5)

1.一种基于飞艇的地面微小目标侦测系统的侦测方法，其特征在于，所述的基于飞艇的地面微小目标侦测系统，包括：图像采集模块、飞艇位置姿态信息测量模块、图像处理储存系统、设置在地面上的差分GPS/北斗基站(8)和红外相机地面定标场；

图像采集模块，由两台红外相机(1、2)组成，分别布设于飞艇头部和尾部，视场指向飞艇正下方区域，用于飞艇巡航过程中地表红外图像的扫描拍摄和可疑目标的初步检测；两台红外相机(1、2)组成长基线的双目视觉测量系统，实现目标定位；

飞艇位置姿态信息测量模块，由电子水平仪系统、差分GPS/北斗定位系统组成；电子水平仪系统用于飞行过程中飞艇俯仰角和滚转角的测量；差分GPS/北斗定位系统用于飞行过程中飞艇位置和航向角的测量；

图像处理储存系统，用于对采集到图像进行处理，并结合相邻帧的图像进行管道滤波的方式对小目标进行提取，结合飞艇的飞行速度和相机的视场覆盖区域及采集帧频，对采集到的图像进行挑帧存储；

红外相机地面定标场，完成两台红外相机的内参数标定，并结合差分GPS/北斗定位系统实现两台相机相对于飞艇中心位置和指向的标定；

其中，电子水平仪、差分GPS/北斗定位系统、图像处理储存系统设置在飞艇的吊舱(3)上，红外相机通过布置在飞艇艇身的线缆将图像传输至图像处理储存系统，差分GPS/北斗天线通过布置在飞艇艇身的同轴电缆将信号传输至差分GPS/北斗定位系统；

其侦测方法包括以下步骤：

1)飞艇飞过地面红外相机定标场上方，对两台红外相机进行参数标定，得到两台相机参数矩阵M_i：

$M_i=M_{i1}{M}_{i2}=\left[\begin{array}{ccc}{f}_{ix}& 0& u_{i0}\\ 0& f_{iy}& v_{i0}\\ 0& 0& 1\end{array}\right]\[\begin{array}{cc}{R}_i& t_i\end{array}\]---\left(1\right)$

式中，i＝1、2，为相机序号，M_i1(3×3矩阵)为相机的内参数矩阵，由等效焦距f_ix、f_iy和光心位置u_i0、v_i0组成；M_i2(3×4矩阵)为相机的外参数矩阵，由相机相对于飞艇坐标系的旋转矩阵R_i(3×3矩阵)和相机光心相对于飞艇中心的平移向量t_i(3×1向量)组成；

2)飞艇对侦测区域进行巡航，单台红外相机对可疑目标的进行检测，利用基于背景预测红外弱小目标检测方法实现可疑目标的检测；采用移动式管道滤波方法对可疑目标进行确认；

3)利用两台红外相机的匹配对可疑目标进行二次确认，并对目标进行三维位置测量；

4)根据飞艇的飞行速度、红外相机的视场宽度和拍摄帧频，对红外图像进行挑帧存储；

5)结合差分GPS/北斗定位系统的定位数据、航向角，电子水平仪的俯仰角、滚转角数据，双目视觉系统解算出的目标相对飞艇坐标系的三维坐标，对目标在大地坐标系的位置进行解算，并输出结果。

2.权利要求1所述的基于飞艇的地面微小目标侦测系统的侦测方法，其特征在于，步骤3)中，三维位置测量具体计算如下：

目标在飞艇坐标系下坐标与两红外相机中像素位置有如下关系：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=M_1\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(2\right)$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=M_2\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(3\right)$

其中，(u₁,v₁,1)^T、(u₂,v₂,1)^T分别为目标在两台红外相机图像中的像素齐次坐标，(X,Y,Z,1)^T为目标在飞艇坐标系下的齐次坐标；在式(2)、(3)中消去Z_c1与Z_c2，可以得到关于X、Y、Z的四个线性方程：

$\begin{array}{c}(u_1{m}_{31}^1-m_{11}^1)X+(u_1{m}_{32}^1-m_{12}^1)Y+(u_1{m}_{33}^1-m_{13}^1)Z=m_{14}^1-u_1{m}_{34}^1\\ (v_1{m}_{31}^1-m_{21}^1)X+(v_1{m}_{32}^1-m_{22}^1)Y+(v_1{m}_{33}^1-m_{23}^1)Z=m_{24}^1-v_1{m}_{34}^1\end{array}---\left(4\right)$

$\begin{array}{c}(u_2{m}_{31}^2-m_{11}^2)X+(u_2{m}_{32}^2-m_{12}^2)Y+(u_2{m}_{33}^2-m_{13}^2)Z=m_{14}^2-u_2{m}_{34}^2\\ (v_2{m}_{31}^2-m_{21}^2)X+(v_2{m}_{32}^2-m_{22}^2)Y+(v_2{m}_{33}^2-m_{23}^2)Z=m_{24}^2-v_2{m}_{34}^2\end{array}---\left(5\right)$

写成矩阵形式，即：

$H\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=u---\left(6\right)$

利用最小二乘法计算得到目标在飞艇坐标系的三维坐标：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]={\left(H^{\′}H\right)}^{-1}{H}^{\′}u---\left(7\right)$

同时记录下当前时间。

3.权利要求1所述的基于飞艇的地面微小目标侦测系统的侦测方法，其特征在于，步骤5)中，对目标在大地坐标系的位置进行解算，具体算法如下：

5a)首先将目标在飞艇坐标系下的坐标(X,Y,Z)^T转换为以飞艇中心为原点的垂线坐标系下的坐标(X_c,Y_c,Z_c)^T：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=R_c\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]---\left(8\right)$

式中R_c为3×3旋转矩阵，由飞艇的航向角、俯仰角、滚转角决定；

5b)其次结合艇上4台差分GPS/北斗定位系统的定位数据和1台差分GPS/北斗基站的数据获得飞艇的位置(B_t,L_t,h_t)^T，并将其转到地心直角坐标系(X_t,Y_t,Z_t)^T下：

$\begin{array}{c}{X}_t=(N+h_t)\cos B_t\cos L_t\\ Y_t=(N+h_t)\cos B_t\sin L_t\\ Z_t=\[N(1-e^2)+h_t\]\sin B_t\end{array}---\left(9\right)$

式中N为参考椭球卯酉圈曲率半径,e为参考椭球的第一偏心率；a为参考椭球长半轴长度；

5c)将目标在垂线坐标系下的坐标(X_c,Y_c,Z_c)^T转换到地心直角坐标系(X_w,Y_w,Z_w)^T下：

式中，为飞艇中心的天文坐标：(ξ,η)为当地的垂线偏差；

5d)(X_w,Y_w,Z_w)^T即目标的位置表达，也可将其转换到大地坐标系(B_w,L_w,h_w)^T下：

$\begin{array}{c}{L}_w=arctg\[\frac{Y_w}{X_w}\]\\ B_w=arctg\[\frac{Z_w}{\sqrt{{X_w}^2+{Y_w}^2}}(1+\frac{{\mathrm{ae}}^2}{Z_w}\·\frac{\sin B_w}{W})\]\\ h_w=\frac{\sqrt{{X_w}^2+{Y_w}^2}}{\cos B_w}-N\end{array}---\left(11\right)$

式中，W＝(1-e²sin²B_w)^1/2，在计算大地纬度B_w时需采用迭代法计算。

4.权利要求1所述的基于飞艇的地面微小目标侦测系统的侦测方法，其特征在于，所述差分GPS/北斗定位系统包括四个差分GPS/北斗天线(4、5、6、7)，四个差分GPS/北斗天线(4、5、6、7)均布在飞艇上。

5.权利要求1所述的基于飞艇的地面微小目标侦测系统的侦测方法，其特征在于，所述红外相机采用定焦镜头。