CN111649737B - 一种面向飞机精密进近着陆的视觉-惯性组合导航方法 - Google Patents

Abstract

本发明提供的一种面向飞机精密进近着陆的视觉‑惯性组合导航方法，通过将整个进近着陆过程划分为三个阶段，分别是初始进近阶段、精密进近阶段和精密着陆阶段，针对不同阶段下飞机的导航精度需求和机载测量信息的特点，设计相应的约束函数，通过非线性优化技术获得最优解，估计飞机运动状态进行导航。该方法能够在低能见度气象条件下，不依赖于全球导航卫星系统(GNSS)辅助，实现飞机精密进近着陆导航，具备高精度、强实时、自主性的导航能力。

Description

一种面向飞机精密进近着陆的视觉-惯性组合导航方法

技术领域

本发明属于计算机视觉导航领域，具体涉及一种面向飞机精密进近着陆的视觉-惯性组合导航方法。

背景技术

固定翼飞机从初始进近点开始下降，直至降落在机场跑道面上的过程称之为进近着陆。整个过程中，飞机对导航精度的要求是不一样的。随着飞机飞行高度的不断下降，飞机靠近机场地面设施或障碍物的距离越来越近，可规避地面障碍物的时机也越少，它对自身定位精度的要求也越高。传统的进近着陆方法包括：仪表着陆系统引导的精密进近着陆和基于差分GPS的精密进近着陆。其中，仪表着陆系统的引导精度较低，且地面设施造价高昂，常用于大型机场；基于差分GPS的方法依赖于星基增强系统(SBAS)或地基增强系统(GBAS)，虽然定位精度高，适应区域范围较广，但容易受到电磁干扰，且成本极高。

近年来，国内外科研团队一直在尝试开发一种低成本、高精度、抗干扰的自主精密进近着陆辅助系统。如法国空客公司(AIRBUS)利用纯视觉方法估计飞机进近着陆时的位姿，但忽略了两个重要的事实：视觉数据更新率较低，且飞机下降至60英尺以下时无法拍摄完整的跑道轮廓。德国宇航研究院(DLR)早期利用跑道特征构造位姿的解析解，其中包含了许多假设，无法应用于实际工程；后期利用SLAM实现飞机的运动估计，但SLAM在大尺度场景下定位精度较差。国防科技大学早期采用了地基相机网络观测的方法获得飞机的位置信息，但无法估计姿态和速度信息；后来通过在跑道面上安装红外灯光装置，由机载红外相机捕获前视图像并提取目标特征，进而解算飞机位姿。这是一种纯视觉的导航定位方法，其数据更新率较低，无法满足飞机高速运动时对位姿状态估计的需求。西北工业大学在飞机机头安装发光装置，由地面相机阵列捕获并提取视觉特征，计算飞机位置信息，该方法无法估计飞机姿态信息，数据更新率较低，受限于相机的帧率。

随着飞行高度的下降，飞机距离地面设施或障碍物的距离越近，要求导航精度也越高。此外，现有的方法均采用了一种组合导航方式，不会随着飞行高度的下降而随之改变。随着飞行高度的逐渐下降，从前视相机拍摄的图像中所能提取的视觉信息也会随之变化，视觉-惯性组合导航方法也应随之改变。因此，针对飞机精密进近着陆的导航需求，还需开展进一步研究。

发明内容

为解决上述问题，本发明提供了一种面向飞机精密进近着陆的视觉-惯性组合导航方法，采用的技术方案是：

一种面向飞机精密进近着陆的视觉-惯性组合导航方法，其特殊之处在于，按照以下步骤实施：

步骤1、初始进近阶段导航

飞机即将着陆的跑道投影区域不超过整幅相机拍摄图像面积的1/4，图像中跑道左右边缘线在末端重合，选择图像中跑道的几何中心点作为视觉特征，通过扩展卡尔曼滤波器与气压高度共同构成组合导航方式，估计飞机运动状态，即飞机当前的位置、速度、姿态、加速度偏置和角速度偏置；

步骤2、精密进近阶段导航

飞机即将着陆的跑道投影区域完整地落入相机拍摄图像中，选择图像中跑道轮廓四边形顶点作为视觉特征，利用真实跑道顶点与合成跑道顶点之间的关系构造约束项，通过非线性优化方法计算系统状态的最优解；

步骤3、精密着陆阶段导航

飞机即将着陆的跑道前端边缘线和后端边缘线投影至相机拍摄图像以外，将SLAM算法与惯性测量构成视觉-惯性里程计，估计飞机运动状态。

进一步地，所述步骤1具体按照以下步骤实施：

步骤1.1、定义系统状态为

其中，

为惯性测量单元的位置，

为惯性测量单元的速度，

为惯性测量单元的姿态，b_ω为惯性测量单元的角速度偏置，b_a为惯性测量单元的加速度偏置，ρ为惯性测量单元的尺度因子；

将惯性测量单元的运动状态方程

整理得到

将式(5)离散化后，表示为

x_k＝Φ_k/k-1(x_k-1)+w_k-1 (6)

步骤1.2、将图像中跑道的几何中心点坐标作为视觉测量信息，利用已知跑道地理数据、相机位置和姿态，通过投影构造视觉测量模型为

y_k＝proj(x_k,P_center,K)+n_LA (7)

y_k＝[o_r o_c h_bh]^T (8)

其中，y_k为通过跑道检测获得的图像中跑道几何中心点的坐标；x_k为惯性测量单元的运动状态；P_center为地理坐标系下跑道几何中心点的坐标，包括经度、纬度和海拔高度；K为相机内部参数标定矩阵；proj(·)为视觉投影函数；n_LA为视觉测量噪声，近似服从零均值高斯分布；(o_r o_c h_bh)分别代表跑道几何中心点行坐标测量值、跑道几何中心点列坐标测量值、气压高度测量值；

分别代表跑道几何中心点行坐标的测量误差、跑道几何中心点列坐标的测量误差、气压高度测量误差；h_LA代表系统预测值；

分别代表跑道几何中心点行坐标预测值、跑道几何中心点列坐标预测值、气压高度预测值；

步骤1.3、在惯性测量单元的运动状态方程(6)和视觉测量模型(7)(8)(9)(10)的基础上，采用扩展卡尔曼滤波估计飞机运动状态进行导航。

进一步地，所述步骤2具体按照以下步骤实施：

步骤2.1、将图像中跑道轮廓四边形顶点坐标作为视觉测量信息，在一个长度为l的滑动窗口内保证每帧图像上真实跑道顶点与合成跑道顶点之间的误差达到最小，由此构造约束项如下

其中P_i,i＝1,2,3,4为地理坐标系下跑道轮廓四边形顶点的坐标，包括：经度、纬度和海拔高度；p_i,i＝1,2,3,4为地理坐标系下跑道轮廓四边形顶点的坐标投影至图像坐标系下的坐标，且p_i＝proj(x_k,P_i,K)；

为通过跑道检测获得的图像中跑道轮廓四边形顶点的坐标；s为滑动窗口开始的时刻；l为滑动窗口长度；

步骤2.2、通过非线性优化方法计算系统状态的最优解。

进一步地，所述步骤2.2中非线性优化方法具体是指高斯牛顿迭代法或者列文伯格-马夸尔特法。

进一步地，所述步骤3具体按照以下步骤实施：

步骤3.1、在两帧图像之间的几何约束、光度约束和惯性约束下，在一个长度为l₁的滑动窗口内建立重投影误差约束项、邻域内像素光度误差约束项和惯性误差约束项；

步骤3.2、将重投影误差约束项、邻域内像素光度误差约束项和惯性误差约束项之和定义为误差和函数；

步骤3.3、通过非线性优化方法计算误差和函数取得最小值时的解，估计飞机运动状态进行导航。

进一步地，所述步骤3.3中非线性优化方法具体是指高斯牛顿迭代法或者列文伯格-马夸尔特法。

进一步地，所述初始进近阶段为飞机从飞行高度500英尺下降至200英尺的阶段；

所述精密进近阶段为飞机从飞行高度200英尺下降至60英尺的阶段；

所述精密着陆阶段为飞机从飞行高度60英尺下降至跑道面的阶段。

本发明的有益效果是：

本发明提供的一种面向飞机精密进近着陆的视觉-惯性组合导航方法，通过将整个进近着陆过程划分为三个阶段，针对不同阶段下飞机的导航精度需求和机载测量信息的特点，设计相应的约束函数，通过非线性优化技术获得最优解，估计飞机运动状态进行导航，该方法能够在低能见度气象条件下，不依赖于全球导航卫星系统(GNSS)辅助，实现飞机精密进近着陆导航，具备高精度、强实时、自主性的导航能力。

附图说明

图1是本发明一种面向飞机精密进近着陆的视觉-惯性组合导航方法流程框图；

图2是本发明中进近着陆的阶段划分图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供了一种面向飞机精密进近着陆的视觉-惯性组合导航方法，该方法是将整个进近着陆过程划分为三个阶段：初始进近阶段、精密进近阶段和精密着陆阶段，针对不同阶段通过不同的方法进行导航。如图2所示，初始进近阶段是指飞机从飞行高度500英尺下降至200英尺的阶段，精密进近阶段是指飞机从飞行高度200英尺下降至60英尺的阶段，精密着陆阶段是指飞机从飞行高度60英尺下降至跑道面的阶段。

本方法的输入数据来自于机载前视红外相机(FLIR)拍摄的红外图像、机载机场数据库提供的地理数据、机载惯性测量单元提供的惯性数据、气压高度计采集的气压高度数据、无线电高度表提供的无线电高度数据，整个方法实施过程中应用的算法包括跑道检测获得真实跑道特征、帧间匹配获得视觉特征、跑道投影获得合成跑道特征、优化/滤波估计运动状态，流程框图如图1所示。

该方法主要可分为以下三个步骤实施：

步骤1、在初始进近阶段，飞机即将着陆的跑道投影区域不超过整幅相机拍摄图像面积的1/4，图像中跑道左右边缘线在末端重合，选择图像中跑道的几何中心点作为视觉特征，通过扩展卡尔曼滤波器与气压高度计采集到的气压高度数据共同构成组合导航方式，即飞机当前的位置、速度、姿态、加速度偏置和角速度偏置。

该阶段包括对机载前视红外相机(FLIR)拍摄的红外图像进行跑道检测，获得真实跑道特征；对机载机场数据库提供的地理数据以及机载惯性测量单元提供的惯性数据进行跑道投影，获得合成跑道特征；结合真实跑道特征、合成跑道特征以及气压高度计采集的气压高度数据进行滤波，实现运动状态估计。

具体按照以下三个步骤实施：

步骤1.1、组合导航系统的状态简称为系统状态，定义系统状态为

其中，

为惯性测量单元的位置，

为惯性测量单元的速度，

为惯性测量单元的姿态，b_ω为惯性测量单元的角速度偏置，b_a为惯性测量单元的加速度偏置，ρ为惯性测量单元的尺度因子；

惯性测量单元的运动状态方程如下：

其中，a_m、n_a、g、ω_m、n_ω分别代表：惯性测量单元的加速度、加速度噪声、重力加速度、角速度、角速度噪声。式(1)～式(4)经整理得到：

将式(5)离散化后，表示为

x_k＝Φ_k/k-1(x_k-1)+w_k-1 (6)

步骤1.2、将图像中跑道的几何中心点坐标作为视觉测量信息，利用已知跑道地理数据、相机位置和姿态，通过投影构造视觉测量模型为

y_k＝proj(x_k,P_center,K)+n_LA (7)

y_k＝[o_r o_c h_bh]^T (8)

其中，y_k为通过跑道检测获得的图像中跑道几何中心点的坐标；x_k为惯性测量单元的运动状态；P_center为地理坐标系下跑道几何中心点的坐标，包括经度、纬度和海拔高度；K为相机内部参数标定矩阵；proj(·)为视觉投影函数；n_LA为视觉测量噪声，近似服从零均值高斯分布；(o_r o_c h_bh)分别代表跑道几何中心点行坐标测量值、跑道几何中心点列坐标测量值、气压高度测量值；

分别代表跑道几何中心点行坐标的测量误差、跑道几何中心点列坐标的测量误差、气压高度测量误差；h_LA代表系统预测值；

分别代表跑道几何中心点行坐标预测值、跑道几何中心点列坐标预测值、气压高度预测值；

相机与惯性测量单元的相对位置和姿态可以通过地面标定的方式获得，已知惯性测量单元的测量位姿，通过矩阵变换可以计算出相机的测量位置和姿态。

步骤1.3、在惯性测量单元的运动状态方程(6)和视觉测量模型(7)(8)(9)(10)的基础上，采用扩展卡尔曼滤波估计飞机运动状态进行导航。

步骤2、在精密进近阶段，飞机即将着陆的跑道投影区域完整地落入相机拍摄图像中，选择图像中跑道轮廓四边形顶点作为视觉特征，利用真实跑道顶点

与合成跑道顶点(p_i,i＝1,2,3,4)之间的关系构造约束项，通过非线性优化方法计算系统状态的最优解。

该阶段包括对机载前视红外相机(FLIR)拍摄的红外图像进行跑道检测，获得真实跑道特征；对机载机场数据库提供的地理数据以及机载惯性测量单元提供的惯性数据进行跑道投影，获得合成跑道特征；结合真实跑道特征、合成跑道特征以及机载惯性测量单元提供的惯性数据进行优化，实现运动状态估计。

具体按照以下两个步骤实施：

步骤2.1、将图像中跑道轮廓四边形顶点坐标作为视觉测量信息，在一个长度为l的滑动窗口内保证每帧图像上真实跑道顶点

与合成跑道顶点(p_i,i＝1,2,3,4)之间的误差达到最小，由此构造约束项如下

其中P_i,i＝1,2,3,4为地理坐标系下跑道轮廓四边形顶点的坐标，包括：经度、纬度和海拔高度；p_i,i＝1,2,3,4为地理坐标系下跑道轮廓四边形顶点的坐标投影至图像坐标系下的坐标，且p_i＝proj(x_k,P_i,K)；

为通过跑道检测获得的图像中跑道轮廓四边形顶点的坐标；s为滑动窗口开始的时刻；l为滑动窗口长度。

步骤2.2、通过非线性优化方法，如高斯牛顿迭代法或者列文伯格-马夸尔特法，计算系统状态的最优解。

步骤3、在精密着陆阶段，飞机即将着陆的跑道前端边缘线和后端边缘线投影至相机拍摄图像以外，将SLAM算法与惯性测量构成视觉-惯性里程计，估计飞机运动状态。

该阶段包括对机载前视红外相机(FLIR)拍摄的红外图像进行帧间匹配，获得视觉特征，估计相机位姿；结合视觉相机位姿估计和机载惯性测量数据进行优化，实现运动状态估计。

具体按照以下三个步骤实施：

步骤3.1、在两帧图像之间的几何约束、光度约束和惯性约束下，在一个长度为l₁的滑动窗口内建立重投影误差约束项、邻域内像素光度误差约束项和惯性误差约束项。

(a)重投影误差

重投影误差是指图像中被观测点(x_j,y_j)^T与其对应地图点

反向投影在图像中的位置偏差，定义为

其中T_i表示i帧图像在世界坐标系下的位置，T_j表示j帧图像在世界坐标系下的位置，K表示相机内部参数标定矩阵，π表示齐次坐标到笛卡尔坐标变换，d表示关键点的估计深度；

(b)邻域内像素光度误差

图像帧i上任意一点p∈Ω_i在另外一帧图像j上的光度误差定义为

其中，N_p是p点周围邻域内的像素集合，I_i和I_j是相邻两帧图像，t_i和t_j是相邻两帧图像的曝光时间，a_i、b_i、a_j和b_j是修正仿射光照变换系数，γ表示Huber范数，ω_p是梯度相关权重，p′是投影至图像帧I_j上的点；

(c)惯性误差

将Δt＝t_k+1-t_k时间内惯性测量单元的测量值与估计值之差定义为惯性误差，具体定义为

其中，

为位置偏差，

为速度偏差，

为姿态四元数偏差，

为加速度偏差，

为角速度偏差，b_k和b_k+1为两个连续图像帧。

步骤3.2、将重投影误差约束项、邻域内像素光度误差约束项和惯性误差约束项之和定义为误差和函数，如下

其中，η_R、η_P和η_I分别为重投影误差、邻域内像素光度误差和惯性误差的权重系数。

步骤3.3、在长度为l₁的滑动窗口内利用多个关键帧信息估计飞机运动状态，相当于寻找式(15)取得最小值时的解，从而将飞机运动状态估计转化为非线性优化问题，如下

通过非线性优化方法，如高斯牛顿迭代法或者列文伯格-马夸尔特法，计算误差和函数取得最小值时的解，估计飞机运动状态进行导航。

在地面实验平台上采用自有数据集进行算法测试与验证。其中，自有数据集是通过小型通用飞机，如运12F通用飞机，搭载红外相机、惯性测量单元、气压高度计(或大气数据计算机)、无线电高度表、数据记录设备(含飞行参数和视频数据)、GPS接收机、数据处理计算机。机场上架设差分GPS基站为惯性/差分GPS组合导航提供精确的GPS参数，选取惯性/差分GPS组合导航输出值作为真值。

1、检测飞机下降高度，在下降至200英尺之前，采用步骤1方法，将测试结果与真值进行比较；

2、检测飞机下降高度，从200英尺下降至60英尺之间，采用步骤2方法，将测试结果与真值进行比较；

3、检测飞机下降高度，从60英尺下降至地面，采用步骤3方法，将测试结果与真值进行比较。

Claims (4)

1.一种面向飞机精密进近着陆的视觉-惯性组合导航方法，其特征在于，按照以下步骤实施：

步骤1、初始进近阶段导航

飞机即将着陆的跑道投影区域不超过整幅相机拍摄图像面积的1/4，图像中跑道左右边缘线在末端重合，选择图像中跑道的几何中心点作为视觉特征，通过扩展卡尔曼滤波器与气压高度共同构成组合导航方式，估计飞机运动状态，即飞机当前的位置、速度、姿态、加速度偏置和角速度偏置；

步骤1具体按照以下步骤实施：

步骤1.1、定义系统状态为

其中，

为惯性测量单元的位置，

为惯性测量单元的速度，

为惯性测量单元的姿态，b_ω为惯性测量单元的角速度偏置，b_a为惯性测量单元的加速度偏置，ρ为惯性测量单元的尺度因子；

将惯性测量单元的运动状态方程

整理得到

将式(5)离散化后，表示为

x_k＝Φ_k/k-1(x_k-1)+w_k-1 (6)

步骤1.2、将图像中跑道的几何中心点坐标作为视觉测量信息，利用已知跑道地理数据、相机位置和姿态，通过投影构造视觉测量模型为

y_k＝proj(x_k,P_center,K)+n_LA (7)

y_k＝[o_r o_c h_bh]^T (8)

其中，y_k为通过跑道检测获得的图像中跑道几何中心点的坐标；x_k为惯性测量单元的运动状态；P_center为地理坐标系下跑道几何中心点的坐标，包括经度、纬度和海拔高度；K为相机内部参数标定矩阵；proj(·)为视觉投影函数；n_LA为视觉测量噪声，近似服从零均值高斯分布；(o_r o_c h_bh)分别代表跑道几何中心点行坐标测量值、跑道几何中心点列坐标测量值、气压高度测量值；

分别代表跑道几何中心点行坐标的测量误差、跑道几何中心点列坐标的测量误差、气压高度测量误差；h_LA代表系统预测值；

分别代表跑道几何中心点行坐标预测值、跑道几何中心点列坐标预测值、气压高度预测值；

步骤1.3、在惯性测量单元的运动状态方程(6)和视觉测量模型(7)(8)(9)(10)的基础上，采用扩展卡尔曼滤波估计飞机运动状态进行导航；

步骤2、精密进近阶段导航

飞机即将着陆的跑道投影区域完整地落入相机拍摄图像中，选择图像中跑道轮廓四边形顶点作为视觉特征，利用真实跑道顶点与合成跑道顶点之间的关系构造约束项，通过非线性优化方法计算系统状态的最优解；

步骤2具体按照以下步骤实施：

步骤2.1、将图像中跑道轮廓四边形顶点坐标作为视觉测量信息，在一个长度为l的滑动窗口内保证每帧图像上真实跑道顶点与合成跑道顶点之间的误差达到最小，由此构造约束项如下

其中P_i,i＝1,2,3,4为地理坐标系下跑道轮廓四边形顶点的坐标，包括：经度、纬度和海拔高度；p_i,i＝1,2,3,4为地理坐标系下跑道轮廓四边形顶点的坐标投影至图像坐标系下的坐标，且p_i＝proj(x_k,P_i,K)；

为通过跑道检测获得的图像中跑道轮廓四边形顶点的坐标；s为滑动窗口开始的时刻；l为滑动窗口长度；

步骤2.2、通过非线性优化方法计算系统状态的最优解；

步骤3、精密着陆阶段导航

飞机即将着陆的跑道前端边缘线和后端边缘线投影至相机拍摄图像以外，将SLAM算法与惯性测量构成视觉-惯性里程计，估计飞机运动状态；

步骤3具体按照以下步骤实施：

步骤3.1、在两帧图像之间的几何约束、光度约束和惯性约束下，在一个长度为l₁的滑动窗口内建立重投影误差约束项、邻域内像素光度误差约束项和惯性误差约束项；

步骤3.2、将重投影误差约束项、邻域内像素光度误差约束项和惯性误差约束项之和定义为误差和函数；

步骤3.3、通过非线性优化方法计算误差和函数取得最小值时的解，估计飞机运动状态进行导航。

2.根据权利要求1所述的一种面向飞机精密进近着陆的视觉-惯性组合导航方法，其特征在于：

所述步骤2.2中非线性优化方法具体是指高斯牛顿迭代法或者列文伯格-马夸尔特法。

3.根据权利要求1所述的一种面向飞机精密进近着陆的视觉-惯性组合导航方法，其特征在于：

所述步骤3.3中非线性优化方法具体是指高斯牛顿迭代法或者列文伯格-马夸尔特法。

4.根据权利要求1至3任一所述的面向飞机精密进近着陆的视觉-惯性组合导航方法，其特征在于：

所述初始进近阶段为飞机从飞行高度500英尺下降至200英尺的阶段；

所述精密进近阶段为飞机从飞行高度200英尺下降至60英尺的阶段；

所述精密着陆阶段为飞机从飞行高度60英尺下降至跑道面的阶段。

Images