CN109544696A - 一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法 - Google Patents

Abstract

本公开提供了一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法，所述方法包括：视觉特征提取过程、视觉惯性融合过程和虚实图像配准过程；其中视觉特征提取过程包括：接收惯性测量单元输出的位姿参数，采集2D图像，从所述2D图像提取跑道区域，在所述跑道区域中进行直线检测，并提取跑道边缘线；视觉惯性融合过程包括：定义系统状态、建立惯性误差传递方程、获取量测信息、非线性卡尔曼滤波、修正位姿参数；并且虚实图像配准过程包括：用修正后的位姿参数驱动三维地形引擎生成3D合成视景，并在3D合成视景上叠加所述2D图像以实现虚实图像配准。

Description

一种基于视觉惯性组合的机载增强合成视景虚实图像精确配 准方法

技术领域

本发明属于计算机领域，具体涉及一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法。

背景技术

机载增强合成视景是一种能够有效提升飞行员态势感知能力的辅助导航手段，目前机载增强合成视景依赖于机载高精度惯性导航设备和地基增强设施的辅助来保证增强视景与合成视景配准，硬件成本高昂，仅应用于大型飞机和高端公务机，且运行在具有LAAS支持的北美地区。

针对现有机载增强合成视景技术的缺陷，本发明提出了一种基于前视红外图像辅助位姿估计的虚实图像精确配准方法。

发明内容

本发明的目的：降低机载增强合成视景系统的使用成本，提升导航精度和鲁棒性，使其不仅适用于大型飞机和高端公务机，而且适用于通用飞机。

本发明的技术方案：通过本发明的基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法实现上述目的，所述方法包括：视觉特征提取过程、视觉惯性融合过程和虚实图像配准过程；其中视觉特征提取过程包括：接收惯性测量单元输出的位姿参数，采集2D图像，从所述2D图像提取跑道区域，在所述跑道区域中进行直线检测，并提取跑道边缘线；视觉惯性融合过程包括：定义系统状态、建立惯性误差传递方程、获取量测信息、非线性卡尔曼滤波、修正位姿参数；并且虚实图像配准过程包括：用修正后的位姿参数驱动三维地形引擎生成3D合成视景，并在3D合成视景上叠加所述2D图像以实现虚实图像配准。

在上述基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法中，在所述视觉特征提取过程中，

1)提取跑道区域包括：输入惯性测量位置、姿态以及机场地理信息，计算得到跑道区域在相机CCD像素平面的投影，估计跑道区域；计算出合成视景中跑道的前端左、右角点和消失点的坐标，以及跑道边缘线端点处的邻域宽度；

2)直线检测包括：采用Hough、LSD或EDLines线段检测子从跑道区域中提取直线段；

3)提取跑道边缘线包括：利用跑道区域在相机CCD像素平面的投影的四边轮廓，选取跑道区域的前边缘、左边缘和右边缘线邻域内的直线段，按照直线段与边缘线的距离和夹角做进一步筛选，为选出的直线段赋予权重值，按照权重值从直线段中随机选取点，再利用RANSAC方法分别拟合各邻域内直线段上提取的随机点，依次得到跑道前端边缘线、左边缘线和右边缘线，利用这三条直线两两相交，计算出跑道在像素平面上的前端左、右角点和消失点的坐标。

在上述基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法中，在所述视觉惯性融合过程中，

定义系统状态包括：位置误差、速度误差、姿态误差、加速度误差和角速度误差，即

建立惯性误差传递方程

获取量测信息：从红外图像中提取跑道前端左、右角点和消失点坐标作为量测信息；

非线性卡尔曼滤波：利用惯性误差传递方程和量测信息进行非线性卡尔曼滤波，输出惯性误差估计值；

位姿参数修正：利用惯性误差估计值修正位姿参数。

在本发明的方法中，首先，利用惯性导航测量位姿及其误差范围估计出图像坐标系下跑道投影所在区域，运用直线检测子提取区域内直线，并拟合跑道轮廓邻域内的小线段得到跑道边缘线。其次，采用同一时刻合成跑道特征与真实跑道特征建立视觉量测方程，将惯性导航误差传递方程作为系统状态方程，通过SR-UKF融合视觉与惯性信息，消除惯性累计误差，修正位姿参数，从而实现合成视景与增强视景精确配准。通过真实飞行数据验证了本发明的方法能够满足机载增强组合视景系统虚实图像的精确配准需求。本发明的方法适用于晴、阴、小雨、雾、霾等天气条件下，飞机从相对于机场高度200英尺下降至60英尺的着陆过程。

本发明的方法鲁棒性强、配准精度高、设计与维护成本较低，且无需安装高精度激光惯性测量单元和地基增强系统。

附图说明

图1示出本发明的基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法框图。

图2示出跑道边缘线拟合示意。

图3示出本发明的方法中各设备互联关系图。

具体实施方式

在本发明的基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法中，主要包括如下过程：

1、机载增强合成视景虚实图像精确配准方法框架

一个完整的机载增强合成视景系统包含图像传感器、惯性导航部件、机载数据库、图形图像处理部件和显示终端，具有3D视景生成、2D图像增强、3D图形(虚)与2D图像(实)配准融合等主要功能。其中，虚实图像配准是该系统的核心算法，配准精度直接影响飞行员的工作负荷和飞行决策。本发明提案的配准方法框架主要包括了视觉量测构建、视觉惯性融合、虚实图像配准；其中，视觉量测建立了2D图像中跑道特征和3D图形中跑道特征之间的数学关系，即视觉量测方程；视觉惯性融合单元定义载体运动状态误差为系统状态，采用惯性误差传递方程作为系统状态方程，运用非线性系统滤波方法融合视觉量测和惯性数据，完成载体运动状态误差的估计，消除惯性累计误差，修正位姿参数；虚实图像配准则用修正位姿驱动三维地形引擎生成的3D合成视景，并叠加2D图像实现虚实图像配准。

图1示出机载增强合成视景虚实图像配准算法框架，虚线框内为算法核心部分，信息处理流程如下：

1)跑道检测：借助惯性参数辅助从红外图像中选取跑道区域，再从中检测线段，仅拟合跑道的左、右、前边缘邻域内的线段，精确提取出左、右、前边缘线，并计算出跑道前端的左(a)、右(d)角点和消失点(v)；

2)视觉量测方程：3D图形中的跑道特征通过大地坐标系到像素坐标系的投影变换结合机场地理信息获得，即合成跑道特征；2D图像中的跑道特征通过步骤(1)获得，即真实跑道特征；

3)视觉惯性融合：定义载体运动状态误差为系统状态，采用惯性误差传递方程作为系统状态方程，运用非线性系统滤波方法融合视觉量测和惯性数据，完成载体运动状态误差的估计，消除惯性累计误差，修正位姿参数；

4)虚实图像配准：用修正位姿驱动三维地形引擎生成的3D合成视景，并叠加2D图像实现虚实图像配准，2D图像在上层，3D图形在下层，叠加显示。

2、视觉特征提取

跑道检测包括跑道区域选取、直线检测和跑道边缘线提取，如图2所示。

1)跑道投影区域选取：输入惯性测量位置、姿态以及机场地理信息(跑道四个角点的纬度、经度和海拔高度)，通过大地坐标系到像素坐标系的坐标变换，计算得到机场跑道区域在相机CCD像素平面的投影，考虑到惯性测量的误差范围，估计出跑道投影区域(ROI)，见图2中蓝色框；经过投影变换计算出合成视景中跑道的前端左、右角点和消失点的坐标(和)。

地面任一点^DP_i＝(L_i,λ_i,h_i)投影至像素平面一点^PP_i的坐标变换等价于如下函数：

^PP_i＝F(^DP_i,L_a,λ_a,h_a,ψ,θ,φ) (1)

惯性测量的位置误差和姿态误差近似服从零均值高斯分布，则Δr和Δc近似服从均值为零的高斯分布，即：

δ_k和β_k分别为式(1)中的偏微分项，δ_k为位姿测量精度。跑道边缘线端点处邻域宽度：

2)直线检测：采用Hough、LSD或EDLines线段检测子从ROI中提取直线段，这些直线段杂散地分布于ROI内，见图2中黑色直线段。

3)跑道边缘线提取：利用跑道投影的四边轮廓，选取跑道前边缘、左边缘和右边缘线邻域内的直线段，再按照直线段与边缘线的距离和夹角做进一步筛选，为选出的直线段赋予权重值，即线长×线宽×系数。按照权重值从直线段中随机选取点，再利用RANSAC方法分别拟合各邻域内直线段上提取的随机点，依次得到跑道前端边缘线、左边缘线和右边缘线，见图2中红色线段，利用这三条直线两两相交，计算出跑道在像素平面上的前端左、右角点和消失点的坐标(^PP_a＝[a_r a_c]^T，^PP_d＝[d_r d_c]^T和^PP_v＝[v_r v_c]^T)。

3、视觉惯性融合

本方法针对非线性视觉测量系统的滤波，采用了扩展卡尔曼滤波(EKF)或无迹卡尔曼滤波(UKF)或平方根无迹卡尔曼滤波(SR-UKF)，在滤波框架下融合视觉测量信息和惯性数据，利用精确的视觉量测修正惯性累计误差，提升导航精度。

系统状态为：位置误差、速度误差、姿态误差、加速度误差和角速度误差，即

状态模型为：惯性误差传递方程

量测模型为：红外图像中提取出的跑道前端左、右角点和消失点坐标(^PP_a＝[a_ra_c]^T，^PP_d＝[d_r d_c]^T和^PP_v＝[v_r v_c]^T)与合成视景中经投影获得跑道前端左、右角点和消失点坐标(和)构成的量测方程；

系统输入为：视觉提取的相对位置和姿态、IMU加速度和角速度以及载体的位置、姿态和速度的初值；

系统输出为：状态估计，即误差估计值。

4、虚实图像配准

用修正位姿驱动三维地形引擎生成的3D合成视景，并叠加2D图像实现虚实图像配准。

[关于实施条件]

实施方案选择了中波/短波红外图像传感器采集前视红外图像(FLIR)，机载惯性导航系统(INS)采集飞机当前运动状态(位置、速度、姿态、三轴加速度、三轴角速度)。方案实施中需在飞机雷达罩上方安装FLIR传感器组件，在飞机设备舱安装INS，并且在地面利用全站仪标定FLIR与INS的相对位置和姿态；同时，标定红外相机的内部参数。此外，还需获取机场地理信息数据库，如跑道各角点的纬度、经度和海拔高度信息。信息处理平台可以选用嵌入式处理板卡，如Nvidia TX2，各部件互联关系见图3所示。

[关于跑道检测]

1)ROI选取

地面任一点^DP_i＝(L_i,λ_i,h_i)投影至像素平面一点^PP_i的坐标变换等价于函数：^PP_i＝F(^DP_i,L_a,λ_a,h_a,ψ,θ,φ)。

由于INS测量位置和姿态的误差服从零均值高斯分布，则Δr和Δ_c近似服从均值为零的高斯分布，即：

跑道边缘线端点处邻域宽度：

2)跑道特征提取

在选定的跑道边缘线邻域内将满足5≤T_d≤10和-2°＜T_θ＜2°条件的检测线段保留下来，并计算它们的权重(线宽×线长)，按照权重值从线段中随机取出像素点，权重越高随机抽取的点数越多，在线段拟合中的贡献也就越大，再用RANSAC方法拟合成一条直线，即跑道边缘线。

[关于状态估计]

以SR-UKF滤波算法为例，滤波器融合了视觉信息和惯性测量数据，具体流程如下：

1)初始化

S₀＝cholesky(P_x,0)

其中，cholesky()函数用于矩阵的下三角分解。

2)时间更新

计算Sigma点：

一步状态预测：

χ_k/k-1＝Φ(χ_k-1)

一步状态预测平方根：

其中R^v为系统噪声协方差矩阵

测量值估计：

y_k/k-1＝H(χ_k/k-1)

其中，qr()函数表示对矩阵QR分解，返回R矩阵的上三角阵。

3)量测更新

其中Rⁿ为测量噪声协方差矩阵

状态噪声估计：

Claims (3)

1.一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法，所述方法包括：视觉特征提取过程、视觉惯性融合过程和虚实图像配准过程；其中

视觉特征提取过程包括：接收惯性测量单元输出的位姿参数，采集2D图像，从所述2D图像提取跑道区域，在所述跑道区域中进行直线检测，并提取跑道边缘线；

视觉惯性融合过程包括：定义系统状态、建立惯性误差传递方程、获取量测信息、非线性卡尔曼滤波、修正位姿参数；并且

虚实图像配准过程包括：用修正后的位姿参数驱动三维地形引擎生成3D合成视景，并在3D合成视景上叠加所述2D图像以实现虚实图像配准。

2.根据权利要求1所述的基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法，其中，在所述视觉特征提取过程中，

1)提取跑道区域包括：输入惯性测量位置、姿态以及机场地理信息，计算得到跑道区域在相机CCD像素平面的投影，估计跑道区域；计算出合成视景中跑道的前端左、右角点和消失点的坐标，以及跑道边缘线端点处的邻域宽度；

2)直线检测包括：采用Hough、LSD或EDLines线段检测子从跑道区域中提取直线段；

3)提取跑道边缘线包括：利用跑道区域在相机CCD像素平面的投影的四边轮廓，选取跑道区域的前边缘、左边缘和右边缘线邻域内的直线段，按照直线段与边缘线的距离和夹角做进一步筛选，为选出的直线段赋予权重值，按照权重值从直线段中随机选取点，再利用RANSAC方法分别拟合各邻域内直线段上提取的随机点，依次得到跑道前端边缘线、左边缘线和右边缘线，利用这三条直线两两相交，计算出跑道在像素平面上的前端左、右角点和消失点的坐标。

3.根据权利要求1所述的基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法，其中，在所述视觉惯性融合过程中，

定义系统状态包括：位置误差、速度误差、姿态误差、加速度误差和角速度误差，即X^T＝[ψ^T δv^T δp^T ε^T ▽^T]；

建立惯性误差传递方程

获取量测信息：从红外图像中提取跑道前端左、右角点和消失点坐标作为量测信息；

非线性卡尔曼滤波：利用惯性误差传递方程和量测信息进行非线性卡尔曼滤波，输出惯性误差估计值；

位姿参数修正：利用惯性误差估计值修正位姿参数。