CN115127554B - 一种基于多源视觉辅助的无人机自主导航方法与系统 - Google Patents

一种基于多源视觉辅助的无人机自主导航方法与系统 Download PDF

Info

Publication number
CN115127554B
CN115127554B CN202211061330.2A CN202211061330A CN115127554B CN 115127554 B CN115127554 B CN 115127554B CN 202211061330 A CN202211061330 A CN 202211061330A CN 115127554 B CN115127554 B CN 115127554B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
map
matching
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211061330.2A
Other languages
English (en)
Other versions
CN115127554A (zh
Inventor
何晓峰
刘轲
毛军
屈豪
胡小平
张礼廉
陈昶昊
范晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202211061330.2A priority Critical patent/CN115127554B/zh
Publication of CN115127554A publication Critical patent/CN115127554A/zh
Application granted granted Critical
Publication of CN115127554B publication Critical patent/CN115127554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras

Abstract

本申请涉及无人机定位导航技术领域，具体涉及一种基于多源视觉辅助的无人机自主导航方法与系统。方法包括：获取无人机的地图匹配位置和惯性导航定位位置；构建扩展卡尔曼滤波方程；扩展卡尔曼滤波方程包括计算更新协方差矩阵和系统位置估计；以更新后的系统位置估计为圆心，更新协方差矩阵的位置对应项构建高斯椭圆；判断下一时刻解算得到的地图匹配位置结果是否在高斯椭圆内，若是，则根据下一时刻解算得到的地图匹配位置结果和下一时刻的惯性导航定位位置代入扩展卡尔曼滤波方程进行下一时刻系统位置估计，本发明具有导航参数连续输出、导航误差不随时间积累、在长航时复杂环境条件下具有良好的鲁棒性的优点。

Description

一种基于多源视觉辅助的无人机自主导航方法与系统
技术领域
本申请涉及无人机定位导航技术领域，特别是涉及一种基于多源视觉辅助的无人机自主导航方法与系统。
背景技术
精确导航对跨昼夜、复杂飞行环境的无人机至关重要，当今的无人机仍然十分依赖全球导航卫星系统进行精确导航；可是，脆弱的卫星信号可能会受到干扰。为了实现复杂环境下的长航时无人机精确的自主导航，利用无人机自身携带的传感器与公开的离线遥感地图实现自主定位，对长航时无人机具有重要的意义和广泛的应用前景。
基于遥感地图同源景象匹配的无人机视觉导航定位技术，能够为无人机视觉定位提供可靠的地理位置参考，具有很强的稳定性和抗干扰能力，能够有效提高无人机长距离执行任务的自主导航能力。但依赖于图像匹配算法的准确性，容易受无人机飞行的环境复杂性影响。
基于滤波技术的卫星/惯性组合导航模型，以惯性导航系统和卫星导航系统输出的速度和位置信息的差值作为观测量，以惯性导航系统线性化的误差方程作为系统方程，通过扩展卡尔曼滤波对惯性导航系统的速度、位置、姿态以及传感器的误差进行最优估计，并对系统状态输出进行校正。该模型的计算量小，能够有效提高系统的导航精度，但是卫星信号易受干扰和欺骗，组合系统稳定性与鲁棒性不够。
发明内容
基于此，有必要针对上述技术问题，提供一种系统位置估计的精度高，导航参数连续输出、导航误差不随时间积累、在长航时复杂环境条件下具有良好的鲁棒性的基于多源视觉辅助的无人机自主导航方法、系统、计算机设备和存储介质。
一种基于多源视觉辅助的无人机自主导航方法，方法包括：
获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置；
根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置；
以无人机的地图匹配位置与惯性导航定位位置差值作为惯性导航系统的观测量，以惯性导航定位位置的误差作为系统误差状态构建扩展卡尔曼滤波方程；扩展卡尔曼滤波方程包括计算更新协方差矩阵和系统位置估计；
以更新后的系统位置估计为圆心，更新协方差矩阵的位置对应项构建高斯椭圆；
判断下一时刻解算得到的地图匹配位置结果是否在高斯椭圆内，若是，则根据下一时刻解算得到的地图匹配位置结果和下一时刻的惯性导航定位位置代入扩展卡尔曼滤波方程进行下一时刻系统位置估计。
在其中一个实施例中，获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置包括：
根据无人机飞行任务，获取无人机飞行区域的地图集并进行特征提取，建立地图集视觉特征的地图特征描述向量；
对无人机上机载多源相机拍摄的多源图像进行多源图像融合生成多源相机融合图像，提取多源相机融合图像的特征，建立多源相机融合图像的相机特征描述向量；
建立地图特征描述向量与相机特征描述向量的特征匹配对；根据特征匹配对的变换关系，在地图集上投影出无人机的位置获得无人机的地图匹配位置。
在其中一个实施例中，无人机上机载多源相机拍摄的多源图像进行多源图像融合生成多源相机融合图像包括：
根据无人机的航向、高度与相机内参，对多源图像进行旋转缩放融合处理生成多源相机融合图像。
在其中一个实施例中，建立地图特征描述向量与相机特征描述向量的特征匹配对；根据特征匹配对的变换关系，在地图集上投影出无人机的位置获得无人机的地图匹配位置包括：
利用特征匹配对的所有匹配点的斜率与欧式距离投票，对特征匹配对进行筛选，筛选过程包括：
对每一个特征匹配对，计算特征匹配对中多源相机融合图像对应特征点到地图对应特征点的位置变化量；
对每一个特征匹配对，初始化一个集合，用于记录位置变化量相似度小于阈值且位置变化斜率小于阈值的所有特征匹配对，称为内点对；
在所有特征匹配对对应的集合中，筛选内点对最多的集合，若集合中的内点对的数量超过设定阈值则认为匹配成功，否则匹配失败。
在其中一个实施例中，根据无人机飞行任务，获取无人机飞行区域的地图集并进行特征提取，建立地图集视觉特征的地图特征描述向量包括：
在对地图集并进行特征提取后，将地图集中每张地图的地理信息与地图对应特征点、地图特征描述向量建立索引关系。
在其中一个实施例中，根据特征匹配对的变换关系，在地图集上投影出无人机的位置获得无人机的地图匹配位置包括：
选择匹配成功的内点对，计算单应性变换矩阵与点配准最小二乘估计以确定内点对变换关系，将多源相机融合图像中心点带入单应性变换矩阵与点配准最小二乘估计的两个变换矩阵内，得到多源相机融合图像在地图上的投影点，若两个投影结果距离小于阈值则以单应性变换结果的匹配定位结果作为地图匹配位置，若距离大于阈值则以点配准变换结果的匹配定位结果作为地图匹配位置。
在其中一个实施例中，根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置包括：
利用无人机机载惯性测量单元输出的测量值，进行纯惯性导航解算，求解无人机的位置、速度和姿态并获取无人机惯性导航定位位置。
一种基于多源视觉辅助的无人机自主导航系统，系统包括：
地图匹配位置获取模块：地图匹配位置获取模块用于获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置；
惯性导航定位位置获取模块：惯性导航定位位置获取模块根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置；
扩展卡尔曼滤波方程构建模块：扩展卡尔曼滤波方程构建模块以地图匹配位置获取模块获取的地图匹配位置结果与惯性导航定位位置获取模块获取的惯性导航定位位置差值作为惯性导航系统的观测量，以惯性导航定位位置获取获取的惯性导航定位位置的误差作为系统误差状态构建扩展卡尔曼滤波方程；扩展卡尔曼滤波方程包括计算更新协方差矩阵和系统位置估计；
高斯椭圆构建模块：高斯椭圆构建模块以扩展卡尔曼滤波方程构建模块获得的更新后的系统位置估计为圆心，更新协方差矩阵的位置对应项构建高斯椭圆；
系统位置估计模块：系统位置估计模块判断下一时刻地图匹配位置获取模块解算得到的地图匹配位置结果是否在高斯椭圆内，若是，则根据下一时刻地图匹配位置获取模块解算得到的地图匹配位置结果和下一时刻惯性导航定位位置获取模块获得的惯性导航定位位置代入扩展卡尔曼滤波方程构建模块构建的扩展卡尔曼滤波方程进行下一时刻系统位置估计。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
上述基于多源视觉辅助的无人机自主导航方法、系统、计算机设备和存储介质，采用惯性/多源视觉组合导航算法对无人机位置进行连续系统位置估计，多源视觉组合包括机载多源相机所获取的多源图像与无人机获取的地图集中的地图进行特征匹配和定位解算，使用地图辅助的无人机匹配定位算法具有较高的精度，不仅可以估计无人机的位置，还不易受外界信号干扰，具有自主性；在传统遥感地图辅助的惯性/多源视觉组合导航的基础上，本发明还加入了图像融合、异源图像匹配算法，增强了组合导航系统的复杂环境下的可靠性；本发明在匹配定位算法中利用惯性/多源视觉组合导航的位置结果与高斯椭圆进行下一时刻系统位置估计，有效提升了系统位置估计的精度。与现有的无人机自主导航方法相比，本发明具有导航参数连续输出、导航误差不随时间积累、在长航时复杂环境条件下具有良好的鲁棒性的优点。
附图说明
图1为一个实施例中基于多源视觉辅助的无人机自主导航方法的流程示意图；
图2为一个实施例中基于多源视觉辅助的无人机自主导航系统的框架示意图；
图3为一个实施例中基于多源视觉辅助的无人机自主导航方法的框架示意图；
图4为一个实施例中机载多源相机获取图片的示意图。
在图中，201-地图匹配位置获取模块；202-惯性导航定位位置获取模块；203-扩展卡尔曼滤波方程构建模块；204-高斯椭圆构建模块；205-系统位置估计模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1-4所示，本申请提供的基于多源视觉辅助的无人机自主导航方法，包括以下步骤：
步骤101，获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置；通过机载多源相机与飞行区域地图集进行特征匹配解算，估计无人机的位置，具有精度高，不易受外界信号干扰，具有自主性等优势，可以保证无人机位置估计的稳定性和准确性；
步骤102，根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置，本发明还通过无人机机载惯性测量单元获取无人机的惯性导航定位位置，可以与获取的地图匹配位置进行结合提高无人机位置估计的准确性，实现对无人机位置的连续系统位置估计；
步骤103，以无人机的地图匹配位置与惯性导航定位位置差值作为惯性导航系统的观测量，以惯性导航定位位置的误差作为系统误差状态构建扩展卡尔曼滤波方程；扩展卡尔曼滤波方程包括计算更新协方差矩阵和系统位置估计；通过建扩展卡尔曼滤波方程，将地图匹配位置与惯性导航定位位置进行组合解算出系统位置估计，并以此作为后续的位置更新的基础；
步骤104，以更新后的系统位置估计为圆心，更新协方差矩阵的位置对应项构建高斯椭圆；
步骤105，判断下一时刻解算得到的地图匹配位置结果是否在高斯椭圆内，若是，则根据下一时刻解算得到的地图匹配位置结果和下一时刻的惯性导航定位位置代入扩展卡尔曼滤波方程进行下一时刻系统位置估计。
上述基于多源视觉辅助的无人机自主导航方法中，采用惯性/多源视觉组合导航算法对无人机位置进行连续系统位置估计，多源视觉组合包括机载多源相机所获取的多源图像与无人机获取的地图集中的地图进行特征匹配和定位解算，使用地图辅助的无人机匹配定位算法具有较高的精度，不仅可以估计无人机的位置，还不易受外界信号干扰，具有自主性；在传统遥感地图辅助的惯性/多源视觉组合导航的基础上，本发明还加入了图像融合、异源图像匹配算法，增强了组合导航系统的复杂环境下的可靠性；本发明在匹配定位算法中利用惯性/多源视觉组合导航的位置结果与高斯椭圆进行下一时刻系统位置估计，有效提升了系统位置估计的精度。与现有的无人机自主导航方法相比，本发明具有导航参数连续输出、导航误差不随时间积累、在长航时复杂环境条件下具有良好的鲁棒性的优点。
在其中一个实施例中，通过构建扩展卡尔曼滤波方程，对惯性/视觉组合导航进行组合解算，惯性/视觉组合导航其中的视觉包括机载多源相机和获取的遥感地图进行特征匹配以及定位计算，具体地，以无人机的地图匹配位置
Figure 811169DEST_PATH_IMAGE001
，坐标为
Figure 384102DEST_PATH_IMAGE002
与惯性导航定位位置
Figure 694997DEST_PATH_IMAGE003
坐标为
Figure 355786DEST_PATH_IMAGE004
差值作为
Figure 576683DEST_PATH_IMAGE005
时刻惯性导航系统的观测量
Figure 664724DEST_PATH_IMAGE006
，以惯性导航定位位置的误差作为
Figure 590479DEST_PATH_IMAGE007
时刻系统误差状态
Figure 320538DEST_PATH_IMAGE008
，包括姿态误差
Figure 395941DEST_PATH_IMAGE009
、速度误差
Figure 654884DEST_PATH_IMAGE010
、位置误差
Figure 940372DEST_PATH_IMAGE011
，构建扩展卡尔曼滤波方程；
Figure 333176DEST_PATH_IMAGE012
Figure 122141DEST_PATH_IMAGE013
Figure 958510DEST_PATH_IMAGE014
Figure 731294DEST_PATH_IMAGE015
Figure 271996DEST_PATH_IMAGE016
其中
Figure 571260DEST_PATH_IMAGE017
表示系统状态转移矩阵，
Figure 437585DEST_PATH_IMAGE018
表示
Figure 573031DEST_PATH_IMAGE019
时刻系统噪声，
Figure 917424DEST_PATH_IMAGE020
为
Figure 71194DEST_PATH_IMAGE021
时刻噪声分布矩阵；
Figure 108420DEST_PATH_IMAGE022
表示系统误差状态一步估计结果，
Figure 590217DEST_PATH_IMAGE023
表示匹配定位的观测噪声。
扩展卡尔曼滤波方程包括滤波计算更新协方差矩阵
Figure 879247DEST_PATH_IMAGE024
和组合系统位置估计
Figure 762890DEST_PATH_IMAGE025
；
Figure 364160DEST_PATH_IMAGE026
Figure 333253DEST_PATH_IMAGE027
Figure 894815DEST_PATH_IMAGE028
Figure 898543DEST_PATH_IMAGE029
Figure 667785DEST_PATH_IMAGE030
其中
Figure 858595DEST_PATH_IMAGE031
表示时刻系统噪声方差，
Figure 348482DEST_PATH_IMAGE032
表示
Figure 816504DEST_PATH_IMAGE033
时刻滤波增益，
Figure 632013DEST_PATH_IMAGE034
表示系统观测矩阵，
Figure 310119DEST_PATH_IMAGE035
表示观测噪声均方差，
Figure 993910DEST_PATH_IMAGE036
表示惯性系统位置估计，
Figure 441072DEST_PATH_IMAGE037
表示滤波后的系统位置估计误差。
以滤波更新后的系统位置估计
Figure 37269DEST_PATH_IMAGE038
为圆心，更新协方差矩阵的位置对应项
Figure 202672DEST_PATH_IMAGE039
、
Figure 299941DEST_PATH_IMAGE040
构建高斯椭圆，
Figure 991822DEST_PATH_IMAGE041
表示构建高斯椭圆阈值大小；
Figure 883555DEST_PATH_IMAGE042
判断下一时刻解算得到的地图匹配位置结果
Figure 536253DEST_PATH_IMAGE043
是否在高斯椭圆内，若是，则根据下一时刻解算得到的地图匹配位置结果和下一时刻的惯性导航定位位置代入扩展卡尔曼滤波方程进行下一时刻系统位置估计；若不是，则不选用下一时刻的地图匹配位置参与惯性/视觉组合导航进行组合解算。
在其中一个实施例中，获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置包括：
根据无人机飞行任务，获取无人机飞行区域的地图集并进行特征提取，建立地图集视觉特征的地图特征描述向量；
具体地，根据无人机的飞行任务，载入无人机任务轨迹沿途的遥感地图集
Figure 312579DEST_PATH_IMAGE044
，该地图集包含无人机飞行的全程区域，根据任务选择初始地图
Figure 468754DEST_PATH_IMAGE045
；
采用自监督学习的特征检测算法对初始遥感地图中的视觉特征进行探测，图像特征提取算法为基于SuperPoint特征的图像特征提取算法；将图像匹配的SuperPoint特征在遥感地图中的位置记为
Figure 912812DEST_PATH_IMAGE046
，其中
Figure 52806DEST_PATH_IMAGE047
表示在遥感地图
Figure 491878DEST_PATH_IMAGE048
中的像素坐标
Figure 909084DEST_PATH_IMAGE049
；
建立上述遥感地图视觉特征的地图特征描述向量。地图特征描述向量可采用基于自监督学习的SuperPoint特征；
无人机上机载多源相机拍摄的多源图像进行多源图像融合生成多源相机融合图像，提取多源相机融合图像的特征，建立多源相机融合图像的相机特征描述向量；
具体地，提取多源图像的SuperPoint特征点
Figure 142619DEST_PATH_IMAGE050
，建立每个SuperPoint特征点的特征描述向量
Figure 894543DEST_PATH_IMAGE051
。
建立地图特征描述向量与相机特征描述向量的特征匹配对；根据特征匹配对的变换关系，在地图集上投影出无人机的位置获得无人机的地图匹配位置。
在其中一个实施例中，无人机上机载多源相机拍摄的多源图像进行多源图像融合生成多源相机融合图像包括：
根据无人机的航向、高度与相机内参，对多源图像进行旋转缩放融合处理生成多源相机融合图像。
具体地，根据惯性导航单元解算出的无人机航向或者磁力计测量得到的无人机航向角，确定机载多源相机拍摄的多源图像应当旋转的角度
Figure 871726DEST_PATH_IMAGE052
；由气压高度计得到的粗略飞行高度
Figure 2493DEST_PATH_IMAGE053
、机载相机的焦距
Figure 547875DEST_PATH_IMAGE054
与地图分辨率
Figure 662462DEST_PATH_IMAGE055
，可计算图片缩放系数
Figure 177757DEST_PATH_IMAGE056
。
Figure 818823DEST_PATH_IMAGE057
。
在其中一个实施例中，机载多源相机包括可见光相机以及与可见光异源的其他相机，进而可以拍摄可见光图像
Figure 394160DEST_PATH_IMAGE058
与异源图像，异源图像可以是红外相机拍的红外图像，或者偏振图像、多光谱图像等。将预处理后的可见光图像
Figure 871409DEST_PATH_IMAGE059
与重建的异源图像背景进行融合，采用四叉树分解方法估计异源图像中物体的轮廓，用于帮助选择合适的已知点。并采用Bezier插值方法来重建异源图像背景
Figure 190395DEST_PATH_IMAGE060
。
并通过高斯滤波器
Figure 561334DEST_PATH_IMAGE061
平滑连接Bezier曲面得到平滑自然的异源背景图像
Figure 432207DEST_PATH_IMAGE062
，然后通过从异源图像中减去异源背景图像
Figure 255806DEST_PATH_IMAGE063
就可以提取出异源图像的明亮特征
Figure 378483DEST_PATH_IMAGE064
。
Figure 479294DEST_PATH_IMAGE065
。
Figure 662014DEST_PATH_IMAGE066
。
对于复杂的异源图像背景，提取的明亮特征
Figure 366052DEST_PATH_IMAGE067
可能仍然包含部分不需要的背景信息，通过用估计得到的异源背景乘以适当的抑制比
Figure 26840DEST_PATH_IMAGE068
来减去明亮特征，这样在保留有用的明亮特征的同时，可以大大减少冗余背景信息，得到更新的明亮特征
Figure 982158DEST_PATH_IMAGE069
。
Figure 335779DEST_PATH_IMAGE070
。
为了更大程度保留可见光信息，按照抑制比
Figure 133971DEST_PATH_IMAGE071
进一步压缩异源明亮特征。
Figure 988663DEST_PATH_IMAGE072
。
异源图像经过两个阶段的处理后，最终通过将最终的异源明亮特征
Figure 657542DEST_PATH_IMAGE073
直接添加到可见光图像
Figure 323010DEST_PATH_IMAGE074
来生成融合图像。
在其中一个实施例中，建立地图特征描述向量与相机特征描述向量的特征匹配对；根据特征匹配对的变换关系，在地图集上投影出无人机的位置获得无人机的地图匹配位置包括：
利用特征匹配对的所有匹配点的斜率与欧式距离投票，对特征匹配对进行筛选，筛选过程包括：
对每一个特征匹配对，计算特征匹配对中多源相机融合图像对应特征点到地图对应特征点的位置变化量
Figure 342918DEST_PATH_IMAGE075
，经过了图像预处理，匹配对在一定阈值范围内可看作平行且相等关系，如果符合此关系，则表示为内点对，反之为外点对，具体地：
对每一个特征匹配对，初始化一个集合，计算其他匹配对的斜率和距离，与该匹配对的斜率和距离的差值，满足要求的其他匹配对即为内点对，记录在集合中。具体将位置变化量相似度
Figure 611089DEST_PATH_IMAGE076
小于阈值
Figure 524687DEST_PATH_IMAGE077
且位置变化斜率
Figure 485690DEST_PATH_IMAGE078
小于阈值
Figure 727315DEST_PATH_IMAGE079
的对应特征点称为内点对；
Figure 674542DEST_PATH_IMAGE080
Figure 849172DEST_PATH_IMAGE081
在所有特征匹配对中，筛选内点对最多的集合，若集合中的内点对的数量超过设定阈值则认为匹配成功，否则匹配失败。
另外，在对地图集并进行特征提取后，将地图集中每张地图的地理信息与地图对应特征点、地图特征描述向量建立索引关系，即可根据索引关系确定地图匹配位置所使用的是地图集中的哪张地图。
本实施例中，对特征匹配对进行筛选，仅使用筛选合格后的特征匹配点参与计算，提高无人机定位精度。
在其中一个实施例中，根据特征匹配对的变换关系，在地图集上投影出无人机的位置获得无人机的地图匹配位置包括：
选择匹配成功的内点对
Figure 574551DEST_PATH_IMAGE082
，计算单应性变换矩阵H与点配准最小二乘估计
Figure 569052DEST_PATH_IMAGE083
以确定内点对变换关系；
Figure 179025DEST_PATH_IMAGE084
Figure 817948DEST_PATH_IMAGE085
将多源相机融合图像中心点
Figure 855174DEST_PATH_IMAGE086
带入单应性变换矩阵与点配准最小二乘估计的两个变换矩阵内，得到多源相机融合图像在地图上的投影点，若两个投影结果距离
Figure 336971DEST_PATH_IMAGE087
小于阈值以单应性变换结果的匹配定位结果
Figure 878198DEST_PATH_IMAGE088
作为地图匹配位置
Figure 496261DEST_PATH_IMAGE089
，若距离大于阈值则以点配准变换结果的匹配定位结果
Figure 845334DEST_PATH_IMAGE090
作为地图匹配位置
Figure 548848DEST_PATH_IMAGE091
；
Figure 500623DEST_PATH_IMAGE092
Figure 363406DEST_PATH_IMAGE093
Figure 742435DEST_PATH_IMAGE094
Figure 74190DEST_PATH_IMAGE095
在其中一个实施例中，根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置包括：
利用无人机机载惯性测量单元输出的测量值，进行纯惯性导航解算，求解无人机的位置、速度和姿态并获取无人机惯性导航定位位置。
具体地，定义导航坐标系的原点和方向，一般将无人机的初始位置定义为导航坐标系的原点，XYZ坐标轴分东指向北向、东向和地向；
初始对准，输入无人机的初始位置进行静态对准，确定载体坐标系相对于导航坐标系的指向，即确定初始姿态；
利用无人机初始姿态与位置、惯性测量单元获取的无人机比力和角速率进行双子样惯导解算。
利用无人机初始姿态与位置、惯性测量单元获取的无人机比力和角速率进行双子样惯导解算包括：
根据初始位置的导航信息，计算初始姿态矩阵
Figure 564077DEST_PATH_IMAGE096
、地球自转角速度在各投影系下的投影、比力增量、角速度增量与双子样求和结果
Figure 422312DEST_PATH_IMAGE097
、
Figure 96876DEST_PATH_IMAGE098
；
速度更新，计算比例积分增量、重力、哥氏加速度、更新下一时刻的速度
Figure 40561DEST_PATH_IMAGE099
。
位置更新，根据更新后的速度
Figure 68560DEST_PATH_IMAGE100
，矩形积分求无人机位置更新
Figure 656667DEST_PATH_IMAGE101
Figure 643078DEST_PATH_IMAGE102
其中，
Figure 933114DEST_PATH_IMAGE103
表示
Figure 30383DEST_PATH_IMAGE104
时刻的纬度位置，
Figure 332051DEST_PATH_IMAGE105
表示
Figure 364729DEST_PATH_IMAGE106
时刻的经度位置，
Figure 17427DEST_PATH_IMAGE107
表示地球子午圈半径，
Figure 780371DEST_PATH_IMAGE108
表示地球卯酉圈半径，
Figure 202125DEST_PATH_IMAGE109
表示
Figure 530339DEST_PATH_IMAGE110
时刻的高度位置，
Figure 280120DEST_PATH_IMAGE111
表示惯导数据采集周期，
Figure 984771DEST_PATH_IMAGE112
表示
Figure 261031DEST_PATH_IMAGE113
时刻的北向速度，
Figure 884780DEST_PATH_IMAGE114
表示
Figure 246491DEST_PATH_IMAGE115
时刻的东向速度。
姿态更新，更新地球自转角速度在各投影系下的投影、陀螺角速度增量、计算等效旋转矢量、构造姿态更新四元数算法矩阵并更新姿态四元数。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种基于多源视觉辅助的无人机自主导航系统，包括：地图匹配位置获取模块201、惯性导航定位位置获取模块202、扩展卡尔曼滤波方程构建模块203、高斯椭圆构建模块204和系统位置估计模块205，其中：
地图匹配位置获取模块201：地图匹配位置获取模块201用于获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置；
惯性导航定位位置获取模块202：惯性导航定位位置获取模块202根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置；
扩展卡尔曼滤波方程构建模块203：扩展卡尔曼滤波方程构建模块203以地图匹配位置获取模块201获取的地图匹配位置结果与惯性导航定位位置获取模块202获取的惯性导航定位位置差值作为惯性导航系统的观测量，以惯性导航定位位置获取获取的惯性导航定位位置的误差作为系统误差状态构建扩展卡尔曼滤波方程；扩展卡尔曼滤波方程包括计算更新协方差矩阵和系统位置估计；
高斯椭圆构建模块204：高斯椭圆构建模块204以扩展卡尔曼滤波方程构建模块203获得的更新后的系统位置估计为圆心，更新协方差矩阵的位置对应项构建高斯椭圆；
系统位置估计模块205：系统位置估计模块205判断下一时刻地图匹配位置获取模块201解算得到的地图匹配位置结果是否在高斯椭圆内，若是，则根据下一时刻地图匹配位置获取模块201解算得到的地图匹配位置结果和下一时刻惯性导航定位位置获取模块202获得的惯性导航定位位置代入扩展卡尔曼滤波方程构建模块203构建的扩展卡尔曼滤波方程进行下一时刻系统位置估计。
关于基于多源视觉辅助的无人机自主导航系统的具体限定可以参见上文中对于基于多源视觉辅助的无人机自主导航方法的限定，在此不再赘述。上述基于多源视觉辅助的无人机自主导航系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于多源视觉辅助的无人机自主导航方法，其特征在于，所述方法包括：
获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置；
根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置；
以无人机的所述地图匹配位置与所述惯性导航定位位置差值作为惯性导航系统的观测量，以所述惯性导航定位位置的误差作为系统误差状态构建扩展卡尔曼滤波方程；所述扩展卡尔曼滤波方程包括计算更新协方差矩阵和系统位置估计；
以更新后的系统位置估计为圆心，所述更新协方差矩阵的位置对应项构建高斯椭圆；
判断下一时刻解算得到的所述地图匹配位置结果是否在所述高斯椭圆内，若是，则根据下一时刻解算得到的所述地图匹配位置结果和下一时刻的惯性导航定位位置代入扩展卡尔曼滤波方程进行下一时刻系统位置估计；
所述获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置包括：
根据无人机飞行任务，获取无人机飞行区域的地图集并进行特征提取，建立地图集视觉特征的地图特征描述向量；
对所述无人机上机载多源相机拍摄的多源图像进行多源图像融合生成多源相机融合图像，提取所述多源相机融合图像的特征，建立多源相机融合图像的相机特征描述向量；
建立地图特征描述向量与相机特征描述向量的特征匹配对；根据特征匹配对的变换关系，在所述地图集上投影出无人机的位置获得无人机的地图匹配位置；
所述无人机上机载多源相机拍摄的多源图像进行多源图像融合生成多源相机融合图像包括：
根据无人机的航向、高度与相机内参，对多源图像进行旋转缩放融合处理生成所述多源相机融合图像；
建立地图特征描述向量与相机特征描述向量的特征匹配对；根据特征匹配对的变换关系，在所述地图集上投影出无人机的位置获得无人机的地图匹配位置包括：
利用特征匹配对的所有匹配点的斜率与欧式距离投票，对所述特征匹配对进行筛选，筛选过程包括：
对每一个特征匹配对，计算特征匹配对中多源相机融合图像对应特征点到地图对应特征点的位置变化量；
对每一个特征匹配对，初始化一个集合，用于记录位置变化量相似度小于阈值且位置变化斜率小于阈值的所有特征匹配对，称为内点对；
在所有特征匹配对对应的集合中，筛选内点对最多的集合，若集合中的内点对的数量超过设定阈值则认为匹配成功，否则匹配失败。
2.根据权利要求1所述的基于多源视觉辅助的无人机自主导航方法，其特征在于，根据无人机飞行任务，获取无人机飞行区域的地图集并进行特征提取，建立地图集视觉特征的地图特征描述向量包括：
在对地图集并进行特征提取后，将地图集中每张地图的地理信息与地图对应特征点、地图特征描述向量建立索引关系。
3.根据权利要求1所述的基于多源视觉辅助的无人机自主导航方法，其特征在于，根据特征匹配对的变换关系，在所述地图集上投影出无人机的位置获得无人机的地图匹配位置包括：
选择匹配成功的内点对，计算单应性变换矩阵与点配准最小二乘估计以确定内点对变换关系，将多源相机融合图像中心点带入单应性变换矩阵与点配准最小二乘估计的两个变换矩阵内，得到多源相机融合图像在地图上的投影点，若两个投影结果距离小于阈值则以单应性变换结果的匹配定位结果作为地图匹配位置，若距离大于阈值则以点配准变换结果的匹配定位结果作为地图匹配位置。
4.根据权利要求1所述的基于多源视觉辅助的无人机自主导航方法，其特征在于，
根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置包括：
利用无人机机载惯性测量单元输出的测量值，进行纯惯性导航解算，求解无人机的位置、速度和姿态并获取无人机惯性导航定位位置。
5.一种基于多源视觉辅助的无人机自主导航系统，其特征在于，所述系统包括：
地图匹配位置获取模块：地图匹配位置获取模块用于获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置；
所述获取无人机飞行区域的地图集以及无人机上机载多源相机拍摄的多源图像，将地图集与多源图像进行特征匹配，根据匹配关系解算出无人机的地图匹配位置包括：
根据无人机飞行任务，获取无人机飞行区域的地图集并进行特征提取，建立地图集视觉特征的地图特征描述向量；
对所述无人机上机载多源相机拍摄的多源图像进行多源图像融合生成多源相机融合图像，提取所述多源相机融合图像的特征，建立多源相机融合图像的相机特征描述向量；
建立地图特征描述向量与相机特征描述向量的特征匹配对；根据特征匹配对的变换关系，在所述地图集上投影出无人机的位置获得无人机的地图匹配位置；
所述无人机上机载多源相机拍摄的多源图像进行多源图像融合生成多源相机融合图像包括：
根据无人机的航向、高度与相机内参，对多源图像进行旋转缩放融合处理生成所述多源相机融合图像；
建立地图特征描述向量与相机特征描述向量的特征匹配对；根据特征匹配对的变换关系，在所述地图集上投影出无人机的位置获得无人机的地图匹配位置包括：
利用特征匹配对的所有匹配点的斜率与欧式距离投票，对所述特征匹配对进行筛选，筛选过程包括：
对每一个特征匹配对，计算特征匹配对中多源相机融合图像对应特征点到地图对应特征点的位置变化量；
对每一个特征匹配对，初始化一个集合，用于记录位置变化量相似度小于阈值且位置变化斜率小于阈值的所有特征匹配对，称为内点对；
在所有特征匹配对对应的集合中，筛选内点对最多的集合，若集合中的内点对的数量超过设定阈值则认为匹配成功，否则匹配失败；
惯性导航定位位置获取模块：惯性导航定位位置获取模块根据无人机机载惯性测量单元解算出无人机的惯性导航定位位置；
扩展卡尔曼滤波方程构建模块：扩展卡尔曼滤波方程构建模块以地图匹配位置获取模块获取的所述地图匹配位置结果与所述惯性导航定位位置获取模块获取的所述惯性导航定位位置差值作为惯性导航系统的观测量，以所述惯性导航定位位置获取的惯性导航定位位置的误差作为系统误差状态构建扩展卡尔曼滤波方程；所述扩展卡尔曼滤波方程包括计算更新协方差矩阵和系统位置估计；
高斯椭圆构建模块：高斯椭圆构建模块以扩展卡尔曼滤波方程构建模块获得的更新后的系统位置估计为圆心，所述更新协方差矩阵的位置对应项构建高斯椭圆；
系统位置估计模块：系统位置估计模块判断下一时刻地图匹配位置获取模块解算得到的地图匹配位置结果是否在高斯椭圆内，若是，则根据下一时刻地图匹配位置获取模块解算得到的地图匹配位置结果和下一时刻惯性导航定位位置获取模块获得的惯性导航定位位置代入扩展卡尔曼滤波方程构建模块构建的扩展卡尔曼滤波方程进行下一时刻系统位置估计。
CN202211061330.2A 2022-08-31 2022-08-31 一种基于多源视觉辅助的无人机自主导航方法与系统 Active CN115127554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211061330.2A CN115127554B (zh) 2022-08-31 2022-08-31 一种基于多源视觉辅助的无人机自主导航方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211061330.2A CN115127554B (zh) 2022-08-31 2022-08-31 一种基于多源视觉辅助的无人机自主导航方法与系统

Publications (2)

Publication Number Publication Date
CN115127554A CN115127554A (zh) 2022-09-30
CN115127554B true CN115127554B (zh) 2022-11-15

Family

ID=83387215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211061330.2A Active CN115127554B (zh) 2022-08-31 2022-08-31 一种基于多源视觉辅助的无人机自主导航方法与系统

Country Status (1)

Country Link
CN (1) CN115127554B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117268395B (zh) * 2023-09-20 2024-05-03 北京自动化控制设备研究所 一种无人机地图匹配位置跳变抑制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9709404B2 (en) * 2015-04-17 2017-07-18 Regents Of The University Of Minnesota Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation
CN106679648B (zh) * 2016-12-08 2019-12-10 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN107014371A (zh) * 2017-04-14 2017-08-04 东南大学 基于扩展自适应区间卡尔曼的无人机组合导航方法与装置
CN109724595B (zh) * 2017-10-31 2021-04-02 北京自动化控制设备研究所 一种基于序贯检测的惯性视觉位置组合导航方法
CN111089580B (zh) * 2018-10-23 2023-02-10 北京自动化控制设备研究所 一种基于协方差交叉的无人战车同时定位与地图构建方法
CN110702095B (zh) * 2019-09-30 2022-09-16 江苏大学 一种数据驱动的高精度组合导航数据融合方法
CN111811506B (zh) * 2020-09-15 2020-12-01 中国人民解放军国防科技大学 视觉/惯性里程计组合导航方法、电子设备及存储介质
CN112539746B (zh) * 2020-10-21 2023-05-26 济南大学 基于多频卡尔曼滤波的机器人视觉/ins组合定位方法及系统
CN113624231B (zh) * 2021-07-12 2023-09-12 北京自动化控制设备研究所 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器
CN114216454B (zh) * 2021-10-27 2023-09-08 湖北航天飞行器研究所 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法

Also Published As

Publication number Publication date
CN115127554A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN109887057B (zh) 生成高精度地图的方法和装置
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
EP2503510B1 (en) Wide baseline feature matching using collaborative navigation and digital terrain elevation data constraints
CN106595659A (zh) 城市复杂环境下多无人机视觉slam的地图融合方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN108917753B (zh) 基于从运动恢复结构的飞行器位置确定方法
US9135716B2 (en) Method for estimating the movement of a traveling observation instrument flying over a celestial body
CN111024072B (zh) 一种基于深度学习的卫星地图辅助导航定位方法
CN112577493B (zh) 一种基于遥感地图辅助的无人机自主定位方法及系统
Menozzi et al. Development of vision-aided navigation for a wearable outdoor augmented reality system
CN114001733A (zh) 一种基于地图的一致性高效视觉惯性定位算法
CN115127554B (zh) 一种基于多源视觉辅助的无人机自主导航方法与系统
CN114419109B (zh) 一种基于视觉和气压信息融合的飞行器定位方法
CN114638897A (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
Li et al. Combined RGBD-inertial based state estimation for MAV in GPS-denied indoor environments
CN116182855B (zh) 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法
CN113155126A (zh) 一种基于视觉导航的多机协同目标高精度定位系统及方法
CN117073669A (zh) 一种飞行器定位方法
CN113008206B (zh) 空中三角测量成图方法、装置、飞行器及计算机可读存储介质
CN112902957B (zh) 一种弹载平台导航方法及系统
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
Abdelaziz et al. LiDAR/Visual SLAM-Aided Vehicular Inertial Navigation System for GNSS-Denied Environments
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
Wang et al. Minimum sigma set SR-UKF for quadrifocal tensor-based binocular stereo vision-IMU tightly-coupled system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant