CN109341686A - 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 - Google Patents

一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 Download PDF

Info

Publication number
CN109341686A
CN109341686A CN201811471432.5A CN201811471432A CN109341686A CN 109341686 A CN109341686 A CN 109341686A CN 201811471432 A CN201811471432 A CN 201811471432A CN 109341686 A CN109341686 A CN 109341686A
Authority
CN
China
Prior art keywords
point
access control
control model
based access
tightly coupled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811471432.5A
Other languages
English (en)
Other versions
CN109341686B (zh
Inventor
张磊
牛文生
余冠锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautics Computing Technique Research Institute of AVIC
Original Assignee
Xian Aeronautics Computing Technique Research Institute of AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautics Computing Technique Research Institute of AVIC filed Critical Xian Aeronautics Computing Technique Research Institute of AVIC
Priority to CN201811471432.5A priority Critical patent/CN109341686B/zh
Publication of CN109341686A publication Critical patent/CN109341686A/zh
Application granted granted Critical
Publication of CN109341686B publication Critical patent/CN109341686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供一种基于视觉‑惯性紧耦合的飞行器着陆位姿估计方法，所述方法包括真实特征点检测过程、合成特征点生成过程、相对位姿解算过程；其中真实特征点检测过程包括：视频采集、图像增强、目标检测、输出特征点；合成特征点生成过程包括：读取惯性测量单元的位姿参数，读取机场地标点的地理信息，计算合成特征点；相对位姿解算过程包括：读取真实特征点和合成特征点，读取机场地标点的地理信息，并解算出飞行器和着陆平台之间的相对位姿。

Description

一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
技术领域
本发明涉及组合导航领域，具体涉及一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法。
背景技术
传统飞行器进近着陆导航常采用卡尔曼滤波(KF)、PnP方法或非线性优化(ULO)，构建的视觉测量模型为非线性时变系统时，即使采用扩展卡尔曼滤波(EKF)或粒子滤波(PF)也很难明显提高滤波精度，且计算时间较长；PnP算法受图像中目标检测精度的影响较大，且依赖于图像特征数量，当图像特征数量较小时(如<5)位姿解算精度较差；非线性优化方法通过多次迭代目标函数达到最小值来寻找最优解，其计算时间不确定，不能满足机载应用的强实时性需求。
发明内容
本发明的目的：为满足多旋翼无人机起降、固定翼飞机进近着陆和舰载机着舰等应用，实现飞行器与着陆平台之间相对位姿估计，使其具备低成本、强实时、高精度和高可靠的特性。
本发明的技术方案：
通过本发明的基于视觉-惯性紧耦合的飞行器着陆位姿估计方法实现上述目的，所述方法包括真实特征点检测过程、合成特征点生成过程、相对位姿解算过程；其中真实特征点检测过程包括：视频采集、图像增强、目标检测、输出特征点；合成特征点生成过程包括：读取惯性测量单元的位姿参数，读取机场地标点的地理信息，计算合成特征点；相对位姿解算过程包括：读取真实特征点和合成特征点，读取机场地标点的地理信息，并解算出飞行器和着陆平台之间的相对位姿。
在上述基于视觉-惯性紧耦合的飞行器着陆位姿估计方法中，在真实特征点检测过程中，可以利用图像传感器进行视频采集，图像传感器是可见光相机(VIS)、短波红外相机(SWIR)、长波红外相机(LWIR)或它们的组合。
在上述基于视觉-惯性紧耦合的飞行器着陆位姿估计方法中，在合成特征点生成过程中，惯性测量单元可以是惯性导航系统(INS)或航向姿态参考系统(AHRS)。
在上述基于视觉-惯性紧耦合的飞行器着陆位姿估计方法中，在相对位姿解算过程中，可以采用DLS、SDP、DLS+LM、Clamped DLT或EPnP算子解算飞行器和着陆平台之间的相对位姿。
本发明的方法可实时估计飞行器与着陆平台之间的相对位姿，具有鲁棒性强、位姿精度高、设计与维护成本较低的特点。
在本发明的方法中，首先，建立从世界坐标系到CCD像素坐标系之间的视觉投影模型。其次，利用惯性导航的位姿数据和着陆平台的位置数据，通过视觉投影模型计算出着陆平台上特殊点在像素平面内的坐标。再次，将图像中检测出着陆平台的目标特征(如跑道四边形的四条边缘线、跑道四边形的四个顶点或着陆信标中的标记点)和着陆平台上特殊点在像素平面投影点的像素共同作为Efficient PnP(EPnP)算法的像素点输入，且两者不重复；将机场特殊点在着陆平台坐标系下的坐标作为EPnP的世界坐标点输入；通过EPnP快速解算出飞行器相对于着陆平台的位置和姿态。通过真实飞行数据验证了本发明的方法能够满足飞行器进近着陆过程中相对于着陆平台的位姿估计需求。
附图说明
将参考附图详细描述本发明，其中：
图1示出基于视觉-惯性紧耦合的飞行器着陆位姿估计方法框架；
图2示出世界坐标系到CCD像素坐标系的视觉投影模型；
图3示出实施方案中各设备互联关系。
具体实施方式
如上所述，本发明的基于视觉-惯性紧耦合的飞行器着陆位姿估计方法主要包括如下过程：
1、基于视觉-惯性紧耦合的飞行器着陆位姿估计方法框架
一个完整的视觉辅助惯性导航系统包括了图像传感器、惯性导航单元、机载数据库、图形图像处理部件和导航显示终端，支持进近着陆阶段的位姿估计。其中，图像传感器可以是可见光相机(VIS)、短波红外相机(SWIR)、长波红外相机(LWIR)或它们的组合，用于获取下视或前下视图像；惯性测量单元可以是惯性导航系统(INS)或航向姿态参考系统(AHRS)等，用于获取飞行器的运动状态；机载数据库应包含着陆平台上特殊点的世界坐标信息。
如图1所示，本发明的方法框架主要包括：检测像素点输入、投影像素点输入、世界坐标点输入、EPnP算子和相对位姿输出。本方法为了解决检测像素点数量较少时(如<5)，EPnP解算精度较差的问题，利用惯性导航位姿数据和着陆平台特殊点位置信息，计算出这些特殊点在像素平面上的投影位置，将这些投影点作为EPnP算子的输入，通过增加像素点的数量显著提高位姿解算的精度和鲁棒性，本质上属于视觉与惯性信息的紧耦合。
2、输入像素点
EPnP算法需要输入的像素点包括：检测像素点和投影像素点。
1)检测像素点：利用目标检测算法获得着陆平台特征点的像素坐标P1Pi i＝1,2,…，如信标点检测或跑道检测；
2)投影像素点：建立从世界坐标系到CCD像素坐标系之间的视觉投影模型，经过如下6次坐标系换得到投影像素点P2Pj j＝1,2,…，如图2所示。
a.大地坐标系到地心地固坐标系
b.地心地固坐标系到地理坐标系
c.地理坐标系到导航坐标系
d.导航坐标系到机体坐标系
e.机体坐标系到相机坐标系
f.相机坐标系到像素坐标系
为了保证EPnP解算出的位姿精度能够满足飞行器精密进近和着陆，经真实飞行实验验证后，像素点的数目应满足：i+j＞＝10且i＞＝4。3、基于EPnP的相对位姿解算
本方法为了满足飞行器进近着陆导航的强实时、高精度和高可靠的需求，在比较同类算法(如DLS、SDP、DLS+LM、Clamped DLT和EPnP)之后，采用EPnP算子计算飞行器和着陆平台之间的相对位姿。同时，为了克服检测像素点较少时，位姿精度较差的问题，通过惯性导航数据和地标点信息计算并增加像素点数量来保证EPnP算子的稳定。
输入：检测像素点坐标P1Pi，i＝1,2,…、投影像素点坐标P2Pj，j＝1,2,…、着陆平台特殊点世界坐标G1Pk，k＝1,2,…，且k＝i+j；
输出：飞行器相对于着陆平台的位置和姿态。
[关于实施条件]
实施方案为固定翼飞机进近着陆过程中飞机与机场坐标系的相对位置和姿态估计，本实施方案选择了可见光相机采集前视图像，机载惯性导航系统(INS)采集飞机当前运动状态(位置、速度、姿态、三轴加速度、三轴角速度)。其中，可见光相机需要在飞机雷达罩前上方，便于采集前视图像；INS则安装在飞机设备舱，处在飞机质心位置。在飞行实验前，需要标定相机与INS之间的相对位置和姿态，标定相机的内部参数。此外，还需获取机场地理信息数据库，如跑道各角点的纬度、经度和海拔高度信息。信息处理平台可以选用嵌入式处理板卡，如Nvidia TX2，各部件互联关系见图3所示。
[关于投影点的获取]
从世界坐标系到CCD像素坐标系之间的视觉投影模型包括了如下6次坐标系换，如图2所示。
a.大地坐标系到地心地固坐标系
EPf＝[(Rn+hf)·cos Lf·cosλf,(Rn+hf)·cos Lf·sinλf,((1-e2)·RN+hf)·sinLf]T (1)
b.地心地固坐标系到地理坐标系
c.地理坐标系到导航坐标系
为简化坐标变换，导航坐标系选择与地理坐标系具有相同的坐标原点和坐标轴方向。
d.导航坐标系到机体坐标系
e.机体坐标系到相机坐标系
f.相机坐标系到像素坐标系
[关于相对位姿估计]
采用EPnP算子，输入检测像素点坐标P1Pi，i＝1,2,…、投影像素点坐标P2Pj，j＝1,2,…、着陆平台特殊点世界坐标G1Pk，k＝1,2,…，且k＝i+j；输出飞行器相对于着陆平台的位置和姿态。该计算方法融合了视觉信息和惯性测量数据。

Claims (4)

1.一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法，所述方法包括真实特征点检测过程、合成特征点生成过程、相对位姿解算过程；其中
真实特征点检测过程包括：视频采集、图像增强、目标检测、输出特征点；
合成特征点生成过程包括：读取惯性测量单元的位姿参数，读取机场地标点的地理信息，计算合成特征点；
相对位姿解算过程包括：读取真实特征点和合成特征点，读取机场地标点的地理信息，并解算出飞行器和着陆平台之间的相对位姿。
2.根据权利要求1所述的基于视觉-惯性紧耦合的飞行器着陆位姿估计方法，其中在真实特征点检测过程中，利用图像传感器进行视频采集，图像传感器是可见光相机(VIS)、短波红外相机(SWIR)、长波红外相机(LWIR)或它们的组合。
3.根据权利要求1所述的基于视觉-惯性紧耦合的飞行器着陆位姿估计方法，其中在合成特征点生成过程中，惯性测量单元是惯性导航系统(INS)或航向姿态参考系统(AHRS)。
4.根据权利要求1所述的基于视觉-惯性紧耦合的飞行器着陆位姿估计方法，其中在相对位姿解算过程中，采用DLS、SDP、DLS+LM、Clamped DLT或EPnP算子解算飞行器和着陆平台之间的相对位姿。
CN201811471432.5A 2018-12-04 2018-12-04 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 Active CN109341686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811471432.5A CN109341686B (zh) 2018-12-04 2018-12-04 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811471432.5A CN109341686B (zh) 2018-12-04 2018-12-04 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法

Publications (2)

Publication Number Publication Date
CN109341686A true CN109341686A (zh) 2019-02-15
CN109341686B CN109341686B (zh) 2023-10-27

Family

ID=65320288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811471432.5A Active CN109341686B (zh) 2018-12-04 2018-12-04 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法

Country Status (1)

Country Link
CN (1) CN109341686B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN110231828A (zh) * 2019-05-31 2019-09-13 燕山大学 基于nftsm的四旋翼无人机视觉伺服控制方法
CN112560922A (zh) * 2020-12-10 2021-03-26 中国航空工业集团公司沈阳飞机设计研究所 一种基于视觉的雾天飞机自主着陆方法及系统
CN113218394A (zh) * 2021-04-20 2021-08-06 浙江大学 扑翼飞行器室内视觉定位方法及系统
CN113436252A (zh) * 2021-06-28 2021-09-24 天津大学 基于单目视觉的位姿识别方法
US20220198703A1 (en) * 2020-12-18 2022-06-23 The Boeing Company Determining a current pose estimate of an aircraft relative to a runway to support the aircraft on approach

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航系统
US20090138138A1 (en) * 2006-09-29 2009-05-28 Bran Ferren Imaging and display system to aid helicopter landings in brownout conditions
JP2013003970A (ja) * 2011-06-20 2013-01-07 Nippon Telegr & Teleph Corp <Ntt> 物体座標系変換装置、物体座標系変換方法、及び物体座標系変換プログラム
US20150253150A1 (en) * 2014-03-07 2015-09-10 Airbus Operations Sas Device for determining navigation parameters of an aircraft during a landing phase
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
CN106708066A (zh) * 2015-12-20 2017-05-24 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
CN107014380A (zh) * 2017-05-26 2017-08-04 西安科技大学 基于飞行器的视觉导航与惯性导航的组合导航方法
CN107727079A (zh) * 2017-11-30 2018-02-23 湖北航天飞行器研究所 一种微小型无人机全捷联下视相机的目标定位方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108734744A (zh) * 2018-04-28 2018-11-02 国网山西省电力公司电力科学研究院 一种基于全站仪的远距离大视场双目标定方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航系统
US20090138138A1 (en) * 2006-09-29 2009-05-28 Bran Ferren Imaging and display system to aid helicopter landings in brownout conditions
JP2013003970A (ja) * 2011-06-20 2013-01-07 Nippon Telegr & Teleph Corp <Ntt> 物体座標系変換装置、物体座標系変換方法、及び物体座標系変換プログラム
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
US20150253150A1 (en) * 2014-03-07 2015-09-10 Airbus Operations Sas Device for determining navigation parameters of an aircraft during a landing phase
CN106708066A (zh) * 2015-12-20 2017-05-24 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
CN107014380A (zh) * 2017-05-26 2017-08-04 西安科技大学 基于飞行器的视觉导航与惯性导航的组合导航方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN107727079A (zh) * 2017-11-30 2018-02-23 湖北航天飞行器研究所 一种微小型无人机全捷联下视相机的目标定位方法
CN108734744A (zh) * 2018-04-28 2018-11-02 国网山西省电力公司电力科学研究院 一种基于全站仪的远距离大视场双目标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JAY HYUK CHOI; WON-SUK LEE; HYOCHOONG BANG: "Helicopter guidance for vision-based tracking and landing on a moving ground target", 2011 11TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS *
周朗明，钟磬，张跃强，雷志辉，张小虎: "运用跑道平面结构化线特征的固定翼无人机视觉导航算法", 国防科技大学学报, vol. 38, no. 3 *
王丽君等: "基于计算机视觉/INS的无人机自主着陆组合导航研究", 《计算机测量与控制》 *
王丽君等: "基于计算机视觉/INS的无人机自主着陆组合导航研究", 《计算机测量与控制》, vol. 17, no. 02, 28 February 2009 (2009-02-28) *
黄楠楠;刘贵喜;张音哲;姚李阳;: "无人机视觉导航算法", 红外与激光工程, vol. 45, no. 07 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN110231828A (zh) * 2019-05-31 2019-09-13 燕山大学 基于nftsm的四旋翼无人机视觉伺服控制方法
CN110231828B (zh) * 2019-05-31 2020-07-21 燕山大学 基于非奇异快速终端滑模的四旋翼无人机视觉伺服控制方法
CN112560922A (zh) * 2020-12-10 2021-03-26 中国航空工业集团公司沈阳飞机设计研究所 一种基于视觉的雾天飞机自主着陆方法及系统
US20220198703A1 (en) * 2020-12-18 2022-06-23 The Boeing Company Determining a current pose estimate of an aircraft relative to a runway to support the aircraft on approach
CN113218394A (zh) * 2021-04-20 2021-08-06 浙江大学 扑翼飞行器室内视觉定位方法及系统
CN113436252A (zh) * 2021-06-28 2021-09-24 天津大学 基于单目视觉的位姿识别方法

Also Published As

Publication number Publication date
CN109341686B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN109341700B (zh) 一种低能见度下固定翼飞机视觉辅助着陆导航方法
CN109341686A (zh) 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
CN106708066B (zh) 基于视觉/惯导的无人机自主着陆方法
US10515458B1 (en) Image-matching navigation method and apparatus for aerial vehicles
CN106017463B (zh) 一种基于定位传感装置的飞行器定位方法
Marut et al. ArUco markers pose estimation in UAV landing aid system
CN103175524B (zh) 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
CN109544696B (zh) 一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法
CN106054929A (zh) 一种基于光流的无人机自动降落引导方法
CN111649737B (zh) 一种面向飞机精密进近着陆的视觉-惯性组合导航方法
CN109341724B (zh) 一种机载相机-惯性测量单元相对位姿在线标定方法
Anitha et al. Vision based autonomous landing of an unmanned aerial vehicle
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN105644785A (zh) 一种基于光流法和地平线检测的无人机着陆方法
KR102239562B1 (ko) 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템
CN110186468B (zh) 用于自动驾驶的高精度地图制作方法和制作装置
CN107576329B (zh) 基于机器视觉的固定翼无人机着降引导合作信标设计方法
Lo et al. The direct georeferencing application and performance analysis of uav helicopter in gcp-free area
CN109375647A (zh) 微型多源感知计算系统
Andert et al. Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation
CN108225273A (zh) 一种基于传感器先验知识的实时跑道检测方法
Garcia et al. Real-time navigation for drogue-type autonomous aerial refueling using vision-based deep learning detection
Wang et al. Monocular vision and IMU based navigation for a small unmanned helicopter
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
Schleiss et al. VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant