CN109341685B - 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 - Google Patents
一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 Download PDFInfo
- Publication number
- CN109341685B CN109341685B CN201811471420.2A CN201811471420A CN109341685B CN 109341685 B CN109341685 B CN 109341685B CN 201811471420 A CN201811471420 A CN 201811471420A CN 109341685 B CN109341685 B CN 109341685B
- Authority
- CN
- China
- Prior art keywords
- runway
- real
- pose parameters
- camera
- homography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009466 transformation Effects 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims abstract description 8
- 238000007499 fusion processing Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 230000001133 acceleration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Navigation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种基于单应变换的固定翼飞机视觉辅助着陆导航方法,包括(1)真实跑道特征检测过程:视频采集、图像增强处理、检测真实跑道特征;(2)合成跑道特征检测过程:读取惯性测量单元的原始位姿参数并计算虚拟相机的位姿参数;读取机场地理信息;利用原始位姿参数和机场地理信息计算合成跑道特征;(3)单应矩阵构建过程:接收真实跑道特征和合成跑道特征,构建虚拟相机到真实相机的单应矩阵;(4)视觉惯性融合过程:读取原始测量参数;读取单应矩阵;进行非线性卡尔曼滤波;修正该原始位姿参数并获得修正位姿参数。
Description
技术领域
本发明属于组合导航领域,提供一种基于单应变换的固定翼飞机视觉辅助着陆导航方法。
背景技术
目前广泛使用的辅助着陆导航技术有仪表着陆系统(ILS)、惯性/GPS组合导航或地基增强GPS。其中,ILS导航精度较低,容易受到周围地形反射的影响,并且软硬件及其维护成本较高,不适用于山区机场或通用机场。INS/GPS虽然精度较高,但GPS信号易受干扰或屏蔽,其导航可靠性不高。地基增强型GPS虽然精度较高,但需要地面增强系统的辅助,软硬件及其维护成本较高,仅应用于个别大型机场。
发明内容
本发明的目的:固定翼飞机在低能见度条件下利用视觉与惯性组合导航实现精密进近着陆。
本发明的技术方案:
通过本发明的基于单应变换的固定翼飞机视觉辅助着陆导航方法实现上述目的,所述方法包括真实跑道特征检测过程、合成跑道特征检测过程、单应矩阵构建过程、视觉惯性融合过程;其中真实跑道特征检测过程包括:视频采集、图像增强处理、检测真实跑道特征;合成跑道特征检测过程包括:读取惯性测量单元的原始位姿参数并计算虚拟相机的位姿参数;读取机场地理信息;利用惯性测量单元的原始位姿参数和机场地理信息计算合成跑道特征;单应矩阵构建过程包括:接收真实跑道特征和合成跑道特征,构建虚拟相机到真实相机的单应矩阵;视觉惯性融合过程包括:读取惯性测量单元的原始测量参数;读取虚拟相机到真实相机之间的单应矩阵;进行非线性卡尔曼滤波;修正惯性测量单元的原始位姿参数并获得惯性测量单元的修正位姿参数。
在上述基于单应变换的固定翼飞机视觉辅助着陆导航方法中,在合成跑道特征检测过程中,可以将机场地理信息结合惯性测量单元的原始位姿参数,从大地坐标系依次经地心地固坐标系、地理坐标系、导航坐标系、机体坐标系、相机坐标系变换到像素坐标系,从而获得合成跑道特征。
在上述基于单应变换的固定翼飞机视觉辅助着陆导航方法中,在单应矩阵构建过程中,构建虚拟相机到真实相机之间的单应矩阵可以包括:
在所述基于单应变换的固定翼飞机视觉辅助着陆导航方法中,在视觉惯性融合过程中,进行非线性卡尔曼滤波可以包括:建立系统状态方程和视觉量测方程,进行滤波,输出系统状态估计值;修正位姿参数可以包括:利用系统状态估计值修正惯性测量单元的原始位姿参数。
在本发明的方法中,针对现有着陆导航精度低、可靠性差、成本高昂等问题,利用红外相机获取低能见度条件下机场跑道图像,从中提取跑道特征信息,即真实跑道特征;再通过世界坐标系到像素坐标系的视觉投影模型,结合机场跑道地理信息计算出机场特殊点在像素平面内的坐标,即合成跑道特征;利用真实跑道特征与合成跑道特征之间的单应变换关系,构建单应矩阵,并转换为一维向量作为视觉量测;最后,通过无迹卡尔曼滤波将视觉量测与惯性数据进行组合,有效消除惯性累积误差,提升导航精度,从而满足固定翼飞机精密进近着陆的需求。该方法适用于晴、阴、小雨、雾、霾等天气条件下,飞机从相对于机场高度200英尺下降至60英尺的着陆过程。
附图说明
将参考附图详细描述本发明,其中:
图1示出本发明的基于单应变换的固定翼飞机视觉辅助着陆导航方法框图;
图2示出合成图像与真实图像之间的单应变换;
图3示出本发明的方法中各设备互联关系图。
具体实施方式
如上所述,本发明基于单应变换的固定翼飞机视觉辅助着陆导航方法主要包括如下方面:
1、视觉着陆导航方法框架
本方法的输入数据来自于机载惯性测量单元(IMU)、机载前视红外相机(FLIR)和机载导航数据库,输出数据为修正后的位置和姿态,整个算法包括了视频采集、跑道检测、跑道合成、单应矩阵构建、视觉与惯性融合、位姿修正等主要部分,流程框图详见图1。具体信息处理流程如下所述:
1)红外视频数据流:FLIR拍摄的红外视频经过视频采集后,利用机场跑道检测的方法从整幅图像中提取出跑道四条边缘线的图像特征,即真实跑道特征;
2)惯性测量数据流:IMU输出的载体位置、速度、姿态数据用于视觉投影模型(从世界坐标系到像素坐标系的投影)的实现;加速度和角速度信息用于UKF中一步转移矩阵的实现;
3)跑道地理信息流:通过与IMU的位置和姿态数据结合,利用视觉投影模型生成像素平面内的机场跑道,即合成跑道特征;
4)利用真实跑道特征与合成跑道特征之间的单应变换关系,构建单应矩阵,并将其转换为一维向量,作为视觉量测信息;
5)视觉惯性融合单元,即无迹卡尔曼滤波器,输入视觉量测和IMU加速度和角速度,输出位姿估计误差,经修正后即可得到融合后的位姿参数。
2、合成跑道特征
合成跑道特征的计算是由机场跑道地理信息结合IMU测量位姿,通过视觉投影模型将世界坐标系下的一点变换到像素坐标系下,整个视觉投影过程包括:从大地坐标系经地心地固坐标系、地理坐标系、导航坐标系、机体坐标系、相机坐标系到像素坐标系的6次坐标变换。
3、真实跑道特征
真实跑道特征是利用机场跑道检测算法直接从前视红外图像中提取并获得的。
4、构建视觉量测
dM=-1·e3 T·MPn (5)
合成图像与真实图像中一一对应的线段满足如下数学关系:
将式(2)~(5)代入式(1),可得:
将式(6)和式(8)代入式(6),可以得到系统的视觉量测方程。
5、视觉惯性融合
本方法采用针对非线性系统的无迹卡尔曼滤波(UKF),系统状态定义为:位置误差、速度误差、姿态误差、加速度误差和角速度误差;
系统状态方程为惯性误差传递方程;
量测方程为:由真实跑道特征和合成跑道特征共同构建的单应矩阵关系式;
系统输入为:单应矩阵、IMU位置、姿态、速度、加速度和角速度;
系统输出为:状态估计,即误差估计值。
[关于实施条件]
在飞机雷达罩上方安装FLIR组件,在飞机设备舱安装IMU,并且在地面利用全站仪标定FLIR与IMU的相对位置和姿态;同时,标定红外相机的内部参数。此外,还需获取机场地理信息数据库,如跑道各角点的纬度、经度和海拔高度信息。信息处理平台可以选用嵌入式处理板卡,如Nvidia TX2,各部件互联关系见图3所示。
[关于合成跑道特征生成]
合成跑道特征是将机场数据库中特殊地标点从世界坐标系变换到CCD像素坐标系得到的,其中需要经过6次坐标系换,如下:
a.大地坐标系到地心地固坐标系
EPf=[(Rn+hf)·cos Lf·cosλf,(Rn+hf)·cos Lf·sinλf,((1-e2)·RN+hf)·sinLf]T (1)
b.地心地固坐标系到地理坐标系
c.地理坐标系到导航坐标系
为简化坐标变换,导航坐标系选择与地理坐标系具有相同的坐标原点和坐标轴方向。
d.导航坐标系到机体坐标系
e.机体坐标系到相机坐标系
f.相机坐标系到像素坐标系
利用虚实平面之间线对的单应变换关系构建方程组,即:
通过求解方程组得到该单应矩阵,具体计算方法参考Richard.Hartley,Andrew.Zisserman,Multiple View Geometry in Computer Vision.U.K.:CambridgeUniv.Press,Cambridge,2003.
[关于状态估计]
采用SR-UKF算法融合了视觉信息和惯性测量数据,具体流程如下:
1)初始化
S0=cholesky(Px,0)
其中,Cholesky()函数用于矩阵的下三角分解。
2)时间更新
计算Sigma点:
W0 m=λ/γ2,W0 (c)=λ/γ2+(1+α2+β),Wi m=Wi c=1/2γ2,i=1,2,…,2n
一步状态预测:
χk/k-1=Φ(χk-1)
一步状态预测平方根:
测量值估计:
yk/k-1=H(χk/k-1)
其中,qr()函数表示对矩阵QR分解,返回R矩阵的上三角阵。
3)量测更新
状态噪声估计:
Claims (2)
1.一种基于单应变换的固定翼飞机视觉辅助着陆导航方法,所述方法包括真实跑道特征检测过程、合成跑道特征检测过程、单应矩阵构建过程、视觉惯性融合过程;其中
真实跑道特征检测过程包括:视频采集、图像增强处理、检测真实跑道特征;
合成跑道特征检测过程包括:读取惯性测量单元的原始位姿参数并计算虚拟相机的位姿参数;读取机场地理信息;利用惯性测量单元的原始位姿参数和机场地理信息计算合成跑道特征;
单应矩阵构建过程包括:接收真实跑道特征和合成跑道特征,构建虚拟相机到真实相机的单应矩阵;
视觉惯性融合过程包括:读取惯性测量单元的原始测量参数;读取虚拟相机到真实相机之间的单应矩阵;进行非线性卡尔曼滤波;修正惯性测量单元的原始位姿参数并获得惯性测量单元的修正位姿参数;
其中在合成跑道特征检测过程中,将机场地理信息结合惯性测量单元的原始位姿参数,从大地坐标系依次经地心地固坐标系、地理坐标系、导航坐标系、机体坐标系、相机坐标系变换到像素坐标系,从而获得合成跑道特征;
其中所述视频采集基于机载前红外相机实现;所述机场地理信息包括跑道各角点的纬度、经度和海拔高度信息;
其中在单应矩阵构建过程中,构建虚拟相机到真实相机之间的单应矩阵包括:
2.根据权利要求1所述的基于单应变换的固定翼飞机视觉辅助着陆导航方法,其中,在视觉惯性融合过程中,
进行非线性卡尔曼滤波包括:建立系统状态方程和视觉量测方程,进行滤波,输出系统状态估计值;
修正位姿参数包括:利用系统状态估计值修正惯性测量单元的原始位姿参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811471420.2A CN109341685B (zh) | 2018-12-04 | 2018-12-04 | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811471420.2A CN109341685B (zh) | 2018-12-04 | 2018-12-04 | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109341685A CN109341685A (zh) | 2019-02-15 |
CN109341685B true CN109341685B (zh) | 2023-06-30 |
Family
ID=65320277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811471420.2A Active CN109341685B (zh) | 2018-12-04 | 2018-12-04 | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109341685B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115482275A (zh) * | 2021-05-31 | 2022-12-16 | 北京字跳网络技术有限公司 | 位置参数获取方法、装置、设备及介质 |
CN113932804B (zh) * | 2021-09-17 | 2024-08-30 | 四川腾盾科技有限公司 | 机场跑道视觉与gnss/惯导导航相结合的定位方法 |
CN115050215B (zh) * | 2022-04-29 | 2023-12-26 | 北京航空航天大学 | 基于机器视觉辅助的门对门全自主飞行着陆引导方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103954283A (zh) * | 2014-04-01 | 2014-07-30 | 西北工业大学 | 基于景象匹配/视觉里程的惯性组合导航方法 |
US8946606B1 (en) * | 2008-03-26 | 2015-02-03 | Arete Associates | Determining angular rate for line-of-sight to a moving object, with a body-fixed imaging sensor |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109640A (zh) * | 2006-07-19 | 2008-01-23 | 北京航空航天大学 | 基于视觉的无人驾驶飞机自主着陆导航系统 |
EP2375376B1 (en) * | 2010-03-26 | 2013-09-11 | Alcatel Lucent | Method and arrangement for multi-camera calibration |
WO2015056826A1 (ko) * | 2013-10-18 | 2015-04-23 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
FR3018383B1 (fr) * | 2014-03-07 | 2017-09-08 | Airbus Operations Sas | Procede et dispositif de determination de parametres de navigation d'un aeronef lors d'une phase d'atterrissage. |
CN104200086B (zh) * | 2014-08-25 | 2017-02-22 | 西北工业大学 | 宽基线可见光相机位姿估计方法 |
CN104729506B (zh) * | 2015-03-27 | 2017-11-14 | 北京航空航天大学 | 一种视觉信息辅助的无人机自主导航定位方法 |
CN106023086B (zh) * | 2016-07-06 | 2019-02-22 | 中国电子科技集团公司第二十八研究所 | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 |
CN108225273B (zh) * | 2016-12-14 | 2020-06-30 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于传感器先验知识的实时跑道检测方法 |
-
2018
- 2018-12-04 CN CN201811471420.2A patent/CN109341685B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8946606B1 (en) * | 2008-03-26 | 2015-02-03 | Arete Associates | Determining angular rate for line-of-sight to a moving object, with a body-fixed imaging sensor |
CN103954283A (zh) * | 2014-04-01 | 2014-07-30 | 西北工业大学 | 基于景象匹配/视觉里程的惯性组合导航方法 |
Non-Patent Citations (3)
Title |
---|
Metric sensing and control of a quadrotor using a homography-based visual inertial fusion method;Ping Li, Matthew Garratt, Andrew Lambert, Shanggang Lin;Robotics and Autonomous Systems;第76卷;全文 * |
基于单应视差的月面着陆区离面测量及平坦性分析;苑云,朱肇昆,张小虎;航天返回与遥感;第32卷(第2期);全文 * |
视觉技术辅助的无人机自主着陆组合导航研究;蔡鸣;孙秀霞;徐嵩;刘希;刘日;;应用光学;36(03);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109341685A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109341700B (zh) | 一种低能见度下固定翼飞机视觉辅助着陆导航方法 | |
CN110926474B (zh) | 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法 | |
CN102435188B (zh) | 一种用于室内环境的单目视觉/惯性全自主导航方法 | |
CN102353377B (zh) | 一种高空长航时无人机组合导航系统及其导航定位方法 | |
CN102506868B (zh) | 基于联邦滤波的sins/smans/trns组合导航方法及系统 | |
CN112987065B (zh) | 一种融合多传感器的手持式slam装置及其控制方法 | |
CN110930508B (zh) | 二维光电视频与三维场景融合方法 | |
CN109544696B (zh) | 一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法 | |
KR100529401B1 (ko) | 합성 개구 레이더 영상을 이용한 수치표고자료 제작 장치및 그 방법 | |
CN108917753B (zh) | 基于从运动恢复结构的飞行器位置确定方法 | |
CN101598556A (zh) | 一种未知环境下无人机视觉/惯性组合导航方法 | |
CN105352509A (zh) | 地理信息时空约束下的无人机运动目标跟踪与定位方法 | |
CN104268935A (zh) | 一种基于特征的机载激光点云与影像数据融合系统及方法 | |
CN109341686B (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
CN102607526A (zh) | 双介质下基于双目视觉的目标姿态测量方法 | |
CN109341685B (zh) | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 | |
CN102506867B (zh) | 基于Harris角点匹配的SINS/SMANS组合导航方法及系统 | |
CN109781635B (zh) | 一种分布式遥感卫星系统 | |
CN109724586A (zh) | 一种融合深度图和点云的航天器相对位姿测量方法 | |
EP3340174B1 (en) | Method and apparatus for multiple raw sensor image enhancement through georegistration | |
Chellappa et al. | On the positioning of multisensor imagery for exploitation and target recognition | |
US10802135B2 (en) | Method and apparatus for raw sensor image enhancement through georegistration | |
Mostafa et al. | Optical flow based approach for vision aided inertial navigation using regression trees | |
CN109003295B (zh) | 一种无人机航空影像快速匹配方法 | |
Wang et al. | A method for generating true digital orthophoto map of UAV platform push-broom hyperspectral scanners assisted by lidar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |