CN111504323A - 基于异源图像匹配与惯性导航融合的无人机自主定位方法 - Google Patents
基于异源图像匹配与惯性导航融合的无人机自主定位方法 Download PDFInfo
- Publication number
- CN111504323A CN111504323A CN202010327710.0A CN202010327710A CN111504323A CN 111504323 A CN111504323 A CN 111504323A CN 202010327710 A CN202010327710 A CN 202010327710A CN 111504323 A CN111504323 A CN 111504323A
- Authority
- CN
- China
- Prior art keywords
- inertial navigation
- error
- image matching
- aircraft
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000005259 measurement Methods 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 14
- 230000036544 posture Effects 0.000 claims description 13
- 239000000126 substance Substances 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
Abstract
Description
技术领域
本发明涉及一种自主定位方法,具体涉及一种基于异源图像匹配与惯性导航融合的无人机自主定位方法。
背景技术
在一些复杂的环境中,由于传统传感器的通信和感知能力的限制,使得无人机无法准确地感知周围环境并正常工作,因此,高性能自主导航能力对无人机的发展和应用具有重要意义。无人机导航可以看作是对安全快速到达目标位置进行规划的过程,主要依赖于当前环境和位置,为了成功地完成预定的任务,无人机必须充分了解其状态,包括位置、导航速度、航向方向以及起始点和目标位置,因此位置和位置估计对导航十分重要。
目前,针对无人机的定位问题,研究人员提出了惯性导航方法,惯导和GPS组合导航的方法,惯导和视觉组合导航的方法等。
①惯性导航方法:惯导能对目标的位姿进行估计,其中惯导能对其获得的线加速度和角速度进行二次积分,得到目标在三维空间中的位置和姿态估计。这种方法短时间内的精度很高,但存在很大的累积误差。因此单独采用惯导系统不能很好的保证无人机的长时间的高精度导航,需要其他传感器信息对其进行修正。
②惯导和GPS组合导航的方法:以惯导误差方程和GPS误差方程为基础建立系统方程和观测方程,并以惯导位置和GPS位置的差作为观测量。基于上述系统方程、观测方程和观测量进行卡尔曼滤波,从而实现惯导和GPS测量的数据融合。但是飞行器在城市或者室内飞行时,由于楼宇、森林和墙壁等阻碍,GPS卫星信号将不可用,并且GPS卫星信号很容易被欺骗和干扰,加之普通的惯性测量元件存在精度低和严重漂移等问题,这种导航方法将不能满足无人机的导航需求。
③视觉导航的方法:视觉传感器具有采集信息丰富、重量轻、价格低和易与其他传感器融合等优势,可以在没有GPS条件下,为位置、姿态提供修正。但是在拍摄纹理少的图像或由于传感器的快速移动而导致图像模糊时,从而导致无人机的定位精度降低。
发明内容
本发明的目的是提供一种基于异源图像匹配与惯性导航融合的无人机自主定位方法,可以实现飞行器长时间的高精度定位。
本发明采用的技术方案为:
本发明的一方面提供一种基于异源图像匹配与惯性导航融合的无人机自主定位方法,包括以下步骤:
步骤4,运用卡尔曼滤波,基于惯导的误差方程建立卡尔曼滤波的系统方程,再对图像和惯导得到的位置、姿态分别作差,得到量测值和量测方程,以及卡尔曼滤波对飞行器的位置、速度、姿态、陀螺和加速度计的零偏估计,再运用该误差估计对惯导的状态进行修正。
本发明的另一方面提供一种基于异源图像匹配与惯性导航融合的无人机自主定位算法,其特征在于,通过异源图像匹配算法得到无人机的位置和姿态,用于修正无人机惯导的误差。
优选的,修正算法的步骤如下:
(1)异源图像匹配/惯导融合定位的状态模型的建立,如下式:
式中,X(t)为上述系统状态向量,W(t)为系统白噪声,系统噪声F(t) 和G(t)根据误差方程求取:
(2)基于图像匹配的位姿解算算法
通过图像匹配得到2-D像片坐标(xP,yP)与对应3-D参考地理坐标系下的坐标(XG,YG,ZG)之间的映射;透视投影由下式定义:
式中,f表示相机焦距;
通过对Perspective-n-Point(PnP)的求解,得到相机中心C在G 系下的位置(XC,YC,ZC)以及由横滚、俯仰和偏航角度确定的相机方向; (3)量测方程的建立和量测值的获取
可以化为:
其中,
Hp=[I3×3 03×3 03×3 03×3 03×3]...............................(6)
可以化为:
滚转、俯仰、航向角的表达式为:
对(9)求微分可得滚转角的误差:
以上误差可以由下式得到:
同理可得航向角和俯仰角的误差为:
将(14)(15)代入到(13)(16)(17)中可得
将(18)(19)(20)代入到(5)可得:
最后量测方程可以归纳为:
本发明的有益效果在于:
1、本发明提供一种基于异源图像匹配与惯性导航融合的无人机自主定位方法,可以实现飞行器长时间的高精度定位。
2、本发明实施例中,利用低精度IMU、单目相机、磁强计、高度传感器的组合满足无人机高精度的导航定位需求,利用卡尔曼滤波对传感器获取的信息进行融合来估计飞行器的位姿信息。在GPS不可用情况下,利用异源图像匹配技术将实时图与基准图进行匹配,计算出飞行器相对参考地理坐标系的绝对位置与姿态,与惯导的位置和姿态进行融合,利用卡尔曼滤波对飞行器的位置、速度、姿态、陀螺和加速度计的零偏进行估计,修正惯导的误差,从而实现飞行器长时间的高精度定位,能够满足无人机长时间、高精度的定位要求。
3、本发明实施例中,利用异源图像匹配技术将实时图与基准图进行匹配,计算出飞行器相对参考地理坐标系的绝对位置与姿态,与惯导的位置和姿态进行融合,利用卡尔曼滤波对飞行器的位置、速度、姿态、陀螺和加速度计的零偏进行估计,修正惯导的误差,从而实现飞行器长时间的高精度定位。
4、本发明实施例通过磁强计提供的初始航向和高度计提供的初始高度,以及通过机载单目相机拍摄的实时图像和基准图像匹配,能帮助MEMS惯导实现自寻北。
5、本发明实施例提出的基于异源图像匹配与惯性导航融合的无人机自主定位算法,利用卡尔曼滤波对图像匹配获得的绝对位置、绝对姿态与惯导的位置、姿态进行融合,得到了飞行器的位置、姿态、速度、陀螺和加速度计零偏的误差估计,利用误差估计对惯导的状态进行修正,从而实现了飞行器长时间的高精度定位。
附图说明
图1是本发明实施例提供的一种基于异源图像匹配与惯性导航融合的无人机自主定位方法流程图;
图2是本发明实施例中基于图像匹配的位姿解算算法原理图。
具体实施方式
以下将结合实施例对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述,以充分地理解本发明的目的、特征和效果。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护的范围。
实施例1
本发明的实施例1提供一种基于异源图像匹配与惯性导航融合的无人机自主定位方法,包括以下步骤:
步骤4,运用卡尔曼滤波,基于惯导的误差方程建立卡尔曼滤波的系统方程,再对图像和惯导得到的位置、姿态分别作差,得到量测值和量测方程,实现了惯导和图像匹配的信息融合,得到了卡尔曼滤波对飞行器的位置、速度、姿态、陀螺和加速度计的零偏估计,再运用该误差估计对惯导的状态进行修正,从而实现了飞行器的高精度定位定向。
实施例2
本发明的实施例2提供一种基于异源图像匹配与惯性导航融合的无人机自主定位算法,通过异源图像匹配算法得到无人机的位置和姿态,可用于修正无人机惯导的误差。
修正算法的设计步骤如下:
基于异源图像匹配与惯性导航融合的无人机自主定位方案主要包含如下步骤:
(1)异源图像匹配/惯导融合定位的状态模型的建立,如下式:
式中,X(t)为上述系统状态向量,W(t)为系统白噪声,系统噪声F(t) 和G(t)根据误差方程求取:
(2)基于图像匹配的位姿解算算法
通过图像匹配得到2-D像片坐标(xP,yP)与对应3-D参考地理坐标系下的坐标(XG,YG,ZG)之间的映射。透视投影由下式定义:
式中,f表示相机焦距。
通过对Perspective-n-Point(PnP)的求解,得到相机中心C在G 系下的位置(XC,YC,ZC)以及由横滚、俯仰和偏航角度确定的相机方向。 (3)量测方程的建立和量测值的获取
可以化为:
其中,
Hp=[I3×3 03×3 03×3 03×3 03×3]...............................(6)
可以化为:
滚转、俯仰、航向角的表达式为:
对(9)求微分可得滚转角的误差:
以上误差可以由下式得到:
同理可得航向角和俯仰角的误差为:
将(14)(15)代入到(13)(16)(17)中可得
将(18)(19)(20)代入到(5)可得:
最后量测方程可以归纳为:
需要说明的是,自主定位:是指由机载自动飞行系统完全控制航空器,进行定位的过程。
视觉传感器:利用光学元件和成像装置获取外部环境图像信息的仪器,通常用图像分辨率来描述视觉传感器的性能。
PNP:PNP问题就是在已知世界坐标系下N个空间点的真实坐标以及这些空间点在图像上的投影,如何计算相机所在的位姿。
需要说明的是,在整个申请文件中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上仅是本发明的优选实施方式,应当指出,由于文字表达的有限性,而客观上存在无限的试试方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进、润饰或变化,也可以将上述技术特征以适当的方式进行组合;这些改进润饰、变化或组合,或未经改进将发明的构思和技术方案直接应用于其它场合的,均应视为本发明的保护范围。
Claims (5)
4.一种基于异源图像匹配与惯性导航融合的无人机自主定位算法,其特征在于,通过异源图像匹配算法得到无人机的位置和姿态,用于修正无人机惯导的误差。
5.根据权利要求4所述的定位算法,其特征在于,修正算法的步骤如下:
(1)异源图像匹配/惯导融合定位的状态模型的建立,如下式:
式中,X(t)为上述系统状态向量,W(t)为系统白噪声,系统噪声F(t)和G(t)根据误差方程求取:
(2)基于图像匹配的位姿解算算法
通过图像匹配得到2-D像片坐标(xP,yP)与对应3-D参考地理坐标系下的坐标(XG,YG,ZG)之间的映射;透视投影由下式定义:
式中,f表示相机焦距;
通过对Perspective-n-Point(PnP)的求解,得到相机中心C在G系下的位置(XC,YC,ZC)以及由横滚、俯仰和偏航角度确定的相机方向;
(3)量测方程的建立和量测值的获取
可以化为:
其中,
Hp=[I3×3 03×3 03×3 03×3 03×3]...............................(6)
可以化为:
滚转、俯仰、航向角的表达式为:
对(9)求微分可得滚转角的误差:
以上误差可以由下式得到:
同理可得航向角和俯仰角的误差为:
将(14)(15)代入到(13)(16)(17)中可得
将(18)(19)(20)代入到(5)可得:
最后量测方程可以归纳为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010327710.0A CN111504323A (zh) | 2020-04-23 | 2020-04-23 | 基于异源图像匹配与惯性导航融合的无人机自主定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010327710.0A CN111504323A (zh) | 2020-04-23 | 2020-04-23 | 基于异源图像匹配与惯性导航融合的无人机自主定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111504323A true CN111504323A (zh) | 2020-08-07 |
Family
ID=71872951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010327710.0A Pending CN111504323A (zh) | 2020-04-23 | 2020-04-23 | 基于异源图像匹配与惯性导航融合的无人机自主定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111504323A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113418527A (zh) * | 2021-06-15 | 2021-09-21 | 西安微电子技术研究所 | 一种强实时双构连续景象融合匹配导航定位方法及系统 |
CN113551671A (zh) * | 2021-06-10 | 2021-10-26 | 中国科学院西安光学精密机械研究所 | 一种无人机姿态与位置的实时高精度测量系统及方法 |
CN113624231A (zh) * | 2021-07-12 | 2021-11-09 | 北京自动化控制设备研究所 | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 |
CN114216454A (zh) * | 2021-10-27 | 2022-03-22 | 湖北航天飞行器研究所 | 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法 |
CN116518981B (zh) * | 2023-06-29 | 2023-09-22 | 中国人民解放军国防科技大学 | 基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101046387A (zh) * | 2006-08-07 | 2007-10-03 | 南京航空航天大学 | 利用景象匹配提高导航系统精度的方法及组合导航仿真系统 |
CN106708066A (zh) * | 2015-12-20 | 2017-05-24 | 中国电子科技集团公司第二十研究所 | 基于视觉/惯导的无人机自主着陆方法 |
CN110388939A (zh) * | 2018-04-23 | 2019-10-29 | 湖南海迅自动化技术有限公司 | 一种基于航拍图像匹配的车载惯导定位误差修正方法 |
-
2020
- 2020-04-23 CN CN202010327710.0A patent/CN111504323A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101046387A (zh) * | 2006-08-07 | 2007-10-03 | 南京航空航天大学 | 利用景象匹配提高导航系统精度的方法及组合导航仿真系统 |
CN106708066A (zh) * | 2015-12-20 | 2017-05-24 | 中国电子科技集团公司第二十研究所 | 基于视觉/惯导的无人机自主着陆方法 |
CN110388939A (zh) * | 2018-04-23 | 2019-10-29 | 湖南海迅自动化技术有限公司 | 一种基于航拍图像匹配的车载惯导定位误差修正方法 |
Non-Patent Citations (3)
Title |
---|
JOHAN WAHLSTRÖM: "Sensor Fusion for Magneto-Inductive Navigation", 《IEEE SENSORS JOURNAL》, vol. 20, no. 6, pages 386 - 396, XP011764101, DOI: 10.1109/JSEN.2019.2942451 * |
熊智等: "景象匹配/惯性组合导航精确修正算法", 《中国惯性技术学报》, vol. 15, no. 5, pages 564 - 567 * |
袁辉: "景象匹配辅助导航系统中的异源图像匹配算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 06, pages 138 - 1490 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113551671A (zh) * | 2021-06-10 | 2021-10-26 | 中国科学院西安光学精密机械研究所 | 一种无人机姿态与位置的实时高精度测量系统及方法 |
CN113551671B (zh) * | 2021-06-10 | 2023-04-11 | 中国科学院西安光学精密机械研究所 | 一种无人机姿态与位置的实时高精度测量方法 |
CN113418527A (zh) * | 2021-06-15 | 2021-09-21 | 西安微电子技术研究所 | 一种强实时双构连续景象融合匹配导航定位方法及系统 |
CN113418527B (zh) * | 2021-06-15 | 2022-11-29 | 西安微电子技术研究所 | 一种强实时双构连续景象融合匹配导航定位方法及系统 |
WO2022262164A1 (zh) * | 2021-06-15 | 2022-12-22 | 西安微电子技术研究所 | 一种强实时双构连续景象融合匹配导航定位方法及系统 |
CN113624231A (zh) * | 2021-07-12 | 2021-11-09 | 北京自动化控制设备研究所 | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 |
CN113624231B (zh) * | 2021-07-12 | 2023-09-12 | 北京自动化控制设备研究所 | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 |
CN114216454A (zh) * | 2021-10-27 | 2022-03-22 | 湖北航天飞行器研究所 | 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法 |
CN114216454B (zh) * | 2021-10-27 | 2023-09-08 | 湖北航天飞行器研究所 | 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法 |
CN116518981B (zh) * | 2023-06-29 | 2023-09-22 | 中国人民解放军国防科技大学 | 基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106708066B (zh) | 基于视觉/惯导的无人机自主着陆方法 | |
CN109540126B (zh) | 一种基于光流法的惯性视觉组合导航方法 | |
CN111504323A (zh) | 基于异源图像匹配与惯性导航融合的无人机自主定位方法 | |
CN105335733B (zh) | 一种无人机自主着陆视觉定位方法及系统 | |
CN106767752B (zh) | 一种基于偏振信息的组合导航方法 | |
CN108845335A (zh) | 一种基于图像和导航信息的无人机地面目标定位方法 | |
CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
CN109708649B (zh) | 一种遥感卫星的姿态确定方法及系统 | |
JP2008304260A (ja) | 画像処理装置 | |
CN108375383B (zh) | 多相机辅助的机载分布式pos柔性基线测量方法和装置 | |
CN107144278B (zh) | 一种基于多源特征的着陆器视觉导航方法 | |
CN110926468A (zh) | 基于传递对准的动中通天线多平台航姿确定方法 | |
Bao et al. | Vision-based horizon extraction for micro air vehicle flight control | |
CN110887486B (zh) | 一种基于激光线辅助的无人机视觉导航定位方法 | |
CN106352897B (zh) | 一种基于单目视觉传感器的硅mems陀螺误差估计与校正方法 | |
CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
CN111238469A (zh) | 一种基于惯性/数据链的无人机编队相对导航方法 | |
CN108444468B (zh) | 一种融合下视视觉与惯导信息的定向罗盘 | |
CN111189442A (zh) | 基于cepf的无人机多源导航信息状态预测方法 | |
CN111024091A (zh) | 视觉辅助微型无人机室内飞行三维姿态算法 | |
CN112444245A (zh) | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 | |
CN109146936B (zh) | 一种图像匹配方法、装置、定位方法及系统 | |
MacArthur et al. | Unmanned ground vehicle state estimation using an unmanned air vehicle | |
CN110887475B (zh) | 一种基于偏振北极点及偏振太阳矢量的静基座粗对准方法 | |
CN111207688B (zh) | 在载运工具中测量目标对象距离的方法、装置和载运工具 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |