CN109341724B - 一种机载相机-惯性测量单元相对位姿在线标定方法 - Google Patents
一种机载相机-惯性测量单元相对位姿在线标定方法 Download PDFInfo
- Publication number
- CN109341724B CN109341724B CN201811472093.2A CN201811472093A CN109341724B CN 109341724 B CN109341724 B CN 109341724B CN 201811472093 A CN201811472093 A CN 201811472093A CN 109341724 B CN109341724 B CN 109341724B
- Authority
- CN
- China
- Prior art keywords
- camera
- measurement unit
- pose
- inertial measurement
- inertial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Navigation (AREA)
Abstract
本公开提供了一种机载相机‑惯性测量单元相对位姿在线标定方法,所述方法包括机载相机位姿参数获取过程、机载惯性测量单元位姿参数获取过程和视觉惯性紧耦合处理过程;其中机载相机位姿参数获取过程包括:视频采集、图像增强处理、同时定位与地图重建、相机位姿参数输出;机载惯性测量单元位姿参数获取过程包括:加速度计、陀螺参数采集、位姿解算、惯性测量单元位姿参数输出;并且视觉惯性紧耦合处理过程包括:构建量测信息、非线性卡尔曼滤波、相机与惯性测量单元相对位姿输出。
Description
技术领域
本发明涉及组合导航领域,具体涉及一种机载相机-惯性测量单元相对位姿在线标定方法。
背景技术
视觉/惯性相对位置和姿态数据是视觉/惯性组合导航系统设计过程中不可或缺的重要信息。由于视觉传感器和惯性传感器分别安装在载体平台的不同位置,仅凭载体平台结构设计数据很难精确地反映出不同传感器之间的相对位置和姿态的变换关系。现有的传感器之间相对位置标定技术可分为两类:地面人工标定和在线自动标定。由于传统的地面人工标定技术对测量设备(如全站仪)的依赖性很强,每次标定时间较长,且容易引入人为观测误差;另外,各类传感器在使用过程中不可避免地遇到振动和碰撞导致安装位置变动,影响飞行器位姿估计精度,故需要定期标定校对,维护成本较高。
由此推动了在线标定技术的发展,近年来许多国外学者针对微型多旋翼无人机平台提出相机与IMU的自标定技术,并集成在SLAM与IMU构成的组合导航系统中,用于低空、有回路、街区或室内环境下的导航定位。但是,由于现有算法在使用环境上的局限性,不能直接用于固定翼飞机(如商用飞机)在线标定相机/IMU相对位姿。
发明内容
本发明的目的:为满足多旋翼无人机起降、固定翼飞机进近着陆和舰载机着舰等应用,实现飞行器与着陆平台之间相对位姿估计,使其具备低成本、强实时、高精度和高可靠的特性。
本发明的技术方案:
通过本发明的机载相机-惯性测量单元相对位姿在线标定方法实现上述目的,所述方法包括机载相机位姿参数获取过程、机载惯性测量单元位姿参数获取过程和视觉惯性紧耦合处理过程;其中机载相机位姿参数获取过程包括:视频采集、图像增强处理、同时定位与地图重建、相机位姿参数输出;机载惯性测量单元位姿参数获取过程包括:加速度计、陀螺参数采集、位姿解算、惯性测量单元位姿参数输出;并且视觉惯性紧耦合处理过程包括:构建量测信息、非线性卡尔曼滤波、相机与惯性测量单元相对位姿输出。
在上述机载相机-惯性测量单元相对位姿在线标定方法中,视觉惯性紧耦合处理包括如下过程:
(1)定义系统状态:
bω:惯性测量单元的角速度矢量;
ba:惯性测量单元的加速度矢量;
L:视觉空间的尺度因子;
(2)建立系统状态方程:
(3)构建量测方程:
飞机在地面滑行阶段启动机载相机,经机载相机位姿参数获取过程输出相机位姿参数,将相机位姿参数作为视觉量测信息构建系统量测方程:
在上述机载相机-惯性测量单元相对位姿在线标定方法中,相机可以是可见光相机(VIS)、短波红外相机(SWIR)、长波红外相机(LWIR)或它们的组合。
在上述机载相机-惯性测量单元相对位姿在线标定方法中,惯性测量单元可以是惯性导航系统(INS)或航向姿态参考系统(AHRS)。
在所述机载相机-惯性测量单元相对位姿在线标定方法中,非线性卡尔曼滤波可以由EKF、SR_UKF或LG_UKF实现。
本发明的方法可在线标定机载相机与惯性测量单元之间的相对位姿,具有高精度、低成本的特点。
在本发明的方法中,针对机载组合导航平台中视觉传感器和惯性传感器之间相对位姿在线标定的需求,结合无人机运行阶段及所处环境的特点,设计满足无人机机载视觉与惯性相对位姿在线标定的算法模型。针对无人机地面滑行阶段视觉空间尺度较小、视觉特征丰富的特点,采用了SLAM算法,设计SLAM/惯性滤波模型,实时估计相机与IMU之间的相对位姿。
本发明的方法将位置、速度、姿态、角速度、加速度、相机/IMU相对位置、相机/IMU相对姿态作为系统状态;工作在飞机起飞前滑跑阶段,采用SLAM算法获取相机的位置和姿态,作为视觉量测信息;采用非线性卡尔曼滤波器(如EKF,UKF或LG_UKG)融合视觉和惯性信息,实时估计包括相机/IMU相对位姿在内的系统状态。为了适应不同光照条件下准确在线标定的需求,机载相机可以选择短波红外相机或可见光相机。通过真实飞行数据验证了本发明方法的有效性,能够满足机载相机-惯性测量单元相对位姿在线标定的需求,具备了高精度、低成本、实时性的特点。
附图说明
将参考附图详细描述本发明,其中:
图1示出本发明的机载相机-惯性测量单元相对位姿在线标定方法框图;
图2示出相机与惯性测量单元之间的位姿关系;
图3示出本发明的方法中各设备互联关系。
具体实施方式
在本发明的机载相机-惯性测量单元相对位姿在线标定方法中,主要包括以下方面:
1、基于视觉-惯性紧耦合的飞行器着陆位姿估计方法框架:
如图1所示,一个完整的视觉-惯性导航系统应包含:图像传感器、惯性测量单元、机载数据库、图形图像处理部件和导航显示终端,支持机载相机与惯性测量单元之间相对位姿的在线标定。其中,图像传感器可以是可见光相机(VIS)、短波红外相机(SWIR)、长波红外相机(LWIR)或它们的组合;惯性测量单元可以是惯性导航系统(INS)或航向姿态参考系统(AHRS)等;机载数据库应包含着陆平台上特殊点的世界坐标信息。
在本发明的方法框架中,输入信息包括:机载红外视频(或可见光视频)、机载惯性导航参数;机载视频经采集、增强处理后,送入SLAM(Direct Sparse Odometry)模块,经过地图重建与定位之后输出相机的位置和姿态信息,再与惯性测量数据在非线性卡尔曼滤波器(如EKF,SR_UKF或LG_UKF或PF)中进行融合滤波;最终输出:机载相机与惯性测量单元之间相对位姿、相机运动状态信息。
如图2所示,为了准确定量描述相机与惯性测量单元(IMU)之间的相对位姿关系,假设IMU安装在机体中心位置,IMU坐标系与机体坐标系-b重合,选择机场跑道面上某一点为原点的切平面坐标系为世界坐标系,Xw轴、Yw轴和Zw轴分别指向东-北-天,并且作如下符号定义:
bω:IMU的角速度矢量
ba:IMU的加速度矢量
L:视觉空间的尺度因子
2、相机位姿获取:
本方法运行在飞机滑跑阶段,为SLAM算法输入机载视频数据,输出相机的位置和姿态信息,以及飞机滑跑过程中的周围环境的三维地形。
3、相对位姿标定:
1)系统状态
系统状态定义为:
2)系统状态方程
整理后可得如下系统状态方程:
3)量测方程
飞机在地面滑行时开启机载前视传感器,前视视频数据输入DSO算法后,经过同时定位与地图构建过程输出相机在世界坐标系下的位置和姿态,将它们作为视觉量测信息,构建系统量测方程:
4)滤波
由于系统量测方程是非线性的,需要采用非线性卡尔曼滤波器(如,扩展卡尔曼滤波器EKF,无迹卡尔曼滤波器UKF,粒子滤波器PF等)来实现惯性测量数据与视觉测量数据的融合滤波,进而估计出系统运动状态,其中包括了相机与IMU的相对位置和姿态。
[关于实施条件]
为了适应低能见度条件下的相机与IMU相对位姿标定,本实施方案选择了短波红外相机采集前视图像,机载惯性导航系统(INS)采集飞机当前运动状态(位置、速度、姿态、三轴加速度、三轴角速度)。其中,短波红外相机安装在飞机雷达罩前上方,便于采集前视图像;INS则安装在飞机设备舱,处在飞机质心位置。在飞行实验前,相机的内部参数已经标定。信息处理平台可以选用嵌入式处理板卡,如Nvidia TX2,各部件互联关系见图3所示。实验过程中,飞机正常滑行在机场跑道上,短波红外相机、INS和信息处理平台均加电工作,信息处理平台实时输出相机与INS之间相对位姿估计结果。
[关于SLAM算法选择]
在对比了ORB-SLAM、LSD、DSO等算法后,从定位精度方面考虑采用了DSO算子,输入机载前视红外图像或可见光图像均能稳定地输出精确的相机位姿信息,作为视觉量测信息。
[关于非线性滤波器选择]
实时方案中分别选择了EKF滤波器和UKF滤波器来实现惯性测量与视觉测量的信息融合,实施估计相机与INS之间相对位姿,同时还估计了其它系统状态。
Claims (4)
1.一种机载相机-惯性测量单元相对位姿在线标定方法,所述方法包括机载相机位姿参数获取过程、机载惯性测量单元位姿参数获取过程和视觉惯性紧耦合处理过程;其中
机载相机位姿参数获取过程包括:视频采集、图像增强处理、同时定位与地图重建、相机位姿参数输出;
机载惯性测量单元位姿参数获取过程包括:加速度计、陀螺参数采集、位姿解算、惯性测量单元位姿参数输出;并且
视觉惯性紧耦合处理过程包括:构建量测信息、非线性卡尔曼滤波、相机与惯性测量单元相对位姿输出;
其中视觉惯性紧耦合处理包括如下过程:
(1)定义系统状态:
bω:惯性测量单元的角速度偏置;
ba:惯性测量单元的加速度偏置;
L:视觉空间的尺度因子;
(2)建立系统状态方程:
(3)构建量测方程:
飞机在地面滑行阶段启动机载相机,经机载相机位姿参数获取过程输出相机位姿参数,将相机位姿参数作为视觉量测信息构建系统量测方程:
2.根据权利要求1所述的机载相机-惯性测量单元相对位姿在线标定方法,其中相机是可见光相机或短波红外相机或长波红外相机或它们的组合。
3.根据权利要求1所述的机载相机-惯性测量单元相对位姿在线标定方法,其中惯性测量单元是惯性导航系统或航向姿态参考系统。
4.根据权利要求1所述的机载相机-惯性测量单元相对位姿在线标定方法,其中非线性卡尔曼滤波由EKF或SR_UKF或LG_UKF实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811472093.2A CN109341724B (zh) | 2018-12-04 | 2018-12-04 | 一种机载相机-惯性测量单元相对位姿在线标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811472093.2A CN109341724B (zh) | 2018-12-04 | 2018-12-04 | 一种机载相机-惯性测量单元相对位姿在线标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109341724A CN109341724A (zh) | 2019-02-15 |
CN109341724B true CN109341724B (zh) | 2023-05-05 |
Family
ID=65320295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811472093.2A Active CN109341724B (zh) | 2018-12-04 | 2018-12-04 | 一种机载相机-惯性测量单元相对位姿在线标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109341724B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110118572B (zh) * | 2019-05-08 | 2021-04-13 | 北京建筑大学 | 多目立体视觉与惯性导航系统及相对位姿参数确定方法 |
CN111998870B (zh) * | 2019-05-26 | 2022-08-26 | 北京魔门塔科技有限公司 | 一种相机惯导系统的标定方法和装置 |
CN110728716B (zh) * | 2019-09-04 | 2023-11-17 | 深圳市道通智能航空技术股份有限公司 | 一种标定方法、装置及飞行器 |
CN111649737B (zh) * | 2020-05-08 | 2022-05-24 | 中国航空工业集团公司西安航空计算技术研究所 | 一种面向飞机精密进近着陆的视觉-惯性组合导航方法 |
CN111536970B (zh) * | 2020-05-08 | 2022-01-25 | 中国航空工业集团公司西安航空计算技术研究所 | 一种用于低能见度大尺度场景的红外惯性组合导航方法 |
CN111709990B (zh) * | 2020-05-22 | 2023-06-20 | 贵州民族大学 | 一种相机重定位方法和系统 |
CN111754586A (zh) * | 2020-06-28 | 2020-10-09 | 苏州臻迪智能科技有限公司 | 外参定标方法、装置、外参标定系统及计算机存储介质 |
CN111811421B (zh) * | 2020-07-17 | 2021-09-03 | 中国人民解放军国防科技大学 | 一种高速实时形变监测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105606127A (zh) * | 2016-01-11 | 2016-05-25 | 北京邮电大学 | 一种双目立体相机与惯性测量单元相对姿态标定方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100761011B1 (ko) * | 2006-05-30 | 2007-09-21 | 학교법인 인하학원 | 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법 |
TWI397671B (zh) * | 2009-12-16 | 2013-06-01 | Ind Tech Res Inst | 定位載體、估測載體姿態與建地圖之系統與方法 |
JP2014106206A (ja) * | 2012-11-29 | 2014-06-09 | Tamagawa Seiki Co Ltd | 慣性センサおよびその演算誤差軽減方法 |
CN107255476B (zh) * | 2017-07-06 | 2020-04-21 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
CN107869989B (zh) * | 2017-11-06 | 2020-02-07 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及系统 |
CN108375382B (zh) * | 2018-02-22 | 2021-04-02 | 北京航空航天大学 | 基于单目视觉的位置姿态测量系统精度检校方法和装置 |
CN108731670B (zh) * | 2018-05-18 | 2021-06-22 | 南京航空航天大学 | 基于量测模型优化的惯性/视觉里程计组合导航定位方法 |
CN108544494B (zh) * | 2018-05-31 | 2023-10-24 | 珠海一微半导体股份有限公司 | 一种基于惯性和视觉特征的定位装置、方法及机器人 |
CN108613675B (zh) * | 2018-06-12 | 2021-07-20 | 武汉大学 | 低成本无人飞行器移动测量方法及系统 |
-
2018
- 2018-12-04 CN CN201811472093.2A patent/CN109341724B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105606127A (zh) * | 2016-01-11 | 2016-05-25 | 北京邮电大学 | 一种双目立体相机与惯性测量单元相对姿态标定方法 |
Non-Patent Citations (2)
Title |
---|
周 ; 郑伟 ; 汪增福 ; .基于多异类传感器信息融合的微型多旋翼无人机实时运动估计.机器人.2015,37(01),全文. * |
王龙 ; 董新民 ; 张宗麟 ; .紧耦合INS/视觉相对位姿测量方法.中国惯性技术学报.2011,19(06),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN109341724A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109341724B (zh) | 一种机载相机-惯性测量单元相对位姿在线标定方法 | |
CN106708066B (zh) | 基于视觉/惯导的无人机自主着陆方法 | |
Kong et al. | Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system | |
CN109341686B (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
Eisenbeiss | The autonomous mini helicopter: a powerful platform for mobile mapping | |
Gurtner et al. | Investigation of fish-eye lenses for small-UAV aerial photography | |
CN109544696B (zh) | 一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法 | |
CN108205328B (zh) | 建立供交通工具遵循的与目标相邻的飞行图式的系统和方法 | |
Yun et al. | IMU/Vision/Lidar integrated navigation system in GNSS denied environments | |
BR112015001737B1 (pt) | Método para aquisição e processamento de informações geográficas de uma trajetória. | |
CN109997150A (zh) | 用于对道路特征进行分类的系统和方法 | |
Taylor et al. | Comparison of two image and inertial sensor fusion techniques for navigation in unmapped environments | |
Rhudy et al. | Unmanned aerial vehicle navigation using wide‐field optical flow and inertial sensors | |
CN109375647A (zh) | 微型多源感知计算系统 | |
CN109709973A (zh) | 一种微阵列式光罗盘辅助的无人机自主返航方法 | |
CN108759814B (zh) | 一种四旋翼飞行器横滚轴角速度和俯仰轴角速度估计方法 | |
Tahar | Multi rotor UAV at different altitudes for slope mapping studies | |
CN113252022A (zh) | 一种地图数据处理方法及装置 | |
Rhudy et al. | Wide-field optical flow aided inertial navigation for unmanned aerial vehicles | |
Wang et al. | Monocular vision and IMU based navigation for a small unmanned helicopter | |
Hashim et al. | Integration of low altitude aerial & terrestrial photogrammetry data in 3D heritage building modeling | |
Williams et al. | All-source navigation for enhancing UAV operations in GPS-denied environments | |
CN109341685B (zh) | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 | |
Zhao et al. | Distributed filtering-based autonomous navigation system of UAV | |
Klavins et al. | Unmanned aerial vehicle movement trajectory detection in open environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |