CN109341724B - 一种机载相机-惯性测量单元相对位姿在线标定方法 - Google Patents

一种机载相机-惯性测量单元相对位姿在线标定方法 Download PDF

Info

Publication number
CN109341724B
CN109341724B CN201811472093.2A CN201811472093A CN109341724B CN 109341724 B CN109341724 B CN 109341724B CN 201811472093 A CN201811472093 A CN 201811472093A CN 109341724 B CN109341724 B CN 109341724B
Authority
CN
China
Prior art keywords
camera
measurement unit
pose
inertial measurement
inertial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811472093.2A
Other languages
English (en)
Other versions
CN109341724A (zh
Inventor
张磊
牛文生
余冠锋
吴志川
刘硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautics Computing Technique Research Institute of AVIC
Original Assignee
Xian Aeronautics Computing Technique Research Institute of AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautics Computing Technique Research Institute of AVIC filed Critical Xian Aeronautics Computing Technique Research Institute of AVIC
Priority to CN201811472093.2A priority Critical patent/CN109341724B/zh
Publication of CN109341724A publication Critical patent/CN109341724A/zh
Application granted granted Critical
Publication of CN109341724B publication Critical patent/CN109341724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Navigation (AREA)

Abstract

本公开提供了一种机载相机‑惯性测量单元相对位姿在线标定方法，所述方法包括机载相机位姿参数获取过程、机载惯性测量单元位姿参数获取过程和视觉惯性紧耦合处理过程；其中机载相机位姿参数获取过程包括：视频采集、图像增强处理、同时定位与地图重建、相机位姿参数输出；机载惯性测量单元位姿参数获取过程包括：加速度计、陀螺参数采集、位姿解算、惯性测量单元位姿参数输出；并且视觉惯性紧耦合处理过程包括：构建量测信息、非线性卡尔曼滤波、相机与惯性测量单元相对位姿输出。

Description

一种机载相机-惯性测量单元相对位姿在线标定方法
技术领域
本发明涉及组合导航领域，具体涉及一种机载相机-惯性测量单元相对位姿在线标定方法。
背景技术
视觉/惯性相对位置和姿态数据是视觉/惯性组合导航系统设计过程中不可或缺的重要信息。由于视觉传感器和惯性传感器分别安装在载体平台的不同位置，仅凭载体平台结构设计数据很难精确地反映出不同传感器之间的相对位置和姿态的变换关系。现有的传感器之间相对位置标定技术可分为两类：地面人工标定和在线自动标定。由于传统的地面人工标定技术对测量设备(如全站仪)的依赖性很强，每次标定时间较长，且容易引入人为观测误差；另外，各类传感器在使用过程中不可避免地遇到振动和碰撞导致安装位置变动，影响飞行器位姿估计精度，故需要定期标定校对，维护成本较高。
由此推动了在线标定技术的发展，近年来许多国外学者针对微型多旋翼无人机平台提出相机与IMU的自标定技术，并集成在SLAM与IMU构成的组合导航系统中，用于低空、有回路、街区或室内环境下的导航定位。但是，由于现有算法在使用环境上的局限性，不能直接用于固定翼飞机(如商用飞机)在线标定相机/IMU相对位姿。
发明内容
本发明的目的：为满足多旋翼无人机起降、固定翼飞机进近着陆和舰载机着舰等应用，实现飞行器与着陆平台之间相对位姿估计，使其具备低成本、强实时、高精度和高可靠的特性。
本发明的技术方案：
通过本发明的机载相机-惯性测量单元相对位姿在线标定方法实现上述目的，所述方法包括机载相机位姿参数获取过程、机载惯性测量单元位姿参数获取过程和视觉惯性紧耦合处理过程；其中机载相机位姿参数获取过程包括：视频采集、图像增强处理、同时定位与地图重建、相机位姿参数输出；机载惯性测量单元位姿参数获取过程包括：加速度计、陀螺参数采集、位姿解算、惯性测量单元位姿参数输出；并且视觉惯性紧耦合处理过程包括：构建量测信息、非线性卡尔曼滤波、相机与惯性测量单元相对位姿输出。
在上述机载相机-惯性测量单元相对位姿在线标定方法中，视觉惯性紧耦合处理包括如下过程：
(1)定义系统状态：
Figure BDA0001891211050000021
其中
Figure BDA0001891211050000022
惯性测量单元在世界坐标系中的位置；
Figure BDA0001891211050000023
惯性测量单元在世界坐标系中的姿态；
Figure BDA0001891211050000024
惯性测量单元在世界坐标系中的速度；
bω：惯性测量单元的角速度矢量；
ba：惯性测量单元的加速度矢量；
L：视觉空间的尺度因子；
Figure BDA0001891211050000025
惯性测量单元到相机的旋转矩阵；
Figure BDA0001891211050000031
惯性测量单元到相机的平移向量；
(2)建立系统状态方程：
Figure BDA0001891211050000032
Figure BDA0001891211050000033
Figure BDA0001891211050000034
Figure BDA0001891211050000035
(3)构建量测方程：
飞机在地面滑行阶段启动机载相机，经机载相机位姿参数获取过程输出相机位姿参数，将相机位姿参数作为视觉量测信息构建系统量测方程：
Figure BDA0001891211050000036
Figure BDA0001891211050000037
Figure BDA0001891211050000038
相机在世界坐标系中的位置；
Figure BDA0001891211050000039
相机在世界坐标系中的姿态。
在上述机载相机-惯性测量单元相对位姿在线标定方法中，相机可以是可见光相机(VIS)、短波红外相机(SWIR)、长波红外相机(LWIR)或它们的组合。
在上述机载相机-惯性测量单元相对位姿在线标定方法中，惯性测量单元可以是惯性导航系统(INS)或航向姿态参考系统(AHRS)。
在所述机载相机-惯性测量单元相对位姿在线标定方法中，非线性卡尔曼滤波可以由EKF、SR_UKF或LG_UKF实现。
本发明的方法可在线标定机载相机与惯性测量单元之间的相对位姿，具有高精度、低成本的特点。
在本发明的方法中，针对机载组合导航平台中视觉传感器和惯性传感器之间相对位姿在线标定的需求，结合无人机运行阶段及所处环境的特点，设计满足无人机机载视觉与惯性相对位姿在线标定的算法模型。针对无人机地面滑行阶段视觉空间尺度较小、视觉特征丰富的特点，采用了SLAM算法，设计SLAM/惯性滤波模型，实时估计相机与IMU之间的相对位姿。
本发明的方法将位置、速度、姿态、角速度、加速度、相机/IMU相对位置、相机/IMU相对姿态作为系统状态；工作在飞机起飞前滑跑阶段，采用SLAM算法获取相机的位置和姿态，作为视觉量测信息；采用非线性卡尔曼滤波器(如EKF，UKF或LG_UKG)融合视觉和惯性信息，实时估计包括相机/IMU相对位姿在内的系统状态。为了适应不同光照条件下准确在线标定的需求，机载相机可以选择短波红外相机或可见光相机。通过真实飞行数据验证了本发明方法的有效性，能够满足机载相机-惯性测量单元相对位姿在线标定的需求，具备了高精度、低成本、实时性的特点。
附图说明
将参考附图详细描述本发明，其中：
图1示出本发明的机载相机-惯性测量单元相对位姿在线标定方法框图；
图2示出相机与惯性测量单元之间的位姿关系；
图3示出本发明的方法中各设备互联关系。
具体实施方式
在本发明的机载相机-惯性测量单元相对位姿在线标定方法中，主要包括以下方面：
1、基于视觉-惯性紧耦合的飞行器着陆位姿估计方法框架：
如图1所示，一个完整的视觉-惯性导航系统应包含：图像传感器、惯性测量单元、机载数据库、图形图像处理部件和导航显示终端，支持机载相机与惯性测量单元之间相对位姿的在线标定。其中，图像传感器可以是可见光相机(VIS)、短波红外相机(SWIR)、长波红外相机(LWIR)或它们的组合；惯性测量单元可以是惯性导航系统(INS)或航向姿态参考系统(AHRS)等；机载数据库应包含着陆平台上特殊点的世界坐标信息。
在本发明的方法框架中，输入信息包括：机载红外视频(或可见光视频)、机载惯性导航参数；机载视频经采集、增强处理后，送入SLAM(Direct Sparse Odometry)模块，经过地图重建与定位之后输出相机的位置和姿态信息，再与惯性测量数据在非线性卡尔曼滤波器(如EKF，SR_UKF或LG_UKF或PF)中进行融合滤波；最终输出：机载相机与惯性测量单元之间相对位姿、相机运动状态信息。
如图2所示，为了准确定量描述相机与惯性测量单元(IMU)之间的相对位姿关系，假设IMU安装在机体中心位置，IMU坐标系与机体坐标系-b重合，选择机场跑道面上某一点为原点的切平面坐标系为世界坐标系，Xw轴、Yw轴和Zw轴分别指向东-北-天，并且作如下符号定义：
Figure BDA0001891211050000051
机体坐标系到相机坐标系的旋转矩阵
Figure BDA0001891211050000052
机体坐标系到相机坐标系的平移向量
Figure BDA0001891211050000053
相机坐标系在世界坐标系中的姿态
Figure BDA0001891211050000054
相机坐标系在世界坐标系中的位置
Figure BDA0001891211050000055
机体坐标系在世界坐标系中的姿态
Figure BDA0001891211050000061
机体坐标系在世界坐标系中的位置
Figure BDA0001891211050000062
机体坐标系在世界坐标系中的速度
bω：IMU的角速度矢量
ba：IMU的加速度矢量
L：视觉空间的尺度因子
2、相机位姿获取：
本方法运行在飞机滑跑阶段，为SLAM算法输入机载视频数据，输出相机的位置和姿态信息，以及飞机滑跑过程中的周围环境的三维地形。
3、相对位姿标定：
1)系统状态
系统状态定义为：
Figure BDA0001891211050000063
2)系统状态方程
Figure BDA0001891211050000064
Figure BDA0001891211050000065
Figure BDA0001891211050000066
Figure BDA0001891211050000067
整理后可得如下系统状态方程：
Figure BDA0001891211050000071
3)量测方程
飞机在地面滑行时开启机载前视传感器，前视视频数据输入DSO算法后，经过同时定位与地图构建过程输出相机在世界坐标系下的位置和姿态，将它们作为视觉量测信息，构建系统量测方程：
Figure BDA0001891211050000072
Figure BDA0001891211050000073
4)滤波
由于系统量测方程是非线性的，需要采用非线性卡尔曼滤波器(如，扩展卡尔曼滤波器EKF，无迹卡尔曼滤波器UKF，粒子滤波器PF等)来实现惯性测量数据与视觉测量数据的融合滤波，进而估计出系统运动状态，其中包括了相机与IMU的相对位置和姿态。
[关于实施条件]
为了适应低能见度条件下的相机与IMU相对位姿标定，本实施方案选择了短波红外相机采集前视图像，机载惯性导航系统(INS)采集飞机当前运动状态(位置、速度、姿态、三轴加速度、三轴角速度)。其中，短波红外相机安装在飞机雷达罩前上方，便于采集前视图像；INS则安装在飞机设备舱，处在飞机质心位置。在飞行实验前，相机的内部参数已经标定。信息处理平台可以选用嵌入式处理板卡，如Nvidia TX2，各部件互联关系见图3所示。实验过程中，飞机正常滑行在机场跑道上，短波红外相机、INS和信息处理平台均加电工作，信息处理平台实时输出相机与INS之间相对位姿估计结果。
[关于SLAM算法选择]
在对比了ORB-SLAM、LSD、DSO等算法后，从定位精度方面考虑采用了DSO算子，输入机载前视红外图像或可见光图像均能稳定地输出精确的相机位姿信息，作为视觉量测信息。
[关于非线性滤波器选择]
实时方案中分别选择了EKF滤波器和UKF滤波器来实现惯性测量与视觉测量的信息融合，实施估计相机与INS之间相对位姿，同时还估计了其它系统状态。

Claims (4)

1.一种机载相机-惯性测量单元相对位姿在线标定方法，所述方法包括机载相机位姿参数获取过程、机载惯性测量单元位姿参数获取过程和视觉惯性紧耦合处理过程；其中
机载相机位姿参数获取过程包括：视频采集、图像增强处理、同时定位与地图重建、相机位姿参数输出；
机载惯性测量单元位姿参数获取过程包括：加速度计、陀螺参数采集、位姿解算、惯性测量单元位姿参数输出；并且
视觉惯性紧耦合处理过程包括：构建量测信息、非线性卡尔曼滤波、相机与惯性测量单元相对位姿输出；
其中视觉惯性紧耦合处理包括如下过程：
(1)定义系统状态：
Figure FDA0004087825270000011
其中
Figure FDA0004087825270000012
惯性测量单元在世界坐标系中的位置；
Figure FDA0004087825270000013
惯性测量单元在世界坐标系中的姿态；
Figure FDA0004087825270000014
惯性测量单元在世界坐标系中的速度；
bω：惯性测量单元的角速度偏置；
ba：惯性测量单元的加速度偏置；
L：视觉空间的尺度因子；
Figure FDA0004087825270000015
惯性测量单元到相机的旋转矩阵；
Figure FDA0004087825270000016
惯性测量单元到相机的平移向量；
(2)建立系统状态方程：
Figure FDA0004087825270000021
Figure FDA0004087825270000022
Figure FDA0004087825270000023
Figure FDA0004087825270000024
(3)构建量测方程：
飞机在地面滑行阶段启动机载相机，经机载相机位姿参数获取过程输出相机位姿参数，将相机位姿参数作为视觉量测信息构建系统量测方程：
Figure FDA0004087825270000025
Figure FDA0004087825270000026
Figure FDA0004087825270000027
相机在世界坐标系中的位置；
Figure FDA0004087825270000028
相机在世界坐标系中的姿态。
2.根据权利要求1所述的机载相机-惯性测量单元相对位姿在线标定方法，其中相机是可见光相机或短波红外相机或长波红外相机或它们的组合。
3.根据权利要求1所述的机载相机-惯性测量单元相对位姿在线标定方法，其中惯性测量单元是惯性导航系统或航向姿态参考系统。
4.根据权利要求1所述的机载相机-惯性测量单元相对位姿在线标定方法，其中非线性卡尔曼滤波由EKF或SR_UKF或LG_UKF实现。
CN201811472093.2A 2018-12-04 2018-12-04 一种机载相机-惯性测量单元相对位姿在线标定方法 Active CN109341724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811472093.2A CN109341724B (zh) 2018-12-04 2018-12-04 一种机载相机-惯性测量单元相对位姿在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811472093.2A CN109341724B (zh) 2018-12-04 2018-12-04 一种机载相机-惯性测量单元相对位姿在线标定方法

Publications (2)

Publication Number Publication Date
CN109341724A CN109341724A (zh) 2019-02-15
CN109341724B true CN109341724B (zh) 2023-05-05

Family

ID=65320295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811472093.2A Active CN109341724B (zh) 2018-12-04 2018-12-04 一种机载相机-惯性测量单元相对位姿在线标定方法

Country Status (1)

Country Link
CN (1) CN109341724B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110118572B (zh) * 2019-05-08 2021-04-13 北京建筑大学 多目立体视觉与惯性导航系统及相对位姿参数确定方法
CN111998870B (zh) * 2019-05-26 2022-08-26 北京魔门塔科技有限公司 一种相机惯导系统的标定方法和装置
CN110728716B (zh) * 2019-09-04 2023-11-17 深圳市道通智能航空技术股份有限公司 一种标定方法、装置及飞行器
CN111649737B (zh) * 2020-05-08 2022-05-24 中国航空工业集团公司西安航空计算技术研究所 一种面向飞机精密进近着陆的视觉-惯性组合导航方法
CN111536970B (zh) * 2020-05-08 2022-01-25 中国航空工业集团公司西安航空计算技术研究所 一种用于低能见度大尺度场景的红外惯性组合导航方法
CN111709990B (zh) * 2020-05-22 2023-06-20 贵州民族大学 一种相机重定位方法和系统
CN111754586A (zh) * 2020-06-28 2020-10-09 苏州臻迪智能科技有限公司 外参定标方法、装置、外参标定系统及计算机存储介质
CN111811421B (zh) * 2020-07-17 2021-09-03 中国人民解放军国防科技大学 一种高速实时形变监测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105606127A (zh) * 2016-01-11 2016-05-25 北京邮电大学 一种双目立体相机与惯性测量单元相对姿态标定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100761011B1 (ko) * 2006-05-30 2007-09-21 학교법인 인하학원 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
TWI397671B (zh) * 2009-12-16 2013-06-01 Ind Tech Res Inst 定位載體、估測載體姿態與建地圖之系統與方法
JP2014106206A (ja) * 2012-11-29 2014-06-09 Tamagawa Seiki Co Ltd 慣性センサおよびその演算誤差軽減方法
CN107255476B (zh) * 2017-07-06 2020-04-21 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置
CN107869989B (zh) * 2017-11-06 2020-02-07 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108375382B (zh) * 2018-02-22 2021-04-02 北京航空航天大学 基于单目视觉的位置姿态测量系统精度检校方法和装置
CN108731670B (zh) * 2018-05-18 2021-06-22 南京航空航天大学 基于量测模型优化的惯性/视觉里程计组合导航定位方法
CN108544494B (zh) * 2018-05-31 2023-10-24 珠海一微半导体股份有限公司 一种基于惯性和视觉特征的定位装置、方法及机器人
CN108613675B (zh) * 2018-06-12 2021-07-20 武汉大学 低成本无人飞行器移动测量方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105606127A (zh) * 2016-01-11 2016-05-25 北京邮电大学 一种双目立体相机与惯性测量单元相对姿态标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周 ; 郑伟 ; 汪增福 ; .基于多异类传感器信息融合的微型多旋翼无人机实时运动估计.机器人.2015,37(01),全文. *
王龙 ; 董新民 ; 张宗麟 ; .紧耦合INS/视觉相对位姿测量方法.中国惯性技术学报.2011,19(06),全文. *

Also Published As

Publication number Publication date
CN109341724A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109341724B (zh) 一种机载相机-惯性测量单元相对位姿在线标定方法
CN106708066B (zh) 基于视觉/惯导的无人机自主着陆方法
Kong et al. Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system
CN109341686B (zh) 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
Eisenbeiss The autonomous mini helicopter: a powerful platform for mobile mapping
Gurtner et al. Investigation of fish-eye lenses for small-UAV aerial photography
CN109544696B (zh) 一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法
CN108205328B (zh) 建立供交通工具遵循的与目标相邻的飞行图式的系统和方法
Yun et al. IMU/Vision/Lidar integrated navigation system in GNSS denied environments
BR112015001737B1 (pt) Método para aquisição e processamento de informações geográficas de uma trajetória.
CN109997150A (zh) 用于对道路特征进行分类的系统和方法
Taylor et al. Comparison of two image and inertial sensor fusion techniques for navigation in unmapped environments
Rhudy et al. Unmanned aerial vehicle navigation using wide‐field optical flow and inertial sensors
CN109375647A (zh) 微型多源感知计算系统
CN109709973A (zh) 一种微阵列式光罗盘辅助的无人机自主返航方法
CN108759814B (zh) 一种四旋翼飞行器横滚轴角速度和俯仰轴角速度估计方法
Tahar Multi rotor UAV at different altitudes for slope mapping studies
CN113252022A (zh) 一种地图数据处理方法及装置
Rhudy et al. Wide-field optical flow aided inertial navigation for unmanned aerial vehicles
Wang et al. Monocular vision and IMU based navigation for a small unmanned helicopter
Hashim et al. Integration of low altitude aerial & terrestrial photogrammetry data in 3D heritage building modeling
Williams et al. All-source navigation for enhancing UAV operations in GPS-denied environments
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
Zhao et al. Distributed filtering-based autonomous navigation system of UAV
Klavins et al. Unmanned aerial vehicle movement trajectory detection in open environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant