CN113779012A - 一种用于无人机的单目视觉slam尺度恢复方法 - Google Patents

一种用于无人机的单目视觉slam尺度恢复方法 Download PDF

Info

Publication number
CN113779012A
CN113779012A CN202111089252.2A CN202111089252A CN113779012A CN 113779012 A CN113779012 A CN 113779012A CN 202111089252 A CN202111089252 A CN 202111089252A CN 113779012 A CN113779012 A CN 113779012A
Authority
CN
China
Prior art keywords
slam
scale
unmanned aerial
data set
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111089252.2A
Other languages
English (en)
Other versions
CN113779012B (zh
Inventor
张泽勇
耿虎军
高峰
关俊志
李晨阳
王雅涵
蔡迎哲
柴兴华
陈彦桥
彭会湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202111089252.2A priority Critical patent/CN113779012B/zh
Publication of CN113779012A publication Critical patent/CN113779012A/zh
Application granted granted Critical
Publication of CN113779012B publication Critical patent/CN113779012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

本发明公开了一种用于无人机的单目视觉SLAM尺度恢复方法，属于无人机技术领域。该方法首先获取高度信息和摄像头图像，根据图像计算SLAM坐标；然后根据时间戳近似同步的规则，采集多组数据并计算欧氏距离，进而计算SLAM坐标的尺度信息。本方法可动态提高尺度信息的精准度，从而能够动态、精准地恢复SLAM坐标系的尺度。

Description

一种用于无人机的单目视觉SLAM尺度恢复方法
技术领域
本发明涉及人工智能以及无人机技术领域，特别是指一种用于无人机的单目视觉SLAM尺度恢复方法。
背景技术
随着人工智能的发展，无人机在多个领域的重要性愈加明显。大多数无人机依靠GPS实现无人机的导航。但是，在一些特殊时期，如果GPS失效、不可用或者被干扰，则无人机将会失去最重要的导航信息，这对于无人机毫无疑问是致命的。
为此，需要发展一种在GPS失效情况下的应急定位方式。目前，现有技术中可使用SLAM导航实现上述需求。但是，单目情况下的SLAM方法仍需要依赖GPS进行初始化，这导致单目SLAM方法无法在GPS失效的情况下进行有效定位。
发明内容
有鉴于此，本发明提出一种用于无人机的单目视觉SLAM尺度恢复方法，该方法可在GPS失效的情况下精准地恢复单目视觉SLAM尺度，以实现基于单目SLAM的导航定位。
为实现上述目的，本发明采用的技术方案是：
一种用于无人机的单目视觉SLAM尺度恢复方法，包括以下步骤：
(1)无人机初始化高精准高度计，由高度计定频发布带有时间戳的高度信息；同时，无人机的摄像头获取带有时间戳的图像；
(2)通过SLAM算法对图像进行处理，获得带有时间戳的SLAM坐标；
(3)根据时间戳近似同步的规则采集多组数据以构成数据集，每组数据包括一个高度信息以及与高度信息时间戳近似同步的SLAM坐标；数据集中的任两个高度信息之间的高度差均大于阈值；
(4)计算数据集中最高高度信息和最低高度信息之间的欧氏距离，并计算对应的两SLAM坐标之间的欧氏距离；计算两欧氏距离之间的比值，得到SLAM坐标的尺度信息；
(5)利用尺度信息，将SLAM坐标映射到高度计坐标系中，计算映射后坐标与对应高度计坐标的差值，将差值超出精度阈值的数据组从数据集中剔除；
(6)根据新的数据集重新计算SLAM坐标的尺度信息，实现SLAM坐标尺度信息的动态调整。
进一步的，步骤(3)中，采集数据前，首先剔除突变以及反复跳跃的异常数据。
进一步的，步骤(5)中的精度阈值为当前数据集中各组数据依据步骤(5)所求得的差值的平均值。
进一步的，步骤(6)中所述的新的数据集，在步骤(5)所得数据集的基础上，根据精度需求补入了一组或多组新的数据。
本发明的有益效果在于：
1、本发明为一种不依赖于GPS初始化的单目SLAM尺度恢复方法，能够使无人机在无GPS时，仍可通过单目SLAM恢复正确坐标，定位自身位置，从而有效帮助无人机进行定位和导航。
2、本发明方法简单，易于实现，适用于无人机的硬件条件，具有较强的实用价值。
附图说明
图1是本发明实施例的原理图；
图2是本发明实施例的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，在下面的描述中为了充分理解此方法，阐述了更多具体的细节，所描述的方法仅为本发明的部分实例，而非全部实例。基于本发明的实例，在此领域中没有突破性进展的前提下，所有其他实例，都属于本发明的保护范围。
一种用于无人机的单目视觉SLAM尺度恢复方法，该方法使用高精度高度计，记录飞行的轨迹中的高度计读数，在飞行轨迹上对单目视觉SLAM计算出的坐标进行高度匹配，获取高度比例后，将单目视觉SLAM坐标做反向计算，剔除单目视觉SLAM与高度计差距较大的点，以及修正SLAM坐标，从而动态提高尺度恢复的精度。具体包括以下步骤：
1)发布摄像头所获取的图片信息，时间戳同步为摄像头获取图片的时间。
2)单目摄像头订阅摄像头发布的结点信息，进行计算，其结果发布的时间戳同步为摄像头获取图片的时间。
3)摄像头获取图片的同时，读取高度计信息，使得高度计信息与摄像头获取图片的时间戳相同。
4)使用单目视觉SLAM计算特征点，初始化成功后，发布SLAM坐标点。
5)利用时间戳近似同步，同时订阅处理SLAM坐标与高度计高度，采集30组数据，进行高度尺度处理。
6)判断高度是否在同一高度，或者近似同一高度，在高度差别较大时，进行尺度计算，获取尺度值。
RMax＝amax-amin求得高度计最大尺度变化值,如果RMax小于阈值，则属于变化较小，不具备参考性，应继续采集数据bN。
Figure BDA0003266662370000031
获取综合尺度值。
7)利用获取的尺度值，将SLAM坐标反向恢复为高度计坐标，并剔除差值较大的点，重复采集数据，提高尺度恢复的精准度。
Figure BDA0003266662370000041
将大于平均值的SLAM坐标值删除，根据需要重复采集数据，以动态提高尺度变换的精度。
以下为一个更具体的例子：
如图1和2所示，一种用于无人机的单目视觉SLAM尺度恢复方法，具体步骤如下：
启动无人机，在ROS操作系统下，启动摄像头结点，同步摄像头结点时间戳为获取摄像头图像的时间。同事，高精度的高度计开始工作，记录当前高度计高度a0,其频率同步为摄像头获取图像的频率，时间戳同步为摄像头发布图像的时间戳，使两者时间戳相同，可减少后续时间差导致的不匹配。
在ROS中启动SLAM结点，订阅摄像头结点，其计算结果的时间戳同步为其订阅的摄像头获取当前图片的时间戳，减少由于SLAM计算时间而导致的时间戳不匹配。等待SLAM初始化成功后，发布SLAM计算结果，由于SLAM并非定频输出结果，而是在特征点计算满足要求时才会输出结果，所以SLAM输出的结果与高度计输出的结果频率并不相同。
为此，做时间戳近似同步，将时间戳相同，或近似的两组数据视为同一时刻的数据，采集30组数据，首先计算高精度高度计的结果是否在同一高度，或者近似高度，导致高度变化不明显，如果发生高度近似，则继续采集数据，直至高度变化大于一定阈值，在采集了较为明显变化的数据后，计算高度计高度和SLAM输出坐标的数据尺度比例。
在获取尺度后，将SLAM坐标反向转换为实际高度，将大于平均误差的点剔除，重新计算尺度，获取更为精确地尺度。本发明使用高精度气压计的高度计，故视高度计高度为精准高度，故依靠高度计的高度，剔除SLAM坐标中的奇异值。后续可根据需要动态提高尺度的精准度。
在SLAM的算法下，累计误差越来越大，可以根据高度计的高度变化，动态修改SLAM数据，将SLAM坐标转换为实际高度后，如果与高度计高度的差值大于一定阈值，则需要修正SLAM算法的误差，提高转换尺度的精度。
Figure BDA0003266662370000051
当误差e>误差阈值后，需要对SLAM坐标进行修正，修正后，后续的SLAM误差修正为：
an＝an*(1+e)-1
在持续的计算中可以进行精准的尺度恢复，以及SLAM尺度修复。

Claims (4)

1.一种用于无人机的单目视觉SLAM尺度恢复方法，其特征在于，包括以下步骤：
（1）无人机初始化高精准高度计，由高度计定频发布带有时间戳的高度信息；同时，无人机的摄像头获取带有时间戳的图像；
（2）通过SLAM算法对图像进行处理，获得带有时间戳的SLAM坐标；
（3）根据时间戳近似同步的规则采集多组数据以构成数据集，每组数据包括一个高度信息以及与高度信息时间戳近似同步的SLAM坐标；数据集中的任两个高度信息之间的高度差均大于阈值；
（4）计算数据集中最高高度信息和最低高度信息之间的欧氏距离，并计算对应的两SLAM坐标之间的欧氏距离；计算两欧氏距离之间的比值，得到SLAM坐标的尺度信息；
（5）利用尺度信息，将SLAM坐标映射到高度计坐标系中，计算映射后坐标与对应高度计坐标的差值，将差值超出精度阈值的数据组从数据集中剔除；
（6）根据新的数据集重新计算SLAM坐标的尺度信息，实现SLAM坐标尺度信息的动态调整。
2.如权利要求1所述的一种用于无人机的单目视觉SLAM尺度恢复方法，其特征在于，步骤（3）中，采集数据前，首先剔除突变以及反复跳跃的异常数据。
3.如权利要求1所述的一种用于无人机的单目视觉SLAM尺度恢复方法，其特征在于，步骤（5）中的精度阈值为当前数据集中各组数据依据步骤（5）所求得的差值的平均值。
4.如权利要求1所述的一种用于无人机的单目视觉SLAM尺度恢复方法，其特征在于，步骤（6）中所述的新的数据集，在步骤（5）所得数据集的基础上，根据精度需求补入了一组或多组新的数据。
CN202111089252.2A 2021-09-16 2021-09-16 一种用于无人机的单目视觉slam尺度恢复方法 Active CN113779012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111089252.2A CN113779012B (zh) 2021-09-16 2021-09-16 一种用于无人机的单目视觉slam尺度恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111089252.2A CN113779012B (zh) 2021-09-16 2021-09-16 一种用于无人机的单目视觉slam尺度恢复方法

Publications (2)

Publication Number Publication Date
CN113779012A true CN113779012A (zh) 2021-12-10
CN113779012B CN113779012B (zh) 2023-03-07

Family

ID=78851629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111089252.2A Active CN113779012B (zh) 2021-09-16 2021-09-16 一种用于无人机的单目视觉slam尺度恢复方法

Country Status (1)

Country Link
CN (1) CN113779012B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529566A (zh) * 2021-12-30 2022-05-24 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
WO2018235923A1 (ja) * 2017-06-21 2018-12-27 国立大学法人 東京大学 位置推定装置、位置推定方法、及びプログラム
CN110187375A (zh) * 2019-06-27 2019-08-30 武汉中海庭数据技术有限公司 一种基于slam定位结果提高定位精度的方法及装置
CN110617813A (zh) * 2019-09-26 2019-12-27 中国科学院电子学研究所 单目视觉信息和imu信息相融合的尺度估计系统及方法
CN111862120A (zh) * 2020-07-22 2020-10-30 苏州大学 一种单目slam尺度恢复的方法
CN112348868A (zh) * 2020-11-06 2021-02-09 养哇(南京)科技有限公司 一种通过检测和标定恢复单目slam尺度的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235923A1 (ja) * 2017-06-21 2018-12-27 国立大学法人 東京大学 位置推定装置、位置推定方法、及びプログラム
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN110187375A (zh) * 2019-06-27 2019-08-30 武汉中海庭数据技术有限公司 一种基于slam定位结果提高定位精度的方法及装置
CN110617813A (zh) * 2019-09-26 2019-12-27 中国科学院电子学研究所 单目视觉信息和imu信息相融合的尺度估计系统及方法
CN111862120A (zh) * 2020-07-22 2020-10-30 苏州大学 一种单目slam尺度恢复的方法
CN112348868A (zh) * 2020-11-06 2021-02-09 养哇(南京)科技有限公司 一种通过检测和标定恢复单目slam尺度的方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHUHUI BU等: "Map2DFusion: Real-time incremental UAV image mosaicing based on monocular SLAM", 《 2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
WENLE WEI等: "A Survey of UAV Visual Navigation Based on Monocular SLAM", 《 2018 IEEE 4TH INFORMATION TECHNOLOGY AND MECHATRONICS ENGINEERING CONFERENCE (ITOEC)》 *
熊敏君等: "基于单目视觉与惯导融合的无人机位姿估计", 《计算机应用》 *
陈丁等: "融合IMU与单目视觉的无人机自主定位方法", 《系统仿真学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529566A (zh) * 2021-12-30 2022-05-24 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113779012B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
US11285613B2 (en) Robot vision image feature extraction method and apparatus and robot using the same
CN108460779B (zh) 一种动态环境下的移动机器人图像视觉定位方法
CN110675450B (zh) 基于slam技术的正射影像实时生成方法及系统
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN113763252B (zh) 一种用于无人机的大地坐标系与slam坐标系转换方法
US11195297B2 (en) Method and system for visual localization based on dual dome cameras
CN113779012B (zh) 一种用于无人机的单目视觉slam尺度恢复方法
CN114862932B (zh) 基于bim全局定位的位姿修正方法及运动畸变矫正方法
CN111161179A (zh) 一种基于法向量的点云平滑光顺滤波方法
CN114136315B (zh) 一种基于单目视觉辅助惯性组合导航方法及系统
CN115240047A (zh) 一种融合视觉回环检测的激光slam方法及系统
CN111882602A (zh) 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN111664845B (zh) 交通标志定位、视觉地图制作方法及装置、定位系统
CN114419165A (zh) 相机外参校正方法、装置、电子设备和存储介质
CN110927743A (zh) 一种基于多线激光点云极化表征的智能车定位方法
CN114140527A (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN113052880A (zh) 一种sfm稀疏重建方法、系统及应用
CN114820768B (zh) 一种大地坐标系与slam坐标系对齐方法
CN116402978A (zh) 一种基于双目视觉结构特性的稠密三维重建方法
CN115359115A (zh) 一种动态环境下基于多传感器的同时定位与建图方法
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN110070110B (zh) 一种自适应阈值图像匹配方法
CN114066972A (zh) 一种基于单目视觉的无人机自主定位方法
CN111353509A (zh) 一种视觉slam系统的关键点提取器生成方法
CN117333688B (zh) 一种基于多维梯度特征的高精度地形匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant