CN109029417B - 基于混合视觉里程计和多尺度地图的无人机slam方法 - Google Patents

基于混合视觉里程计和多尺度地图的无人机slam方法 Download PDF

Info

Publication number
CN109029417B
CN109029417B CN201810489486.8A CN201810489486A CN109029417B CN 109029417 B CN109029417 B CN 109029417B CN 201810489486 A CN201810489486 A CN 201810489486A CN 109029417 B CN109029417 B CN 109029417B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
transformation matrix
odometer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810489486.8A
Other languages
English (en)
Other versions
CN109029417A (zh
Inventor
刘阳
王从庆
李翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201810489486.8A priority Critical patent/CN109029417B/zh
Publication of CN109029417A publication Critical patent/CN109029417A/zh
Application granted granted Critical
Publication of CN109029417B publication Critical patent/CN109029417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Abstract

本发明公开了一种基于混合视觉里程计和多尺度地图的无人机SLAM方法，属于无人机自主导航技术领域。本方法无人机平台上搭载有俯视单目相机和前视双目相机以及机载计算机。单目相机用于基于直接法的视觉里程计，双目相机用于基于特征点法的视觉里程计。混合视觉里程计将这两种视觉里程计的输出进行信息融合，构造用于定位的局部地图，得到无人机实时位姿。再将位姿反馈给飞行控制系统，控制无人机的位置。机载计算机将实时位姿以及采集的图像传输给地面站，地面站依据构建的全局地图实时规划飞行路径，将航点信息发送给无人机，实现无人机自主飞行。本发明实现了无人机在非GPS环境下的实时位姿估计及环境感知，极大地提高无人机的智能化水平。

Description

基于混合视觉里程计和多尺度地图的无人机SLAM方法
技术领域
本发明涉及一种基于混合视觉里程计和多尺度地图的无人机SLAM方法，属于无人机自主导航技术领域。
背景技术
随着无人机(Unmanned Aerial Vehicle,UAV)技术的发展，各种类型的无人机被广泛应用，无人机也开始在工业领域发挥着越来越重要的作用，无人机也不再是简单的航模飞行器。如何感知环境以及自身状态信息成为了无人机的关键技术之一，也就是机器人领域研究的同步定位与构图(Simultaneous Localization and Mapping,SLAM)问题。
相对于地面移动机器人，无人机的载荷有限，对实时性要求高。传统的激光雷达传感器由于重量比较重，容易受到光照影响等因素不适合于无人机平台，因而视觉传感器更适合于无人机的定位和环境感知。同时，视觉传感器可以用于估计无人机的自身位置，从而无人机可以在没有GPS信号或者GPS信号受到干扰时飞行。视觉传感器中主要包含单目、双目和RGB-D相机，单目相机拥有尺度不确定性，RGB-D相机有效测量范围有限并且不适合于室外环境，双目相机虽然可以确定尺度但是计算耗时，所以结合单目相机和双目相机可以更好更快地用于状态估计。视觉SLAM的主要包括视觉里程计和建图，视觉里程计就是通过视觉传感器采集到的图像感知自身位姿变化，建图则是用于感知环境。当前视觉里程计分为两种方法：直接法和特征点法，其中直接法的优点是速度快，但是容易跟踪丢失，特征点法的鲁棒性更好，但是实时性不够好。建图的作用是建立环境模型，从而实现更高级的任务，例如自主导航、避障飞行等。
考虑到无人机对稳定性、实时性、准确性的要求比较高，传统的特征点法和直接法都不能很好地适应无人机定位要求，需要设计一种稳定并且准确的视觉里程计方法。同时，建图是对计算能力要求比较高，不适合直接在无人机上处理，需要依靠拥有强大计算能力的地面站。通过建立环境地图，无人机可以自主规划航线，实现完全自主飞行。
发明内容
为了满足无人机状态估计对稳定性、实时性、准确性的要求，本发明提出了一种基于混合视觉里程计和多尺度地图的无人机SLAM方法，实现在没有GPS信号的情况下，仅仅依靠相机采集到的图像来估计无人机的位置，同时建立环境地图，规划航线，实现自主飞行。
该方法无人机平台上除了基本飞行控制系统，还搭载有俯视单目相机和前视双目相机以及用于运算处理的机载计算机。单目相机采集到的图像作为基于直接法的视觉里程计的输入，双目采集到的图像作为基于特征点法的视觉里程计的输入，这两个视觉里程计同时还构造用于定位的局部地图。混合视觉里程计将这两种里程计的输出信息进行信息融合和位姿矫正，得到无人机实时精确的位姿信息，然后反馈给飞行控制系统，用于控制无人机的位置。机载计算机将实时位姿以及相机的图像发送给地面站，地面站负责建立环境全局地图，同时依据环境信息实时规划飞行路径，将航点信息发送给无人机，可以实现无人机的自主飞行。
本发明为解决其技术问题采用如下技术方案：
一种基于混合视觉里程计和多尺度地图的无人机SLAM方法，包括以下步骤：
步骤1：无人机平台搭载有俯视单目相机和前视双目相机，单目相机每秒采集30帧图像，双目相机每秒采集10帧图像；机载计算机同时开启两个线程，主线程以30Hz的频率运行基于直接法的视觉里程计，另一个线程以10Hz的频率运行基于特征点法的视觉里程计；假如k时刻获取同步的单目相机图像
Figure BDA0001667274280000031
和双目相机的左右相机对应的图像
Figure BDA0001667274280000032
Figure BDA0001667274280000033
将
Figure BDA0001667274280000034
作为基于直接法的视觉里程计的输入，将
Figure BDA0001667274280000035
作为基于特征点法的视觉里程计的输入；特征点法视觉里程计输出当前双目图像中的左边相机图像
Figure BDA0001667274280000036
相对于地图中的参考帧的左边相机图像
Figure BDA0001667274280000037
的位姿变换矩阵
Figure BDA0001667274280000038
直接法视觉里程计输出当前帧图像
Figure BDA0001667274280000039
相对于前一帧图像
Figure BDA00016672742800000310
的位姿变换矩阵
Figure BDA00016672742800000311
同时还构建用于定位的局部点云地图；
步骤2：混合视觉里程计将步骤1中这两种里程计的输出信息
Figure BDA00016672742800000312
和
Figure BDA00016672742800000313
进行信息融合和位姿矫正，构造用于定位的局部地图，得到无人机实时精确的位姿信息
Figure BDA0001667274280000041
步骤3：机载计算机的混合视觉里程计通过处理前视双目相机图像和俯视单目相机图像，得到无人机实时精确的位姿信息
Figure BDA0001667274280000042
然后将对应的位置信息通过串口发送给飞行控制系统中的飞行控制单元，作为位置控制环的测量值；
步骤4：机载计算机将得到的实时位姿以及采集的图像通过WIFI传输给地面站，地面站通过恢复三维环境特征，构建全局地图，然后依据构建的全局地图实时规划飞行轨迹，得到中间航点，再将航点信息发送给无人机。
步骤1中基于特征点法的双目视觉里程计的具体过程如下：
(1)首先进行运动估计，依据无人机的运动速度不变模型，估计左边相机当前帧图像相对于左边相机第一帧图像的位姿变换矩阵，假如上一帧图像和上上帧图像相对于第一帧图像的位姿变换矩阵分别为
Figure BDA0001667274280000043
和
Figure BDA0001667274280000044
那么前一个时间间隔内的速度
Figure BDA0001667274280000045
为：
Figure BDA0001667274280000046
其中log(·)代表李群SE(3)矩阵到李代数se(3)的对数映射，依据速度不变的假设：
Figure BDA0001667274280000047
当前帧图像相对于第一帧图像的估计位姿变换矩阵为：
Figure BDA0001667274280000048
其中：
Figure BDA0001667274280000049
为李代数元素，其中ρ为三维平移分量，φ为三维旋转分量，指数映射
Figure BDA00016672742800000410
其中
Figure BDA00016672742800000411
φ1，φ2，φ3为φ的三个分量；
(2)依据当前帧的预测位姿
Figure BDA0001667274280000051
将局部地图中的所有关键帧对应的特征点投影至当前帧，选择投影的特征点数目最多的关键帧作为参考帧；当有多个参考帧存在时，选择距离当前帧时间戳最近的关键帧作为参考帧；
(3)在当前帧的左边图像上进行特征提取，得到特征点
Figure BDA0001667274280000052
然后将当前帧特征点和参考帧的左边相机图像
Figure BDA0001667274280000053
中的特征点
Figure BDA0001667274280000054
进行特征匹配，得到匹配的特征点对后，首先获取参考帧特征点的深度信息，然后依照3D-2D运动求解方法求解当前帧相对于参考帧的位姿变换矩阵
Figure BDA0001667274280000055
(4)在得到了当前帧相对于参考帧的位姿变换矩阵
Figure BDA0001667274280000056
后，求得对应的6维速度矢量
Figure BDA0001667274280000057
其中：v为线速度，w为角速度，假如速度矢量的模大于5m/s，那么当前帧作为关键帧加入到局部地图；
(5)假如当前帧被加入局部地图，在当前帧的右边图像
Figure BDA0001667274280000058
上进行特征提取，得到特征点
Figure BDA0001667274280000059
然后将特征点
Figure BDA00016672742800000510
和特征点
Figure BDA00016672742800000511
进行特征匹配，计算出匹配特征点对的视差，依据视差计算出该特征点对应的深度信息，获取点云图，同时深度信息用于后面的3D-2D运动求解。
步骤1中基于直接法的单目视觉里程计的具体过程如下：
(1)将前一帧图像的特征点
Figure BDA00016672742800000512
投影至当前帧图像，然后通过最小化像素深度差来求得位姿变换矩阵
Figure BDA00016672742800000513
也就是稀疏图像配准
Figure BDA00016672742800000514
其中π(·)指针孔相机模型，将空间中投影至二维像素平面，
Figure BDA0001667274280000061
指的是特征点
Figure BDA0001667274280000062
的深度值，
Figure BDA0001667274280000063
代表着k时刻的图像，
Figure BDA0001667274280000064
为k-1时刻的图像；
(2)通过三角测量的方法计算出当前帧的特征点
Figure BDA0001667274280000065
的深度信息
Figure BDA0001667274280000066
获取点云图，同时深度信息用于后面的运动估计。
步骤2的具体过程如下：
步骤2.1：在得到了双目视觉里程计当前帧相对于参考帧的位姿变换矩阵
Figure BDA0001667274280000067
和单目视觉里程计当前帧相对于前一帧的位姿变换矩阵
Figure BDA0001667274280000068
后，分别叠加参考帧和前一帧图像相对于第一帧图像的位姿变换矩阵
Figure BDA0001667274280000069
和
Figure BDA00016672742800000610
得到当前帧相对于第一帧图像的位姿变换矩阵
Figure BDA00016672742800000611
和
Figure BDA00016672742800000612
Figure BDA00016672742800000613
Figure BDA00016672742800000614
步骤2.2：假如此时单目视觉里程计的位姿变换矩阵
Figure BDA00016672742800000615
的尺度还未确定，则需要确定利用双目视觉里程计的位姿变换矩阵矩阵
Figure BDA00016672742800000622
来确定单目视觉里程计中
Figure BDA00016672742800000616
的尺度因子scaler；假若双目相机的左边相机第一帧图像对应相机坐标系相对于机体坐标系的位姿变换矩阵为
Figure BDA00016672742800000623
单目相机第一帧图像对应相机坐标系相对于机体坐标系的位姿变换矩阵为
Figure BDA00016672742800000617
那么理论上满足：
Figure BDA00016672742800000618
其中：
Figure BDA00016672742800000619
取
Figure BDA00016672742800000620
中的平移分量
Figure BDA00016672742800000621
和Tcompose中的平移分量tcompose，通过最小化残差来计算尺度因子scaler，如下所示：
Figure BDA0001667274280000071
在获取了尺度信息scaler后，
Figure BDA0001667274280000072
依据
Figure BDA0001667274280000073
变换为拥有确定尺度信息的单目视觉里程计的位姿变换矩阵，同时单目视觉里程计的局部地图也乘以对应的尺度scaler，得到真实的地图；
步骤2.3：在得到了基于直接法的视觉里程计和基于特征点法的视觉里程计的输出后，混合视觉里程计利用
Figure BDA0001667274280000074
来矫正
Figure BDA0001667274280000075
添加一个偏移位姿Toffset来矫正
Figure BDA0001667274280000076
矫正过程如下：
Figure BDA0001667274280000077
其中Toffset的计算公式为：
Figure BDA0001667274280000078
步骤2.4：获取无人机的实时精确的位姿信息
Figure BDA0001667274280000079
并且假设第一帧图像对应的机体坐标系为世界坐标系，那么
Figure BDA00016672742800000710
的计算方法为：
Figure BDA00016672742800000711
其中：
Figure BDA00016672742800000712
为双目相机当前帧相对于世界坐标系的位姿变换矩阵，
Figure BDA00016672742800000713
为双目视觉里程计当前帧相对于第一帧的位姿变换矩阵，
Figure BDA00016672742800000719
为双目相机第一帧图像对应相机坐标系相对于世界坐标系的位姿变换矩阵；
另外当双目视觉里程计未更新时，混合视觉里程计仅仅通过单目视觉里程计计算无人机位姿
Figure BDA00016672742800000714
并且这时候单目视觉里程计的尺度因子应该初始化完成，
Figure BDA00016672742800000715
其中
Figure BDA00016672742800000716
为单目相机当前帧相对于世界坐标系的位姿变换矩阵，
Figure BDA00016672742800000717
为单目视觉里程计当前帧相对于第一帧的位姿变换矩阵，
Figure BDA00016672742800000718
为单目相机第一帧图像对应相机坐标系相对于世界坐标系的位姿变换矩阵。
步骤4的具体过程如下：
步骤4.1：机载计算机将无人机的实时位姿以及采集的图像通过WIFI发送给地面站，然后地面站完成环境地图的构建；所述采集的图像为前视双目相机和俯视单目相机的图像，所述环境地图的构建为无人机前方和下方的环境地图；
步骤4.2：地面站在完成了全局环境地图的构建后，依据当前无人机的实时位姿信息和环境中障碍物信息，实时规划出一条无碰撞到达目的点的飞行路径，也就是生成一系列的中间航点；地面站再将这些中间航点位置信息通过WIFI发送给机载计算机，机载计算机再将这些中间航点以位置参考输入的方式通过串口发送给飞行控制系统中的飞行控制单元，控制无人机的位置。
本发明的有益效果如下：
1、机载计算机运行的混合视觉里程计包括以30Hz频率运行的基于直接法的视觉里程计主线程和以10Hz运行的基于特征点法的视觉里程计线程，该方法结合了直接法的快速性以及特征点法的可靠性，同时还利用直接法的估计结果来矫正特征点法的估计结果，可以实现无人机的实时准确可靠定位。
2、基于特征点法的视觉里程计中，并不需要对每一帧图像的特征点计算深度信息。只有当前帧被加入局部地图时，才对右边相机图像进行特征提取和特征匹配，然后计算当前帧的特征点深度，这样可以有效减少运算时间，提高速度性能。同时是以局部地图中的关键帧作为参考帧，而不是常用的以上一帧图像作为参考帧，这样可以有效减小漂移误差。
3、使用了前视双目相机和俯视单目相机，可以同时构建无人机前方和下方的环境地图，视野更大，极大提高了无人机的安全性能。
4、机载计算机只负责建立用于定位的局部地图，地面站建立用于导航的全局环境地图，这种多尺度地图减轻了机载计算机的运算压力，实现了无人机的实时位姿估计以及环境感知，可以极大提高无人机的智能化水平。
5、通过视觉SLAM系统和无人机飞行控制系统相结合，正是由于视觉SLAM系统提供给飞行控制系统的位置控制环的参考输入值和测量值，无人机可以实时感知飞行环境并自主飞行。
附图说明
图1是本发明混合视觉里程计的系统框图。
图2是本发明基于特征点法的双目视觉里程计的流程图。
图3是本发明基于直接法的单目视觉里程计的流程图。
图4是本发明基于多尺度地图的环境感知和自主导航系统框图。
具体实施方式
下面结合附图对本发明作出详细说明。
图1为本发明混合视觉里程计的系统框图，混合视觉里程计包含了基于直接法的单目视觉里程计和基于特征点法的双目视觉里程计两个线程。无人机平台搭载有着俯视单目相机和前视双目相机。单目相机每秒采集30帧图像，双目相机每秒采集10帧图像。机载计算机同时开启两个线程，主线程以30Hz的频率运行基于直接法的视觉里程计，另一个线程以10Hz的频率运行基于特征点法的视觉里程计。假如k时刻获取同步的单目相机图像
Figure BDA0001667274280000101
和双目相机的左右相机对应的图像
Figure BDA0001667274280000102
将
Figure BDA0001667274280000103
作为基于直接法的视觉里程计的输入，将
Figure BDA0001667274280000104
Figure BDA0001667274280000105
作为基于特征点法的视觉里程计的输入。特征点法视觉里程计输出当前双目图像中的左边相机图像
Figure BDA0001667274280000106
相对于地图中的参考帧的左边相机图像
Figure BDA0001667274280000107
的位姿变换矩阵
Figure BDA0001667274280000108
直接法视觉里程计输出当前帧图像
Figure BDA0001667274280000109
相对于前一帧图像
Figure BDA00016672742800001010
的位姿变换矩阵
Figure BDA00016672742800001011
同时还构建用于定位的局部点云地图。
混合视觉里程计在得到了双目视觉里程计当前帧相对于参考帧的位姿变换矩阵
Figure BDA00016672742800001012
和单目视觉里程计当前帧相对于前一帧的位姿变换矩阵
Figure BDA00016672742800001013
后，进行位姿叠加，分别叠加参考帧和前一帧图像相对于第一帧图像的位姿变换矩阵
Figure BDA00016672742800001014
和
Figure BDA00016672742800001015
得到当前帧相对于第一帧图像的位姿变换矩阵
Figure BDA00016672742800001016
和
Figure BDA00016672742800001017
Figure BDA00016672742800001018
Figure BDA00016672742800001019
假如此时单目视觉里程计的位姿变换矩阵
Figure BDA00016672742800001020
的尺度还未确定，则需要确定利用双目视觉里程计的位姿变换矩阵矩阵
Figure BDA00016672742800001021
来确定单目视觉里程计中
Figure BDA00016672742800001022
的尺度因子scaler。假若双目相机的左边相机第一帧图像对应相机坐标系相对于机体坐标系的位姿变换矩阵为
Figure BDA00016672742800001024
单目相机第一帧图像对应相机坐标系相对于机体坐标系的位姿变换矩阵为
Figure BDA00016672742800001023
那么理论上满足：
Figure BDA0001667274280000111
其中：
Figure BDA0001667274280000112
由于系统测量误差存在，所以上式中等式不成立，取
Figure BDA0001667274280000113
中的平移分量
Figure BDA0001667274280000114
和Tcompose中的平移分量tcompose，通过最小化残差来计算尺度因子scaler，如下所示：
Figure BDA0001667274280000115
在获取了尺度信息scaler后，
Figure BDA0001667274280000116
依据
Figure BDA0001667274280000117
变换为拥有确定尺度信息的单目视觉里程计的位姿变换矩阵，同时单目视觉里程计的局部地图也乘以对应的尺度scaler，得到真实的地图。
考虑到经验上基于直接法的视觉里程计的精度高于基于特征点的视觉里程计的精度，混合视觉里程计利用
Figure BDA0001667274280000118
来矫正
Figure BDA0001667274280000119
添加一个偏移位姿Toffset来矫正
Figure BDA00016672742800001110
矫正过程如下：
Figure BDA00016672742800001111
其中Toffset的计算公式为：
Figure BDA00016672742800001112
最后就是获取无人机的实时精确的位姿信息
Figure BDA00016672742800001113
并且假设第一帧图像对应的机体坐标系为世界坐标系，那么
Figure BDA00016672742800001114
的计算方法为：
Figure BDA00016672742800001115
其中：
Figure BDA00016672742800001116
为双目相机当前帧相对于世界坐标系的位姿变换矩阵，
Figure BDA00016672742800001117
为双目视觉里程计当前帧相对于第一帧的位姿变换矩阵，
Figure BDA00016672742800001118
为双目相机第一帧图像对应相机坐标系相对于世界坐标系的位姿变换矩阵。
另外，考虑到基于直接法的视觉里程计的运行速率更快，所以当双目视觉里程计未更新时，混合视觉里程计仅仅通过单目视觉里程计计算无人机位姿
Figure BDA0001667274280000121
并且这时候单目视觉里程计的尺度因子应该初始化完成，
Figure BDA0001667274280000122
其中：
Figure BDA0001667274280000123
为单目相机当前帧相对于世界坐标系的位姿变换矩阵，
Figure BDA0001667274280000124
为单目视觉里程计当前帧相对于第一帧的位姿变换矩阵，
Figure BDA0001667274280000125
为单目相机第一帧图像对应相机坐标系相对于世界坐标系的位姿变换矩阵。
图2是本发明基于特征点法的双目视觉里程计的流程图，首先进行运动估计，依据无人机的运动速度不变模型，估计当前帧图像相对于第一帧图像的位姿变换矩阵(对于双目相机，第一帧图像是指左边相机的图像)。假如上一帧图像和上上帧图像相对于第一帧图像的位姿变换矩阵分别为
Figure BDA0001667274280000126
和
Figure BDA0001667274280000127
那么前一个时间间隔内的速度
Figure BDA0001667274280000128
为：
Figure BDA0001667274280000129
其中log(·)代表李群SE(3)矩阵到李代数se(3)的对数映射。依据速度不变的假设：
Figure BDA00016672742800001210
当前帧图像相对于第一帧图像的估计位姿变换矩阵为：
Figure BDA00016672742800001211
其中：
Figure BDA00016672742800001212
为李代数元素，其中ρ为三维平移分量，φ为三维旋转分量，指数映射
Figure BDA00016672742800001213
其中
Figure BDA00016672742800001214
φ1，φ2，φ3为φ的三个分量，然后依据当前帧的预测位姿
Figure BDA00016672742800001215
将局部地图中的所有关键帧对应的特征点投影至当前帧，选择投影的特征点数目最多的关键帧作为参考帧。当有多个参考帧存在时，选择距离当前帧时间戳最近的关键帧作为参考帧。
接下来在当前帧的左边图像上进行特征提取，得到特征点
Figure BDA0001667274280000131
然后将当前帧特征点和参考帧的左边相机图像
Figure BDA0001667274280000132
中的特征点
Figure BDA0001667274280000133
进行特征匹配，得到匹配的特征点对后，首先获取参考帧特征点的深度信息，然后依照3D-2D运动求解方法求解当前帧相对于参考帧的位姿变换矩阵
Figure BDA0001667274280000134
在得到了当前帧相对于参考帧的位姿变换矩阵
Figure BDA0001667274280000135
后，求得对应的6维速度矢量
Figure BDA0001667274280000136
其中：v为线速度，w为角速度，假如速度矢量的模大于5m/s，那么当前帧作为关键帧加入到局部地图。
假如当前帧被加入局部地图，在当前帧的右边图像
Figure BDA0001667274280000137
上进行特征提取，得到特征点
Figure BDA0001667274280000138
然后将特征点
Figure BDA0001667274280000139
和特征点
Figure BDA00016672742800001310
进行特征匹配，计算出匹配特征点对的视差，依据视差计算出该特征点对应的深度信息，获取点云图，同时深度信息用于后面的3D-2D运动求解。
图3是本发明基于直接法的单目视觉里程计的流程图，首先将前一帧图像的特征点
Figure BDA00016672742800001311
投影至当前帧图像，然后通过最小化像素深度差来求得位姿变换矩阵
Figure BDA00016672742800001312
也就是稀疏图像配准。
Figure BDA00016672742800001313
其中π(·)指针孔相机模型，将空间中投影至二维像素平面，
Figure BDA00016672742800001314
指的是特征点
Figure BDA00016672742800001315
的深度值，
Figure BDA00016672742800001316
代表着k时刻的图像，
Figure BDA00016672742800001317
为k-1时刻的图像。
然后通过三角测量的方法计算出当前帧的特征点
Figure BDA00016672742800001318
的深度信息
Figure BDA00016672742800001319
获取点云图，同时深度信息用于后面的运动估计。
图4是本发明基于多尺度地图的环境感知和自主导航系统框图。其中机载计算机和地面站构成了视觉SLAM系统，飞行控制单元指的是飞行控制系统，通过将视觉SLAM系统和飞行控制系统相结合，实现了无人机的实时位姿估计以及环境感知，可以极大提高无人机的智能化水平。
机载计算机的混合视觉里程计通过处理前视双目相机图像和俯视单目相机图像，得到无人机实时精确的位姿信息
Figure BDA0001667274280000141
然后将对应的位置信息通过串口发送给飞行控制系统中的飞行控制单元，作为位置控制环的测量值，用于控制无人机的位置。
机载计算机的主要负责实时定位和构建用于定位的局部地图，还没有完成环境感知功能，也就是没有建图。
为了保证定位的实时性，建图无法通过机载计算机完成，机载计算机将无人机的实时位姿以及相机的图像通过WIFI发送给地面站，然后地面站完成环境地图的构建。在这里同时发送前视双目相机和俯视单目相机的图像给地面站，可以构建无人机前方和下方的环境地图，这样视野更大，提高了无人机的安全性。
地面站在完成了全局环境地图的构建后，依据当前无人机的实时位姿信息和环境中障碍物信息，可以实时规划出一条无碰撞到达目的点的飞行路径，也就是生成一系列的中间航点。在计算出这些中间航点后，地面站将这些中间航点位置信息通过WIFI发送给机载计算机，机载计算机再将这些中间航点以位置参考输入的方式通过串口发送给飞行控制系统中的飞行控制单元，通过改变位置控制环的参考输入，从而控制无人机的位置，从而最终实现无人机的自主飞行。

Claims (5)

1.一种基于混合视觉里程计和多尺度地图的无人机SLAM方法，其特征在于，包括以下步骤：
步骤1：无人机平台搭载有俯视单目相机和前视双目相机，单目相机每秒采集30帧图像，双目相机每秒采集10帧图像；机载计算机同时开启两个线程，主线程以30Hz的频率运行基于直接法的视觉里程计，另一个线程以10Hz的频率运行基于特征点法的视觉里程计；假如k时刻获取同步的单目相机图像
Figure FDA0003103029340000011
和双目相机的左右相机对应的图像
Figure FDA0003103029340000012
Figure FDA0003103029340000013
将
Figure FDA0003103029340000014
作为基于直接法的视觉里程计的输入，将
Figure FDA0003103029340000015
作为基于特征点法的视觉里程计的输入；特征点法视觉里程计输出当前双目图像中的左边相机图像
Figure FDA0003103029340000016
相对于地图中的参考帧的左边相机图像
Figure FDA0003103029340000017
的位姿变换矩阵Ts k,r，直接法视觉里程计输出当前帧图像
Figure FDA0003103029340000018
相对于前一帧图像
Figure FDA0003103029340000019
的位姿变换矩阵
Figure FDA00031030293400000110
同时还构建用于定位的局部点云地图；
步骤2：混合视觉里程计将步骤1中这两种里程计的输出信息Ts k,r和
Figure FDA00031030293400000111
进行信息融合和位姿矫正，构造用于定位的局部地图，得到无人机实时精确的位姿信息
Figure FDA00031030293400000112
步骤3：机载计算机的混合视觉里程计通过处理前视双目相机图像和俯视单目相机图像，得到无人机实时精确的位姿信息
Figure FDA00031030293400000113
然后将对应的位置信息通过串口发送给飞行控制系统中的飞行控制单元，作为位置控制环的测量值；
步骤4：机载计算机将得到的实时位姿以及采集的图像通过WIFI传输给地面站，地面站通过恢复三维环境特征，构建全局地图，然后依据构建的全局地图实时规划飞行轨迹，得到中间航点，再将航点信息发送给无人机。
2.根据权利要求1所述的基于混合视觉里程计和多尺度地图的无人机SLAM方法，其特征在于，步骤1中基于特征点法的双目视觉里程计的具体过程如下：
(1)首先进行运动估计，依据无人机的运动速度不变模型，估计左边相机当前帧图像相对于左边相机第一帧图像的位姿变换矩阵，假如上一帧图像和上上帧图像相对于第一帧图像的位姿变换矩阵分别为Ts k-1,w和Ts k-2,w，那么前一个时间间隔内的速度
Figure FDA0003103029340000021
为：
Figure FDA0003103029340000022
其中log(·)代表李群SE(3)矩阵到李代数se(3)的对数映射，依据速度不变的假设：
Figure FDA0003103029340000023
当前帧图像相对于第一帧图像的估计位姿变换矩阵为：
Figure FDA0003103029340000024
其中：
Figure FDA0003103029340000025
为李代数元素，其中ρ为三维平移分量，φ为三维旋转分量，指数映射
Figure FDA0003103029340000026
其中
Figure FDA0003103029340000027
φ1，φ2，φ3为φ的三个分量；
(2)依据当前帧的估计位姿变换矩阵
Figure FDA0003103029340000028
将局部地图中的所有关键帧对应的特征点投影至当前帧，选择投影的特征点数目最多的关键帧作为参考帧；当有多个参考帧存在时，选择距离当前帧时间戳最近的关键帧作为参考帧；
(3)在当前帧的左边图像上进行特征提取，得到特征点
Figure FDA0003103029340000031
然后将当前帧特征点和参考帧的左边相机图像
Figure FDA0003103029340000032
中的特征点
Figure FDA0003103029340000033
进行特征匹配，得到匹配的特征点对后，首先获取参考帧特征点的深度信息，然后依照3D-2D运动求解方法求解当前帧相对于参考帧的位姿变换矩阵Ts k,r；
(4)在得到了当前帧相对于参考帧的位姿变换矩阵Ts k,r后，求得对应的6维速度矢量
Figure FDA0003103029340000034
其中：v为线速度，w为角速度，假如速度矢量的模大于5m/s，那么当前帧作为关键帧加入到局部地图；
(5)假如当前帧被加入局部地图，在当前帧的右边图像
Figure FDA0003103029340000035
上进行特征提取，得到特征点
Figure FDA0003103029340000036
然后将特征点
Figure FDA0003103029340000037
和特征点
Figure FDA0003103029340000038
进行特征匹配，计算出匹配特征点对的视差，依据视差计算出该特征点对应的深度信息，获取点云图，同时深度信息用于后面的3D-2D运动求解。
3.根据权利要求1所述的基于混合视觉里程计和多尺度地图的无人机SLAM方法，其特征在于，步骤1中基于直接法的单目视觉里程计的具体过程如下：
(1)将前一帧图像的特征点
Figure FDA0003103029340000039
投影至当前帧图像，然后通过最小化像素深度差来求得位姿变换矩阵
Figure FDA00031030293400000310
也就是稀疏图像配准
Figure FDA00031030293400000311
其中π(·)指针孔相机模型，将空间中投影至二维像素平面，
Figure FDA00031030293400000312
指的是特征点
Figure FDA0003103029340000041
的深度值，
Figure FDA0003103029340000042
代表着k时刻的图像，
Figure FDA0003103029340000043
为k-1时刻的图像；
(2)通过三角测量的方法计算出当前帧的特征点
Figure FDA0003103029340000044
的深度信息
Figure FDA0003103029340000045
获取点云图，同时深度信息用于后面的运动估计。
4.根据权利要求1所述的基于混合视觉里程计和多尺度地图的无人机SLAM方法，其特征在于，步骤2的具体过程如下：
步骤2.1：在得到了双目视觉里程计当前帧相对于参考帧的位姿变换矩阵Ts k,r和单目视觉里程计当前帧相对于前一帧的位姿变换矩阵
Figure FDA0003103029340000046
后，分别叠加参考帧和前一帧图像相对于第一帧图像的位姿变换矩阵Ts r,w和
Figure FDA0003103029340000047
得到当前帧相对于第一帧图像的位姿变换矩阵Ts k,w和
Figure FDA0003103029340000048
Ts k,w＝Ts k,r·Ts r,w
Figure FDA0003103029340000049
步骤2.2：假如此时单目视觉里程计的位姿变换矩阵
Figure FDA00031030293400000410
的尺度还未确定，则需要确定利用双目视觉里程计的位姿变换矩阵Ts k,w来确定单目视觉里程计中
Figure FDA00031030293400000411
的尺度因子scaler；假若双目相机的左边相机第一帧图像对应相机坐标系相对于机体坐标系的位姿变换矩阵为Ts w,UAV，单目相机第一帧图像对应相机坐标系相对于机体坐标系的位姿变换矩阵为
Figure FDA00031030293400000412
那么理论上满足：
Figure FDA00031030293400000413
其中：
Figure FDA00031030293400000414
取
Figure FDA00031030293400000415
中的平移分量
Figure FDA00031030293400000416
和Tcompose中的平移分量tcompose，通过最小化残差来计算尺度因子scaler，如下所示：
Figure FDA0003103029340000051
在获取了尺度信息scaler后，Ts k,w依据
Figure FDA0003103029340000052
变换为拥有确定尺度信息的单目视觉里程计的位姿变换矩阵，同时单目视觉里程计的局部地图也乘以对应的尺度scaler，得到真实的地图；
步骤2.3：在得到了基于直接法的视觉里程计和基于特征点法的视觉里程计的输出后，混合视觉里程计利用
Figure FDA0003103029340000053
来矫正Ts k,w，添加一个偏移位姿Toffset来矫正Ts k,w，矫正过程如下：
Ts k,w←Toffset·Ts k,w
其中Toffset的计算公式为：
Figure FDA0003103029340000054
步骤2.4：获取无人机的实时精确的位姿信息
Figure FDA0003103029340000055
并且假设第一帧图像对应的机体坐标系为世界坐标系，那么
Figure FDA0003103029340000056
的计算方法为：
Figure FDA0003103029340000057
其中：Ts k,UAV为双目相机当前帧相对于世界坐标系的位姿变换矩阵，Ts k,w为双目视觉里程计当前帧相对于第一帧的位姿变换矩阵，Ts w,UAV为双目相机第一帧图像对应相机坐标系相对于世界坐标系的位姿变换矩阵；
另外当双目视觉里程计未更新时，混合视觉里程计仅仅通过单目视觉里程计计算无人机位姿
Figure FDA0003103029340000058
并且这时候单目视觉里程计的尺度因子应该初始化完成，
Figure FDA0003103029340000059
其中
Figure FDA00031030293400000510
为单目相机当前帧相对于世界坐标系的位姿变换矩阵，
Figure FDA00031030293400000511
为单目视觉里程计当前帧相对于第一帧的位姿变换矩阵，
Figure FDA00031030293400000512
为单目相机第一帧图像对应相机坐标系相对于世界坐标系的位姿变换矩阵。
5.根据权利要求1所述的基于混合视觉里程计和多尺度地图的无人机SLAM方法，其特征在于，步骤4的具体过程如下：
步骤4.1：机载计算机将无人机的实时位姿以及采集的图像通过WIFI发送给地面站，然后地面站完成环境地图的构建；所述采集的图像为前视双目相机和俯视单目相机的图像，所述环境地图的构建为无人机前方和下方的环境地图；
步骤4.2：地面站在完成了全局环境地图的构建后，依据当前无人机的实时位姿信息和环境中障碍物信息，实时规划出一条无碰撞到达目的点的飞行路径，也就是生成一系列的中间航点；地面站再将这些中间航点位置信息通过WIFI发送给机载计算机，机载计算机再将这些中间航点以位置参考输入的方式通过串口发送给飞行控制系统中的飞行控制单元，控制无人机的位置。
CN201810489486.8A 2018-05-21 2018-05-21 基于混合视觉里程计和多尺度地图的无人机slam方法 Active CN109029417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810489486.8A CN109029417B (zh) 2018-05-21 2018-05-21 基于混合视觉里程计和多尺度地图的无人机slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810489486.8A CN109029417B (zh) 2018-05-21 2018-05-21 基于混合视觉里程计和多尺度地图的无人机slam方法

Publications (2)

Publication Number Publication Date
CN109029417A CN109029417A (zh) 2018-12-18
CN109029417B true CN109029417B (zh) 2021-08-10

Family

ID=64611847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810489486.8A Active CN109029417B (zh) 2018-05-21 2018-05-21 基于混合视觉里程计和多尺度地图的无人机slam方法

Country Status (1)

Country Link
CN (1) CN109029417B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10948297B2 (en) 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras
CN109443320A (zh) * 2019-01-10 2019-03-08 轻客小觅智能科技（北京）有限公司 基于直接法和线特征的双目视觉里程计及测量方法
CN111457923B (zh) * 2019-01-22 2022-08-12 北京京东乾石科技有限公司 路径规划方法、装置及存储介质
EP3909040A4 (en) 2019-03-08 2022-03-23 SZ DJI Technology Co., Ltd. TECHNIQUES FOR COLLABORATIVE MAP CONSTRUCTION BETWEEN UNMANNED AIR VEHICLE AND GROUND VEHICLE
CN109976379A (zh) * 2019-03-15 2019-07-05 上海工程技术大学 一种激光雷达和深度相机融合的自主导航及避障无人机
CN109976344B (zh) * 2019-03-30 2022-05-27 南京理工大学 巡检机器人姿态矫正方法
CN110163963B (zh) * 2019-04-12 2023-06-20 南京华捷艾米软件科技有限公司 一种基于slam的建图装置和建图方法
CN110191311A (zh) * 2019-04-15 2019-08-30 贵州电网有限责任公司 一种基于多无人机的实时视频拼接方法
CN111829489B (zh) * 2019-04-16 2022-05-13 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN110148167B (zh) * 2019-04-17 2021-06-04 维沃移动通信有限公司 一种距离测量方法及终端设备
CN110018691B (zh) * 2019-04-19 2022-04-15 天津大学 小型多旋翼无人机飞行状态估计系统和方法
CN110084851B (zh) * 2019-04-19 2020-12-04 湖北亿咖通科技有限公司 一种双目点云生成方法及系统
CN110216674B (zh) * 2019-06-20 2021-10-01 北京科技大学 一种冗余自由度机械臂视觉伺服避障系统
CN112129281B (zh) * 2019-06-25 2022-02-22 南京航空航天大学 一种基于局部邻域地图的高精度图像导航定位方法
CN112132745B (zh) * 2019-06-25 2022-01-04 南京航空航天大学 一种基于地理信息的多子地图拼接特征融合方法
CN110555801A (zh) * 2019-07-26 2019-12-10 纵目科技（上海）股份有限公司 一种航迹推演的校正方法、终端和存储介质
CN110442242B (zh) * 2019-08-13 2020-05-22 哈尔滨拓博科技有限公司 一种基于双目空间手势交互的智能镜系统及控制方法
CN110570449B (zh) * 2019-09-16 2021-03-16 电子科技大学 一种基于毫米波雷达与视觉slam的定位与建图方法
CN110738143B (zh) * 2019-09-27 2023-06-02 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110775288B (zh) * 2019-11-26 2021-05-25 哈尔滨工业大学（深圳） 一种基于仿生的飞行机械颈眼系统及控制方法
CN110989664A (zh) * 2019-11-29 2020-04-10 北京特种机械研究所 一种基于多目视觉的无人机夜间植保方法
CN113383283A (zh) * 2019-12-30 2021-09-10 深圳元戎启行科技有限公司 感知信息处理方法、装置、计算机设备和存储介质
CN111275764B (zh) * 2020-02-12 2023-05-16 南开大学 基于线段阴影的深度相机视觉里程测量方法
CN111462072B (zh) * 2020-03-30 2023-08-29 北京百度网讯科技有限公司 点云图质量检测方法、装置以及电子设备
CN111578947B (zh) * 2020-05-29 2023-12-22 国网浙江省电力有限公司台州市椒江区供电公司 具有深度恢复能力的无人机单目slam可扩展框架
CN111694012A (zh) * 2020-05-29 2020-09-22 北京航空航天大学合肥创新研究院 一种基于机载激光雷达的三维地形在线生成方法及系统
CN112102376B (zh) * 2020-08-04 2023-06-06 广东工业大学 混合稀疏icp的多视点云配准方法、装置及存储介质
CN112050814A (zh) * 2020-08-28 2020-12-08 国网智能科技股份有限公司 一种室内变电站无人机视觉导航系统及方法
CN112052788B (zh) * 2020-09-03 2024-04-02 深圳市道通智能航空技术股份有限公司 基于双目视觉的环境感知方法、装置及无人飞行器
CN112179357B (zh) * 2020-09-25 2022-04-01 中国人民解放军国防科技大学 基于单目相机的平面运动目标视觉导航方法及系统
CN112381935A (zh) * 2020-09-29 2021-02-19 西安应用光学研究所 一种合成视觉生成及多元融合装置
CN112598010B (zh) * 2020-11-26 2023-08-01 厦门大学 一种双目视觉的非结构化地形实时感知与重构方法
CN112614171B (zh) * 2020-11-26 2023-12-19 厦门大学 面向工程机械集群作业的空-地一体化动态环境感知系统
CN112859896B (zh) * 2021-01-14 2023-03-28 中国人民解放军陆军装甲兵学院 基于机器视觉多旋翼无人机悬停飞行与循迹规划方法
CN113218385B (zh) * 2021-05-24 2022-05-27 周口师范学院 基于slam的高精度车辆定位方法
CN113223007A (zh) * 2021-06-28 2021-08-06 浙江华睿科技股份有限公司 视觉里程计的实现方法、装置及电子设备
CN113436264B (zh) * 2021-08-25 2021-11-19 深圳市大道智创科技有限公司 基于单目多目混合定位的位姿计算方法及系统
CN113779012B (zh) * 2021-09-16 2023-03-07 中国电子科技集团公司第五十四研究所 一种用于无人机的单目视觉slam尺度恢复方法
CN113705734B (zh) * 2021-09-30 2022-12-09 中国电子科技集团公司第五十四研究所 一种基于多传感器和地心的遥感图像特征点高程获取方法
CN113920186B (zh) * 2021-10-13 2022-12-27 中国电子科技集团公司第五十四研究所 一种低空无人机多源融合定位方法
CN114494428B (zh) * 2021-12-23 2022-11-11 禾多科技（北京）有限公司 车辆位姿矫正方法、装置、电子设备和计算机可读介质
CN114459467A (zh) * 2021-12-30 2022-05-10 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252680B1 (ko) * 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106767785A (zh) * 2016-12-23 2017-05-31 成都通甲优博科技有限责任公司 一种双回路无人机的导航方法及装置
CN106803271A (zh) * 2016-12-23 2017-06-06 成都通甲优博科技有限责任公司 一种视觉导航无人机的摄像机标定方法及装置
CN107341814A (zh) * 2017-06-14 2017-11-10 宁波大学 基于稀疏直接法的四旋翼无人机单目视觉测程方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112014006911T5 (de) * 2014-08-29 2017-05-11 Technische Universität München Verfahren und System zum Scannen eines Objekts unter Verwendung eines RGB-D-Sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252680B1 (ko) * 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106767785A (zh) * 2016-12-23 2017-05-31 成都通甲优博科技有限责任公司 一种双回路无人机的导航方法及装置
CN106803271A (zh) * 2016-12-23 2017-06-06 成都通甲优博科技有限责任公司 一种视觉导航无人机的摄像机标定方法及装置
CN107341814A (zh) * 2017-06-14 2017-11-10 宁波大学 基于稀疏直接法的四旋翼无人机单目视觉测程方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-camera visual SLAM for autonomous navigation of micro aerial vehicles;Shaowu Yang .et al;《Robotics and Autonomous Systems》;20170412;第116-134页 *
SVO: fast semi-direct monocular visual;Foster .et al;《IEEE International Conference on Robotics and Automation (ICRA)》;20140607;第15-22页 *

Also Published As

Publication number Publication date
CN109029417A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109029417B (zh) 基于混合视觉里程计和多尺度地图的无人机slam方法
Hening et al. 3D LiDAR SLAM integration with GPS/INS for UAVs in urban GPS-degraded environments
Balamurugan et al. Survey on UAV navigation in GPS denied environments
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN109885080B (zh) 自主控制系统及自主控制方法
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158412B1 (en) Sensor fusion using inertial and image sensors
Schmid et al. Stereo vision based indoor/outdoor navigation for flying robots
Strydom et al. Visual odometry: autonomous uav navigation using optic flow and stereo
Shen et al. Optical flow sensor/INS/magnetometer integrated navigation system for MAV in GPS-denied environment
WO2016187759A1 (en) Sensor fusion using inertial and image sensors
WO2016187758A1 (en) Sensor fusion using inertial and image sensors
US10921825B2 (en) System and method for perceptive navigation of automated vehicles
Holz et al. Towards multimodal omnidirectional obstacle detection for autonomous unmanned aerial vehicles
CN108733064A (zh) 一种无人机的视觉定位避障系统及其方法
Cutler et al. Lightweight infrared sensing for relative navigation of quadrotors
RU195749U1 (ru) Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования
Andert et al. On the safe navigation problem for unmanned aircraft: Visual odometry and alignment optimizations for UAV positioning
US9476987B2 (en) Method estimating absolute orientation of a vehicle
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
Gao et al. Altitude information acquisition of uav based on monocular vision and mems
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图系统和方法
Ready et al. Inertially aided visual odometry for miniature air vehicles in gps-denied environments
Andert et al. A flight state estimator that combines stereo-vision, INS, and satellite pseudo-ranges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant