CN106767785B - 一种双回路无人机的导航方法及装置 - Google Patents

一种双回路无人机的导航方法及装置 Download PDF

Info

Publication number
CN106767785B
CN106767785B CN201611203387.6A CN201611203387A CN106767785B CN 106767785 B CN106767785 B CN 106767785B CN 201611203387 A CN201611203387 A CN 201611203387A CN 106767785 B CN106767785 B CN 106767785B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
looking
information
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611203387.6A
Other languages
English (en)
Other versions
CN106767785A (zh
Inventor
陈美文
吕传龙
周剑
罗元泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN201611203387.6A priority Critical patent/CN106767785B/zh
Publication of CN106767785A publication Critical patent/CN106767785A/zh
Application granted granted Critical
Publication of CN106767785B publication Critical patent/CN106767785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种双回路无人机的导航方法及装置，通过采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据环境图像进行SLAM构建，获取SLAM地图；采用设置在无人机下方的下视双目摄像机获取双目图像，根据双目图像确定无人机的姿态信息；将SLAM地图、姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。本发明所提供的方法及装置，实现了前视摄像机的SLAM构图与定位、下视摄像头的避障与无人机的姿态更新，提高了飞行的精度，丰富了视觉导航的功能，提升了避障能力以及系统的控制精度，丰富了避障导航无人机的实现方法。

Description

一种双回路无人机的导航方法及装置
技术领域
本发明涉及机器视觉技术领域，特别是涉及一种双回路无人机的导航方法及装置。
背景技术
传统的无人机使用前视摄像头进行障碍物检测和SLAM建图与定位，这种方式简单易行，但是建图精度差、容易受到外界环境的干扰，并且不能提供姿态的冗余信息，以进行无人机姿态的修正。
基于多目视觉导航的无人机是一种利用视觉导航的微型飞行机器人，具有飞行灵活、可悬停、视野广阔等诸多优点，有着良好的应用与研究价值。相比于单回路，使用多回路立体视觉摄像机可以减少单回路摄像机路径规划的约束问题，可以提取更多的图像特征，同时充分发挥信息冗余与融合的功能。因此，有必要提供一种双回路无人机的导航方法，作为机器视觉系统的解决方案的有益补充。
发明内容
本发明的目的是提供一种双回路无人机的导航方法及装置，以解决现有无人机建图精度差、不能提供姿态的冗余信息以进行修正的问题。
为解决上述技术问题，本发明提供一种双回路无人机的导航方法，包括：
采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据所述环境图像进行SLAM构建，获取SLAM地图；
采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息；
将所述SLAM地图、所述姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。
可选地，所述根据所述环境图像进行SLAM构建，获取SLAM地图包括：
采用视觉里程计、后端优化、建图和回环检测，获取SLAM地图。
可选地，所述采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息包括：
确定地面平面方程，所述地面平面为定位的基准平面；
通过所述双目图像对飞行器的姿态进行求解，确定无人机机体高度以及姿态角；
通过所述下视双目摄像机对特征点进行跟踪，确定无人机的偏航角。
可选地，所述将所述SLAM地图、所述姿态信息以及IMU姿态信息进行融合包括：
将前视摄像机得到的SLAM地图以及下视双目摄像机得到的姿态信息进行融合；
将融合后的姿态信息与IMU姿态进行融合，将融合后的姿态信息作为无人机最终的姿态信息。
可选地，所述将前视摄像机得到的SLAM地图以及下视双目摄像机得到的姿态信息进行融合包括：
采用卡尔曼滤波器融合SLAM地图以及下视双目摄像机的角度信息，作为融合后输出角度信息；
将SLAM地图和下视双目摄像机得到的位置信息进行加权平均，得到融合后输出位置信息。
本发明还提供了一种双回路无人机的导航装置，包括：
获取模块，用于采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据所述环境图像进行SLAM构建，获取SLAM地图；
确定模块，用于采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息；
融合模块，用于将所述SLAM地图、所述姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。
可选地，所述获取模块具体为：采用视觉里程计、后端优化、建图和回环检测，获取SLAM地图的模块。
可选地，所述确定模块包括：
第一确定单元，用于确定地面平面方程，所述地面平面为定位的基准平面；
第二确定单元，用于通过所述双目图像对飞行器的姿态进行求解，确定无人机机体高度以及姿态角；
第三确定单元，用于通过所述下视双目摄像机对特征点进行跟踪，确定无人机的偏航角。
可选地，所述融合模块包括：
第一融合单元，用于将前视摄像机得到的SLAM地图以及下视双目摄像机得到的姿态信息进行融合；
第二融合单元，用于将融合后的姿态信息与IMU姿态进行融合，将融合后的姿态信息作为无人机最终的姿态信息。
可选地，所述第一融合单元具体为：采用卡尔曼滤波器融合SLAM地图以及下视双目摄像机的角度信息，作为融合后输出角度信息；将SLAM地图和下视双目摄像机得到的位置信息进行加权平均，得到融合后输出位置信息。
本发明所提供的双回路无人机的导航方法及装置，通过采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据环境图像进行SLAM构建，获取SLAM地图；采用设置在无人机下方的下视双目摄像机获取双目图像，根据双目图像确定无人机的姿态信息；将SLAM地图、姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。本发明所提供的方法及装置，实现了前视摄像机的SLAM构图与定位、下视摄像头的避障与无人机的姿态更新，提高了飞行的精度，丰富了视觉导航的功能，提升了避障能力以及系统的控制精度，丰富了避障导航无人机的实现方法。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的双回路无人机的导航方法的一种具体实施方式的流程图；
图2为本发明实施例所提供的双回路无人机的结构示意图；
图3为本发明实施例所提供的双回路无人机的结构示意图；
图4为采用下视摄像机进行定位与姿态更新的流程图；
图5为将前视摄像机以及下视双目摄像机得到的姿态信息进行融合的流程图；
图6为本发明实施例提供的双回路无人机的导航装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的双回路无人机的导航方法的一种具体实施方式的流程图如图1所示，该方法包括：
步骤S101：采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据所述环境图像进行SLAM构建，获取SLAM地图；
采用前视摄像机获取到的环境图像进行SLAM构图与定位，作为无人机飞行的基本地图信息，是避障的主要信息来源。
步骤S102：采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息；
下视摄像机采集到的双目图像提供地图信息修正和飞行器姿态信息修正，为系统提供飞行姿态冗余和地图信息冗余。
步骤S103：将所述SLAM地图、所述姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。
本发明实施例所提供的双回路无人机的结构示意图如图2所示，其中，前视摄像机C1、C2安装在无人机的前方，下视摄像机C3、C4安装在无人机下方，M1、M2、M3和M4分别为无人机的四组旋翼电机，S1、S2为无人机落地保护支架，U1为十字形支架。通过上视摄像机与下视摄像机协作组合，进行无人机的地图构建、定位与避障。
本发明所提供的双回路无人机的导航方法，通过采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据环境图像进行SLAM构建，获取SLAM地图；采用设置在无人机下方的下视双目摄像机获取双目图像，根据双目图像确定无人机的姿态信息；将SLAM地图、姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。本发明所提供的方法，实现了前视摄像机的SLAM构图与定位、下视摄像头的避障与无人机的姿态更新，提高了飞行的精度，丰富了视觉导航的功能，提升了避障能力以及系统的控制精度，丰富了避障导航无人机的实现方法。
本发明所提供的双回路无人机的导航方法的另一种具体实施方式的流程图如图3所示，该方法包括：
步骤S201：采用视觉里程计、后端优化、建图和回环检测，获取SLAM地图；
前视摄像机得到传感器数据，经过视觉里程计、后端优化、建图和回环检测得到无人机周边环境的基本信息，作为导航的基本地图。需要指出的是，本步骤可以采用已知的方式进行SLAM构建，在此不详细进行阐述。
步骤S202：采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息；
下视摄像机采用双目摄像的方式进行图像采集，双目图像可以得到物体的深度信息，从而得到带有深度信息的3D点。得到带有深度信息的3D点之后，进行如下步骤，如图4步骤S202采用下视摄像机进行定位与姿态更新的流程图所示。
步骤S2021：确定地面平面方程，所述地面平面为定位的基准平面；
地面检测提供定位中需要的基准平面，步骤S2022及以后过程中需要的计算，均依靠本步骤得到平面方程的参数。
假设地面水平、3D点均位于同一几何平面上，利用如下改进的特征值法方法，进行地面检测与估计：
ax+by+cz+d＝0 (1)
其中，a、b和c为平面的单位法向量，即a2+b2+c2＝1，d为坐标原点至平面的距离，d≥0。
记任意点到平面的距离为
Figure BDA0001189508660000061
其中，{(xi,yi,zi),i＝1,2，,...3n,为}扫描平面得到的n个3D点，
Figure BDA0001189508660000063
记三个坐标轴方向上的偏差为
Figure BDA0001189508660000064
构造特征值方程为
Figure BDA0001189508660000065
求得当特征值λ最小时，确定平面方程a，b和c。
步骤S2022：通过所述双目图像对飞行器的姿态进行求解，确定无人机机体高度以及姿态角；
通过下视摄像机进行飞行器姿态求解，对于已知平面(1)可得
Figure BDA0001189508660000071
Figure BDA0001189508660000072
Figure BDA0001189508660000073
其中，h为飞行器相对于地平面的绝对高度，θ为飞行器飞行姿态中的俯仰角，φ为飞行器飞行姿态中的横滚角。
通过平面方程确定飞行器飞行的高度、俯仰角和横滚角，可以对通过IMU进行姿态计算的方程进行有效的修正。
步骤S2023：通过所述下视双目摄像机对特征点进行跟踪，确定无人机的偏航角。
假设地面平整且飞行器进行水平移动时，通过下视摄像机对特征点进行跟踪，从而求解水平方向上的变化与偏航角度。对目标的变换关系进行反向求解得到飞行器变化的的水平位移；利用已知的飞行器高度h、飞行器图像中的图像变换，求解偏航角ψ变化，从而得到完整的姿态的完整的六自由度约束。
步骤S203：将前视摄像机得到的SLAM地图以及下视双目摄像机得到的姿态信息进行融合；
具体地，如图5所示，步骤S203可以具体包括：
步骤S2031：采用卡尔曼滤波器融合SLAM地图以及下视双目摄像机的角度信息，作为融合后输出角度信息；
将下视摄像机与前视摄像机看成一个摄像机系统，摄像机系统的得到位置和角度由下视和前视摄像机分别得到的位置和角度融合得到。引入卡尔曼滤波器融合SLAM地图和下视双目相机的角度信息，作为角度信息预处理。卡尔曼滤波方程基本方程如下：
状态预测方程为：
Figure BDA0001189508660000081
测量修正方程：
Figure BDA0001189508660000082
状态变量取为SLAM地图和下视双目的角度信息，输出变量为融合融合输出角度。
步骤S2032：将SLAM地图和下视双目摄像机得到的位置信息进行加权平均，得到融合后输出位置信息。
将SLAM地图和下视双目相机得到的位置信息进行加权平均的方式，得到新的位置信息。
x＝αxSLAM+(1-α)xDownVision (9)
y＝αySLAM+(1-α)yDownVision (10)
z＝αzSLAM+(1-α)zDownVision (11)
其中，α为加权系数，代表了两个信息源的信任程度。xSLAM、ySLAM和zSLAM分别代表了SLAM信息提取的三轴坐标值，xDownVision、yDownVision和zDownVision分别代表了下视镜头提取的三轴坐标值。
步骤S204：将融合后的姿态信息与IMU姿态进行融合，将融合后的姿态信息作为无人机最终的姿态信息。
无人机定位与导航引入SLAM构图的姿态信息与IMU姿态信息结合的方式。为了增加系统的可靠性，在前视SLAM基础上，引入下视双目摄像机，从下视双目相机中同样得到无人机的姿态信息。将三者的姿态信息有机融合在一起，首先确定前视SLAM得到姿态与下视得到的姿态融合，然后将上述姿态与IMU姿态进行最终的融合，同时，将IMU得到的姿态信息对前视SLAM姿态信息进行修正。
通过将融合后得到的摄像机的位置信息和角度信息，与IMU系统得到姿态信息进行融合，通过引入卡尔曼滤波器，参考公式(7)(8)得到融合之后的六自由度的姿态信息。融合之后的信息作为无人机姿态信息，结合无人机飞控部分，从而实现系统的定位与导航。
本发明实施例采用前视双目SLAM构建方式得到六自由度姿态，结合下视双目摄像机进行摄像机定位测量与追踪得到六自由度姿态，将两者进行姿态融合。通过将相机系统融合后的姿态与IMU系统的姿态进行融合，增加了系统的姿态信息来源，提供了信息冗余，拓展了系统的导航精度。
下面对本发明实施例提供的双回路无人机的导航装置进行介绍，下文描述的双回路无人机的导航装置与上文描述的双回路无人机的导航方法可相互对应参照。
图6为本发明实施例提供的双回路无人机的导航装置的结构框图，参照图6双回路无人机的导航装置可以包括：
获取模块100，用于采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据所述环境图像进行SLAM构建，获取SLAM地图；
确定模块200，用于采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息；
融合模块300，用于将所述SLAM地图、所述姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。
作为一种具体实施方式，本发明实施例所提供的双回路无人机的导航装置中，获取模块可以具体为：采用视觉里程计、后端优化、建图和回环检测，获取SLAM地图的模块。
进一步地，确定模块可以具体包括：
第一确定单元，用于确定地面平面方程，所述地面平面为定位的基准平面；
第二确定单元，用于通过所述双目图像对飞行器的姿态进行求解，确定无人机机体高度以及姿态角；
第三确定单元，用于通过所述下视双目摄像机对特征点进行跟踪，确定无人机的偏航角。
在上述任一实施例的基础上，本发明实施例中融合模块可以具体包括：
第一融合单元，用于将前视摄像机得到的SLAM地图以及下视双目摄像机得到的姿态信息进行融合；
第二融合单元，用于将融合后的姿态信息与IMU姿态进行融合，将融合后的姿态信息作为无人机最终的姿态信息。
其中，第一融合单元可以具体为：采用卡尔曼滤波器融合SLAM地图以及下视双目摄像机的角度信息，作为融合后输出角度信息；将SLAM地图和下视双目摄像机得到的位置信息进行加权平均，得到融合后输出位置信息。
本实施例的双回路无人机的导航装置用于实现前述的双回路无人机的导航方法，因此双回路无人机的导航装置中的具体实施方式可见前文中的双回路无人机的导航方法的实施例部分，例如，获取模块100，确定模块200，融合模块300，分别用于实现上述双回路无人机的导航方法中步骤S101，S102和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
下面对本发明所提供的双回路无人机飞行姿态所需的参数调节的步骤进行进一步详细阐述。
1)进行悬停测试：设定飞行器原地起飞，在地面一米高的位置悬停一分钟，并自动原地降落，记录所有传感器数据；
2)离线分析静止参数：分析悬停过程中，SLAM、下视镜头和IMU的姿态数据，进行偏移数据修正。并重复悬停实验，直至满足控制精度。
3)进行旋转飞行测试：设定飞行器原地起飞，距离地面距离保持为一米。分为4次，设定以IMU参数为准，每次旋转90°，旋转时间间隔为2.5秒。记录所有数据。
4)离线分析旋转参数：离线分析只进行SLAM、只进行下视摄像和只进行IMU数据读取下，飞行器的旋转路径的异同。给定旋转修正参数，重复进行旋转飞行测试，直至三者路径基本一致，且满足精度要求。
5)进行方形绕行测试：设定飞行器原地起飞，距离地面距离保持为一米。设置飞行的路径为1*1米的正方形区域，在正方向拐角处只进行转向，直线路线上不设置转向。记录飞行器所有数据。
6)离线分析运动参数：离线分析只进行SLAM、只进行下视摄像和只进行IMU数据读取下，飞行器的飞行路径的异同。给定动态修正参数，重复进行方形绕行测试，直至三者路径基本一致，且满足精度要求。
综上，本发明实施例利用了前视相机构建SLAM地图，下视相机进行飞行检测，通过双回路的方法，结合IMU导航信息融合，提高了系统导航的精度和鲁棒性，提高了系统的冗余容错性能，拓宽了视觉导航无人机的实现方法，丰富了多目摄像机融合控制的手段。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的双回路无人机的导航方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种双回路无人机的导航方法，其特征在于，包括：
采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据所述环境图像进行SLAM构建，获取SLAM地图；
采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息；
将所述SLAM地图、所述姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。
2.如权利要求1所述的双回路无人机的导航方法，其特征在于，所述根据所述环境图像进行SLAM构建，获取SLAM地图包括：
采用视觉里程计、后端优化、建图和回环检测，获取SLAM地图。
3.如权利要求1所述的双回路无人机的导航方法，其特征在于，所述采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息包括：
确定地面平面方程，所述地面平面为定位的基准平面；
通过所述双目图像对无人机的姿态进行求解，确定无人机机体高度以及姿态角；
通过所述下视双目摄像机对特征点进行跟踪，确定无人机的偏航角。
4.如权利要求1至3任一项所述的双回路无人机的导航方法，其特征在于，所述将所述SLAM地图、所述姿态信息以及IMU姿态信息进行融合包括：
将前视摄像机得到的SLAM地图以及下视双目摄像机得到的姿态信息进行融合；
将融合后的姿态信息与IMU姿态进行融合，将融合后的姿态信息作为无人机最终的姿态信息。
5.如权利要求4所述的双回路无人机的导航方法，其特征在于，所述将前视摄像机得到的SLAM地图以及下视双目摄像机得到的姿态信息进行融合包括：
采用卡尔曼滤波器融合SLAM地图以及下视双目摄像机的角度信息，作为融合后输出角度信息；
将SLAM地图和下视双目摄像机得到的位置信息进行加权平均，得到融合后输出位置信息。
6.一种双回路无人机的导航装置，其特征在于，包括：
获取模块，用于采用设置在无人机前方的前视摄像机获取无人机周边环境图像，根据所述环境图像进行SLAM构建，获取SLAM地图；
确定模块，用于采用设置在无人机下方的下视双目摄像机获取双目图像，根据所述双目图像确定无人机的姿态信息；
融合模块，用于将所述SLAM地图、所述姿态信息以及IMU姿态信息进行融合，将融合后的姿态信息作为无人机最终的姿态信息，以进行定位与导航。
7.如权利要求6所述的双回路无人机的导航装置，其特征在于，所述获取模块具体为：采用视觉里程计、后端优化、建图和回环检测，获取SLAM地图的模块。
8.如权利要求6所述的双回路无人机的导航装置，其特征在于，所述确定模块包括：
第一确定单元，用于确定地面平面方程，所述地面平面为定位的基准平面；
第二确定单元，用于通过所述双目图像对无人机的姿态进行求解，确定无人机机体高度以及姿态角；
第三确定单元，用于通过所述下视双目摄像机对特征点进行跟踪，确定无人机的偏航角。
9.如权利要求6至8任一项所述的双回路无人机的导航装置，其特征在于，所述融合模块包括：
第一融合单元，用于将前视摄像机得到的SLAM地图以及下视双目摄像机得到的姿态信息进行融合；
第二融合单元，用于将融合后的姿态信息与IMU姿态进行融合，将融合后的姿态信息作为无人机最终的姿态信息。
10.如权利要求9所述的双回路无人机的导航装置，其特征在于，所述第一融合单元具体为：采用卡尔曼滤波器融合SLAM地图以及下视双目摄像机的角度信息，作为融合后输出角度信息；将SLAM地图和下视双目摄像机得到的位置信息进行加权平均，得到融合后输出位置信息。
CN201611203387.6A 2016-12-23 2016-12-23 一种双回路无人机的导航方法及装置 Active CN106767785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611203387.6A CN106767785B (zh) 2016-12-23 2016-12-23 一种双回路无人机的导航方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611203387.6A CN106767785B (zh) 2016-12-23 2016-12-23 一种双回路无人机的导航方法及装置

Publications (2)

Publication Number Publication Date
CN106767785A CN106767785A (zh) 2017-05-31
CN106767785B true CN106767785B (zh) 2020-04-07

Family

ID=58897562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611203387.6A Active CN106767785B (zh) 2016-12-23 2016-12-23 一种双回路无人机的导航方法及装置

Country Status (1)

Country Link
CN (1) CN106767785B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119189B (zh) * 2018-02-05 2022-06-03 浙江商汤科技开发有限公司 Slam系统的初始化、ar控制方法、装置和系统
CN109029417B (zh) * 2018-05-21 2021-08-10 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN108717712B (zh) * 2018-05-29 2021-09-03 东北大学 一种基于地平面假设的视觉惯导slam方法
CN108375370B (zh) * 2018-07-02 2019-03-01 江苏中科院智能科学技术应用研究院 一种面向智能巡防无人机的复合导航系统
CN109405821B (zh) * 2018-09-21 2020-01-03 北京三快在线科技有限公司 用于定位的方法、装置及目标设备
CN110163963B (zh) * 2019-04-12 2023-06-20 南京华捷艾米软件科技有限公司 一种基于slam的建图装置和建图方法
CN112347935B (zh) * 2020-11-07 2021-11-02 的卢技术有限公司 一种基于双目视觉slam的自动驾驶车辆定位方法及系统
CN112556702A (zh) * 2021-02-22 2021-03-26 智道网联科技(北京)有限公司 一种车辆移动轨迹的高度修正方法及相关装置
CN112967393B (zh) * 2021-03-16 2024-02-13 智道网联科技(北京)有限公司 车辆移动轨迹的修正方法、装置、电子设备及存储介质
CN113295156B (zh) * 2021-05-08 2024-05-03 西安达升科技股份有限公司 一种agv融合导航系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104062977A (zh) * 2014-06-17 2014-09-24 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
CN105004337A (zh) * 2015-08-19 2015-10-28 青岛科技大学 基于直线匹配的农用无人机自主导航方法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658070B2 (en) * 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104062977A (zh) * 2014-06-17 2014-09-24 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
CN105004337A (zh) * 2015-08-19 2015-10-28 青岛科技大学 基于直线匹配的农用无人机自主导航方法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置

Also Published As

Publication number Publication date
CN106767785A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106767785B (zh) 一种双回路无人机的导航方法及装置
CN106780699B (zh) 一种基于sins/gps和里程计辅助的视觉slam方法
CN109631887B (zh) 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
Weiss Vision based navigation for micro helicopters
EP3158412B1 (en) Sensor fusion using inertial and image sensors
Nützi et al. Fusion of IMU and vision for absolute scale estimation in monocular SLAM
CN109885080B (zh) 自主控制系统及自主控制方法
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
WO2018086133A1 (en) Methods and systems for selective sensor fusion
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
CN109991636A (zh) 基于gps、imu以及双目视觉的地图构建方法及系统
CN110274588A (zh) 基于无人机集群信息的双层嵌套因子图多源融合导航方法
Kelly et al. Combined visual and inertial navigation for an unmanned aerial vehicle
CN106017463A (zh) 一种基于定位传感装置的飞行器定位方法
CN107478223A (zh) 一种基于四元数和卡尔曼滤波的人体姿态解算方法
CN113406682B (zh) 一种定位方法、装置、电子设备及存储介质
CN106989744A (zh) 一种融合机载多传感器的旋翼无人机自主定位方法
EP3734394A1 (en) Sensor fusion using inertial and image sensors
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN108917753B (zh) 基于从运动恢复结构的飞行器位置确定方法
Tomažič et al. Fusion of visual odometry and inertial navigation system on a smartphone
CN110032201A (zh) 一种基于卡尔曼滤波的imu机载视觉姿态融合的方法
CN102506867A (zh) 基于Harris角点匹配的SINS/SMANS组合导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant