CN117268404B - 一种利用多传感器融合的无人机室内外自主导航方法 - Google Patents
一种利用多传感器融合的无人机室内外自主导航方法 Download PDFInfo
- Publication number
- CN117268404B CN117268404B CN202311566025.3A CN202311566025A CN117268404B CN 117268404 B CN117268404 B CN 117268404B CN 202311566025 A CN202311566025 A CN 202311566025A CN 117268404 B CN117268404 B CN 117268404B
- Authority
- CN
- China
- Prior art keywords
- feature
- target
- image
- feature points
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 230000000007 visual effect Effects 0.000 claims abstract description 46
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000005259 measurement Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 5
- 230000036544 posture Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种利用多传感器融合的无人机室内外自主导航方法，包括视觉预处理、视觉状态估计、IMU姿态校正、全局优化、模糊回环检测和地图构建；所述视觉预处理包括YOLOV5‑LITE目标检测层、区域特征提取层、特征分割层和距离检测层；本发明属于勘测与导航技术领域，具体是指一种利用多传感器融合的无人机室内外自主导航方法；本发明使用低成本传感器进行定位与建图；能够综合利用多种传感器的数据，提高定位与建图的精度和鲁棒性，适应多种环境，无论是在室内还是在室外都能很好的执行导航任务；本发明具有很好的实时性；分别利用UWB数据与GPS数据作为额外的观测变量辅助回环检测任务，可以加快回环速度，提高回环准确度。
Description
技术领域
本发明属于勘测与导航技术领域，具体是指一种利用多传感器融合的无人机室内外自主导航方法。
背景技术
IMU是惯性测量单元（Inertial Measurement Unit）的缩写，是一种用于测量物体加速度、角速度和磁场的装置；IMU通常由加速度计、陀螺仪和磁力计三种传感器组成，通过测量物体在三个方向上的加速度、角速度和磁场强度，可以计算出物体在三维空间中的姿态和运动状态；根据测量自由度的不同，IMU可以主要分为六自由度（6-DOF）和九自由度（9-DOF）IMU，六自由度（6-DOF）IMU：包含加速度计和陀螺仪两种传感器，可以测量物体在三个方向上的加速度和角速度，并通过运动积分算法计算物体的位置和速度，但无法精确测量物体的方向；九自由度（9-DOF）IMU：包含加速度计、陀螺仪和磁力计三种传感器，可以测量物体在三个方向上的加速度、角速度和磁场强度，从而能够精确测量物体的方向和位置；根据传感器类型的不同，IMU可以分为FOG IMU和MEMS IMU，FOG IMU：采用光纤陀螺仪（FOG）制造的传感器，具有精度高、稳定性好等优点，适用于一些对精度要求较高的应用场景，但体积大、功耗高、成本昂贵；MEMS IMU：采用微机电系统（MEMS）技术制造的传感器，具有体积小、功耗低、成本低等优点，但精度一般较低，适用于一些对精度要求不高的应用场景；虽然MEMS IMU存在零偏和高频噪声，但是IMU具有采集数据频率高、对快速运动敏感、可以估计绝对尺度信息、价格低廉、可以估计姿态信息等优点。
GPS（Global Positioning System）是一种卫星导航系统，可以提供全球范围内的位置和时间信息，GPS模块是一种基于GPS技术的设备，可以用来定位、跟踪和记录设备的位置信息；GPS模块只有在开阔的室外环境下使用，才能获得充足的卫星信号；在室内或密闭的环境中，GPS模块无法正常工作或提供不准确的位置信息；目前普通GPS定位模块的价格在几十到几百元不等。
纯视觉导航（Visual Navigation）是指只使用摄像头作为传感器进行导航，而不使用其它传感器（如GPS、IMU等）；但由于其对环境要求高，需要有足够的光照和纹理，才能提供可靠的视觉信息，当误遇到玻璃或者纹理特征较少的白墙时，会导致位置估计的误差增大，甚至无法工作；此外纯视觉导航对运动模糊敏感：在高速运动或快速旋转时，摄像头会出现运动模糊，从而影响位置估计的精度；再次，由于单目相机无法测量距离，不能恢复现实世界中的尺度信息；但是纯视觉导航不会产生漂移，不存在累计误差。
UWB（Ultra-Wideband）技术是一种无线通信技术，可以提供高速数据传输和精准定位等功能，UWB技术使用超宽带信号，具有带宽宽广、抗干扰性强、低功耗和高精度等优点，UWB技术可以应用于室内位置定位、车辆跟踪、安防监控等领域；在室内位置定位方面，UWB技术可以实现亚米级别的精度。
发明内容
（一）要解决的技术问题
本发明提供一种利用多传感器融合的无人机室内外自主导航方法，要解决以下问题：
（1）传统的鲁棒导航方案往往借助激光雷达或深度相机进行辅助定位，本发明使用低成本传感器进行定位、建图及导航任务；
（2）传统的导航方式要么是在室内、要么是在室外进行导航作业；本发明能够综合利用多种传感器的数据，提高定位与建图的精度和鲁棒性，适应多种环境，无论是在室内还是在室外都能很好的执行导航任务；
（3）传统的自主定位方法由于需要对图像特征进行提取，因此对硬件要求较高。
（二）技术方案
为了解决上述问题，本发明采用的技术方案为：一种利用多传感器融合的无人机室内外自主导航方法，包括视觉预处理、视觉状态估计、IMU姿态校正、全局优化、模糊回环检测和地图构建；所述视觉预处理包括YOLOV5-LITE目标检测层、区域特征提取层、特征分割层和距离检测层；
S1、YOLOV5-LITE目标检测层，设双目摄像头采集到的双目图像的宽度为W高度为H，使用YOLOV5-LITE进行目标检测，得到双目目标图像，以双目目标图像的左上角为原点，建立图像坐标系，以双目目标图像的左上角为原点，水平向右为X轴正方向、以竖直向下为Y轴正方向；
S2、使用区域特征提取层对双目目标图像进行ORB特征检测，ORB特征的关键点使用改进的Oriented FAST算法，它的描述符为BRIEF；首先对双目图像选取460个ORB特征点；最后根据特征点是否是在目标边框中进行分类，目标边框之外为环境特征点，目标边框之内为动态目标特征点；
S3、特征分割层对检测出来的特征点进行特征抑制，使用绿色表示环境特征点，使用红色表示动态目标特征点，动态目标特征点不参与多任务视觉里程计的特征匹配；动态目标特征点用于对目标物体的距离进行预测，从而解决导航中的避障问题；
S4、使用距离检测层对目标物体进行距离预测时，将双目图像进行特征抑制，对动态目标特征点进行特征匹配，利用双目测距原理对环境中的动态物体进行距离测量。
进一步地，所述视觉状态估计用于计算相邻两帧图像相机位姿的改变量并估计环境中的特征点三维坐标，由于前后两帧相机视角变化不大，所以两帧图像对观测到的相同的路标点产生相应的观测数据（也就是对应的特征点）：
S1、将前后两帧双目目标图像生成单目图像，全部选择左视图；
S2、进行特征筛选，将前后两帧单目图像的环境特征点筛选出来；
S3、使用快速近似最近邻（FLANN）算法对前后两帧单目图像进行特征匹配，从而找到相同的特征点在相邻两帧图像之间的投影像素的对应关系，这将用以估测相机位姿的变化；
S4、利用BA算法求解相机位姿，BA算法可以单独用于视觉里程计中估算两帧之间的相机位姿，也可以使用BA算法优化相机在全部运动过程中的位姿和地图，进而使得位姿轨迹和地图是全局一致的，BA算法可以很方便的表示成图结构，优化效果优于滤波方法；BA算法的核心是将重投影误差做最小化处理，在后端优化过程中构造目标函数时，需要考虑所有时刻相机的位姿和特征点的坐标。
进一步地，所述IMU姿态校正利用视觉状态估计中得到的相邻两帧图像之间的变换关系，进一步结合IMU解算信息利用卡尔曼滤波器进行微调，从而得到更加准确的帧间位姿估计。
作为优选地，所述全局优化对全局路径进行优化，由于在视觉状态估计中只估计相邻两帧的位姿和局部地图，累计误差会逐渐增大，所以全局优化将不同时刻的位姿和地图为输入信息，最后得到全局一致的位姿和地图；当沿着一定轨迹行驶时，相机在任意时刻的位姿xi可以用李代数ξi表示，路标点Pj的三维坐标用pj表示，观测数据zis,j代表像素平面坐标，那么由光束法平差算法定义的累计误差可以表示为：
上式中，h(ξi,pj)代表估计值；
由此可以定义在所有时刻的关于误差的目标函数：
实际当中考虑长时间内所有位姿和路标时，创建的目标函数有非常多的变量需要优化，对上述公式的求解需要利用了光束法平差算法创建的增量矩阵的稀疏性。
进一步地，所述模糊回环检测根据环境不同使用不同的传感数据进行回环检测；当惯导与视觉传感器处于室内时，利用图像特征点检测和UWB数据共同进行回环检测任务，在进行回环时，图像特征点的数量可以减少到30个特征点，同时满足UWB定位坐标与视觉状态估计得到的定位坐标的欧氏距离小于阈值T时，则认为回环成功；当惯导与视觉传感器处于室外时，利用图像特征点检测和GPS数据共同进行回环检测任务，在进行回环时，图像特征点的数量可以减少到30个特征点，同时满足GPS定位坐标与视觉状态估计得到的定位坐标的欧氏距离小于阈值K时，则认为回环成功。
作为优选地，所述地图构建根据估计的位姿和检测出来的路标点建立全局一致的点云地图。
（三）有益效果
本发明提供一种利用多传感器融合的无人机室内外自主导航方法，要解决以下问题：
（1）本发明使用低成本传感器进行定位与建图；
（2）本发明能够综合利用多种传感器的数据，提高定位与建图的精度和鲁棒性，适应多种环境，无论是在室内还是在室外都能很好的执行导航任务；
（3）本发明使用YOLOV5-LITE进行目标检测，进一步在进行视觉状态估计时只使用环境特征点，减少了匹配次数，提高了计算的实时性；
（4）本发明将惯导位姿解算结果用于视觉状态估计中，使相邻两帧之间的状态估计更加准确；
（5）本发明在模糊回环检测部分根据视觉惯性传感器所处的环境不同，分别利用UWB数据与GPS数据作为额外的观测变量辅助回环检测任务，因此，在进行视觉匹配使仅仅使用少量的图像特征点，加快了回环速度，提高的回环准确度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制；
图1为本发明提出的一种利用多传感器融合的无人机室内外自主导航方法的流程图；
图2为本发明提出的视觉预处理的示意图；
图3为本发明提出的视觉状态估计的处理流程图。
具体实施方式
下面将结合本方案实施例中的附图，对本方案实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本方案一部分实施例，而不是全部的实施例；基于本方案中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本方案保护的范围。
一种利用多传感器融合的无人机室内外自主导航方法，包括视觉预处理、视觉状态估计、IMU姿态校正、全局优化、模糊回环检测和地图构建；所述视觉预处理包括YOLOV5-LITE目标检测层、区域特征提取层、特征分割层和距离检测层；
S1、YOLOV5-LITE目标检测层，设双目摄像头采集到的双目图像的宽度为W高度为H，使用YOLOV5-LITE进行目标检测，得到双目目标图像，以双目目标图像的左上角为原点，建立图像坐标系，以双目目标图像的左上角为原点，水平向右为X轴正方向、以竖直向下为Y轴正方向；
S2、使用区域特征提取层对双目目标图像进行ORB特征检测，ORB特征的关键点使用改进的Oriented FAST算法，它的描述符为BRIEF；首先对双目图像选取460个ORB特征点；最后根据特征点是否是在目标边框中进行分类，目标边框之外为环境特征点，目标边框之内为动态目标特征点；
S3、特征分割层对检测出来的特征点进行特征抑制，使用绿色表示环境特征点，使用红色表示动态目标特征点，动态目标特征点不参与多任务视觉里程计的特征匹配；动态目标特征点用于对目标物体的距离进行预测，从而解决导航中的避障问题；
S4、使用距离检测层对目标物体进行距离预测时，将双目图像进行特征抑制，对动态目标特征点进行特征匹配，利用双目测距原理对环境中的动态物体进行距离测量。
进一步地，所述视觉状态估计用于计算相邻两帧图像相机位姿的改变量并估计环境中的特征点三维坐标，由于前后两帧相机视角变化不大，所以两帧图像对观测到的相同的路标点产生相应的观测数据（也就是对应的特征点）：
S1、将前后两帧双目目标图像生成单目图像，全部选择左视图；
S2、进行特征筛选，将前后两帧单目图像的环境特征点筛选出来；
S3、使用快速近似最近邻（FLANN）算法对前后两帧单目图像进行特征匹配，从而找到相同的特征点在相邻两帧图像之间的投影像素的对应关系，这将用以估测相机位姿的变化；
S4、利用BA算法求解相机位姿，BA算法可以单独用于视觉里程计中估算两帧之间的相机位姿，也可以使用BA算法优化相机在全部运动过程中的位姿和地图，进而使得位姿轨迹和地图是全局一致的，BA算法可以很方便的表示成图结构，优化效果优于滤波方法；BA算法的核心是将重投影误差做最小化处理，在后端优化过程中构造目标函数时，需要考虑所有时刻相机的位姿和特征点的坐标；BA算法的具体原理如下：
一对特征点相匹配后具有的误差，实际计算中需要考虑所有相匹配的特征点，设世界坐标系中存在任意路标点P（坐标为Pw），在相邻两帧的实际投影的像素坐标分别为pw1和pw2，qw是点P通过估计的相机位姿计算得出的投影点，实际的像素坐标pw2和预测的qw之间存在误差，BA算法就是通过这些误差信息计算相机位姿的，可知：
上式中，李代数exp(ξ∧)表示相机位姿，世界坐标系任意路标点P在世界坐标下的坐标为Pw，Pw在二维像素平面I2上的实际像素坐标为 pw2 =[uw2,vw2]T，路标点P距离相机的距离为Zw2；
由于误差的存在，使得测量值与预测值不严格相等，上述公式不能严格成立，误差ew为：
上式中，误差ew与相机的位姿exp(ξ∧)和路标点P的世界坐标的三维坐标Pw有关，对于所有的路标点，将它们的投影误差全部相加，得到累计误差：
上式中，pw1和pw2是同一空间点分别在I1和I2上的投影，这时候求解位姿的方法是给定一个位姿的初始值，那么pw1经过初始的位姿变换后将使Pw投影在I2上的qw，这样实际的像素坐标pw2与估计的像素坐标qw之间有一定差距，接下来就要调整相机位姿，使得这个差距减小。
进一步地，所述IMU姿态校正利用视觉状态估计中得到的相邻两帧图像之间的变换关系，进一步结合IMU解算信息利用卡尔曼滤波器进行微调，从而得到更加准确的帧间位姿估计。
作为优选地，所述全局优化对全局路径进行优化，由于在视觉状态估计中只估计相邻两帧的位姿和局部地图，累计误差会逐渐增大，所以全局优化将不同时刻的位姿和地图为输入信息，最后得到全局一致的位姿和地图；当沿着一定轨迹行驶时，相机在任意时刻的位姿xi可以用李代数ξi表示，路标点Pj的三维坐标用pj表示，观测数据zis,j代表像素平面坐标，那么由光束法平差算法定义的累计误差可以表示为：
上式中，h(ξi,pj)代表估计值；
由此可以定义在所有时刻的关于误差的目标函数：
实际当中考虑长时间内所有位姿和路标时，创建的目标函数有非常多的变量需要优化，对上述公式的求解需要利用了光束法平差算法创建的增量矩阵的稀疏性。
进一步地，所述模糊回环检测根据环境不同使用不同的传感数据进行回环检测；当惯导与视觉传感器处于室内时，利用图像特征点检测和UWB数据共同进行回环检测任务，在进行回环时，图像特征点的数量可以减少到30个特征点，同时满足UWB定位坐标与视觉状态估计得到的定位坐标的欧氏距离小于阈值T时，则认为回环成功；当惯导与视觉传感器处于室外时，利用图像特征点检测和GPS数据共同进行回环检测任务，在进行回环时，图像特征点的数量可以减少到30个特征点，同时满足GPS定位坐标与视觉状态估计得到的定位坐标的欧氏距离小于阈值K时，则认为回环成功。
作为优选地，所述地图构建根据估计的位姿和检测出来的路标点建立全局一致的点云地图。
实施例一：
S1、首先要确定需要使用视觉惯性融合的无人机室内外自主导航方法的场景和任务；
S2、然后需要根据实际情况选择合适的硬件平台和软件工具，例如选择合适的无人机和相应的传感器；
S3、进行视觉预处理，使用YOLOV5-LITE进行目标检测，得到双目目标图像，然后使用区域特征提取层对双目目标图像进行ORB特征检测，将特征点分类为环境特征点和动态目标特征点，最后使用距离检测层对动态目标特征点进行距离预测。
S4、进行视觉状态估计，通过特征点的筛选和匹配，使用BA算法求解相机位姿。
S5、进行IMU姿态校正，利用卡尔曼滤波器对相邻两帧位姿进行微调，得到更加准确的位姿估计。
S6、进行全局优化，对全局路径进行优化，得到全局一致的位姿和地图。
S7、进行模糊回环检测，根据环境不同使用不同的传感数据进行回环检测，如图像特征点检测和UWB数据或GPS数据共同进行回环检测。
S8、进行地图构建，根据估计的位姿和检测出来的路标点建立全局一致的点云地图，用于导航和避障。
S9、最后，根据需求进行导航和避障操作，利用建立的地图和姿态校正后的位姿估计进行路径规划和控制无人机行动。
以上便是本发明具体的工作流程，下次使用时重复此步骤即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (4)
1.一种利用多传感器融合的无人机室内外自主导航方法，包括视觉预处理、视觉状态估计、IMU姿态校正、全局优化、模糊回环检测和地图构建；所述视觉预处理包括YOLOV5-LITE目标检测层、区域特征提取层、特征分割层和距离检测层；
S1、YOLOV5-LITE目标检测层，设双目摄像头采集到的双目图像的宽度为W高度为H，使用YOLOV5-LITE进行目标检测，得到双目目标图像，以双目目标图像的左上角为原点，建立图像坐标系，以双目目标图像的左上角为原点，水平向右为X轴正方向、以竖直向下为Y轴正方向；
S2、使用区域特征提取层对双目目标图像进行ORB特征检测，ORB特征的关键点使用改进的OrientedFAST算法，它的描述符为BRIEF；首先对双目图像选取460个ORB特征点；最后根据特征点是否是在目标边框中进行分类，目标边框之外为环境特征点，目标边框之内为动态目标特征点；
S3、特征分割层对检测出来的特征点进行特征抑制，使用绿色表示环境特征点，使用红色表示动态目标特征点，动态目标特征点不参与多任务视觉里程计的特征匹配；动态目标特征点用于对目标物体的距离进行预测，从而解决导航中的避障问题；
S4、使用距离检测层对目标物体进行距离预测时，将双目图像进行特征抑制，对动态目标特征点进行特征匹配，利用双目测距原理对环境中的动态物体进行距离测量；所述模糊回环检测根据环境不同使用不同的传感数据进行回环检测；当惯导与视觉传感器处于室内时，利用图像特征点检测和UWB数据共同进行回环检测任务，在进行回环时，图像特征点的数量可以减少到30个特征点，同时满足UWB定位坐标与视觉状态估计得到的定位坐标的欧氏距离小于阈值T时，则认为回环成功；当惯导与视觉传感器处于室外时，利用图像特征点检测和GPS数据共同进行回环检测任务，在进行回环时，图像特征点的数量可以减少到30个特征点，同时满足GPS定位坐标与视觉状态估计得到的定位坐标的欧氏距离小于阈值K时，则认为回环成功。
2.根据权利要求1所述的一种利用多传感器融合的无人机室内外自主导航方法，其特征在于：所述视觉状态估计用于计算相邻两帧图像相机位姿的改变量并估计环境中的特征点三维坐标，由于前后两帧相机视角变化不大，所以两帧图像对观测到的相同的路标点产生相应的观测数据。
3.根据权利要求1所述的一种利用多传感器融合的无人机室内外自主导航方法，其特征在于：所述IMU姿态校正利用视觉状态估计中得到的相邻两帧图像之间的变换关系，进一步结合IMU解算信息利用卡尔曼滤波器进行微调，从而得到更加准确的帧间位姿估计。
4.根据权利要求1所述的一种利用多传感器融合的无人机室内外自主导航方法，其特征在于：所述全局优化对全局路径进行优化，由于在视觉状态估计中只估计相邻两帧的位姿和局部地图，累计误差会逐渐增大，所以全局优化将不同时刻的位姿和地图为输入信息，最后得到全局一致的位姿和地图；当沿着一定轨迹行驶时，相机在任意时刻的位姿xi可以用李代数ξi表示，路标点Pj的三维坐标用pj表示，观测数据zis,j代表像素平面坐标，那么由光束法平差算法定义的累计误差可以表示为：
，
上式中，h(ξi,pj)代表估计值；
由此可以定义在所有时刻的关于误差的目标函数：
，
考虑长时间内所有位姿和路标时，创建的目标函数有非常多的变量需要优化，对上述公式的求解需要利用了光束法平差算法创建的增量矩阵的稀疏性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311566025.3A CN117268404B (zh) | 2023-11-22 | 2023-11-22 | 一种利用多传感器融合的无人机室内外自主导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311566025.3A CN117268404B (zh) | 2023-11-22 | 2023-11-22 | 一种利用多传感器融合的无人机室内外自主导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117268404A CN117268404A (zh) | 2023-12-22 |
| CN117268404B true CN117268404B (zh) | 2024-02-06 |
Family
ID=89212877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311566025.3A Active CN117268404B (zh) | 2023-11-22 | 2023-11-22 | 一种利用多传感器融合的无人机室内外自主导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117268404B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112240768A (zh) * | 2020-09-10 | 2021-01-19 | 西安电子科技大学 | 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法 |
| CN115601437A (zh) * | 2021-07-27 | 2023-01-13 | 苏州星航综测科技有限公司（Cn） | 一种基于目标识别的动态会聚型双目立体视觉系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022036284A1 (en) * | 2020-08-13 | 2022-02-17 | Invensense, Inc. | Method and system for positioning using optical sensor and motion sensors |
-
2023
- 2023-11-22 CN CN202311566025.3A patent/CN117268404B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112240768A (zh) * | 2020-09-10 | 2021-01-19 | 西安电子科技大学 | 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法 |
| CN115601437A (zh) * | 2021-07-27 | 2023-01-13 | 苏州星航综测科技有限公司（Cn） | 一种基于目标识别的动态会聚型双目立体视觉系统 |
Non-Patent Citations (3)
| Title |
|---|
| Research on ORB-SLAM2 Based on Dynamic Scenarios;Dongyang Zhang;2022 2nd International Conference on Algorithms, High Performance Computing and Artificial Intelligence (AHPCAI);正文第466-469页 * |
| 基于目标检测的室内动态场景SLAM;佟云昊;应用技术;第50卷(第3期);正文第50-55页 * |
| 面向动态物体场景的视觉SLAM综述;高兴波;机器人;第43卷(第6期);正文第733-746页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117268404A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110243358B (zh) | 多源融合的无人车室内外定位方法及系统 | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN108375370B (zh) | 一种面向智能巡防无人机的复合导航系统 | |
| CN110044354A (zh) | 一种双目视觉室内定位与建图方法及装置 | |
| Kümmerle et al. | Large scale graph-based SLAM using aerial images as prior information | |
| Kanade et al. | Real-time and 3D vision for autonomous small and micro air vehicles | |
| CN107909614B (zh) | 一种gps失效环境下巡检机器人定位方法 | |
| CN113781582B (zh) | 基于激光雷达和惯导联合标定的同步定位与地图创建方法 | |
| CN108406731A (zh) | 一种基于深度视觉的定位装置、方法及机器人 | |
| CN109282808B (zh) | 用于桥梁三维巡航检测的无人机与多传感器融合定位方法 | |
| JP2009294214A (ja) | 地形構造を用いたナビゲーション方法及びシステム | |
| CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
| CN112987065B (zh) | 一种融合多传感器的手持式slam装置及其控制方法 | |
| CN111288989B (zh) | 一种小型无人机视觉定位方法 | |
| CN108981687A (zh) | 一种视觉与惯性融合的室内定位方法 | |
| CN111025366B (zh) | 基于ins及gnss的网格slam的导航系统及方法 | |
| CN208323361U (zh) | 一种基于深度视觉的定位装置及机器人 | |
| CN110865650A (zh) | 基于主动视觉的无人机位姿自适应估计方法 | |
| CN115371665B (zh) | 一种基于深度相机和惯性融合的移动机器人定位方法 | |
| CN114019552A (zh) | 一种基于贝叶斯多传感器误差约束的定位置信度优化方法 | |
| CN115183762A (zh) | 一种机场仓库内外建图方法、系统、电子设备及介质 | |
| Singh et al. | Ubiquitous hybrid tracking techniques for augmented reality applications | |
| Khoshelham et al. | Vehicle positioning in the absence of GNSS signals: Potential of visual-inertial odometry | |
| CN112762929B (zh) | 一种智能导航方法、装置和设备 | |
| CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |