CN115615436A - 一种多机重定位的无人机定位方法 - Google Patents
一种多机重定位的无人机定位方法 Download PDFInfo
- Publication number
- CN115615436A CN115615436A CN202211132623.5A CN202211132623A CN115615436A CN 115615436 A CN115615436 A CN 115615436A CN 202211132623 A CN202211132623 A CN 202211132623A CN 115615436 A CN115615436 A CN 115615436A
- Authority
- CN
- China
- Prior art keywords
- map
- unmanned aerial
- aerial vehicle
- local
- local map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及无人机技术领域,揭露一种多机重定位的无人机定位方法。所述多机重定位的无人机定位方法包括以下步骤:采用系统与无人机进行无线连接;利用无人机获取的图像,构建起始局部地图;对起始局部地图进行闭环检测,获得准确局部地图;对无人机跟踪丢失进行重定位,并进行闭环检测获得准确局部地图/融合局部地图;将融合局部地图及未融合的准确局部地图构建成为3D局部地图并进行分组,获得高度分类组;根据高度分类组对进行融合,得到全局地图;根据全局地图,获得无人机当前定位位置;本发明可以解决常规SLAM系统中协同效率低和数据共享效率低的问题。
Description
技术领域
本发明涉及无人机技术领域,尤其涉及一种多机重定位的无人机定位。
背景技术
近年来,重定位问题已成为无人机领域备受关注的热点问题。近些年来,人工智能技术发展迅速。从扫地机器人走进千家万户,到使用无人机航拍视频记录人们的旅游生活,机器人技术的发展日新月异,与人们的日常生活密不可分。与机器人硬件系统发展相同步,应用于机器人上的算法也日益丰富,使得机器人技术朝着自主智能方向发展。随着无人机技术的普遍,目前,在越来越多的场景中,比如灾难勘测、桥梁检测等领域,单无人机己经无法满足应用的需求。
因此,多无人机协同成为行业的热点问题。多无人机协同能扩大完成任务的范围,成倍地减少同时定位和构图任务完成的时间。因此无人机之间如何有效地共享数据是多无人机协同SLAM研究领域一个新的研究热点,目前现有的SLAM框架能够完成无人机的地图构建和定位,但是却存在一定的不准确性。
发明内容
本发明提供一种多机重定位的无人机定位方法,以解决至少一个上述技术问题。
一种多机重定位的无人机定位方法,包括以下步骤:
服务器采用面向数据共享的多无人机协同框架与多台无人机进行无线连接;
步骤S1::服务器采用面向数据共享的多无人机协同框架与多台无人机进行无线连接;
步骤S2:无人机利用视觉里程计对摄像机采集的图像进行ORB特征提取,获得ORB特征点;利用视觉里程计跟踪获取周边环境的初始关键帧,持续在初始关键帧上插入跟踪获取的后续关键帧以形成连续关键帧,并持续利用ORB特征点于连续关键帧上创建地图点以构建起始局部地图;
步骤S3:服务器根据无人机利用摄像机采集的图像对起始局部地图进行闭环检测,得到准确局部地图;
步骤S4:服务器采用两端式重定位法将无人机跟踪丢失的起始局部地图构建成准确局部地图/将无人机跟踪丢失的起始局部地图与对应的准确局部地图进行融合并进行闭环检测获得融合局部地图;对半融合地图进行闭环检测获得融合局部地图;
步骤S5:服务器将多个无人机获得的未融合的准确局部地图和融合局部地图构建成为对应的多个3D局部地图,根据高度参数将多个3D局部地图进行分组,得到高度分类组;
步骤S6:服务器采用层次聚类的全局地图构建机制将多个高度分类组中的3D局部地图进行融合以获得全局地图;
步骤S7:服务器接受无人机发送的定位请求,其中定位请求包含当前位置关键帧,根据无人机发送的当前位置关键帧与全局地图进行比对,返回无人机所在全局地图中的定位信息,同时返回基于无人机所在位置的3D局部地图所在全局地图中的定位信息,以及无人机所在该3D局部地图中的定位信息,将三者进行重合比较;如果三者之间偏差在范围T内,则确定三者之一为无人机的精确重定位位置信息,根据该精确重定位位置信息定位该无人机。
本实施例通过一种数据共享的多无人机协同框架,可以利用多台无人机同时工作,大量减少了地图构建的时间,其中ORB特征提取可以代替关键帧的工作,优化了关键帧对比时,对比量大的问题,通过特征点可以更快速的对比出所需数据在哪里的问题,利用特征点建立的起始局部地图通过闭环检测可以消除累计漂移误差,并通过两步重定位法保证了无人机可以不依赖与后台的情况下,具有一定自主性的进行同时定位与地图构建,从而应对全局地图构架和定位问题。将地图转换为3D地图,主要目的是在大楼等有多层结构的地方工作,无人机可以根据3D地图的高度分类,从而减少后期地图融合时候的工作了,加速地图融合。采用多种定位方式重合定位,保证了无人机定位的准确性。
在本说明书的一个实施例中,所述步骤S2中利用视觉里程计对摄像机采集的图像进行ORB特征提取的步骤包括以下步骤:
于摄像机采集的图像中提取像素点a,假定其亮度为Ia,设置一个阈值T,以像素点a为圆心,选取半径为3上的圆上的16个像素点b,当该16个像素点b中有9个连续的像素点的亮度同时大于Ia+T或者同时小于Ia-T,则确定该像素点a为ORB特征点;
采用灰度质心算法计算出ORB特征点的主方向;
基于ORB特征点的主方向对ORB特征点周围图像区域进行描述,计算得到具有旋转不变性的描述子。
本实施例中ORB特征点不只是比较像素点亮度的差异,并且具有固定数量的特征从而提升了特征点的稳定性和精确性,它是一种二进制编码的描述子,与利用区域灰度直方图描述特征点的方法不同,加快了特征点描述建立的速度,降低了特征匹配的时间,同时通过构建图像金字塔解决了尺度不变性和旋转不变性。
在本说明书的一个实施例中,所述步骤S3/S4进行闭环检测,得到准确据地图/融合局部地图的步骤包括以下步骤:
服务器使用ORB特征点和描述子的结合来代替摄像机获取的图像作为目标特征进行搜索,检测无人机是否曾经到达过无人机当前地点;
当服务器检测到无人机曾到达过无人机当前地点,利用无人机的摄像机采集的当前关键帧和与历史预存的关键帧之间的约束关系,修正当前构建的起始局部地图/半融合地图,得到准确局部地图/融合局部地图。
本实施例中采用ROB特征点代替图像,当需要进行匹配的时候,点与点的匹配和图像与图像之间的匹配相比,大量减少了对比时服务器的工作量,通过闭环检测可以查看出无人机是否到达过该点,通过新一次到达该点的信息和历史信息进行比较和优化,能消除无人机移动过快等问题产生的累计漂移误差。
在本说明书的一个实施例中,所述步骤S4包括以下步骤:
当视觉里程计失效时,服务器接收无人机发送的起始局部地图,并且将起始局部地图储存在失效地图模块中,以形成备用地图,所述失效地图模块是服务器上搭建的储存无人机丢失的地图的模块;
利用无人机端重定位法对无人机进行重定位,并进行闭环检测得到准确局部地图;
如果无人机端重定位法重定位失败则利用服务器端第二步重定位法进行辅助重定位,获得与备用地图对应的准确局部地图;
将备用地图与其对应的准确局部地图进行融合并进行闭环检测,获得融合局部地图。
本发明实施例中两端式重定位法可以支持无人机利用曾经到达过的地点或者其他无人机的数据尽快恢复工作,提高数据的利用率,当无人机发生异常情况导致无人机更正丢失时无人机在构建地图时非常常见且不可避免的,而两端式重定位法可以解决无人机跟踪丢失时重新对齐进行找回的问题,其中利用无人机端在无人机丢失的第二范围进行重定位尝试获取无人机自身位姿信息,无法做到时就会通过服务器端进行无人机所在位置的第二范围进行重定位,其中第一范围小于第二范围;第二范围中,存在多个其他无人机构建的准确局部地图,可以将这些准确局部地图发送给无人机,使其能够在这些准确局部地图上查找到匹配当前位置的点;将两种重定位方式相结合的方法,能更加有效的完成重定位任务又有效提高了重定位时的准确性和实时性,同时利用服务器的计算资源提高重定位的效率。
在本说明书的一个实施例中,所述步骤S4中的无人机端重定位包括以下步骤:
当视觉里程计失效时,服务器接收由无人机发送给服务器的词袋向量,词袋向量是由无人机通过摄像机采集的图像进行向量化获得;
服务器接收并响应无人机的查询请求,发送该无人机构建的备用地图给该无人机,利用该备用地图与当前关键帧进行匹配和筛选,获得备用地图中与当前关键帧相似度高于预设阈值的关键帧;
对该相似度高于预设阈值的关键帧进行迭代处理,得到最优关键帧涵盖上面步骤的所有技术特征基于最优关键帧的多个ORB特征点支持,以获取相机位姿,从该相机位姿判断获得无人机的当前位置信息,找到有预设数目的ORB特征点支持的相机位姿,则重定位成功,获得重定位信息;
利用重定位信息对备用地图进行闭环检测获得准确局部地图。
本发明实施例中将无人机通过摄像机采集的图片转换成词袋向量,其过程为图像特征的描述有树的结点向叶节点搜索,每次选择汉明距离最小的节点;其解决了当需要快速的图像特征匹配,如需要实时判断当前图像帧是否在之前的图像数据库中出现,在执行特征匹配时比较耗时的问题;其采用一种将图像转换成系数分层向量的技术手段,可以做到操作数据量较大的图像集合,使图像处理更加简单快捷,对比时减少大量对比时间。
在本说明书的一个实施例中,所述服务器端重定位法的步骤包括以下步骤:
将无人机的当前关键帧的多个相邻关键帧进行分组得到候选关键帧组,候选关键帧组包括多个候选关键帧;
服务器在每个候选关键帧相邻对应的准确局部地图中进行搜索,以获取与当前关键帧匹配度高于第一阈值的多个关键帧,将该多个关键帧所在的准确局部地图分组,获得相近准确局部地图组;
将相近局部地图组中的准确局部地图发送给无人机,使其重新进行无人机端重定位,得到与备用地图对应的准确局部地图。
本发明实施例中服务器端重定位法利用无人机当前的关键帧相邻的关键帧所对应的局部地图进行搜索,加大了搜索量,在服务器中建立重定位数据,利用空间节约时间;服务器端重定位法考虑了时空局限性的问题,不同于以往的只考虑不同时间插入关键帧的限制,其害兼顾了在不同时间插入但是在空间上距离更近的关键帧;又考虑了连续性的问题,由于无人机和服务器之间存在通信延迟,所有不能只依据后台接受的帧进行收缩并返回结果,将无人机当前的关键帧相邻的关键帧所对应局部地图进行发送给无人机,可以一定程度解决无人机于服务器之间通信延迟以及位置过快导致的位置偏移问题;无人机端重定位法其优点在于保证了后台发送给无人机的相近准确局部地图具有时效性,通过和无人机端重定位法的结合可以保持相邻准确局部地图的稳定性。
在本说明书的一个实施例中,所述步骤S5包括以下步骤:
采用三角法获得摄像机采集的图像的深度,根据图像的深度将多个为融合的准确局部地图和融合局部地图构建为3D局部地图;
将无人机起飞前高度设置为起始海拔高度,无人机与起始海拔高度的距离设置为起始高度参数H1,将无人机所在3D局部地图中与该3D局部地图中的地面之间距离设置为当前高度参数H2;
通过起始高度参数H1和当前高度参数H2两者相减,得到3D局部地图的地面与起始海拔高度的地图高度参数H3,将地图高度参数H3在预设误差范围内的个3D局部地图分类到同一个分组,获得高度分类组并储存于服务器中。
本发明实施例中利用高度进行分组其中高度信息获取难度低,无需增加服务器的负担,也可以更快速的获取;在当前高度参数H2在误差范围内时,将起始高度参数H1在预设误差的多个3D局部地图分类到同一个分组,获得高度分类组并储存于服务器中,能有将构建的3D局部地图分组,从而在后续的地图融合阶段,减少地图融合时服务器的负载,缩短了地图融合的时间,从而能更快的让无人机获得自身的定位信息。
在本说明书的一个实施例中,步骤S6包括以下步骤:
将3D局部地图作为候选局部地图,放入全局地图构建与定位机制中的全局重叠检测模块;
利用地图重叠检测模块,按照固定频率检测多个候选局部地图之间的相同关键帧的累计数量,按照累计数量最多的3D局部地图先进行融合,其中按照高度分类组组的分组,对同一组中的3D局部地图优先检测;
利用全局地图构建与定位机制中的全局地图融合模块以固定频率获取地图重叠检测模块的检测结果,选择检测结果中匹配关键帧最多的3D局部地图作为目标局部地图;
在多个关键帧中,选出相似性最大的两个关键帧,提取该两个关键帧上相同的多个ORB特征点,以该多个ORB特征点作为目标局部地图连接点以连接两个目标局部地图;
依次将两个目标局部地图包含的关键帧和地图点转换到相同的坐标系中进行融合;
不断重复至融合所有目标局部地图,从而生成全局地图。
本发明实施例中层次聚类的算法们可以动态自适应地选择最有利于数据融合的地图融合顺序进行融合,融合过程中考虑了地图融合的顺序,提高数据共享的效率,可以共享重叠部分数据,提高了构建地图的准确率,同时,当融合的地图规模较小,可以更快速地返回优化信息,为无人机定位提供指导。
在本说明书的一个实施例中,所述层次聚类的步骤包括以下步骤:
对全局地图融合模块进行初始化,利用全局地图融合模块将多个无人机分别构建的3D局部地图放入地图集合;
利用服务器中的局部地图融合模块将每个3D局部地图定义为独立地图类别,将包含至少一个能够相互匹配上的关键帧的两个3D局部地图分为一类;
将每一类的3D局部地图中相同关键帧最多的两个3D局部地图、做标记为标记地图组,将每一类3D局部地图中的多个标记地图组的分别进行融合,依次将所有类别的3D局部地图进行融合。
本发明实施例中对地图融合的顺序进行描述,层次聚类的融合方式,将每种拥有相同特征的3D局部地图分类,通过分类之后的地图,融合起来会更加快捷,节省了大量时间,提高数据共享的效率。
在本说明书的一个实施例中,获取无人机的精确重定位位置的步骤包括以下步骤:
根据无人机当前关键帧与服务器中的全局地图对比,得到无人机所在全局地图中的全局定位;
根据无人机当前关键帧与无人机所在3D局部地图对比,得到无人机3D局部地图内的局部定位;
获取无人机当前所在3D局部地图在全局地图中的地图定位;
将全局定位、局部定位和地图定位进行重合比较,当误差范围小于T时,选取该定位为无人机的精准重定位位置。
本发明实施例中无人机的重定位分为了三个模块的定位,其中主要的是无人机在全局地图的定位,通过多重定位,保证了定位数据的准确性。
本发明实施通过对多台无人机协同地图构建以取得无人机重定位,集中式框架的好处总结为以下几点:高处理效率,可以利用服务器的丰富计算资源进行复杂耗时数据处理;高可靠性,可以配置大量储存资源使得整体系统具有高度容错机制;高可拓展性,可以处理大量快速增长的无人机数目;利用局部地图分组的方法进行融合,可以更加快速的融合地图;使用多种定位方式重合比较的定位方法,可以得到准确度更高的无人机定位。
附图说明
图1为本发明一实施例提供的多机重定位的无人机定位方法的步骤流程图;
图2为本发明一实施例提供的地图融合的步骤流程图;
图3为本发明一实施例提供的基于层次聚类的地图构建模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用与限定本发明。
本发明实施例提供了一种多机重定位的无人机定位方法,所述一种多机重定位的无人机定位方法的执行主体包括但不限于服务器、摄像机等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之,所述一种多机重定位的无人机定位方法可以由安装在终端设备或服务器设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务器包括但不限于:单台服务器、云端服务器等。所述摄像机可以是:单目摄像机、双目摄像机、三目摄像机。
参阅图1所示,本发明一实施例提供了一种多机重定位的无人机定位方法的步骤流程图。其中,图1中描述的一种多机重定位的无人机定位方法包括以下步骤:
步骤S1:服务器采用面向数据共享的多无人机协同框架与多台无人机进行无线连接。
本发明实施例中,所述框架是指类SLAM框架的协同框架,其原理是通过检测无人机当前所在位置的局部地图具体情况,调用重定位机制和地图构建机制;增强了现在的SLAM系统的鲁棒性和协同能力;其是由多台无人机和一个服务器组成,其中无人机是指搭载了可以运行软件程序的微型计算机以及用于采集图像的摄像机的可飞行移动设备,服务器是指具有对外提供服务和运算计算密集形的应用的计算设备;
步骤S2:无人机利用视觉里程计对摄像机采集的图像进行ORB特征提取,获得ORB特征点;利用视觉里程计跟踪获取周边环境的初始关键帧,持续在初始关键帧上插入跟踪获取的后续关键帧以形成连续关键帧,并持续利用ORB特征点于连续关键帧上创建地图点以构建起始局部地图。
本发明实施例中视觉里程计是一种通过分析相关图像序列来确定无人机位置和朝向的方法,增强了导航精度;其主要算法包括有图像获取、图像校正、特征检测、检查误差、估计摄像机的运动、周期性重定位跟踪点;通过其对摄像机采集图像进行ORB特征提取,可以获得ORB特征点和描述子;其中ORB特征点是一张图像的角点,其特点在于,以该点为圆心,其距离为三的16个像素点围成的圆中,有9个以上的像素点的亮度都高于T值,或同时低于T值;通过不断的在初始关键帧上插入关键帧,形成一条关键帧序列,利用关键帧序列里的ORB特征点,随机选择出其中特征点作为地图点,此时将这条关键帧序列即为构建的起始局部地图。
步骤S3:服务器根据无人机利用摄像机采集的图像对起始局部地图进行闭环检测,得到准确局部地图。
本发明实施例中,所述闭环检测为在组成起始局部地图的关键帧序列中,选取最早进来的一个关键帧,当作当前检测闭环关键帧,如果当前关键帧和检测闭环关键帧的距离小于10则不会进行闭环检测,在所有关键帧中找出闭环候选关键帧,所有关键帧是指与当前回环关键帧不相连的关键帧。遍历刚刚得到的候选关键帧,将自己以及与候选关键帧自己相连的关键帧构成一个“子候选组”,每个候选帧都构成一个子候选组;用它们之间的约束关系,对当前无人机所对应的局部地图进行修正,从而得到准确局部地图。
步骤S4:服务器采用两端式重定位法将无人机跟踪丢失的起始局部地图构建成准确局部地图/将无人机跟踪丢失的起始局部地图与对应的准确局部地图进行融合并进行闭环检测获得融合局部地图;对半融合地图进行闭环检测获得融合局部地图。
本发明实施例中,所述两端式重定位法是指针对无人机异常情况(比如无人机高速运动或者无人机的摄像头视野被遮挡),无人机经常跟踪失败问题的解决方法,目的是帮助无人机尽快恢复工作,包括无人机端定位法和服务器端重定位法;其中通过无人机端重定位法,其若是一次成功,既可以获取到当前位置对应的起始局部地图,从而利用地图之间的约束关系,找到自身所在的具体位置,同时又可以反向补充完整当前起始局部地图,并对其进行闭环检测,修正误差构建成为准确局部地图为后续地图融合做准备;而当无人机端一次定位失败就需要服务器端进行辅助,服务器端会根据当前的关键帧信息周围的关键帧对应的准确局部地图对无人机定位做帮助,查看其他无人机是否有有到达过这个地点,从而利用无人机与其周围关键则的连续性,将当前无人机所在的起始局部地图与匹配的准确局部地图进行连接融合,形成半融合局部地图,再对半融合地图进行闭环检测,修正误差构建成融合局部地图为后续地图融合做准备。
步骤S5:服务器将多个无人机获得的未融合的准确局部地图和融合局部地图构建成为对应的多个3D局部地图,根据高度参数将多个3D局部地图进行分组,得到高度分类组。
本方法实施例中,所述3D局部地图主要是无人机在室内,大楼等环境下工作时所构建的地图,采用三角法则对无人机构建的二维地图进行高度计算,通过建立坐标系的方法,将二维地图构建成为3D地图,再根据高度参数进行分组。例如多无人机在高楼中工作,将无人机起飞之前的高度标记为初始高度,通过高度测量装置可以计算出当前高度即无人机与初始高度的海拔距离,同时通过高度测量装置,获得无人机在当前自身所在的3D局部地图里与3D局部地图地面的海拔高度H2,当H1在误差范围T1之内且H2也在误差范围T2(误差范围T2可以根据大楼的高度,进行修改,当大楼每一层的层高较大,就可以将T2放大,反之缩小)内时,就把无人机当前自身所在的3D局部地图放到同一个高度分类组中。
在本法发明实施例中,将3D局部地图分类的目的主要是为了无人机在有多楼层的高楼工作时,可以使获取到的3D局部地图在后续的融合时更快速的融合,减小服务器负荷以及缩短地图融合所花的时间。
步骤S6::服务器采用层次聚类的全局地图构建机制将多个高度分类组中的3D局部地图进行融合以获得全局地图。
本发明实施例通过一种层次聚类的全局地图构建机制,将多个3D局部地图进行融合,其中多无人机之间的地图构建并不仅仅是为了完成构图任务,其主要目的是为无人机提供更多精确的信息来进行定位。
本发明的一个实施例在,参阅图2所示,所述采用层次聚类的全局地图构建机制,将多个高度分类组中的3D局部地图进行融合以获得全局地图的具体步骤,包括以下步骤:
步骤S61、将3D局部地图作为候选局部地图,放入全局地图构建与定位机制中的全局重叠检测模块;
步骤S62、利用地图重叠检测模块,按照固定频率检测多个候选局部地图之间的相同关键帧的累计数量,将累计数量最多的3D局部地图先进行融合,其中按照高度分类组组的分组,对同一组中的3D局部地图优先检测;
步骤S63、利用全局地图构建机制中的全局地图融合模块以固定频率获取地图重叠检测模块的检测结果,选择检测结果中匹配关键帧最多的3D局部地图作为目标局部地图;
步骤S64、在多个关键帧中,选出相似性最大的两个关键帧,提取该两个关键帧上相同的多个ORB特征点,以该多个ORB特征点作为目标局部地图连接点以连接两个目标局部地图;
步骤S65、依次将两个目标局部地图包含的关键帧和地图点转换到相同的坐标系中进行融合;
步骤S66、不断重复至融合所有目标局部地图,从而生成全局地图;
其中,所述的全局地图构建机制如图3所示,其中包括了mod1全局地图重叠检测、mod2基于层次聚类的全局地图融合和mod3全局非线性优化三个模块;
其中,mod1全局地图重叠检测模块是指地图储存模块中的地图中初步检测的模块,其能够找出两块地图之间的重叠部分,将他们两块地图分类到一起,mod2基于层次聚类的全局地图融合模块指的是将每一个局部地图进行融合的模块,其主要作用就是将分散的局部地图,进行拼接,把重叠的部分删除得到完整的全局地图,mod3全局地图非线性优化模块指的是对全局地图优化的模块,它可以将构建好的全局地图进行优化,根据之前的全局地图求解得到当前的最有最准确的状态估计,常用的方法有非线性最小二乘法、一阶梯度法、二阶梯度法。
在mod1全局地图重叠检测模块,其主要功能是查找出3D局部地图之间的重叠部分,负责检测局部地图之间的匹配关键帧,之后将重叠信息传递给全局地图融合;
在mod2全局地图融合模块中设置一个选择器,其具有以固定频率获取地图重叠检测模块的计算结果的功能,通过这个选择器可以获取到每次相同数量的计算结果;选择出匹配关键帧数量最多的两个3D局部地图,将这两个3D局部地图作为目标地图;
当这两个目标地图中有不同相似性分数的匹配关键帧时,选择出相似性最大的一对关键帧,提取该两个关键帧上相同的多个ORB特征点,以该多个ORB特征点作为目标局部地图连接点以连接两个目标局部地图,以包含关键帧数目多的3D局部地图的坐标系为参考坐标系;
融合后的地图,再次作为目标地图进入全集地图构建机制中,不断重复S21-S25,从而生成全局地图。
步骤S7:服务器接受无人机发送的定位请求,其中定位请求包含当前位置关键帧,根据无人机发送的当前位置关键帧与全局地图进行比对,返回无人机所在全局地图中的定位信息,同时返回基于无人机所在位置的3D局部地图所在全局地图中的定位信息,以及无人机所在该3D局部地图中的定位信息,将三者进行重合比较;如果三者之间偏差在范围T内,则确定三者之一为无人机的精确重定位位置信息,根据该精确重定位位置信息定位该无人机。
本发明实施例中,所述定位请求指无人机向服务器发送当前自己所在位置的关键帧并进行ORB特征提取,同时请求服务器使用该ORB特征点在构建好的全局地图中寻找到与该ORB特征点对应的特征点并将对应的特征点的位置返回给无人机。在全局地图融合时,所有的3D局部地图都进行了编号,这时候通过全局地图中与该无人机自身所在位置的ORB特征点对应的特征点,可以在局部地图储存模块中,找到该特征点所在的3D局部地图编号,再通过编号,查找出该编号3D局部地图所在全局地图的定位,从而获得3D局部地图所在全局地图中的定位信息,通过特征点比对,确定无人机再3D局部地图中的定位信息。
本实施例通过一种数据共享的多无人机协同框架,可以利用多台无人机同时工作,大量减少了地图构建的时间,其中ORB特征提取可以代替关键帧的工作,优化了关键帧对比时,对比量大的问题,通过特征点可以更快速的对比出所需数据在哪里的问题,利用特征点建立的起始局部地图通过闭环检测可以消除累计漂移误差,并通过两步重定位法保证了无人机可以不依赖与后台的情况下,具有一定自主性的进行同时定位与地图构建,从而应对全局地图构架和定位问题。将地图转换为3D地图,主要目的是在大楼等有多层结构的地方工作,无人机可以根据3D地图的高度分类,从而减少后期地图融合时候的工作了,加速地图融合。采用多种定位方式重合定位,保证了无人机定位的准确性。
在本方法实施例中,所述步骤S2中利用视觉里程计对摄像机采集的图像进行ORB特征提取的步骤包括以下步骤:
于摄像机采集的图像中提取像素点a,假定其亮度为Ia,设置一个阈值T,以像素点a为圆心,选取半径为3上的圆上的16个像素点b,当该16个像素点b中有9个连续的像素点的亮度同时大于Ia+T或者同时小于Ia-T,则确定该像素点a为ORB特征点;
采用灰度质心算法计算出ORB特征点的主方向;
基于ORB特征点的主方向对ORB特征点周围图像区域进行描述,计算得到具有旋转不变性的描述子。
本方法实施例中,ORB特征点具体例如:选择好图像A,图像A中确定像素点a,取一个7乘7的矩阵,其中矩阵中心点为a,在矩阵中取出a为圆心半径为3的像素点b,共有16个,将16个像素点b的灰度值与像素点p的灰度值比较,可以分成三类,其中第一类是比p亮,第二类是比p暗,第三类是和p相差不多的;当第一类或者第二类的点能够相连起来,就将像素点a作为关键点。
本实施例中ORB特征点不只是比较像素点亮度的差异,并且具有固定数量的特征从而提升了特征点的稳定性和精确性,它是一种二进制编码的描述子,与利用区域灰度直方图描述特征点的方法不同,加快了特征点描述建立的速度,降低了特征匹配的时间,同时通过构建图像金字塔解决了尺度不变性和旋转不变性。
在本方法实施例中,所述步骤S3/S4进行闭环检测,得到准确据地图/融合局部地图的步骤包括以下步骤:
服务器使用ORB特征点和描述子的结合来代替摄像机获取的图像作为目标特征进行搜索,检测无人机是否曾经到达过无人机当前地点;
当服务器检测到无人机曾到达过无人机当前地点,利用无人机的摄像机采集的当前关键帧和与历史预存的关键帧之间的约束关系,修正当前构建的起始局部地图/半融合地图,得到准确局部地图/融合局部地图。
本方法实施例,闭环检测实现方法例如:当无人机A工作时,获取的关键帧序列,选择这个序列的第一个关键帧作为当前闭环检测的闭环关键帧;给闭环检测加上条件,如果上一次闭环检测时,使用的闭环关键帧与此时选择的闭环关键帧在关键帧序列上距离小于十帧则不进行闭环检测;遍历当前闭环关键帧所有相连的关键帧,从所有关键帧中找出闭环候选关键帧,所有关键帧指的是与闭环关键帧不相连的关键帧;遍历所有关键帧,查找出闭环关键帧所匹配的关键帧,当查找到匹配关键帧后,将两个这关键帧的特征进行优化和合成,再对下一个闭环候选关键帧进行该步骤,从而完成闭环检测。
本实施例中采用ROB特征点代替图像,当需要进行匹配的时候,点与点的匹配和图像与图像之间的匹配相比,大量减少了对比时服务器的工作量,通过闭环检测可以查看出无人机是否到达过该点,通过新一次到达该点的信息和历史信息进行比较和优化,能消除无人机移动过快等问题产生的累计漂移误差。
在本方法实施例中,所述步骤S4包括以下步骤:
当视觉里程计失效时,服务器接收无人机发送的起始局部地图,并且将起始局部地图储存在失效地图模块中,以形成备用地图,所述失效地图模块是服务器上搭建的储存无人机丢失的地图的模块;
利用无人机端重定位法对无人机进行重定位,并进行闭环检测得到准确局部地图;
如果无人机端重定位法重定位失败则利用服务器端第二步重定位法进行辅助重定位,获得与备用地图对应的准确局部地图;
将备用地图与其对应的准确局部地图进行融合并进行闭环检测,获得融合局部地图。
本方法实施例中,无人机丢失指的是无人机因为移动或快和视野遮挡导致无法进行工作的情况;具体例子如:当无人机A丢失后,其自身会根据自身所在的环境,查找自己当前所在位置是否是自身来过的,它会围绕失踪点周围小范围的盘旋,进行关键帧的查找,这样确保了不会进行太大的偏移自身原来的位置,当它无法利用自身周围环境进行定位时,就开始向服务器请求协助,服务器会根据其之前发送给服务器的地图,以及当前它的位置进行比对匹配,查找它可能所在的区域位置,同时将于其捕获的当前关键帧周围的关键帧匹配的局部地图发送给无人机A,让其扩充比对量;和以往的服务器端辅助定位不同的是,以往的辅助定位,服务器端会将优化后的全局地图数据下发给无人机A,但这样做太过于耗时,会出现无人机已经离开异常点的情况;本实施例所述的定位方法中,发送无人机A当前关键帧周围关键帧对应的局部地图目的就是为了保证定位的时效性,让他可以在定位的移动的同时,避免因为移动过程中,计算量大导致的计算完成时无人机A已经离开了当前的局部地图。
本发明实施例中两端式重定位法可以支持无人机利用曾经到达过的地点或者其他无人机的数据尽快恢复工作,提高数据的利用率,当无人机发生异常情况导致无人机更正丢失时无人机在构建地图时非常常见且不可避免的,而两端式重定位法可以解决无人机跟踪丢失时重新对齐进行找回的问题,其中利用无人机端在无人机丢失的第二范围进行重定位尝试获取无人机自身位姿信息,无法做到时就会通过服务器端进行无人机所在位置的第二范围进行重定位,其中第一范围小于第二范围;第二范围中,存在多个其他无人机构建的准确局部地图,可以将这些准确局部地图发送给无人机,使其能够在这些准确局部地图上查找到匹配当前位置的点;将两种重定位方式相结合的方法,能更加有效的完成重定位任务又有效提高了重定位时的准确性和实时性,同时利用服务器的计算资源提高重定位的效率。
在本说明书的一个实施例中,所述步骤S4中的无人机端重定位包括以下步骤:
当视觉里程计失效时,服务器接收由无人机发送给服务器的词袋向量,词袋向量是由无人机通过摄像机采集的图像进行向量化获得;
服务器接收并响应无人机的查询请求,发送该无人机构建的备用地图给该无人机,利用该备用地图与当前关键帧进行匹配和筛选,获得备用地图中与当前关键帧相似度高于预设阈值的关键帧;
对该相似度高于预设阈值的关键帧进行迭代处理,得到最优关键帧涵盖上面步骤的所有技术特征基于最优关键帧的多个ORB特征点支持,以获取相机位姿,从该相机位姿判断获得无人机的当前位置信息,找到有预设数目的ORB特征点支持的相机位姿,则重定位成功,获得重定位信息;
利用重定位信息对备用地图进行闭环检测获得准确局部地图。
本方法实施例中,无人机端重定位法指的时在无人机上进行的重定位方法,具体例如:无人机A丢失后,在当前位置上进行关键帧的获取,利用获取到的关键帧,在自己构建好的地图里寻找对应点;这时,无人机A会在当前位置,以画圆圈且圆半径不断扩大的方式飞行,寻找于自己丢失前构建的起始局部地图所能匹配上的位置,如果它找到了一个位置点A,那么就会将丢失后构建的局部地图和丢失前构建的起始局部地图以为支点A为连接点进行融合,再按照构建好的起始局部地图进行闭环检测,从而消除漂移变量构建准确局部地图;但当无人机进行画圆圈飞行时,圆心扩大到了设定好的阈值,例如圆的半径扩大到十个关键帧,无人机A就会停止自身的重定位,从而请求服务器的协助,这样可以保证无人机A不会离异常点太远,获得了服务器的协助后,无人机A就可以根据服务器发送的地图信息进行重定位了。
本发明实施例中将无人机通过摄像机采集的图片转换成词袋向量,其过程为图像特征的描述有树的结点向叶节点搜索,每次选择汉明距离最小的节点;其解决了当需要快速的图像特征匹配,如需要实时判断当前图像帧是否在之前的图像数据库中出现,在执行特征匹配时比较耗时的问题;其采用一种将图像转换成系数分层向量的技术手段,可以做到操作数据量较大的图像集合,使图像处理更加简单快捷,对比时减少大量对比时间。
在本说明书的一个实施例中,步骤S4所述服务器端重定位法的步骤包括以下步骤:
将无人机的当前关键帧的多个相邻关键帧进行分组得到候选关键帧组,候选关键帧组包括多个候选关键帧;
服务器在每个候选关键帧相邻对应的准确局部地图中进行搜索,以获取与当前关键帧匹配度高于第一阈值的多个关键帧,将该多个关键帧所在的准确局部地图分组,获得相近准确局部地图组;
将相近局部地图组中的准确局部地图发送给无人机,使其重新进行无人机端重定位,得到与备用地图对应的准确局部地图。
本方法实施例中,服务器端重定位法指的是无人机端重定位无法依靠自身完成重定位工作,服务器对无人机进行协助重定位的重定位方法,具体例如:当无人机A依靠自身进行重定位失效了,服务器根据无人机A所发送的关键帧信息,获取相应地图信息发送给无人机A,帮助其完成重定位。
本发明实施例中服务器端重定位法利用无人机当前的关键帧相邻的关键帧所对应的局部地图进行搜索,加大了搜索量,在服务器中建立重定位数据,利用空间节约时间;服务器端重定位法考虑了时空局限性的问题,不同于以往的只考虑不同时间插入关键帧的限制,其害兼顾了在不同时间插入但是在空间上距离更近的关键帧;又考虑了连续性的问题,由于无人机和服务器之间存在通信延迟,所有不能只依据后台接受的帧进行收缩并返回结果,将无人机当前的关键帧相邻的关键帧所对应局部地图进行发送给无人机,可以一定程度解决无人机于服务器之间通信延迟以及位置过快导致的位置偏移问题;无人机端重定位法其优点在于保证了后台发送给无人机的相近准确局部地图具有时效性,通过和无人机端重定位法的结合可以保持相邻准确局部地图的稳定性。
在本说明书的一个实施例中,所述步骤S5包括以下步骤:
采用三角法获得摄像机采集的图像的深度,根据图像的深度将多个为融合的准确局部地图和融合局部地图构建为3D局部地图;
将无人机起飞前高度设置为起始海拔高度,无人机与起始海拔高度的距离设置为起始高度参数H1,将无人机所在3D局部地图中与该3D局部地图中的地面之间距离设置为当前高度参数H2;
通过起始高度参数H1和当前高度参数H2两者相减,得到3D局部地图的地面与起始海拔高度的地图高度参数H3,将地图高度参数H3在预设误差范围内的个3D局部地图分类到同一个分组,获得高度分类组并储存于服务器中。
本方法实施例中,对3D局部地图进行分类具体例如:当构建好了3D局部地图后,无人机A在3D局部地图A中,无人机B在局部地图B中,无人机C在3D局部地图C中;提前把起飞前的高度标记为起始海拔高度,即为0,利用高度测量装置获取无人机A、无人机B和无人机C所在的海拔高度,记为H1,其中无人机A海拔高度为85m,无人机B海拔高度为83m,无人机C海拔高度为90m;再通过高度测量装置,获取到各无人机在对应的3D局部地图里与地面之间的距离,记为H2,其中无人机A与所对应的3D局部地图中与地面之间的距离为4.5m,无人机B为2.3m,无人机C为10.3m;通过计算得到无人机所在3D局部地图距离起始海拔高度,记为H3,其中计算方式为H1-H2,即可以知道3D局部地图A的H3为80.5m,3D局部地图B的H3为80.7m,3D局部地图C的H3为79.7m;可以看出,三个3D局部地图的H3差距并不大在可以接受的误差范围之内,即可以将三者分类到同一个高度分类组中;所述的误差范围指的是根据数据量大小,可以自主设置的计量误差。
本发明实施例中利用高度进行分组其中高度信息获取难度低,无需增加服务器的负担,也可以更快速的获取;在当前高度参数H2在误差范围内时,将起始高度参数H1在预设误差的多个3D局部地图分类到同一个分组,获得高度分类组并储存于服务器中,能有将构建的3D局部地图分组,从而在后续的地图融合阶段,减少地图融合时服务器的负载,缩短了地图融合的时间,从而能更快的让无人机获得自身的定位信息。
在本说明书的一个实施例中,步骤S6包括以下步骤:
将3D局部地图作为候选局部地图,放入全局地图构建与定位机制中的全局重叠检测模块;
利用地图重叠检测模块,按照固定频率检测多个候选局部地图之间的相同关键帧的累计数量,按照累计数量最多的3D局部地图先进行融合,其中按照高度分类组组的分组,对同一组中的3D局部地图优先检测;
利用全局地图构建与定位机制中的全局地图融合模块以固定频率获取地图重叠检测模块的检测结果,选择检测结果中匹配关键帧最多的3D局部地图作为目标局部地图;
在多个关键帧中,选出相似性最大的两个关键帧,提取该两个关键帧上相同的多个ORB特征点,以该多个ORB特征点作为目标局部地图连接点以连接两个目标局部地图;
依次将两个目标局部地图包含的关键帧和地图点转换到相同的坐标系中进行融合;
不断重复至融合所有目标局部地图,从而生成全局地图。
本方法实施例中,具体例如:先对同一组的高度分类组的3D局部地图进行重叠检测,再在地图融合模块中进行融合;其中,通过检测结果决定将那些地图进行融合,如:有地图1-8,其中进行检测可以得到,地图1和地图4之间的匹配关键帧是最多的,就将地图1和地图4作为目标局部地图,在他们的匹配关键帧上,查找ORB特征点,利用特征点重合的特性,将两个关键帧进行融合,当匹配关键帧全部融合,地图1和地图4也就融合成功了,再选择地图1建立的坐标系,将地图4的坐标系融合,例如地图1的坐标系中,地图4的坐标方向和地图1相同,就可以直接利用加法将地图4的坐标点融合到地图1的坐标中,如:地图4的坐标系,方向与地图1完全相同,地图4中的x轴上的点,直接根据地图4的原点在地图1的x轴距离,两个x轴上的值相加,就是地图4中的x轴上的点在地图1中x轴上的位置了。
本发明实施例中层次聚类的算法们可以动态自适应地选择最有利于数据融合的地图融合顺序进行融合,融合过程中考虑了地图融合的顺序,提高数据共享的效率,可以共享重叠部分数据,提高了构建地图的准确率,同时,当融合的地图规模较小,可以更快速地返回优化信息,为无人机定位提供指导。
在本说明书的一个实施例中,所述层次聚类的步骤包括以下步骤:
对全局地图融合模块进行初始化,利用全局地图融合模块将多个无人机分别构建的3D局部地图放入地图集合;
利用服务器中的局部地图融合模块将每个3D局部地图定义为独立地图类别,将包含至少一个能够相互匹配上的关键帧的两个3D局部地图分为一类;
将每一类的3D局部地图中相同关键帧最多的两个3D局部地图、做标记为标记地图组,将每一类3D局部地图中的多个标记地图组的分别进行融合,依次将所有类别的3D局部地图进行融合。
本方法实施例中,层次聚类具体为:按照前一步所检测出来的结果,进行地图融合的步骤;例如:存在地图1-8,当中地图1和地图2匹配度最高,地图3和地图4匹配度最高,地图5和地图6匹配度最好,地图7和地图8匹配度最高,就可以将地图1和地图2,地图3和地图4,地图5和地图6,地图7和地图8分别进行融合,得到融合地图1-4,再其中,融合地图1和融合地图2匹配度最高,融合地图3和融合地图4匹配度最高,将所述融合地图再次融合,得到次融合地图1和此融合地图2,最后将两者进行融合,就可以得到全局地图。
本发明实施例中对地图融合的顺序进行描述,层次聚类的融合方式,将每种拥有相同特征的3D局部地图分类,通过分类之后的地图,融合起来会更加快捷,节省了大量时间,提高数据共享的效率。
在本说明书的一个实施例中,获取无人机的精确重定位位置的步骤包括以下步骤:
根据无人机当前关键帧与服务器中的全局地图对比,得到无人机所在全局地图中的全局定位;
根据无人机当前关键帧与无人机所在3D局部地图对比,得到无人机3D局部地图内的局部定位;
获取无人机当前所在3D局部地图在全局地图中的地图定位;
将全局定位、局部定位和地图定位进行重合比较,当误差范围小于T时,选取该定位为无人机的精准重定位位置。
本方法实施例中,无人机的精确重定位位置获取方法例如:当无人机A需要进行定位时,获取无人机A所在的当前局部地图A信息,可以查看到无人机A再局部地图A中的定位,如无人机A在局部地图A的坐标位置为(1,1,1),又获得无人机所在局部地图A建立的坐标系原点在全局地图的坐标位置为(30,30,30),再根据无人机A在全局地图中的定位信息获取到无人机A在全局地图中的坐标位置(31,31,31),其中所述的坐标位置中,指的坐标方向和坐标刻度都完全相同;通过无人机在局部地图A的坐标位置(1,1,1)和局部地图A原点在全局地图的坐标(30,30,30),可以计算得到无人机A在全局地图的坐标位置(31,31,31),与直接获取的无人机A在全局地图的坐标位置相同,即可以判定该点为无人机的精确重定位位置。
本发明实施例中无人机的重定位分为了三个模块的定位,其中主要的是无人机在全局地图的定位,通过多重定位,保证了定位数据的准确性。
本发明实施通过对多台无人机协同地图构建以取得无人机重定位,集中式框架的好处总结为以下几点:高处理效率,可以利用服务器的丰富计算资源进行复杂耗时数据处理;高可靠性,可以配置大量储存资源使得整体系统具有高度容错机制;高可拓展性,可以处理大量快速增长的无人机数目;利用局部地图分组的方法进行融合,可以更加快速的融合地图;使用多种定位方式重合比较的定位方法,可以得到准确度更高的无人机定位;
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种多机重定位的无人机定位方法,利用系统实施,所述系统包括服务器与所述服务器无线连接的客户端和多台无人机,每台无人机装载有控制器及与控制器电性连接的摄像机、视觉里程计、惯性测量单元与高度测量仪,其特征在于,所述方法包括以下步骤:
步骤S1:服务器采用面向数据共享的多无人机协同框架与多台无人机进行无线连接;
步骤S2:无人机利用视觉里程计对摄像机采集的图像进行ORB特征提取,获得ORB特征点;利用视觉里程计跟踪获取周边环境的初始关键帧,持续在初始关键帧上插入跟踪获取的后续关键帧以形成连续关键帧,并持续利用ORB特征点于连续关键帧上创建地图点以构建起始局部地图;
步骤S3:服务器根据无人机利用摄像机采集的图像对起始局部地图进行闭环检测,得到准确局部地图;
步骤S4:服务器采用两端式重定位法将无人机跟踪丢失的起始局部地图构建成准确局部地图/将无人机跟踪丢失的起始局部地图与对应的准确局部地图进行融合并进行闭环检测获得融合局部地图;
步骤S5:服务器将多个无人机获得的未融合的准确局部地图和融合局部地图构建成为对应的多个3D局部地图,根据高度参数将多个3D局部地图进行分组,得到高度分类组;
步骤S6:服务器采用层次聚类的全局地图构建机制将多个高度分类组中的3D局部地图进行融合以获得全局地图;
步骤S7:服务器接受无人机发送的定位请求,其中定位请求包含当前位置关键帧,根据无人机发送的当前位置关键帧与全局地图进行比对,返回无人机所在全局地图中的定位信息,同时返回基于无人机所在位置的3D局部地图所在全局地图中的定位信息,以及无人机所在该3D局部地图中的定位信息,将三者进行重合比较;如果三者之间偏差在范围T内,则确定三者之一为无人机的精确重定位位置信息,根据该精确重定位位置信息定位该无人机。
2.根据权利要求1所述的方法,其特征在于,步骤S2中所述利用视觉里程计对摄像机采集的图像进行ORB特征提取,获得ORB特征点的步骤包括以下步骤:
于摄像机采集的图像中提取像素点a,假定其亮度为Ia,设置一个阈值T,以像素点a为圆心,选取半径为3以上的圆上的16个像素点b,当该16个像素点b中有9个连续的像素点的亮度同时大于Ia+T或者同时小于Ia-T,则确定该像素点a为ORB特征点;
采用灰度质心算法计算出ORB特征点的主方向;
基于ORB特征点的主方向对ORB特征点周围图像区域进行描述,计算得到具有旋转不变性的描述子。
3.根据权利要求2所述的方法,其特征在于,步骤S3或步骤S4中所述进行闭环检测,得到准确据地图/融合局部地图的步骤包括以下步骤:
服务器使用ORB特征点和描述子的结合来代替摄像机获取的图像作为目标特征进行搜索,检测无人机是否曾经到达过无人机当前地点;
当服务器检测到无人机曾到达过无人机当前地点,利用无人机的摄像机采集的当前关键帧和与历史预存的关键帧之间的约束关系,修正当前构建的起始局部地图/半融合地图,得到准确局部地图/融合局部地图。
4.根据权利要求1所述的方法,其特征在于,步骤S4包括以下步骤:
当视觉里程计失效时,服务器接收无人机发送的起始局部地图,并且将起始局部地图储存在失效地图模块中,以形成备用地图,所述失效地图模块是服务器上搭建的储存无人机丢失的地图的模块;
利用无人机端重定位法对无人机进行重定位,并进行闭环检测得到准确局部地图;
如果无人机端重定位法重定位失败则利用服务器端第二步重定位法进行辅助重定位,获得与备用地图对应的准确局部地图;
将备用地图与其对应的准确局部地图进行融合并进行闭环检测,获得融合局部地图。
5.根据权利要求4所述的方法,其特征在于,所述无人机端重定位法的步骤包括以下步骤:当视觉里程计失效时,服务器接收由无人机发送给服务器的词袋向量,词袋向量是由无人机通过摄像机采集的图像进行向量化获得;
服务器接收并响应无人机的查询请求,发送该无人机构建的备用地图给该无人机,利用该备用地图与当前关键帧进行匹配和筛选,获得备用地图中与当前关键帧相似度高于预设阈值的关键帧;
对该相似度高于预设阈值的关键帧进行迭代处理,得到最优关键帧涵盖上面步骤的所有技术特征基于最优关键帧的多个ORB特征点支持,以获取相机位姿,从该相机位姿判断获得无人机的当前位置信息,找到有预设数目的ORB特征点支持的相机位姿,则重定位成功,获得重定位信息;
利用重定位信息对备用地图进行闭环检测获得准确局部地图。
6.根据权利要求4所述的方法,其特征在于,所述服务器端重定位法的步骤包括以下步骤:
将无人机的当前关键帧的多个相邻关键帧进行分组得到候选关键帧组,候选关键帧组包括多个候选关键帧;服务器在每个候选关键帧相邻对应的准确局部地图中进行搜索,以获取与当前关键帧匹配度高于第一阈值的多个关键帧,将该多个关键帧所在的准确局部地图分组,获得相近准确局部地图组;
将相近局部地图组中的准确局部地图发送给无人机,使其重新进行无人机端重定位,得到与备用地图对应的准确局部地图。
7.根据权利要求1所述的方法,其特征在于,步骤S5包括以下步骤:
采用三角法获得摄像机采集的图像的深度,根据图像的深度将多个未融合的准确局部地图和融合局部地图构建为3D局部地图;
将无人机起飞前高度设置为起始海拔高度,无人机与起始海拔高度的距离设置为起始高度参数H1,将无人机所在3D局部地图中与该3D局部地图中的地面之间距离设置为当前高度参数H2;
通过起始高度参数H1和当前高度参数H2两者相减,得到3D局部地图的地面与起始海拔高度的地图高度参数H3,将地图高度参数H3在预设误差范围内的个3D局部地图分类到同一个分组,获得高度分类组并储存于服务器中。
8.根据权利要求1所述的方法,其特征在于,多无人机协同框架内包括有全局地图构建与定位机制,步骤S6包括以下步骤:
将3D局部地图作为候选局部地图,放入全局地图构建与定位机制中的全局重叠检测模块;
利用地图重叠检测模块,按照固定频率检测多个候选局部地图之间的相同关键帧的累计数量,将累计数量最多的3D局部地图先进行融合,其中按照高度分类组组的分组,对同一组中的3D局部地图优先检测;
利用全局地图构建与定位机制中的基于层次聚类的全局地图融合模块以固定频率获取地图重叠检测模块的检测结果,选择检测结果中匹配关键帧最多的3D局部地图作为目标局部地图;
在多个关键帧中,选出相似性最大的两个关键帧,提取该两个关键帧上相同的多个ORB特征点,以该多个ORB特征点作为目标局部地图连接点以连接两个目标局部地图;
依次将两个目标局部地图包含的关键帧和地图点转换到相同的坐标系中进行融合;
不断重复至融合所有目标局部地图,从而生成全局地图。
9.根据权利要求8所述的方法,其特征在于,步骤S6中基于层次聚类的全局地图构建机制包括以下步骤:
对全局地图融合模块进行初始化,利用全局地图融合模块将多个无人机分别构建的3D局部地图放入地图集合;
利用服务器中的局部地图融合模块将每个3D局部地图定义为独立地图类别,将包含至少一个能够相互匹配上的关键帧的两个3D局部地图分为一类;
将每一类的3D局部地图中相同关键帧最多的两个3D局部地图标记为标记地图组,将每个标记地图组的两个3D局部地图进行融合形成目标标记地图依次将所有目标标记地图进行融合。
10.根据权利要求1所述的方法,其特征在于,步骤S7中的获取无人机的精确重定位位置的步骤包括以下步骤:
根据无人机当前关键帧与服务器中的全局地图对比,得到无人机所在全局地图中的全局定位;
根据无人机当前关键帧与无人机所在3D局部地图对比,得到无人机3D局部地图内的局部定位;
获取无人机当前所在3D局部地图在全局地图中的地图定位;
将全局定位、局部定位和地图定位进行重合比较,当误差范围小于T时,选取该定位为无人机的精准重定位位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211132623.5A CN115615436A (zh) | 2022-09-17 | 2022-09-17 | 一种多机重定位的无人机定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211132623.5A CN115615436A (zh) | 2022-09-17 | 2022-09-17 | 一种多机重定位的无人机定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115615436A true CN115615436A (zh) | 2023-01-17 |
Family
ID=84857979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211132623.5A Pending CN115615436A (zh) | 2022-09-17 | 2022-09-17 | 一种多机重定位的无人机定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115615436A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116958519A (zh) * | 2023-09-15 | 2023-10-27 | 四川泓宝润业工程技术有限公司 | 一种无人机视频图像与无人机位置数据对齐的方法 |
-
2022
- 2022-09-17 CN CN202211132623.5A patent/CN115615436A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116958519A (zh) * | 2023-09-15 | 2023-10-27 | 四川泓宝润业工程技术有限公司 | 一种无人机视频图像与无人机位置数据对齐的方法 |
CN116958519B (zh) * | 2023-09-15 | 2023-12-08 | 四川泓宝润业工程技术有限公司 | 一种无人机视频图像与无人机位置数据对齐的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12094226B2 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
CN107741234B (zh) | 一种基于视觉的离线地图构建及定位方法 | |
Huang et al. | Visual odometry and mapping for autonomous flight using an RGB-D camera | |
Pire et al. | Stereo parallel tracking and mapping for robot localization | |
CN112179330B (zh) | 移动设备的位姿确定方法及装置 | |
Forster et al. | Collaborative monocular slam with multiple micro aerial vehicles | |
US20200356582A1 (en) | Method for updating a map and mobile robot | |
CN109186606B (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
CN106940186A (zh) | 一种机器人自主定位与导航方法及系统 | |
JP2022551717A (ja) | 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体 | |
CN110533587A (zh) | 一种基于视觉先验信息和地图恢复的slam方法 | |
CN105009120A (zh) | 基于客户端-服务器的动态搜索 | |
CN114088081B (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
CN111239763A (zh) | 对象的定位方法、装置、存储介质和处理器 | |
CN114549738A (zh) | 无人车室内实时稠密点云重建方法、系统、设备及介质 | |
EP2828620B1 (en) | Generating navigation data | |
CN116295412A (zh) | 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法 | |
CN114187418A (zh) | 回环检测方法、点云地图构建方法、电子设备及存储介质 | |
Morrison et al. | Scalable multirobot localization and mapping with relative maps: Introducing MOARSLAM | |
CN115420276A (zh) | 一种面向室外场景的多机器人协同定位与建图方法 | |
CN117152249A (zh) | 基于语义一致性的多无人机协同建图与感知方法及系统 | |
CN115615436A (zh) | 一种多机重定位的无人机定位方法 | |
Chen et al. | Distributed monocular multi-robot slam | |
WO2023030062A1 (zh) | 一种无人机的飞行控制方法、装置、设备、介质及程序 | |
Sui et al. | An accurate indoor localization approach using cellphone camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |