CN112419501A - 一种地空异构协同地图构建方法 - Google Patents

一种地空异构协同地图构建方法 Download PDF

Info

Publication number
CN112419501A
CN112419501A CN202011433090.5A CN202011433090A CN112419501A CN 112419501 A CN112419501 A CN 112419501A CN 202011433090 A CN202011433090 A CN 202011433090A CN 112419501 A CN112419501 A CN 112419501A
Authority
CN
China
Prior art keywords
map
point cloud
constructing
pose
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011433090.5A
Other languages
English (en)
Inventor
何晋豪
成慧
周榆明
黄立祥
孔阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011433090.5A priority Critical patent/CN112419501A/zh
Publication of CN112419501A publication Critical patent/CN112419501A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及地图构建技术领域,具体地,涉及一种地空异构协同地图构建方法,包括:利用多个移动平台获取环境三维点云数据,并计算多个移动平台的位姿估计结果;根据三维点云数据与位姿估计结果构建局部点云地图,同时优化位姿估计结果,并通过局部点云地图生成场景缩略图;索引场景缩略图得到候选匹配地图对;计算候选匹配地图对之间的刚性变换,并根据进一步筛选匹配对;构建位姿图并优化,融合多个移动平台的位姿图与局部点云地图,得到完整的三维点云地图。本发明通过将候选匹配地图之间的变换关系作为约束对相似的局部点云地图进行联合优化,同时实现了地图数据的融合与优化,使地图构建结果更为精准。

Description

一种地空异构协同地图构建方法
技术领域
本发明涉及地图构建技术领域,更具体地,涉及一种地空异构协同地图构建方法。
背景技术
随着科学技术的不断完善与发展,构建地图的方式也是多种多样。目前在面对大规模场景下的场景探索与救援等复杂任务时,利用单一移动平台进行环境信息采集构建地图,其感知范围有限,如果是地面的移动平台其无法采集高处的信息,如果是空中的移动平台则无法采集近地处的信息,因此其可靠性、灵活性和效率都不够高。
目前也有基于图像的地空联合地图构建方案,但是这种方案在投影时会产生不可避免的孔洞和图像撕裂,无法适应较大的角度和高度变化;还有一种基于激光雷达的地空联合地图构建方案,但是这种方案在进行地空数据融合时只参考了单帧的数据信息,鲁棒性较低,当单帧特征不明显时容易失效。
另外中国专利CN110243381A公开了一种陆空机器人协同感知监测方法,空中机器人和地面机器人通过处理原始图像和点云数据构建三维地图,提取高维特征用于构建地图增广描述子,先利用陆空机器人各自提取的描述子进行初步定位,再将初步定位结果作为陆空机器人的初始姿态,再利用三维概率地图进行密集匹配,实现精确定位,最终实现全局地图精确融合。但是其采用的是概率栅格地图的格式,只能实现地图数据融合,不能对数据进行优化;另外直接采用几何描述子进行数据匹配,结构不够精准。
发明内容
本发明为克服上述现有技术的缺陷,提供一种地空异构协同地图构建方法,同时实现对地图数据的融合与优化,其更为精准。
为解决上述技术问题,本发明的技术方案如下:
本发明公开一种地空异构协同地图构建方法,包括以下步骤:
S1:利用多个移动平台分别获取环境三维点云数据,并计算多个移动平台的位姿估计结果;
S2:根据三维点云数据与位姿估计结果构建局部点云地图,同时优化位姿估计结果,并通过局部点云地图生成场景缩略图;
S3:提取场景缩略图的全局描述子向量,利用全局描述子向量索引场景缩略图得到候选匹配地图对;
S4:计算候选匹配地图对之间的刚性变换,并根据点云匹配度进一步筛选匹配对;
S5:利用刚性变换作为约束,构建位姿图并优化,在统一坐标系下融合多个移动平台的位姿图与局部点云地图,得到完整的三维点云地图。
进一步地,步骤S1中移动平台包括激光雷达、GPS导航系统,激光雷达用于获取环境三维点云数据;GPS导航系统用于采集移动平台的位置信息和姿态信息,直接作为移动平台的位姿估计结果。
可选地,上述的步骤S1中移动平台包括激光雷达、摄像头,激光雷达用于获取环境三维点云数据,摄像头用于采集RGB图像序列;对RGB图像序列及三维点云数据进行特征提取及运动估计,得到移动平台的位姿估计结果。
进一步地,上述的移动平台还包括用于采集移动平台IMU数据的IMU惯性测量单元,移动平台IMU数据作为约束,用于计算移动平台的位姿估计结果。
进一步地,上述的步骤S2中通过局部点云地图生成场景缩略图具体包括以下步骤:
S21:根据三维点云数据利用随机抽样一致性宣发估计地平面法向量;
S22:利用地平面法向量,滤除局部点云地图中与地平面平行的平面,同时保留障碍物侧面轮廓点;
S23:根据地平面法向量,将障碍物轮廓点投影到地平面上;
S24:将投影到地平面后的点根据三维平面法向量与坐标系Z轴的夹角关系旋转到X-Y平面上,得到分布在X-Y平面上的一组障碍物轮廓点;
S25:将步骤S24得到障碍物轮廓点在X-Y平面上的坐标与图像坐标系下的图像坐标对应,得到包含场景障碍物轮廓信息的场景缩略图。
进一步地,上述的步骤S3中利用全局描述子向量索引场景缩略图得到候选匹配地图具体为通过计算全局描述子向量的距离来计算场景缩略图中地图片段之间的相似度,得到含有相似场景的场景缩略图匹配对即为候选匹配地图对。其中全局描述子向量的距离越小,则认为两个场景缩略图越相似。
进一步地,上述的步骤S4中具体包括以下步骤:
S41:通过迭代最近邻点算法或正态分布变换算法计算场景缩略图匹配对之间的刚性变换;
S42:得到表示场景缩略图匹配对刚性变换后的重叠区域吻合度的计算值;
S43:设定阈值,将计算值小于阈值的场景缩略图匹配对滤除;
S44:设定分裂频率,滤除后的场景缩略图在设定的分裂频率下不断分裂,更新场景缩略图。
进一步地,上述的步骤S5中位姿图的构建具体为将移动平台的位姿估计结果作为位姿图的顶点,将运动估计数据及步骤S4中得到的场景缩略图信息作为位姿图的边,多个移动平台的位姿图以代表相互观测的位姿图边相连,得到联合位姿图。
进一步地,上述的步骤S5中还利用位姿图优化算法消除每个移动平台单独运动时的位姿估计的累计误差,同时矫正多个移动平台之间的坐标系偏差。
与现有技术相比,本发明技术方案的有益效果是:
本发明通过先构造场景缩略图,再通过提取全局描述子向量的方式对场景缩略图进行关联,使得后续的地图构建更为准确;另外,在地图数据融合过程中,将场景缩略图之间的变换关系作为约束对相似的局部点云地图进行联合优化,同时实现了地图数据的融合与优化,使地图构建结果更为精准;另外,本方案中位姿估计结果可通过GPS、IMU、RGB图像序列数据共同得到,增加了位姿估计的鲁棒性。
附图说明
图1为实施例地空异构协同地图构建方法的流程图;
图2为利用实施例地空异构协同地图构建方法得到的场景缩略图;
图3为图2对应的实际场景图;
图4为实施例地空异构协同地图构建方法中多个移动平台的单独运动的位姿估计结果;
图5为图4对应的联合位姿图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明,不能理解为对本专利的限制。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
下面通过具体实施例,并结合附图,对本发明的技术方案作进一步的具体描述:
实施例
如图1至图5所示,本实施例提供一种地空异构协同地图构建方法,包括以下步骤:
S1:利用多个移动平台分别获取环境三维点云数据,并计算多个移动平台的位姿估计结果;
S2:根据三维点云数据与位姿估计结果构建局部点云地图,同时优化位姿估计结果,并通过局部点云地图生成场景缩略图;
S3:提取场景缩略图的全局描述子向量,利用全局描述子向量索引场景缩略图得到候选匹配地图对;
S4:计算候选匹配地图对之间的刚性变换,并根据点云匹配度进一步筛选匹配对;
S5:利用刚性变换作为约束,构建位姿图并优化,在统一坐标系下融合多个移动平台的位姿图与局部点云地图,得到完整的三维点云地图。
本实施例中步骤S1中移动平台包括激光雷达、GPS-IMU惯性导航系统、全局快门摄像头,激光雷达用于获取环境三维点云数据;GPS导航系统用于采集移动平台的位置信息和姿态信息,直接作为移动平台的位姿估计结果;IMU用于采集移动平台的IMU信息,全局快门摄像头用于采集RGB图像序列,均作为约束参与到位姿估计结果的计算中。
本实施例中的步骤S2中通过局部点云地图生成场景缩略图具体包括以下步骤:
S21:根据三维点云数据利用随机抽样一致性宣发估计地平面法向量;
S22:利用地平面法向量,滤除局部点云地图中与地平面平行的平面,同时保留障碍物侧面轮廓点;
S23:根据地平面法向量,将障碍物轮廓点投影到地平面上;
S24:将投影到地平面后的点根据三维平面法向量与坐标系Z轴的夹角关系旋转到X-Y平面上,得到分布在X-Y平面上的一组障碍物轮廓点;
S25:将步骤S24得到障碍物轮廓点在X-Y平面上的坐标与图像坐标系下的图像坐标对应,得到包含场景障碍物轮廓信息的场景缩略图。
本实施例中的步骤S3中利用全局描述子向量索引场景缩略图得到候选匹配地图具体为通过计算全局描述子向量的距离来计算场景缩略图中地图片段之间的相似度,得到含有相似场景的场景缩略图匹配对。其中全局描述子向量的距离越小,则认为两个场景缩略图越相似。
本实施例中的步骤S4中具体包括以下步骤:
S41:通过迭代最近邻点算法或正态分布变换算法计算场景缩略图匹配对之间的刚性变换,
S42:得到表示场景缩略图匹配对刚性变换后的重叠区域吻合度的计算值;
S43:设定阈值,将计算值小于阈值的场景缩略图匹配对滤除;
S44:设定分裂频率,滤除后的场景缩略图在设定的分裂频率下不断分裂,更新场景缩略图。
本实施例中的步骤S5中位姿图的构建具体为将移动平台的位姿估计结果作为位姿图的顶点,将运动估计数据及步骤S4中得到的场景缩略图信息作为位姿图的边,多个移动平台的位姿图以代表相互观测的位姿图边相连,得到联合位姿图。
本实施例中的步骤S5中还利用位姿图优化算法消除每个移动平台单独运动时的位姿估计的累计误差,同时矫正多个移动平台之间的坐标系偏差。
本发明是参照本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的,应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种地空异构协同地图构建方法,其特征在于,包括以下步骤:
S1:利用多个移动平台分别获取环境三维点云数据,并计算多个移动平台的位姿估计结果;
S2:根据三维点云数据与位姿估计结果构建局部点云地图,同时优化位姿估计结果,并通过局部点云地图生成场景缩略图;
S3:提取场景缩略图的全局描述子向量,利用全局描述子向量索引场景缩略图得到候选匹配地图对;
S4:计算候选匹配地图对之间的刚性变换,并根据点云匹配度进一步筛选匹配对;
S5:利用刚性变换作为约束,构建位姿图并优化,在统一坐标系下融合多个移动平台的位姿图与局部点云地图,得到完整的三维点云地图。
2.根据权利要求1所述的一种地空异构协同地图构建方法,其特征在于,所述步骤S1中移动平台包括激光雷达、GPS导航系统,所述激光雷达用于获取环境三维点云数据;所述GPS导航系统用于采集所述移动平台的位置信息和姿态信息,直接作为所述移动平台的位姿估计结果。
3.根据权利要求1所述的一种地空异构协同地图构建方法,其特征在于,所述步骤S1中移动平台包括激光雷达、摄像头,所述激光雷达用于获取环境三维点云数据,所述摄像头用于采集RGB图像序列;对RGB图像序列及三维点云数据进行特征提取及运动估计,得到移动平台的位姿估计结果。
4.根据权利要求2或3所述的一种地空异构协同地图构建方法,其特征在于,所述移动平台还包括用于采集移动平台IMU数据的IMU惯性测量单元,所述移动平台IMU数据作为约束,用于计算移动平台的位姿估计结果。
5.根据权利要求1所述的一种地空异构协同地图构建方法,其特征在于,所述步骤S2中通过局部点云地图生成场景缩略图具体包括以下步骤:
S21:根据三维点云数据利用随机抽样一致性算法估计地平面法向量;
S22:利用地平面法向量,滤除局部点云地图中与地平面平行的平面,同时保留障碍物侧面轮廓点;
S23:根据地平面法向量,将障碍物轮廓点投影到地平面上;
S24:将投影到地平面后的点根据三维平面法向量与坐标系Z轴的夹角关系旋转到X-Y平面上,得到分布在X-Y平面上的一组障碍物轮廓点;
S25:将步骤S24得到障碍物轮廓点在X-Y平面上的坐标与图像坐标系下的图像坐标对应,得到包含场景障碍物轮廓信息的场景缩略图。
6.根据权利要求1所述的一种地空异构协同地图构建方法,其特征在于,所述步骤S3中利用全局描述子向量索引场景缩略图得到候选匹配地图对具体为通过计算全局描述子向量的距离来计算场景缩略图中地图片段之间的相似度,得到含有相似场景的场景缩略图匹配对即为候选匹配地图对。
7.根据权利要求4所述的一种地空异构协同地图构建方法,其特征在于,所述全局描述子向量的距离越小,则认为两个场景缩略图越相似。
8.根据权利要求4所述的一种地空异构协同地图构建方法,其特征在于,所述步骤S4中具体包括以下步骤:
S41:通过迭代最近邻点算法或正态分布变换算法计算所述场景缩略图匹配对之间的刚性变换;
S42:得到表示所述场景缩略图匹配对刚性变换后的重叠区域吻合度的计算值;
S43:设定阈值,将计算值小于阈值的场景缩略图匹配对滤除;
S44:设定分裂频率,滤除后的场景缩略图在设定的分裂频率下不断分裂,更新场景缩略图。
9.根据权利要求4所述的一种地空异构协同地图构建方法,其特征在于,所述步骤S5中位姿图的构建具体为将移动平台的位姿估计结果作为位姿图的顶点,将运动估计数据及所述步骤S4中得到的场景缩略图信息作为位姿图的边,多个移动平台的位姿图以代表相互观测的位姿图边相连,得到联合位姿图。
10.根据权利要求4所述的所述的一种地空异构协同地图构建方法,其特征在于,所述步骤S5中还利用位姿图优化算法消除每个移动平台单独运动时的位姿估计的累计误差,同时矫正多个移动平台之间的坐标系偏差。
CN202011433090.5A 2020-12-10 2020-12-10 一种地空异构协同地图构建方法 Pending CN112419501A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011433090.5A CN112419501A (zh) 2020-12-10 2020-12-10 一种地空异构协同地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011433090.5A CN112419501A (zh) 2020-12-10 2020-12-10 一种地空异构协同地图构建方法

Publications (1)

Publication Number Publication Date
CN112419501A true CN112419501A (zh) 2021-02-26

Family

ID=74775903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011433090.5A Pending CN112419501A (zh) 2020-12-10 2020-12-10 一种地空异构协同地图构建方法

Country Status (1)

Country Link
CN (1) CN112419501A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950781A (zh) * 2021-03-19 2021-06-11 中山大学 特种场景的多传感器动态加权融合的点云地图构建方法
CN113063412A (zh) * 2021-03-25 2021-07-02 北京理工大学 一种基于可靠性分析的多机器人协同定位与建图方法
CN113470089A (zh) * 2021-07-21 2021-10-01 中国人民解放军国防科技大学 一种基于三维点云的跨域协同定位和建图方法及系统
CN113643422A (zh) * 2021-07-09 2021-11-12 北京三快在线科技有限公司 一种信息展示方法及装置
CN113838203A (zh) * 2021-09-30 2021-12-24 四川智动木牛智能科技有限公司 基于三维点云地图和二维栅格地图的导航系统及应用方法
WO2024011557A1 (zh) * 2022-07-15 2024-01-18 深圳市正浩创新科技股份有限公司 地图构建方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951397A (zh) * 2020-08-07 2020-11-17 清华大学 一种多机协同构建三维点云地图的方法、装置和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951397A (zh) * 2020-08-07 2020-11-17 清华大学 一种多机协同构建三维点云地图的方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JINHAO HE等: "Ground and Aerial Collaborative Mapping in Urban Environments", 《IEEE》, pages 1 - 8 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950781A (zh) * 2021-03-19 2021-06-11 中山大学 特种场景的多传感器动态加权融合的点云地图构建方法
CN113063412A (zh) * 2021-03-25 2021-07-02 北京理工大学 一种基于可靠性分析的多机器人协同定位与建图方法
CN113063412B (zh) * 2021-03-25 2022-12-02 北京理工大学 一种基于可靠性分析的多机器人协同定位与建图方法
CN113643422A (zh) * 2021-07-09 2021-11-12 北京三快在线科技有限公司 一种信息展示方法及装置
CN113643422B (zh) * 2021-07-09 2023-02-03 北京三快在线科技有限公司 一种信息展示方法及装置
CN113470089A (zh) * 2021-07-21 2021-10-01 中国人民解放军国防科技大学 一种基于三维点云的跨域协同定位和建图方法及系统
CN113470089B (zh) * 2021-07-21 2022-05-03 中国人民解放军国防科技大学 一种基于三维点云的跨域协同定位和建图方法及系统
CN113838203A (zh) * 2021-09-30 2021-12-24 四川智动木牛智能科技有限公司 基于三维点云地图和二维栅格地图的导航系统及应用方法
CN113838203B (zh) * 2021-09-30 2024-02-20 四川智动木牛智能科技有限公司 基于三维点云地图和二维栅格地图的导航系统及应用方法
WO2024011557A1 (zh) * 2022-07-15 2024-01-18 深圳市正浩创新科技股份有限公司 地图构建方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN112419501A (zh) 一种地空异构协同地图构建方法
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN106840148B (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
Schmid et al. View planning for multi-view stereo 3D reconstruction using an autonomous multicopter
JP7273927B2 (ja) 画像ベースの測位方法及びシステム
Merino et al. Vision-based multi-UAV position estimation
CN106017463A (zh) 一种基于定位传感装置的飞行器定位方法
CN114332360A (zh) 一种协同三维建图方法及系统
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN112833892B (zh) 一种基于轨迹对齐的语义建图方法
CN110992487B (zh) 手持式飞机油箱快速三维地图重建装置及重建方法
CN102506867B (zh) 基于Harris角点匹配的SINS/SMANS组合导航方法及系统
CN111710040B (zh) 一种高精度地图的构建方法、系统、终端和存储介质
KR102557775B1 (ko) 드론을 이용한 3차원 지도 제작 방법
KR102289752B1 (ko) Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법
CN116295412A (zh) 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法
KR20220166689A (ko) 드론을 이용한 3차원 지도 제작 방법
Chen et al. Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles
CN107449404B (zh) Dlg数据采集方法及装置
Xiang et al. UAV based target tracking and recognition
Moussa et al. A fast approach for stitching of aerial images
CN115793690A (zh) 一种无人机室内巡检方法、系统和设备
CN116168171A (zh) 集群无人机实时稠密重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226