CN114120095A - 一种基于空中三维模型的移动机器人自主定位系统及方法 - Google Patents

一种基于空中三维模型的移动机器人自主定位系统及方法 Download PDF

Info

Publication number
CN114120095A
CN114120095A CN202010895306.3A CN202010895306A CN114120095A CN 114120095 A CN114120095 A CN 114120095A CN 202010895306 A CN202010895306 A CN 202010895306A CN 114120095 A CN114120095 A CN 114120095A
Authority
CN
China
Prior art keywords
mobile robot
positioning
point cloud
dimensional model
aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010895306.3A
Other languages
English (en)
Inventor
邹斌
葛建飞
吕立
肖江剑
刘超
翟永昂
冯志凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202010895306.3A priority Critical patent/CN114120095A/zh
Publication of CN114120095A publication Critical patent/CN114120095A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electromagnetism (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空中三维模型的移动机器人自主定位系统及方法，属于移动机器人自主定位和导航领域。该方法融合激光雷达点云和图像信息实现移动机器人在空中三维模型中自主定位和导航，突破了现有技术中移动机器人只能在地面通过自主建立的地图中进行定位和导航的限制，采用航拍建立指定园区的空中三维模型作为移动机器人的定位地图，并且通过融合激光雷达点云和图像实现移动机器人在空中三维模型中的全局定位，拓宽移动机器人的使用范围，使其在地面状况不良的状况下，依旧可以通过航拍建立的空中三维模型实现移动机器人的自主定位和导航，并且避免了现有的移动机器人自主定位依赖于环境中丰富的特征点进行连续稳定匹配导致的误差累积、漂移等问题。

Description

一种基于空中三维模型的移动机器人自主定位系统及方法
技术领域
本发明涉及移动机器人、无人车等的自主定位与导航领域，特别涉及一种基于空三模型的移动机器人自主定位系统及方法。
背景技术
随着信息技术的飞速发展，作为移动机器人的核心功能——SLAM(同步定位与建图)已经成为一个热门的研究方向，移动机器人能够实时计算出当前自己位姿的6-DOF是SLAM的一个重要一环，现如今的SLAM算法为了实现机器人在未知环境下的定位与建图常常依赖于机器人的移动，在相邻帧之间提取关键特征计算出相邻帧之间的相对位姿，实现机器人的实时定位与建图，但该方法由于依赖于机器人的场景中丰富的特征点的连续稳定匹配，在实际应用中容易受场景中相似特征的影响而引入匹配误差，并且随着累积容易出现漂移现象。因此如何实现机器人在地图中的全局稳定可靠定位一直以来都是一个非常重要的研究课题。
基于特征的连续匹配的方法包含以下几种：
基于相邻帧之间注册方法：对提取到的相邻帧的点云通过重叠部分的信息，变换到同一个位置，通过迭代足够多的点即可计算出相邻两帧之间的相对位姿；
基于点云3D特征的方法：对实时局部点云和全局地图点云提取预先定义好的3D特征，利用局部地图和全局地图的3D特征的匹配对应关系计算出当前地图机器人的位姿；
基于深度学习的方法：利用深度学习网络对提取的局部地图特征拟合出位姿和特征之间的深度学习模型；
基于特征连续匹配的方法对于移动机器人的自主定位和导航的问题，在特征丰富的条件下已经取得了非常好的效果，但是该方法容易受到场景中的弱纹理影响而在连续的定位过程中引入匹配误差导致自主定位出现漂移等现象。
发明内容
为了解决以上现有技术存在的缺陷，本发明提出一种基于空中三维模型的移动机器人自主定位系统及方法，利用空中三维模型代替移动机器人自主定位建立的地面地图，扩大移动机器人的使用范围以及提高使用效率，利用图像的纹理信息通过深度学习网络对图像的相机姿态进行估计，能够对移动机器人进行全局粗略定位，在此基础上将激光雷达的点云数据与图像数据进行融合实现移动机器人在空中三维模型中的全局精确定位。
本发明的技术方案是这样实现的：
空中三维模型全局地图特征数据库构建模块：用于生成移动机器人定位的全局地图特征描述子搜索库及区块索引；
移动机器人全局粗略定位模块：利用图像信息实现移动机器人在空中三维模型中全局粗略定位，并检索出全局粗略定位的区块索引；
移动机器人全局精确定位模块：根据所述全局粗略定位的区块索引在所述全局地图特征描述子搜索库中索引到粗略定位的区块特征描述子搜索库，利用图像对点云特征信息增强后在粗略定位的区块特征描述子搜索库中进行检索匹配，匹配成功后计算出移动机器人的精确位姿。
优选地，所述空中三维模型全局地图特征数据库构建模块具体包括：
空中三维模型建立及模型点云化单元：用于建立空中三维模型，将三维模型点云化，提供移动机器人进行定位的全局地图；
点云模型的分割、描述单元：用于对全局地图进行语义分割，并提取每一个分割片段的特征描述子以生成移动机器人自主定位的全局地图特征描述子搜索库；
点云模型的分块单元：用于对全局地图和特征描述子搜索库进行区块划分并生成区块索引。
优选地，所述移动机器人全局粗略定位模块具体包括：
模拟数据采集单元：用于在空中三维模型中模拟移动机器人在地面采集图像及其对应的相机位姿信息；
数据集生成单元：用于生成用于训练基于单帧图像的相机位姿估计的神经网络的训练集和测试集；
网络构建及模型训练单元：用于构建基于单帧图像的相机姿态估计的神经网络，并对其进行训练，得到基于单帧图像的相机姿态粗略估计模型；
粗略定位模块：利用相机姿态粗略估计模型对移动机器人实时采集的图像进行相机姿态粗略估计，得到移动机器人粗略定位，并检索出粗略定位的区块索引。
优选地，所述移动机器人全局精确定位模块具体包括：
点云实时分割、描述单元：用于对激光雷达实时采集的局部点云进行分割并提取其描述子；
特征信息增强单元：用于提取图像的特征信息，并利用图像的特征信息增强局部点云描述子；
精确定位单元：用于对所述特征信息增强单元中增强后的局部点云描述子在指定的区块索引的点云信息中心进行搜索匹配，并在匹配成功后计算机器人的精确位姿。
本发明还提供一种基于空中三维模型的移动机器人自主定位系统及方法，其特征在于包括如下步骤：
步骤(1)、生成移动机器人进行定位的全局地图特征描述子搜索库及区块索引；
步骤(2)、对移动机器人进行粗略的定位，并检索出粗略定位的区块索引；
步骤(3)、根据粗略定位区块索引找到粗略定位的区块特征描述子搜索库，利用图像对点云特征信息增强后在粗略定位的区块特征描述子搜索库中进行检索匹配，匹配成功后计算出机器人的精确位姿。
本发明以空中三维模型为全局地图的数据来源，将空中三维模型点云化作为移动机器人自主定位与导航的全局地图，并将全局地图进行分割、压缩描述生成特征描述子集，为移动机器人自主定位提供全局的描述子地图搜索库，并对空中三维模型进行分块建立块序列与块描述子集之间的索引；同时以移动机器人实时采集得到的点云和图像为局部地图的数据来源，利用深度学习分别对实时局部点云和图像进行分割、压缩描述，并将点云和图像的描述子进行融合，以作为局部地图的特征，描述，通过图像对移动机器人进行粗略的定位，根据粗略定位的位姿索引到粗略定位的区块中，以缩小检索匹配步骤中的搜索范围；最后在粗略定位的区块中将点云数据和图像信息融合实现移动机器人在空中三维模型中精确定位。
本发明的优点在于：采用空中三维模型作为移动机器人全局定位的地图，利用无人机航拍并建立空中三维模型，视野范围广，效率高，可以快速的建立指定区域的空中三维模型作为移动机器人进行定位的本地匹配地图。该方法通过融合激光雷达点云和图像信息实现移动机器人在空中三维模型中自主定位和导航，突破了现有技术中移动机器人、无人车只能在地面通过自主建立的地图中进行定位和导航的限制，拓宽移动机器人的使用范围，使其在一些例如地震灾区、洪水灾区等地面状况不良的状况下，移动机器人依旧可以通过航拍建立的空中三维模型实现移动机器人的自主定位和导航，消除在地面状况受限时无法进行地面实时定位建图的情况。并且将图像信息和点云信息进行融合，在基于图像的粗略定位基础上，利用图像对点云信息进行增强实现移动机器人在空中三维模型中的全局定位，消除现有基于移动机器人通过移动进行定位时其所带来的稳定性低、容易受到移动路径中断导致定位失败的问题，避免了现有的移动机器人自主导航依赖于环境中丰富的特征点进行连续稳定匹配导致的误差累积、漂移等问题，使得地面的移动机器人、无人车其使用范围更广泛、更便捷。
附图说明
为了更清楚地说明本发明技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可根据这些附图获得其他的附图。
图1为基于空中三维模型的移动机器人自主定位与导航方法流程示意图；
图2为空中三维模型全局地图特征数据库构建模块流程示意图；
图3为全局粗略定位模块流程示意图。
图4为全局精确定位模块流程示意图；
图5为图像特征增强点云的特征信息方法流程示意图；
图6为VGG-16网络框架示意图；
图7为CNN处理流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
一种基于空中三维模型的移动机器人自主定位与导航系统及方法，整个系统实现的基本框架流程如图1所示，包括空中三维模型全局地图特征数据库构建模块、基于图像的空中三维模型中机器人粗略定位模块和基于激光雷达点云和图像信息融合的空中三维模型中机器人全局精确定位模块。其中空中三维模型全局地图特征数据库构建模块通过倾斜摄影获取航拍图像并建立空中三维模型，对空中三维模型进行分块、分割、描述建立全局地图特征数据库以供所述基于点云和图像信息融合的空中三维模型中机器人全局精确定位模块进行搜索匹配；所述基于图像信息的空中三维模型中机器人粗略定位模块通过建立深度学习网络训练基于单帧图像的相机姿态还原模型，对的位姿进行粗略的定位以缩小所述基于移动机器人全局精确定位模块在所述的移动机器人全局定位的空中三维模型地图及特征描述子集构建模块提供的全局搜索描述子集中所搜的范围，提高移动机器人实时定位的实时性以及尽可能减少匹配可能出现的错误；所述基于点云和图像信息融合的空中三维模型中机器人全局精确定位模块通过对实时的点云进行分割、描述提取点云的描述子，并通过图像的ROI区域的特征向量对点云的描述子进行增强，将增强后的特征向量在所述移动机器人全局定位的空中三维模型地图及特征描述子集构建模块提供的分块索引全局描述子集中进行搜索匹配，当匹配成功对数达到一定对数即可计算出当前机器人的精确位姿。
空中三维模型全局地图特征数据库构建流程如图2所示，包括以下步骤：
S1)建立空中三维模型：利用无人机和5镜头倾斜摄影相机，对指定园区采集倾斜摄影航拍图像，并通过三维实景建模软件建立园区的空中三维模型，最后将模型进行点云化作为移动机器人定位的全局地图；
S2)模型区块化并建立索引：将空中三维模型分成若干适当区块，建立点云区块及区块序列之间的索引；
S3)点云分割、描述：对所述步骤S1中点云化后的模型进行语义分割，并对分割的每一个单元利用卷积网络提取其特征描述子，建立全局点云地图的特征描述子集，即搜索库，根据所述步骤S2中的块索引即可建立特征信息及块序列之间的索引。
具体的，例如要完成块索引的点云数据分割，考虑到激光雷达的点云数据较为稀疏，可以利用基于深度图的角度阈值法实现。首先利用点云建立深度图，将三维空间中的的点投影到可以展开的圆柱形表面上，使其平面化，即可实现将点云的的三维直角坐标转换成二维坐标，建立点云与深度图的映射关系；其次对点云数据中的地面点云数据进行剔除，以提高分割的效率及精度，可以采取基于深度图的角度阈值法实现，利用激光器扫描线在地面和障碍物之间形成的角度值存在显著不同作为分离地面点云的依据，采取BFS(Breadth First Search广域优先搜索算法)，遍历深度图计算每一点与相邻点的角度差值来实现整个地面点云的剔除；最后采取DBSCAN(Density-Based Spatial Clustering ofApplications with Noise基于密度聚类算法)实现点云的分割，如此即可实现点云的分割。
要完成块索引的点云数据描述，本发明的技术方案中采用3层全卷积层、两层最大池化层以及两层全连接层提取分割的点云片段数据的特征向量，在第一个连接层中混合输入起始输入的片段点云经PCA(principal components analysis主成分分析)降维的数据，以提高最后输出的点云的特征向量的鲁棒性。
上述技术方案中BFS是最简便的图的搜索算法之一，属于一种盲目搜寻法，目的是系统地展开并检查图中的所有节点，以找寻结果。换句话说，它并不考虑结果的可能位置，彻底地搜索整张图，直到找到结果为止；DBSCAN是一个比较有代表性的基于密度的聚类算法。它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类；PCA即主成分分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
移动机器人全局粗略定位流程如图3所示，包括以下步骤：
S1)模拟数据采集。将空中三维模型的坐标系转换到ENU(Local CartesianCoordinates Coordinate System东-北-天坐标系)坐标系统，并编写程序模拟移动机器人在空中三维模型的道路上自动采集图像及其对应的相机位姿；
S2)粗略定位的深度学习网络搭建及训练。利用所述步骤S1中采集的数据，制作训练集和测试集，并搭建深度学习网络训练出基于单帧图像的相机姿态估计模型。
S3)粗略定位。根据所述步骤S2中训练出的模型对移动机器人实时采集的图像进行粗略的相机姿态估计，根据估计的相机姿态定位出移动机器人在空中三维模型中所在的大致位姿，并输出所述空中三维模型全局地图特征数据库构建模块中移动机器人位置的区块索引以及其相邻的区块索引；
具体的，例如要完成基于图像的粗略定位，首先制作数据集，其数据集的制作方式如图3所示，在ENU坐标系的空中三维模型中模拟移动机器人在地面采集图像信息及对应的相机姿态信息，同时利用惯导和工业相机采集真实的少量图片及对应的位姿，将空三模型中的数据和真实场景的数据混合在一起并制作训练集和测试集即可。然后利用深度学习训练出基于单帧图像的相机位姿估计模型。当移动机器人在真实场景中时，利用前面所述得到的模型对移动机器人上相机拍摄得到的图像进行相机姿态估计，得出相机在空中三维模型中的大致位置，即对移动机器人的位姿进行大致定位。根据计算得到的相机的大致位姿定位到空中三维模型中分块的序列，根据序列取出当前序列及其周围的8个序列所对应的点云描述子，该9块描述子集即作为当前点云片段特征向量进行匹配的母向量集，为所述基于点云和图像信息融合的空中三维模型中机器人精确定位模块提供搜索集。
本发明采用GoogLeNet构建基于单帧图像的相机姿态估计的神经网络，将最后的输出更改为相机位姿的角度四元数和位置坐标，构建角度和位置的损失函数进行训练即可得到基于深度学习的单帧图像相机位姿估计神经网络。
移动机器人全局精确定位模块流程如图4所示，包括以下步骤：
S1)点云的分割、描述模块。首先为保证分割的准确性和实时性，对激光雷达实时扫描的点云去除地面部分的点云，然后将点云分割成若干个小片段，对于分割好的每一个点云片段我们利用CNN搭建点云特征提取深度学习网络，对每一个片段提取其特征描述子；
S2)图像的ROI(Regin Of Interest感兴趣区域)特征向量提取及增强点云描述子。根据采集的同一时刻的点云和图像，将点云投影到图像上并截取图像上点云所覆盖的ROI，然后使用CNN搭建提取图像特征信息的深度学习网络，并将特征信息与点云的特征信息进行融合，对所述步骤S1中的局部点云描述子进行增强；
S3)通过粗略定位缩小搜索范围。利用所述移动机器人全局粗略定位模块训练所得的模型对机器人采集的图像进行位姿估计，并根据所计算出来的位姿及所述全局定位地图及地图描述子集构建模块对点云模型的分块方法，取出位姿所在及其周围共9块点云模型小块作为位姿的粗略定位位姿区域；
S4)基于图像增强的点云特征精确定位。利用所述步骤S2中的基于图像增强的点云特征描述子，在所述步骤S3中分割的9块体素化模型其在步骤S1中的分割描述的结果描述子集中进行搜索匹配，当匹配对数达到一定数量时计算当前点云的位姿，实现精确定位。
具体的，例如要完成图像的ROI特征向量提取，本发明方案中采用VGG-16提取图像ROI的特征，并将VGG-16输出的特征通过NetVLAD网络提取图像的局部聚合向量即可。对于步骤S1中局部点云的特征向量提取，本发明方案采取所述移动机器人全局定位的空中三维模型地图及特征描述子构建模块的步骤S3中全局点云地图分割、描述的方法，采用3层全卷积层、两层最大池化层以及两层全连接层构建特征提取器，用于提取分割的点云片段数据的特征向量，在第一个连接层中混合输入起始输入的片段点云经PCA降维的数据，以提高最后输出的点云的特征向量的鲁棒性。对于步骤S4中基于图像增强的点云特征精确定位，如图5所示，首先将图像的ROI特征向量同前面所述步骤S1中的特征提取器的第一个连接层中，利用ROI特征向量对点云的特征向量进行增强，然后通过Kd-tree在所述步骤S3提供的描述子集中进行最近邻查找匹配，当匹配成功对数达到一定时即可计算出当前机器人的精确位姿。
上述技术方案中，VGG-16是由Simonyan和Zisserman提出卷积神经网络模型，该模型参加2014年的ImageNet图像分类与定位挑战赛，在分类任务上排名第二，在定位任务上排名第一，其结构如图6所示。其最主要的特点是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核，如此对于给定的感受野，可以通过多层非线性层增加网络深度来保证学习更复杂的模式，而且参数更少，因而结构简洁且可以通过不断增加深度来优化网络对图像特征的提取能力。
上述技术方案中，CNN是近年来发展起来的发展起来、并引起重视的高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了CNN。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。
一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
本发明的技术方案中就是使用特征映射层，提取视频帧图像中的全局底层特征，而后对底层特征进行更深层次的处理。
CNN的一般化处理流程如图7所示。
本发明的技术方案要使用的层就是在经过卷积以后得到的Feature Map，我们抽取其中六层的feature map大小分别是(38,38)，(19,19)，(10,10)，(5,5)，(3,3)，(1,1)，然后在feature map的每个单元设置多个尺度或者长宽比不同的先验框。这样就形成了特征图。对特征图进行卷积得到检测结果，检测值包括类别置信度和边界框位置。各采用一次3×3卷积来进行完成。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.基于空中三维模型的移动机器人自主定位系统及方法，其特征在于包括：
空中三维模型全局地图特征数据库构建模块：用于生成移动机器人定位的全局地图特征描述子搜索库及区块索引；
移动机器人全局粗略定位模块：利用图像信息实现移动机器人在空中三维模型中全局粗略定位，并检索出全局粗略定位的区块索引；
移动机器人全局精确定位模块：根据所述全局粗略定位的区块索引在所述全局地图特征描述子搜索库中索引到粗略定位的区块特征描述子搜索库，利用图像对点云特征信息增强后在粗略定位的区块特征描述子搜索库中进行检索匹配，匹配成功后计算出移动机器人的精确位姿。
2.根据权利要求1所述的基于空中三维模型的移动机器人自主定位系统及方法，其特征在于，所述空中三维模型全局地图特征数据库构建模块具体包括：
空中三维模型建立及模型点云化单元：用于建立空中三维模型，将三维模型点云化，提供移动机器人进行定位的全局地图；
点云模型的分割、描述单元：用于对全局地图进行语义分割，并提取每一个分割片段的特征描述子以生成移动机器人定位的全局地图特征描述子搜索库；
点云模型的分块单元：用于对全局地图和特征描述子搜索库进行区块划分并生成区块索引。
3.根据权利要求1所述的基于空中三维模型的移动机器人自主定位系统及方法，其特征在于，所述移动机器人全局粗略定位模块具体包括：
模拟数据采集单元：用于在空中三维模型中模拟移动机器人在地面采集图像及其对应的相机位姿信息；
数据集生成单元：用于生成用于训练基于单帧图像的相机位姿估计的神经网络的训练集和测试集；
网络构建及模型训练单元：用于构建基于单帧图像的相机姿态估计的神经网络，并对其进行训练，得到基于单帧图像的相机姿态粗略估计模型；
粗略定位模块：利用相机姿态粗略估计模型对移动机器人实时采集的图像进行相机姿态粗略估计，实现移动机器人的粗略定位，并检索出粗略定位的区块索引。
4.根据权利要求1所述的基于空中三维模型的移动机器人自主定位系统及方法，其特征在于，所述移动机器人全局精确定位模块具体包括：
点云实时分割、描述单元：用于对激光雷达实时采集的局部点云进行分割并提取其描述子；
特征信息增强单元：用于提取图像的特征信息，并利用图像的特征信息增强局部点云描述子；
精确定位单元：用于对所述特征信息增强单元中增强后的局部点云描述子在指定的区块索引的点云信息中心进行搜索匹配，并在匹配成功后计算移动机器人的精确位姿。
5.基于空中三维模型的移动机器人自主定位系统及方法，其特征在于包括如下步骤：
步骤(1)、生成移动机器人进行定位的全局地图特征描述子搜索库及区块索引；
步骤(2)、对移动机器人进行粗略的定位，并检索出粗略定位的区块索引；
步骤(3)、根据粗略定位区块索引找到粗略定位的区块特征描述子搜索库，利用图像对点云特征信息增强后在粗略定位的区块特征描述子搜索库中进行检索匹配，匹配成功后计算出移动机器人的精确位姿。
6.根据权利要求5所述的基于空中三维模型的移动机器人自主定位系统及方法，其特征在于步骤(1)包括如下步骤：
步骤(1-1)、建立空中三维模型，将三维模型点云化，提供移动机器人进行定位的全局地图；
步骤(1-2)、对全局地图进行分割，并提取每一个分割片段的特征描述子以生成移动机器人定位的全局地图特征描述子搜索库；
步骤(1-3)、对全局地图和特征描述子搜索库进行区块划分并生成区块索引。
7.根据权利要求5所述的基于空中三维模型的移动机器人自主定位系统及方法，其特征在于步骤(2)包括如下步骤：
步骤(2-1)、在空中三维模型中模拟移动机器人在地面采集图像及其对应的相机位姿信息；
步骤(2-2)、生成用于训练基于单帧图像的相机位姿估计的神经网络的训练集和测试集；
步骤(2-3)、构建基于单帧图像的相机姿态估计的神经网络，并对其进行训练，得到基于单帧图像的相机姿态粗略估计模型；
步骤(2-4)、利用相机姿态粗略估计模型对移动机器人实时采集的图像进行相机姿态粗略估计，得到移动机器人粗略定位，并检索出粗略定位的区块索引。
8.根据权利要求5所述的基于空中三维模型的移动机器人自主定位系统及方法，其特征在于步骤(3)包括如下步骤：
步骤(3-1)、对激光雷达实时采集的局部点云进行分割并提取其描述子；
步骤(3-2)、提取图像的特征信息，并利用图像信息增强点云的特征信息；
步骤(3-3)、对增强后的特征信息在指定的区块索引的点云信息中心进行搜索匹配，并计算移动机器人的精确位姿。
CN202010895306.3A 2020-08-31 2020-08-31 一种基于空中三维模型的移动机器人自主定位系统及方法 Pending CN114120095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010895306.3A CN114120095A (zh) 2020-08-31 2020-08-31 一种基于空中三维模型的移动机器人自主定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010895306.3A CN114120095A (zh) 2020-08-31 2020-08-31 一种基于空中三维模型的移动机器人自主定位系统及方法

Publications (1)

Publication Number Publication Date
CN114120095A true CN114120095A (zh) 2022-03-01

Family

ID=80359730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010895306.3A Pending CN114120095A (zh) 2020-08-31 2020-08-31 一种基于空中三维模型的移动机器人自主定位系统及方法

Country Status (1)

Country Link
CN (1) CN114120095A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114910050A (zh) * 2022-06-24 2022-08-16 四川腾盾科技有限公司 基于网格地图的无人机视觉定位方法
CN116297495A (zh) * 2023-05-09 2023-06-23 武汉理工大学 一种基于结构光图像的管壁检测方法及管壁检测装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114910050A (zh) * 2022-06-24 2022-08-16 四川腾盾科技有限公司 基于网格地图的无人机视觉定位方法
CN114910050B (zh) * 2022-06-24 2024-06-11 四川腾盾科技有限公司 基于网格地图的无人机视觉定位方法
CN116297495A (zh) * 2023-05-09 2023-06-23 武汉理工大学 一种基于结构光图像的管壁检测方法及管壁检测装置

Similar Documents

Publication Publication Date Title
Piasco et al. A survey on visual-based localization: On the benefit of heterogeneous data
Mughal et al. Assisting UAV localization via deep contextual image matching
Xia et al. Loop closure detection for visual SLAM using PCANet features
Ding et al. Vehicle pose and shape estimation through multiple monocular vision
Wu et al. Automatic 3D reconstruction of electrical substation scene from LiDAR point cloud
Košecka Detecting changes in images of street scenes
Liu et al. 3D Point cloud analysis
Hu et al. RGB-D semantic segmentation: a review
Jalal et al. RGB-D images for objects recognition using 3D point clouds and RANSAC plane fitting
CN117218343A (zh) 一种基于深度学习的语义部件姿态估计方法
Zhu et al. A review of 6d object pose estimation
CN114120095A (zh) 一种基于空中三维模型的移动机器人自主定位系统及方法
Yin et al. Pse-match: A viewpoint-free place recognition method with parallel semantic embedding
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
Wang et al. High accuracy and low complexity LiDAR place recognition using unitary invariant frobenius norm
Zhou et al. Place recognition and navigation of outdoor mobile robots based on random Forest learning with a 3D LiDAR
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
Tsintotas et al. Visual place recognition for simultaneous localization and mapping
Li et al. Road-network-based fast geolocalization
Hyeon et al. KR-Net: A dependable visual kidnap recovery network for indoor spaces
Wang et al. Global Localization in Large-scale Point Clouds via Roll-pitch-yaw Invariant Place Recognition and Low-overlap Global Registration
Hou et al. Forest: A lightweight semantic image descriptor for robust visual place recognition
Wang et al. LiDAR-SLAM loop closure detection based on multi-scale point cloud feature transformer
Wu et al. Ground-distance segmentation of 3D LiDAR point cloud toward autonomous driving
Huang Learning a 3D descriptor for cross-source point cloud registration from synthetic data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination