CN108920584A - 一种语义栅格地图生成方法及其装置 - Google Patents

一种语义栅格地图生成方法及其装置 Download PDF

Info

Publication number
CN108920584A
CN108920584A CN201810664562.4A CN201810664562A CN108920584A CN 108920584 A CN108920584 A CN 108920584A CN 201810664562 A CN201810664562 A CN 201810664562A CN 108920584 A CN108920584 A CN 108920584A
Authority
CN
China
Prior art keywords
semantic
grid
scan data
image data
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810664562.4A
Other languages
English (en)
Other versions
CN108920584B (zh
Inventor
陈明建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810664562.4A priority Critical patent/CN108920584B/zh
Publication of CN108920584A publication Critical patent/CN108920584A/zh
Application granted granted Critical
Publication of CN108920584B publication Critical patent/CN108920584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing

Abstract

本发明涉及一种语义栅格地图生成方法及其装置，其中方法包括：通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。本发明实施例提出的语义栅格地图生成方法及其装置，引入视觉传感器，通过视觉传感器获取的图像数据，对激光雷达传感器获取的2D扫描数据赋予语义信息；在地图融合的过程中，去除动态物体减少噪声点，同时对确定栅格添加语义信息，生成语义格栅地图，为构图、定位和导航提供可靠地路标信息，从而提高移动机器人在动态环境中的构图和定位的鲁棒性。

Description

一种语义栅格地图生成方法及其装置
技术领域
本发明属于移动机器人技术领域，具体涉及一种语义栅格地图生成方法及其装置。
背景技术
移动机器人，例如在地面移动的移动机器人、飞行器等，其智能性主要体现在能构建一致性的环境地图、鲁棒的定位和导航功能。其中环境地图的可靠性以及包含的信息量是移动机器人定位和导航的关键前提。栅格地图是将环境划分为一系列格栅制成的环境地图，每一个格栅给定一个可能值，表示该格栅被占据的概率，可以使用一组格栅描述环境要素，每一个格栅的值代表一个现实的环境要素或者环境要素的一部分。如图1所示，图中的每个像素对应一个栅格，图中的颜色深度代表了该格栅处有障碍物的概率，颜色越深，概率越大；颜色越浅，概率越小。当格栅地图的分辨率为0.05m/cell(米/栅格)时，代表了每个栅格映射物理上0.05米见方的一个区域。基于2D扫描数据的传统地图生成方法，基本上生成的是普通的栅格地图，普通的栅格地图在移动机器人定位导航过程中存在以下问题：
1.普通的栅格地图无法表达每个栅格在实际环境中具体表示的是什么物体(例如桌子、凳子、花瓶等)；
2.普通的栅格地图无法剔除环境地图中的动态物体(例如行人、车等)，导致由于动态物体的影响，生成的格栅地图会存在很多噪声点。
3.普通栅格地图无法为导航和定位方法提供可靠的路标。
以上这些因素都会导致移动机器人在动态环境中，不能生成一张可靠的环境地图，并且基于普通栅格地图的定位在动态环境中很可能会失效或者有较大的误差。
发明内容
为了解决上述普通的格栅地图存在的无法表达实际环境物体、无法去除动态物体带来的噪声以及无法提供可靠路标的技术问题，本发明实施例提出了一种语义栅格地图生成方法及其装置。
一种语义栅格地图生成方法，该方法包括以下步骤：
通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；
将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；
将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。
进一步地，所述将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据的步骤包括：
对激光雷达传感器获取的2D扫描数据进行粒子群聚类；
对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签；
将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系；
根据所述图像数据和2D扫描数据的对应关系，将所述图像数据的物体检测结果与聚类后的2D扫描数据进行融合，生成语义扫描数据。
进一步地，在所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签的步骤中，对图像数据的物体检测方法使用基于深度学习的检测和分类方法，为图像数据中的物体加上语义标签。
进一步地，在所述将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系的步骤中，所述将获取的图像数据和2D扫描数据对齐，是根据事先测定好的激光雷达传感器和视觉传感器的安装位置的相对关系，进行图像数据和2D扫描数据的对齐。
进一步地，在所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签的步骤中，对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：检测视觉传感器获取的图像数据，给出检测出的物体的所有可能的语义标签，以及每一个可能的语义标签的概率；
在所述将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系的步骤中，根据所述图像数据和2D扫描数据的对应关系，将所述所有可能的语义标签及相应的概率投影到2D扫描数据中进行融合，生成带有物体概率标签的语义扫描数据。
进一步地，所述将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图的步骤包括：
对所述带有物体概率标签的语义扫描数据进行预处理，从所述语义扫描数据中提取原始2D扫描数据和基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签；
利用基于激光雷达传感器的并发定位和建图算法，对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息；
根据所述移动轨迹以及定位信息，将所述提取的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，生成语义格栅地图。
进一步地，所述将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，包括：计算地图格栅中的每个格栅对应的最大概率的语义标签，将每个格栅对应的最大概率的语义标签与格栅地图中的相应格栅进行融合，生成所述语义格栅地图。
进一步地，所述计算地图格栅中的每个格栅对应的最大概率的语义标签，包括：计算格栅地图中某个栅格cell[m]出现语义标签为A的概率cell[m].flag[A].prob；
概率cell[m].flag[A].prob的表达式如下式所示：
其中，visit是指在采样时刻t，移动轨迹Tt中的每个轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到与格栅地图中的栅格cell[m]对应的点Tt[j].scan[k]的次数，其中j代表轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到该栅格cell[m]对应的点Tt[j].scan[k]，并且该格栅cell[m]对应的点Tt[j].scan[k]具有语义标签A的轨迹节点；Tt[j].scan[k].flage[A].prob是指在采样时刻t，移动轨迹Tt上观测到栅格cell[m]的轨迹节点j的基于视觉传感器视角的语义扫描数据中，对应格栅地图中的栅格cell[m]的点Tt[j].scan[k]具有语义标签A的概率；
同理计算出格栅地图中栅格cell[m]的所有语义标签的概率，并选取概率最大的语义标签作为格栅地图中栅格cell[m]的语义标签。
一种语义栅格地图生成装置，该装置包括：获取模块、第一生成模块和第二生成模块；
其中，所述获取模块通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；
所述第一生成模块将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；
所述第二生成模块将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。
进一步地，所述第一获取模块还包括：聚类模块、检测模块、对齐模块和第一融合模块；
所述聚类模块用于对激光雷达传感器获取的2D扫描数据进行粒子群聚类；
所述检测模块用于对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签；
所述对齐模块用于将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系；
所述第一融合模块用于根据所述图像数据和2D扫描数据的对应关系，将所述图像数据的物体检测结果与聚类后的2D扫描数据进行融合，生成所述语义扫描数据。
进一步地，所述检测模块对图像数据的物体检测使用基于深度学习的检测和分类方法，为图像数据中的物体加上语义标签。
进一步地，所述对齐模块将获取的图像数据和2D扫描数据对齐，是根据事先测定好的激光雷达传感器和视觉传感器的安装位置的相对关系，进行图像数据和2D扫描数据的对齐。
进一步地，所述检测模块对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：检测视觉传感器获取的图像数据，给出检测出的物体的所有可能的语义标签，以及每一个可能的语义标签的概率；
所述第一融合模块根据所述图像数据和2D扫描数据的对应关系，将所述所有可能的语义标签及相应的概率投影到2D扫描数据中进行融合，生成带有物体概率标签的语义扫描数据。
进一步地，所述第二生产模块包括：预处理模块、处理模块和第二融合模块；
所述预处理模块对所述带有物体概率标签的语义扫描数据进行预处理，从所述语义扫描数据中提取原始2D扫描数据和基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签；
所述处理模块利用基于激光雷达传感器的并发定位和建图算法，对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息；
所述第二融合模块根据所述移动轨迹以及定位信息，将所述提取的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，生成语义格栅地图。
进一步地，所述第二融合模块将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，包括：计算地图格栅中每个格栅对应的最大概率的语义标签，将每个格栅对应的最大概率的语义标签与格栅地图中的相应格栅进行融合，生成所述语义格栅地图。
进一步地，所述第二融合模块计算地图格栅中的每个格栅对应的最大概率的语义标签，包括：计算格栅地图中某个栅格cell[m]出现语义标签为A的概率cell[m].flag[A].prob；
概率cell[m].flag[A].prob的表达式如下式所示：
其中，visit是指在采样时刻t，移动轨迹Tt中的每个轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到与格栅地图中的栅格cell[m]对应的点Tt[j].scan[k]的次数，其中j代表轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到该栅格cell[m]对应的点Tt[j].scan[k]，并且该格栅cell[m]对应的点Tt[j].scan[k]具有语义标签A的轨迹节点；Tt[j].scan[k].flage[A].prob是指在采样时刻t，移动轨迹Tt上观测到栅格cell[m]的轨迹节点j的基于视觉传感器视角的语义扫描数据中，对应格栅地图中的栅格cell[m]的点Tt[j].scan[k]具有语义标签A的概率；
同理计算出格栅地图中栅格cell[m]的所有语义标签的概率，并选取概率最大的语义标签作为格栅地图中栅格cell[m]的语义标签。
本发明的有益效果：本发明实施例提出的语义栅格地图生成方法及其装置，引入视觉传感器，增加系统对外界环境的理解，为格栅地图的生成提供更多的信息量；通过视觉传感器获取的图像数据，对激光雷达传感器获取的2D扫描数据赋予语义信息；在地图融合的过程中，去除动态物体减少噪声点，同时对确定栅格添加语义信息，生成语义格栅地图，为构图、定位和导航提供可靠地路标信息，从而提高移动机器人在动态环境中的构图和定位的鲁棒性。
附图说明
图1是本发明实施例提出的语义栅格地图生成方法的流程图；
图2是本发明实施例提出的语义栅格地图生成方法中生成语义扫描数据的流程图；
图3是本发明实施例提出的语义栅格地图生成方法中生成语义格栅地图的流程图
图4是本发明实施例提出的语义栅格地图生成装置的结构框图；
图5是本发明实施例提出的语义栅格地图生成装置包括的第一生成模块的结构框图；
图6是本发明实施例提出的语义栅格地图生成装置包括的第二生成模块的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。
本发明实施例提出了一种语义栅格地图生成方法，如图1所示，该方法包括以下步骤：
步骤S11、通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；
步骤S12、将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；
步骤S13、将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。
其中，所述激光雷达传感器和所述视觉传感器安装在移动机器人上，本发明实施例中所述的飞行器不仅包括在地面行走的移动机器人，也包括在其他环境中飞行的飞行器等。所述激光雷达传感器可以为2D激光雷达、3D激光雷达等；所述视觉传感器可以为zed相机、Kinect相机等，所述视觉传感器也可以采用单目相机、双目相机等。
其中，如图2所示，所述步骤S12包括：
步骤S121、对激光雷达传感器获取的2D扫描数据进行粒子群聚类；
步骤S122、对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签；
步骤S123、将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系；
步骤S124、根据所述图像数据和2D扫描数据的对应关系，将所述图像数据的物体检测结果与聚类后的2D扫描数据进行融合，生成所述语义扫描数据。
上述步骤S121、步骤S122和步骤S123的执行不分先后。
在步骤S121中，对2D扫描数据的粒子群聚类通过物理位置信息，将相近的同一簇点云标记为一类。所使用的聚类方法例如为填充聚类法、动态聚类法(dynamic means)。
在步骤S122中，对图像数据的物体检测方法可以使用基于深度学习的检测和分类方法，为图像数据中的物体加上语义标签。其中，检测和分类方法可以采用YOLO网络做万物检测和分类，也可以采用YOLO V2网络或者YOLO的其他衍生网络，还可以采用其他的万物检测和分类的方法。
在步骤S123中，所述将获取的图像数据和2D扫描数据对齐，可以根据事先测定好的激光雷达传感器和视觉传感器的安装位置的相对关系，进行图像数据和2D扫描数据的对齐。
进一步地，在步骤S122中，对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：检测视觉传感器获取的图像数据，给出检测出的物体的所有可能的语义标签，以及每一个可能的语义标签的概率；在步骤S124中，根据所述图像数据和2D扫描数据的对应关系，将所述所有可能的语义标签及相应的概率投影到2D扫描数据中进行融合，生成带有物体概率标签的语义扫描数据，从而可以克服由于物体检测得到的检测框包含有背景信息，如果直接将物体检测得到的语义标签投影到2D扫描数据中，可能会出现较多误差的缺陷。
如图3所示，所述步骤S13包括：
步骤S131、对所述带有物体概率标签的语义扫描数据进行预处理，从所述语义扫描数据中提取原始2D扫描数据和基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签；
步骤S132、利用基于激光雷达传感器的并发定位和建图(SLAM)算法，对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息；
步骤S133、根据所述移动轨迹以及定位信息，将所述提取的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，生成语义格栅地图。
在所述步骤S132中，本发明实施例将从语义扫描数据中提取的原始2D扫描数据，而不是激光雷达传感器获取的2D扫描数据，作为移动机器人构图和定位过程的观测数据，可以有效提高后续的融合效果，并且由于激光雷达传感器的扫描范围一般远大于视觉传感器的视角范围，因此使用从语义扫描数据中提取的原始扫描数据，能够为移动机器人的构图和定位提供更多的数据，从而获得更准确的定位数据。
进一步地，在步骤S132中，所述基于激光雷达传感器的并发定位和建图(SLAM)算法包括：基于Rao-Blackwellised粒子滤波的rbpf-slam算法、基于图优化的cartographer算法以及基于高斯-牛顿优化匹配的Hector算法等。其中，所述基于激光雷达传感器的并发定位和建图(SLAM)算法中可以加入里程计，以提高定位精度。
另外，在步骤S133中，本发明实施例将从语义扫描数据中提取的基于视觉传感器视角的语义扫描数据，作为融合数据，可以剔除不在视觉传感器视角的语义扫描数据，避免动态物体的干扰，并且提取的基于视觉传感器视角的语义扫描数据存储在移动机器人移动的轨迹节点上，当生成语义栅格地图时，将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，即可以生成语义栅格地图。
更进一步地，在步骤S133中，将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，包括：计算地图格栅中的每个格栅对应的最大概率的语义标签，将每个格栅对应的最大概率的语义标签与格栅地图中的相应格栅进行融合，生成所述语义格栅地图。
所述计算地图格栅中的每个格栅对应的最大概率的语义标签的方法包括：
假设在采样时刻t，移动机器人从起点开始的移动轨迹为Tt，移动轨迹Tt的长度为n个轨迹节点，那么在每个轨迹节点处，均会生成一帧语义扫描数据，并会提取和存储基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签，其中第i个节点的语义扫描数据表示为Tt[i].scan，其中的某个点x表示为Tt[j].scan[k]。
一般来说，格栅地图上会包括多个障碍物体，每帧语义扫描数据对同一障碍物体的语义标签可能不同，因此，格栅地图上的同一障碍物体可能会对应一个或多个语义标签，本发明实施例中语义标签采用标签名(flag)、概率(probability)、动态性(dynamic)表示。本发明实施例中采用的语义扫描数据与格栅地图的融合，就是根据每个轨迹节点处存储的语义扫描数据计算出格栅地图中每个栅格的最大概率的语义标签，从而能够避免格栅地图上的同一障碍物体对应多个语义标签。
其中，计算格栅地图中某个栅格cell[m]出现语义标签为A的概率cell[m].flag[A].prob可以如下式：
其中，visit是指在采样时刻t，移动轨迹Tt中的每个轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到与格栅地图中的栅格cell[m]对应的点Tt[j].scan[k]的次数，例如，如果分别在第2个、第5个、第7个、第8个这四个轨迹节点处存储的基于视觉传感器视角的语义扫描数据中观测到栅格cell[m]对应的点Tt[j].scan[k]，则visit为4；j代表所述n个轨迹节点处存储的基于视觉传感器视角的语义扫描数据中，观测到该栅格cell[m]对应的点Tt[j].scan[k]并且该格栅cell[m]对应的点Tt[j].scan[k]具有语义标签A的轨迹节点；Tt[j].scan[k].flage[A].prob是指在采样时刻t，移动轨迹Tt上观测到栅格cell[m]的轨迹节点j的基于视觉传感器视角的语义扫描数据中，对应格栅地图中的栅格cell[m]的点Tt[j].scan[k]具有语义标签A的概率，该概率为在步骤S122中计算得到的所述图像数据的可能的语义标签的概率。同理计算出格栅地图中栅格cell[m]的所有语义标签的概率，并选取概率最大的语义标签作为格栅地图中的栅格cell[m]的语义标签。
传统方法地图生成方法不能对地图栅格赋予语义，本发明实施例提出的语义格栅地图生成方法给普通的地图栅格提供了语义信息，在地图生成过程中去除环境中的动态物体，减少地图中的噪声点，添加固体物体的语义栅格，为构图、定位和导航提供可靠地路标信息，提高构图、定位和导航的鲁棒性。
本发明实施例还提出了一种语义栅格地图生成装置，如图4所示，该装置包括：获取模块、第一生成模块和第二生成模块；
其中，所述获取模块通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；
所述第一生成模块将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；
所述第二生成模块将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。
其中，所述激光雷达传感器和所述视觉传感器安装在移动机器人上，本发明实施例中所述的飞行器不仅包括在地面行走的移动机器人，也包括在其他环境中飞行的飞行器等。所述激光雷达传感器可以为2D激光雷达、3D激光雷达等；所述视觉传感器可以为zed相机、Kinect相机等，所述视觉传感器也可以采用单目相机、双目相机等。
其中，如图5所示，所述第一生成模块包括：聚类模块、检测模块、对齐模块和第一融合模块。
所述聚类模块用于对激光雷达传感器获取的2D扫描数据进行粒子群聚类；
所述检测模块用于对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签；
所述对齐模块用于将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系；
所述第一融合模块用于根据所述图像数据和2D扫描数据的对应关系，将所述图像数据的物体检测结果与聚类后的2D扫描数据进行融合，生成所述语义扫描数据。
进一步地，所述聚类模块对2D扫描数据的粒子群聚类通过物理位置信息，将相近的同一簇点云标记为一类。所使用的聚类方法例如为填充聚类法、动态聚类法(dynamicmeans)。
所述检测模块对图像数据的物体检测方法可以使用基于深度学习的检测和分类方法，为图像数据中的物体加上语义标签。其中，检测和分类方法可以采用YOLO网络做万物检测和分类，也可以采用YOLO V2网络或者YOLO的其他衍生网络，还可以采用其他的万物检测和分类的方法。
所述对齐模块将获取的图像数据和2D扫描数据对齐，可以根据事先测定好的激光雷达传感器和视觉传感器的安装位置的相对关系，进行图像数据和2D扫描数据的对齐。
进一步地，所述检测模块对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：检测视觉传感器获取的图像数据，给出检测出的物体的所有可能的语义标签，以及每一个可能的语义标签的概率；所述第一融合模块根据所述图像数据和2D扫描数据的对应关系，将所述所有可能的语义标签及相应的概率投影到2D扫描数据中进行融合，生成带有物体概率标签的语义扫描数据，从而可以克服由于物体检测得到的检测框包含有背景信息，如果直接将物体检测得到的语义标签投影到2D扫描数据中，可能会出现较多误差的缺陷。
如图6所示，所述第二生成模块包括：预处理模块、处理模块和第二融合模块。
所述预处理模块对所述带有物体概率标签的语义扫描数据进行预处理，从所述语义扫描数据中提取原始2D扫描数据和基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签；
所述处理模块利用基于激光雷达传感器的并发定位和建图(SLAM)算法，对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息；
所述第二融合模块根据所述移动轨迹以及定位信息，将所述提取的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，生成语义格栅地图。
在本发明实施例中，所述处理模块将从语义扫描数据中提取的原始2D扫描数据，而不是激光雷达传感器获取的2D扫描数据，作为移动机器人构图和定位过程的观测数据，可以有效提高后续的融合效果，并且由于激光雷达传感器的扫描范围一般远大于视觉传感器的视角范围，因此使用从语义扫描数据中提取的原始扫描数据，能够为移动机器人的构图和定位提供更多的数据，从而获得更准确的定位数据。
进一步地，所述基于激光雷达传感器的并发定位和建图(SLAM)算法包括：基于Rao-Blackwellised粒子滤波的rbpf-slam算法、基于图优化的cartographer算法以及基于高斯-牛顿优化匹配的Hector算法等。其中，所述基于激光雷达传感器的并发定位和建图(SLAM)算法中可以加入里程计，以提高定位精度。
另外，在本发明实施例中，所述第二融合模块将从语义扫描数据中提取的基于视觉传感器视角的语义扫描数据，作为融合数据，可以剔除不在视觉传感器视角的语义扫描数据，避免动态物体的干扰，并且提取的基于视觉传感器视角的语义扫描数据存储在移动机器人移动的轨迹节点上，当生成语义栅格地图时，将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，即可以生成语义栅格地图。
更进一步地，所述第二融合模块将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，包括：计算地图格栅中的每个格栅对应的最大概率的语义标签，将每个格栅对应的最大概率的语义标签与格栅地图中的相应格栅进行融合，生成所述语义格栅地图。
所述计算地图格栅中的每个格栅对应的最大概率的语义标签的方法包括：
假设在采样时刻t，移动机器人从起点开始的移动轨迹为Tt，移动轨迹Tt的长度为n个轨迹节点，那么在每个轨迹节点处，均会生成一帧语义扫描数据，并会提取和存储基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签，其中第i个节点的语义扫描数据表示为Tt[i].scan，其中的某个点x表示为Tt[j].scan[x]。
一般来说，格栅地图上会包括多个障碍物体，每帧语义扫描数据对同一障碍物体的语义标签可能不同，因此，格栅地图上的同一障碍物体可能会对应一个或多个语义标签，本发明实施例中语义标签采用标签名(flag)、概率(probability)、动态性(dynamic)表示。本发明实施例中采用的语义扫描数据与格栅地图的融合，就是根据每个轨迹节点处存储的语义扫描数据计算出格栅地图中每个栅格的最大概率的语义标签，从而能够避免格栅地图上的同一障碍物体对应多个语义标签。
其中，计算格栅地图中某个栅格cell[m]出现语义标签为A的概率cell[m].flag[A].prob可以如下式：
其中，visit是指在采样时刻t，移动轨迹Tt中的每个轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到与格栅地图中的栅格cell[m]对应的点Tt[j].scan[k]的次数，例如，如果分别在第2个、第5个、第7个、第8个这四个轨迹节点处存储的基于视觉传感器视角的语义扫描数据中观测到栅格cell[m]对应的点Tt[j].scan[k]，则visit为4；j代表所述n个轨迹节点处存储的基于视觉传感器视角的语义扫描数据中，观测到该栅格cell[m]对应的点Tt[j].scan[k]并且该格栅cell[m]对应的点Tt[j].scan[k]具有语义标签A的轨迹节点；Tt[j].scan[k].flage[A].prob是指在采样时刻t，移动轨迹Tt上观测到栅格cell[m]的轨迹节点j的基于视觉传感器视角的语义扫描数据中，对应格栅地图中的栅格cell[m]的点Tt[j].scan[k]具有语义标签A的概率，该概率为在所述检测模块计算得到的所述图像数据的可能的语义标签的概率。同理计算出格栅地图中栅格cell[m]的所有语义标签的概率，并选取概率最大的语义标签作为格栅地图中的栅格cell[m]的语义标签。
传统方法地图生成方案不能对地图栅格赋予语义，本发明实施例提出的语义格栅地图生成装置给普通的地图栅格提供了语义信息，在地图生成过程中去除环境中的动态物体，减少地图中的噪声点，添加固体物体的语义栅格，为构图、定位和导航提供可靠地路标信息，提高构图、定位和导航的鲁棒性。
本发明实施例还提出一种计算机可读存储介质，存储有执行前述方法的计算机程序。
本发明实施例还提出一种计算机设备，包括处理器和操作上与所述处理器连接的上述计算机可读存储介质，所述处理器运行执行计算机可读介质中的计算机程序。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种语义栅格地图生成方法，其特征在于，该方法包括以下步骤：
通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；
将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；
将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。
2.根据权利要求1所述的方法，其特征在于，所述将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据的步骤包括：
对激光雷达传感器获取的2D扫描数据进行粒子群聚类；
对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签；
将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系；
根据所述图像数据和2D扫描数据的对应关系，将所述图像数据的物体检测结果与聚类后的2D扫描数据进行融合，生成语义扫描数据。
3.根据权利要求2所述的方法，其特征在于，在所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签的步骤中，对图像数据的物体检测方法使用基于深度学习的检测和分类方法，为图像数据中的物体加上语义标签。
4.根据权利要求2所述的方法，其特征在于，在所述将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系的步骤中，所述将获取的图像数据和2D扫描数据对齐，是根据事先测定好的激光雷达传感器和视觉传感器的安装位置的相对关系，进行图像数据和2D扫描数据的对齐。
5.根据权利要求2至4中任一项所述的方法，其特征在于，在所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签的步骤中，对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：检测视觉传感器获取的图像数据，给出检测出的物体的所有可能的语义标签，以及每一个可能的语义标签的概率；
在所述将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系的步骤中，根据所述图像数据和2D扫描数据的对应关系，将所述所有可能的语义标签及相应的概率投影到2D扫描数据中进行融合，生成带有物体概率标签的语义扫描数据。
6.根据权利要求5所述的方法，其特征在于，所述将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图的步骤包括：
对所述带有物体概率标签的语义扫描数据进行预处理，从所述语义扫描数据中提取原始2D扫描数据和基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签；
利用基于激光雷达传感器的并发定位和建图算法，对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息；
根据所述移动轨迹以及定位信息，将所述提取的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，生成语义格栅地图。
7.根据权利要求6所述的方法，其特征在于，所述将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，包括：计算地图格栅中的每个格栅对应的最大概率的语义标签，将每个格栅对应的最大概率的语义标签与格栅地图中的相应格栅进行融合，生成所述语义格栅地图。
8.根据权利要求7所述的方法，其特征在于，所述计算地图格栅中的每个格栅对应的最大概率的语义标签，包括：计算格栅地图中某个栅格cell[m]出现语义标签为A的概率cell[m].flag[A].prob；
概率cell[m].flag[A].prob的表达式如下式所示：
其中，visit是指在采样时刻t，移动轨迹Tt中的每个轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到与格栅地图中的栅格cell[m]对应的点Tt[j].scan[k]的次数，其中j代表轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到该栅格cell[m]对应的点Tt[j].scan[k]，并且该格栅cell[m]对应的点Tt[j].scan[k]具有语义标签A的轨迹节点；Tt[j].scan[k].flage[A].prob是指在采样时刻t，移动轨迹Tt上观测到栅格cell[m]的轨迹节点j的基于视觉传感器视角的语义扫描数据中，对应格栅地图中的栅格cell[m]的点Tt[j].scan[k]具有语义标签A的概率；
同理计算出格栅地图中栅格cell[m]的所有语义标签的概率，并选取概率最大的语义标签作为格栅地图中栅格cell[m]的语义标签。
9.一种语义栅格地图生成装置，其特征在于，该装置包括：获取模块、第一生成模块和第二生成模块；
其中，所述获取模块通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；
所述第一生成模块将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；
所述第二生成模块将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。
10.根据权利要求9所述的装置，其特征在于，所述第一生成模块包括：聚类模块、检测模块、对齐模块和第一融合模块；
所述聚类模块用于对激光雷达传感器获取的2D扫描数据进行粒子群聚类；
所述检测模块用于对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签；
所述对齐模块用于将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系；
所述第一融合模块用于根据所述图像数据和2D扫描数据的对应关系，将所述图像数据的物体检测结果与聚类后的2D扫描数据进行融合，生成所述语义扫描数据。
11.根据权利要求10所述的装置，其特征在于，所述检测模块对图像数据的物体检测使用基于深度学习的检测和分类方法，为图像数据中的物体加上语义标签。
12.根据权利要求10所述的装置，其特征在于，所述对齐模块将获取的图像数据和2D扫描数据对齐，是根据事先测定好的激光雷达传感器和视觉传感器的安装位置的相对关系，进行图像数据和2D扫描数据的对齐。
13.根据权利要求10至12中任一项所述的装置，其特征在于，所述检测模块对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：检测视觉传感器获取的图像数据，给出检测出的物体的所有可能的语义标签，以及每一个可能的语义标签的概率；
所述第一融合模块根据所述图像数据和2D扫描数据的对应关系，将所述所有可能的语义标签及相应的概率投影到2D扫描数据中进行融合，生成带有物体概率标签的语义扫描数据。
14.根据权利要求13所述的装置，其特征在于，所述第二生成模块包括：预处理模块、处理模块和第二融合模块；
所述预处理模块对所述带有物体概率标签的语义扫描数据进行预处理，从所述语义扫描数据中提取原始2D扫描数据和基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签；
所述处理模块利用基于激光雷达传感器的并发定位和建图算法，对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息；
所述第二融合模块根据所述移动轨迹以及定位信息，将所述提取的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，生成语义格栅地图。
15.根据权利要求14所述的装置，其特征在于，所述第二融合模块将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，包括：计算地图格栅中每个格栅对应的最大概率的语义标签，将每个格栅对应的最大概率的语义标签与格栅地图中的相应格栅进行融合，生成所述语义格栅地图。
16.根据权利要求15所述的装置，其特征在于，所述第二融合模块计算地图格栅中的每个格栅对应的最大概率的语义标签，包括：计算格栅地图中某个栅格cell[m]出现语义标签为A的概率cell[m].flag[A].prob；
概率cell[m].flag[A].prob的表达式如下式所示：
其中，visit是指在采样时刻t，移动轨迹Tt中的每个轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到与格栅地图中的栅格cell[m]对应的点Tt[j].scan[k]的次数，其中j代表轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到该栅格cell[m]对应的点Tt[j].scan[k]，并且该格栅cell[m]对应的点Tt[j].scan[k]具有语义标签A的轨迹节点；Tt[j].scan[k].flage[A].prob是指在采样时刻t，移动轨迹Tt上观测到栅格cell[m]的轨迹节点j的基于视觉传感器视角的语义扫描数据中，对应格栅地图中的栅格cell[m]的点Tt[j].scan[k]具有语义标签A的概率；
同理计算出格栅地图中栅格cell[m]的所有语义标签的概率，并选取概率最大的语义标签作为格栅地图中栅格cell[m]的语义标签。
CN201810664562.4A 2018-06-25 2018-06-25 一种语义栅格地图生成方法及其装置 Active CN108920584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810664562.4A CN108920584B (zh) 2018-06-25 2018-06-25 一种语义栅格地图生成方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810664562.4A CN108920584B (zh) 2018-06-25 2018-06-25 一种语义栅格地图生成方法及其装置

Publications (2)

Publication Number Publication Date
CN108920584A true CN108920584A (zh) 2018-11-30
CN108920584B CN108920584B (zh) 2020-10-30

Family

ID=64421192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810664562.4A Active CN108920584B (zh) 2018-06-25 2018-06-25 一种语义栅格地图生成方法及其装置

Country Status (1)

Country Link
CN (1) CN108920584B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109855624A (zh) * 2019-01-17 2019-06-07 宁波舜宇智能科技有限公司 用于agv车的导航装置及导航方法
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统
CN110516641A (zh) * 2019-08-30 2019-11-29 苏州大学 一种环境地图的构建方法及相关装置
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN111028350A (zh) * 2019-11-21 2020-04-17 大连理工大学 一种利用双目立体相机构建栅格地图的方法
CN111105495A (zh) * 2019-11-26 2020-05-05 四川阿泰因机器人智能装备有限公司 一种融合视觉语义信息的激光雷达建图方法及系统
CN111221337A (zh) * 2020-01-19 2020-06-02 弗徕威智能机器人科技（上海）有限公司 机器人栅格地图的构建方法及系统
CN111273305A (zh) * 2020-02-18 2020-06-12 中国科学院合肥物质科学研究院 基于全局与局部栅格图多传感器融合道路提取与索引方法
CN111307166A (zh) * 2018-12-11 2020-06-19 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
CN111311709A (zh) * 2020-02-05 2020-06-19 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111323029A (zh) * 2018-12-16 2020-06-23 北京初速度科技有限公司 导航方法及车载终端
CN111323027A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN111323004A (zh) * 2018-12-16 2020-06-23 北京初速度科技有限公司 初始位置的确定方法及车载终端
CN111381585A (zh) * 2018-12-11 2020-07-07 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、相关设备
CN111461245A (zh) * 2020-04-09 2020-07-28 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及系统
CN111551167A (zh) * 2020-02-10 2020-08-18 江苏盖亚环境科技股份有限公司 一种基于无人机拍摄和语义分割的全局导航辅助方法
CN111708368A (zh) * 2020-07-07 2020-09-25 上海工程技术大学 一种基于激光与视觉slam融合的智能轮椅
CN111765892A (zh) * 2020-05-12 2020-10-13 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN111986553A (zh) * 2020-08-19 2020-11-24 炬星科技（深圳）有限公司 基于语义标签进行地图关联的方法、设备及存储介质
CN112067006A (zh) * 2020-09-14 2020-12-11 上海汽车集团股份有限公司 一种基于语义的视觉定位方法及装置
CN112231424A (zh) * 2020-09-29 2021-01-15 上海擎朗智能科技有限公司 待贴路标区域确认方法、装置、设备及存储介质
CN112393719A (zh) * 2019-08-12 2021-02-23 科沃斯商用机器人有限公司 一种栅格语义地图生成方法、装置以及存储设备
CN113238554A (zh) * 2021-05-08 2021-08-10 武汉科技大学 一种基于激光与视觉融合slam技术的室内导航方法及系统
WO2021223116A1 (zh) * 2020-05-06 2021-11-11 上海欧菲智能车联科技有限公司 感知地图生成方法、装置、计算机设备和存储介质
WO2021249469A1 (zh) * 2020-06-12 2021-12-16 达闼机器人有限公司 栅格地图生成方法、装置及计算机可读存储介质
CN117437654A (zh) * 2023-12-19 2024-01-23 中国地质大学（武汉） 一种基于语义识别的栅格地图解析方法、设备和介质
US11972523B2 (en) 2020-06-12 2024-04-30 Cloudminds Robotics Co., Ltd. Grid map generation method and device, and computer-readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780735A (zh) * 2016-12-29 2017-05-31 深圳先进技术研究院 一种语义地图构建方法、装置及一种机器人
CN106970614A (zh) * 2017-03-10 2017-07-21 江苏物联网研究发展中心 改进的栅格拓扑语义环境地图的构建方法
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN107833250A (zh) * 2017-10-24 2018-03-23 北京易达图灵科技有限公司 语义空间地图构建方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780735A (zh) * 2016-12-29 2017-05-31 深圳先进技术研究院 一种语义地图构建方法、装置及一种机器人
CN106970614A (zh) * 2017-03-10 2017-07-21 江苏物联网研究发展中心 改进的栅格拓扑语义环境地图的构建方法
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN107833250A (zh) * 2017-10-24 2018-03-23 北京易达图灵科技有限公司 语义空间地图构建方法及装置

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111307166A (zh) * 2018-12-11 2020-06-19 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
CN111307166B (zh) * 2018-12-11 2023-10-03 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
CN111381585A (zh) * 2018-12-11 2020-07-07 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、相关设备
US11630210B2 (en) 2018-12-11 2023-04-18 Beijing Tusen Zhitu Technology Co., Ltd. Method for creating occupancy grid map and processing apparatus
CN111381585B (zh) * 2018-12-11 2023-06-16 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、相关设备
CN111323029A (zh) * 2018-12-16 2020-06-23 北京初速度科技有限公司 导航方法及车载终端
CN111323029B (zh) * 2018-12-16 2022-05-27 北京魔门塔科技有限公司 导航方法及车载终端
CN111323004A (zh) * 2018-12-16 2020-06-23 北京初速度科技有限公司 初始位置的确定方法及车载终端
CN111323004B (zh) * 2018-12-16 2022-05-13 北京魔门塔科技有限公司 初始位置的确定方法及车载终端
CN111323027A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN109855624A (zh) * 2019-01-17 2019-06-07 宁波舜宇智能科技有限公司 用于agv车的导航装置及导航方法
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统
CN112393719A (zh) * 2019-08-12 2021-02-23 科沃斯商用机器人有限公司 一种栅格语义地图生成方法、装置以及存储设备
CN110516641A (zh) * 2019-08-30 2019-11-29 苏州大学 一种环境地图的构建方法及相关装置
CN110516641B (zh) * 2019-08-30 2022-04-12 苏州大学 一种环境地图的构建方法及相关装置
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110614638B (zh) * 2019-09-19 2021-07-23 国网智能科技股份有限公司 一种变电站巡检机器人自主采集方法及系统
CN111028350B (zh) * 2019-11-21 2022-05-20 大连理工大学 一种利用双目立体相机构建栅格地图的方法
CN111028350A (zh) * 2019-11-21 2020-04-17 大连理工大学 一种利用双目立体相机构建栅格地图的方法
CN111105495A (zh) * 2019-11-26 2020-05-05 四川阿泰因机器人智能装备有限公司 一种融合视觉语义信息的激光雷达建图方法及系统
CN111221337A (zh) * 2020-01-19 2020-06-02 弗徕威智能机器人科技（上海）有限公司 机器人栅格地图的构建方法及系统
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111311709A (zh) * 2020-02-05 2020-06-19 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111551167B (zh) * 2020-02-10 2022-09-27 江苏盖亚环境科技股份有限公司 一种基于无人机拍摄和语义分割的全局导航辅助方法
CN111551167A (zh) * 2020-02-10 2020-08-18 江苏盖亚环境科技股份有限公司 一种基于无人机拍摄和语义分割的全局导航辅助方法
CN111273305A (zh) * 2020-02-18 2020-06-12 中国科学院合肥物质科学研究院 基于全局与局部栅格图多传感器融合道路提取与索引方法
CN111461245A (zh) * 2020-04-09 2020-07-28 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及系统
WO2021223116A1 (zh) * 2020-05-06 2021-11-11 上海欧菲智能车联科技有限公司 感知地图生成方法、装置、计算机设备和存储介质
CN111765892A (zh) * 2020-05-12 2020-10-13 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN111765892B (zh) * 2020-05-12 2022-04-29 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
WO2021249469A1 (zh) * 2020-06-12 2021-12-16 达闼机器人有限公司 栅格地图生成方法、装置及计算机可读存储介质
US11972523B2 (en) 2020-06-12 2024-04-30 Cloudminds Robotics Co., Ltd. Grid map generation method and device, and computer-readable storage medium
CN111708368B (zh) * 2020-07-07 2023-03-10 上海工程技术大学 一种基于激光与视觉slam融合的智能轮椅
CN111708368A (zh) * 2020-07-07 2020-09-25 上海工程技术大学 一种基于激光与视觉slam融合的智能轮椅
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN111928862B (zh) * 2020-08-10 2023-11-21 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN111986553A (zh) * 2020-08-19 2020-11-24 炬星科技（深圳）有限公司 基于语义标签进行地图关联的方法、设备及存储介质
CN112067006A (zh) * 2020-09-14 2020-12-11 上海汽车集团股份有限公司 一种基于语义的视觉定位方法及装置
CN112231424A (zh) * 2020-09-29 2021-01-15 上海擎朗智能科技有限公司 待贴路标区域确认方法、装置、设备及存储介质
CN112231424B (zh) * 2020-09-29 2024-02-09 上海擎朗智能科技有限公司 待贴路标区域确认方法、装置、设备及存储介质
CN113238554A (zh) * 2021-05-08 2021-08-10 武汉科技大学 一种基于激光与视觉融合slam技术的室内导航方法及系统
CN117437654A (zh) * 2023-12-19 2024-01-23 中国地质大学（武汉） 一种基于语义识别的栅格地图解析方法、设备和介质
CN117437654B (zh) * 2023-12-19 2024-03-08 中国地质大学（武汉） 一种基于语义识别的栅格地图解析方法、设备和介质

Also Published As

Publication number Publication date
CN108920584B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN108920584A (zh) 一种语义栅格地图生成方法及其装置
CN103377476B (zh) 使用三维地理弧的多模型数据的图像配准
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
Yang et al. Automatic registration of UAV-borne sequent images and LiDAR data
CN101617197B (zh) 测量装置、测量方法及地物识别装置
Lafarge et al. Creating large-scale city models from 3D-point clouds: a robust approach with hybrid representation
CN111060924B (zh) 一种slam与目标跟踪方法
Li et al. Automatic registration of panoramic image sequence and mobile laser scanning data using semantic features
CN109034077A (zh) 一种基于多尺度特征学习的三维点云标记方法和装置
CN109961468A (zh) 基于双目视觉的体积测量方法、装置及存储介质
Özdemir et al. Classification of aerial point clouds with deep learning
CN114140539A (zh) 一种室内物体的位置获取方法和装置
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
Yang et al. Automated wall‐climbing robot for concrete construction inspection
Sun et al. Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images.
Li et al. New methodologies for precise building boundary extraction from LiDAR data and high resolution image
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
Zhao et al. Alignment of continuous video onto 3D point clouds
Lin et al. Semi-automatic extraction of ribbon roads from high resolution remotely sensed imagery by T-shaped template matching
Inzerillo et al. High quality texture mapping process aimed at the optimization of 3d structured light models
CN112016558A (zh) 一种基于图像质量的介质能见度识别方法
Sohn et al. Sequential modelling of building rooftops by integrating airborne LiDAR data and optical imagery: preliminary results
Partovi et al. Automatic integration of laser scanning and photogrammetric point clouds: From acquisition to co-registration
Zhu A pipeline of 3D scene reconstruction from point clouds
CN209279912U (zh) 一种物体三维信息采集装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant