CN106780735B - 一种语义地图构建方法、装置及一种机器人 - Google Patents
一种语义地图构建方法、装置及一种机器人 Download PDFInfo
- Publication number
- CN106780735B CN106780735B CN201611243602.5A CN201611243602A CN106780735B CN 106780735 B CN106780735 B CN 106780735B CN 201611243602 A CN201611243602 A CN 201611243602A CN 106780735 B CN106780735 B CN 106780735B
- Authority
- CN
- China
- Prior art keywords
- map
- semantic
- environment
- dimensional space
- space image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明实施例公开了一种语义地图构建方法,用于解决对机器人下指令时,需要告知机器人目的地的具体坐标的问题。本发明实施例方法包括:采集目标环境的三维空间图像;根据所述三维空间图像构建目标环境在平面顶视图上的二维平面地图;对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取目标环境中的特征标志点,并确定特征标志点的语义信息;以特征标志点作为拓扑节点构建拓扑节点地图;输出目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。本发明实施例还提供一种语义地图构建装置及一种机器人。
Description
技术领域
本发明涉及机器人定位导航领域,尤其涉及一种语义地图构建方法、装置及一种机器人。
背景技术
现有的机器人导航地图主要以网格地图为主,网格地图只对机器人的运动行为产生约束,使得用户对其的理解及使用只能限于地图中两个坐标点之间的导航和路径规划。在对机器人下指令时,用户无法像与人沟通一样将目的地告知机器人,而需要告知机器人目的地在网格地图的哪个坐标上,机器人才能理解并执行用户的指令进行导航,使得用户与机器人之间的沟通效率低下。
发明内容
本发明实施例提供了一种语义地图构建方法、装置及一种机器人,能够提升用户与机器人之间的沟通效率。
本发明实施例提供的一种语义地图构建方法,包括:
采集目标环境的三维空间图像;
根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
以所述特征标志点作为拓扑节点构建拓扑节点地图;
输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。
可选地,所述语义地图还包括在所述同一坐标系下的区域语义地图;
在对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标之后,还包括:
根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息;
根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。
可选地,根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息具体包括:
根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
可选地,对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标包括:
对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
抽取所述三维空间图像中的各个整体面块;
根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
确定与所述各个建筑物结构对应的各个固定环境目标。
可选地,在采集目标环境的三维空间图像之前,还包括:
确定待构建语义地图的目标环境;
所述确定待构建语义地图的目标环境包括:
获取机器人当前所处位置的地图信息;
若所述地图信息不在已构建的语义地图中,则将所述当前所处位置的环境确定为待构建语义地图的目标环境;
或
获取输入的构建指令;
将所述构建指令指示位置的环境确定为待构建语义地图的目标环境。
本发明实施例提供的一种语义地图构建装置,包括:
图像采集模块,用于采集目标环境的三维空间图像;
二维平面地图构建模块,用于根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
固定环境目标确定模块,用于对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
特征标志点获取模块,用于根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
拓扑节点地图构建模块,用于以所述特征标志点作为拓扑节点构建拓扑节点地图;
语义地图输出模块,用于输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。
可选地,所述语义地图还包括在所述同一坐标系下的区域语义地图;
所述语义地图构建装置还包括:
区域语义信息确定模块,用于根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息;
区域语义地图构建模块,用于根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。
可选地,所述区域语义信息确定模块具体包括:
区域划分单元,用于根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
区域分类单元,用于将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
可选地,所述固定环境目标确定模块包括:
平面检测单元,用于对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
平面抽取单元,用于抽取所述三维空间图像中的各个整体面块;
平面几何关系确定单元,用于根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
建筑物结构确定单元,用于根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
固定环境目标确定单元,用于确定与所述各个建筑物结构对应的各个固定环境目标。
本发明实施例提供的一种机器人,包括上述的语义地图构建装置。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,首先,采集目标环境的三维空间图像;然后,根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;接着,根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;以所述特征标志点作为拓扑节点构建拓扑节点地图;最后,输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。在本发明实施例中,基于构建的语义地图,用户可以直接像与人沟通一样将目的地告知机器人,机器人通过语义识别从拓扑节点地图上获取目的地对应语义信息的特征标志点,然后根据二维平面地图确定机器人的目的地位置并进行导航,大大提升了用户与机器人之间的沟通效率。
附图说明
图1为本发明实施例中一种语义地图构建方法一个实施例流程图;
图2为图1对应实施例中一种语义地图构建方法的步骤103的流程示意图;
图3为本发明实施例中一种语义地图构建方法的平面抽取效果图;
图4为本发明实施例中一种语义地图构建方法在一个应用场景下区域语义地图的效果示意图;
图5为本发明实施例中一种语义地图构建方法在一个应用场景下深度摄像头采集图像中点云簇的示意图;
图6为本发明实施例中一种语义地图构建装置一个实施例结构图。
具体实施方式
本发明实施例提供了一种语义地图构建方法、装置及一种机器人,用于解决对机器人下指令时,需要告知机器人目的地的具体坐标的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种语义地图构建方法一个实施例包括:
101、采集目标环境的三维空间图像;
本实施例中,首先,可以采集目标环境的三维空间图像。可以理解的是,可以通过深度摄像头或激光雷达进行图像信息的采集,如构建稠密点云的双目深度摄像头(微软Kinect的深度摄像头),或者可以构建稠密点云的带有摆动云台的激光雷达。
另外,进一步地,在采集目标环境的三维空间图像之前,还可以先确定待构建语义地图的目标环境。其中,确定目标环境可以在以下两种方式中选取。
方式一:获取机器人当前所处位置的地图信息,若所述地图信息不在已构建的语义地图中,则将所述当前所处位置的环境确定为待构建语义地图的目标环境。例如,把机器人放置在一个未知环境中时,通过机器人采集周围环境的地图信息(地理坐标、环境图像等),若判断得知采集的地图信息不在已构建的语义地图中,则表明当前的环境为陌生的环境,需要进行语义地图的更新或者重构。
方式二:获取输入的构建指令,然后将所述构建指令指示位置的环境确定为待构建语义地图的目标环境。可以理解的是,用户还可以主动输入构建指令,要求主动对某个目标环境进行语义地图的构建。例如,在一个应用场景下,假设一机器人为构建语义地图的终端,该机器人开启跟随模式跟随用户手中的蓝牙跟随器。此时,用户手握蓝牙跟随器在一环境中移动,机器人沿着用户走过的路线行驶。当用户对准该环境下的某个位置按下“构建”按钮时,如对准路标按下按钮,则机器人接收到“将路标周围环境确定为目标环境,并对目标环境进行语义地图构建”的指令,然后机器人围绕该路标周围环境执行后续的语义地图构建步骤。
102、根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
在采集目标环境的三维空间图像之后,可以根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图。该二维平面地图主要用于做全局路径规划使用。具体地,可以采用深度摄像头,通过特征点匹配的方法构建稠密的环境三维点云数据,并对环境三维点云数据在平面顶视图上进行压缩提取,生成二维平面地图。
103、对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
在采集目标环境的三维空间图像之后,还可以对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标。
可以理解的是,在机器人的导航和路径规划中,环境中固定物体的位置是较为重要的参照物,例如墙壁、地面、天花板、门等物体,由于这些固定物体相对于可移动物体(桌椅、电器等)在长时间内基本不会发生位置的改变,因此这些固定物体可以作为固定环境目标应用到语义拓扑中去。
进一步地,如图2所示,上述步骤103可以具体包括:
201、对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
202、抽取所述三维空间图像中的各个整体面块;
203、根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
204、根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
205、确定与所述各个建筑物结构对应的各个固定环境目标。
对于上述步骤201和202,在对环境中的墙面、地面、门、天花的位置及其结构进行提取之前,可以先进行平面检测和处理。先从环境图像的点云中估计平面参数,然后对平面上的点进行分析,可以得到平面的外轮廓、内轮廓等轮廓特征。在得到轮廓特征之后,即可抽取所述三维空间图像中的整体面块,如图3的效果图所示。图3中,抽取的各个整体面块分别为墙壁301、天花板302、门303和地板304。
对于上述步骤203,对于非平面的点云,可以根据各个整体面块之间的空间点信息(如空间点之间距离)来构建相邻(或连通)关系,通过对连通图进行分割、聚簇而得到单个物体,计算物体边界框,并提取物体特征,从而确定各个整体面块之间的几何关系。
对于上述步骤204,可以理解的是,在得到各个整体面块(或平面特征)以及整体面块之间的几何关系之后,可以识别出这些整体面块组成的建筑物结构(如地面、墙、门、天花板等)。
对于上述步骤205,在确定所述三维空间图像中的各个建筑物结构之后,可以将这些建筑物结构确定为对应的固定环境目标。例如,若当前的建筑物结构为一个扁平的矩形结构,则可以将其确定为固定环境目标“门”。
104、根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
在得到所述二维平面地图以及所述各个固定环境目标之后,可以根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息。
可以理解的是,为了使得机器人更好地理解用户的意图,在用户进行自然语言表达时,机器人不仅要对用户的语言指令进行语义识别,还需要对语义中关键特征在语义地图上有所体现。例如,用户说“在前面三岔路口左拐”,此时,机器人需要对上述的“三岔路口”有准确的认知,也即需要在语义地图上进行“三岔路口”进行标志。因此,本方案可以根据二维地图的形状特征及上述的固定环境目标“门”的位置通过算法自动提取地图拐角点、地图多通道点(三岔路交点、两条路交点)、走廊、门、自然环境下的路标信息等作为特征标志点,并将这些特征标志点确定为拓扑节点。
另外,为了使得各个拓扑节点或特征标志点能与用户的自然语言关联起来,可以为各个特征标志点确定对应的语义信息,例如三岔路交点的特征标志点的语义信息设置为“三岔路口”。
105、以所述特征标志点作为拓扑节点构建拓扑节点地图;
在获取所述目标环境中的特征标志点之后,可以以所述特征标志点作为拓扑节点构建拓扑节点地图。所述拓扑节点地图为记录拓扑节点与拓扑节点之间关系的地图。
本实施例中,为了使拓扑节点地图的可用度更好,拓扑节点地图中的拓扑节点应当具有较强的辨识度,也即尽可能选取具有强位置特征的位置或物体作为特征标志点,例如路标、岔路口位置、门口位置等。
另外,在拓扑节点地图构建之后,还可以不断地对该拓扑节点地图进行增量更新。在对拓扑节点地图进行更新的过程中,在机器人经过地图拐角点和地图多通道点时,如图5所示,深度摄像头的图像会呈现出一组或多组成一定夹角的点云簇(2-3-4-5-6);当机器人经过一个狭长的走廊时,深度摄像头的图像呈现出一组180°夹角的点云簇;当机器人在建立三维空间地图时,当机器人通过红外相机识别到在自然环境下用反光材料标记的路标(门牌号)指示时,可以截取、识别并保存该路标指示,并将该路标指示的位置作为拓扑节点添加至拓扑节点地图中。更进一步地,在对地图进行更新过程中,还可以对更新环境做精细的三维重建处理,以便于地图扩展及路径规划使用。
106、输出所述目标环境的语义地图。
在得到所述二维平面地图和所述拓扑节点地图之后,可以输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。可以理解的是,在本实施例中,语义地图中的拓扑节点地图辅助机器人理解用户的自然语言,而二维平面地图则在机器人理解用户的意图之后,为机器人完成路线的规划。需要注意的是,两张地图需要构建在同一坐标系下,以完成两张地图之间的映射。
进一步地,本实施例中,语义地图还包括另一张地图,区域语义地图。该区域语义地图与所述二维平面地图、所述拓扑节点地图均在同一坐标系下。
该区域语义地图可以通过以下步骤构建:在上述步骤103之后,可以根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息,然后,根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。可以理解的是,对于目标环境中的不同区域,这些区域均具有相似或相近的环境特征。例如,若区域为“教室”,则该区域应当具有前后两个门,且两侧墙壁上具有一定数量的窗口;若区域为“图书馆”,则该区域应当具有大量的规则排列的书架、书桌。可见,不同区域,其内包含的固定环境目标和区域内的三维空间图像具有各自不同的特点,从而可以确定出各个区域具体的“类别”或语义。例如,如图4所示,若目标环境为办公大楼,则各个区域可能包括“办公室”、“餐厅”、“会议室”等。在确定出各个区域的语义信息之后,即可根据所述各个区域的语义信息构建区域语义地图。
更进一步地,根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息具体可以包括:
A、根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
B、将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
对于上述步骤B,该区域语义分类器可以由深度神经网络模型搭建,然后通过投入大量的训练样本对其进行训练,训练完成后,即可实现区域语义的分类。本实施例中,训练样本的输入为已知区域中的固定环境目标和三维空间图像,训练样本的输出为已知区域对应的语义。例如,可以将已知的区域“教室”作为训练样本,其中输入包括“前后两个门”、“两侧墙壁上具有一定数量的窗口”,输出为“教室”,将大量的“教室”样本投入该区域语义分类器中训练,训练完成后,该区域语义分类器即可对“教室”区域进行识别和分类。
需要说明的是,本实施例中,该语义地图可以采用动态增量地图构建方式来构建,无需在初始状态建好所有地图,也无需担心由于物品挪动造成的地图错乱。当用户已建好部分语义地图并需要增建地图时,需要保证两次建图部分有四个以上的重复拓扑节点,作为地图匹配的依据。并根据对重叠部分的四处拓扑节点位置的三维点云图做重匹配,以实现增量地图扩展的功能。
另外,在语义地图建好后,对其进行人工修正补漏,例如,对区域语义地图中的环境结构和前景语义部分进行人工干预修正,对拓扑节点地图中的多通道扑节点进行修补,可增加具有强特征标识点位置的节点,可增加自然环境下的路标作为关键拓扑节点(自然环境路标做反光需做反光贴膜处理),等等。
优选地,对于上述步骤101的“方式二”中描述的应用场景下,机器人在接收到指令后,可以围绕路标牌所在位置的环境做详细的三维建模工作,并将其特征记录到特征磁带字典中,为机器人定位提供参考。另外,还可以将路标牌位置作为一个三维语义节点添加到拓扑节点地图中。当用户用遥控器对准要添加的特征物体,按下“识别强特征物体”开关,遥控器发射的红外标识图案投影到特征物体上。此时,机器人识别到用户的命令后,找到被照射物体,并提取该被照射物体的轮廓,然后通过多角度移动建立目标物体及周围环境的三维图像,并将其特征记录到特征磁带字典中,为机器人定位提供参考并将此位置作为强特征标识节点加入拓扑节点地图中。在跟随模式下,用户发现走廊、多通道点等拓扑节点还未被机器人识别时,也可以通过遥控器命令机器人进行相应的拓扑节点添加。
本实施例中,首先,采集目标环境的三维空间图像;然后,根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;接着,根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;以所述特征标志点作为拓扑节点构建拓扑节点地图;最后,输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。在本实施例中,基于构建的语义地图,用户可以直接像与人沟通一样将目的地告知机器人,机器人通过语义识别从拓扑节点地图上获取目的地对应语义信息的特征标志点,然后根据二维平面地图确定机器人的目的地位置并进行导航,大大提升了用户与机器人之间的沟通效率,有助于机器人更高效、快速地完成任务。
另外,本发明的一种语义地图构建方法还实现了一种更可靠、稳定、有效的建图方式。
上面主要描述了一种语义地图构建方法,下面将对一种语义地图构建装置进行详细描述。
图6示出了本发明实施例中一种语义地图构建装置一个实施例结构图。
本实施例中,一种语义地图构建装置包括:
图像采集模块601,用于采集目标环境的三维空间图像;
二维平面地图构建模块602,用于根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
固定环境目标确定模块603,用于对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
特征标志点获取模块604,用于根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
拓扑节点地图构建模块605,用于以所述特征标志点作为拓扑节点构建拓扑节点地图;
语义地图输出模块606,用于输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。
进一步地,所述语义地图还可以包括在所述同一坐标系下的区域语义地图;
所述语义地图构建装置还可以包括:
区域语义信息确定模块,用于根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息;
区域语义地图构建模块,用于根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。
进一步地,所述区域语义信息确定模块具体可以包括:
区域划分单元,用于根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
区域分类单元,用于将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
进一步地,所述固定环境目标确定模块可以包括:
平面检测单元,用于对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
平面抽取单元,用于抽取所述三维空间图像中的各个整体面块;
平面几何关系确定单元,用于根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
建筑物结构确定单元,用于根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
固定环境目标确定单元,用于确定与所述各个建筑物结构对应的各个固定环境目标。
进一步地,所述语义地图构建装置还可以包括:
目标环境确定模块,用于确定待构建语义地图的目标环境;
所述目标环境确定模块可以包括:
地图信息获取单元,用于获取机器人当前所处位置的地图信息;
第一环境确定单元,用于若所述地图信息不在已构建的语义地图中,则将所述当前所处位置的环境确定为待构建语义地图的目标环境;
或
构建指令获取单元,用于获取输入的构建指令;
第二环境确定单元,用于将所述构建指令指示位置的环境确定为待构建语义地图的目标环境。
本发明实施例中还公开了一种机器人,其包括图6对应实施例中描述的任意一种语义地图构建装置。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种语义地图构建方法,其特征在于,包括:
采集目标环境的三维空间图像;
根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
以所述特征标志点作为拓扑节点构建拓扑节点地图;
输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图;
对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标包括:
对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
抽取所述三维空间图像中的各个整体面块;
根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
确定与所述各个建筑物结构对应的各个固定环境目标。
2.根据权利要求1所述的语义地图构建方法,其特征在于,所述语义地图还包括在所述同一坐标系下的区域语义地图;
在对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标之后,还包括:
根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息;
根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。
3.根据权利要求2所述的语义地图构建方法,其特征在于,根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息具体包括:
根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
4.根据权利要求1至3中任一项所述的语义地图构建方法,其特征在于,在采集目标环境的三维空间图像之前,还包括:
确定待构建语义地图的目标环境;
所述确定待构建语义地图的目标环境包括:
获取机器人当前所处位置的地图信息;
若所述地图信息不在已构建的语义地图中,则将所述当前所处位置的环境确定为待构建语义地图的目标环境;
或
获取输入的构建指令;
将所述构建指令指示位置的环境确定为待构建语义地图的目标环境。
5.一种语义地图构建装置,其特征在于,包括:
图像采集模块,用于采集目标环境的三维空间图像;
二维平面地图构建模块,用于根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
固定环境目标确定模块,用于对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
特征标志点获取模块,用于根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
拓扑节点地图构建模块,用于以所述特征标志点作为拓扑节点构建拓扑节点地图;
语义地图输出模块,用于输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图;
所述固定环境目标确定模块包括:
平面检测单元,用于对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
平面抽取单元,用于抽取所述三维空间图像中的各个整体面块;
平面几何关系确定单元,用于根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
建筑物结构确定单元,用于根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
固定环境目标确定单元,用于确定与所述各个建筑物结构对应的各个固定环境目标。
6.根据权利要求5所述的语义地图构建装置,其特征在于,所述语义地图还包括在所述同一坐标系下的区域语义地图;
所述语义地图构建装置还包括:
区域语义信息确定模块,用于根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息;
区域语义地图构建模块,用于根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。
7.根据权利要求6所述的语义地图构建装置,其特征在于,所述区域语义信息确定模块具体包括:
区域划分单元,用于根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
区域分类单元,用于将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
8.一种机器人,其特征在于,包括如权利要求5至7中任一项所述的语义地图构建装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611243602.5A CN106780735B (zh) | 2016-12-29 | 2016-12-29 | 一种语义地图构建方法、装置及一种机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611243602.5A CN106780735B (zh) | 2016-12-29 | 2016-12-29 | 一种语义地图构建方法、装置及一种机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106780735A CN106780735A (zh) | 2017-05-31 |
CN106780735B true CN106780735B (zh) | 2020-01-24 |
Family
ID=58927493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611243602.5A Active CN106780735B (zh) | 2016-12-29 | 2016-12-29 | 一种语义地图构建方法、装置及一种机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106780735B (zh) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107833250B (zh) * | 2017-10-24 | 2020-05-05 | 北京易达图灵科技有限公司 | 语义空间地图构建方法及装置 |
CN107933921B (zh) * | 2017-10-30 | 2020-11-17 | 广州极飞科技有限公司 | 飞行器及其喷洒路线生成和执行方法、装置、控制终端 |
CN109839921B (zh) * | 2017-11-24 | 2022-03-18 | 中国电信股份有限公司 | 视觉定位导航方法、装置以及终端 |
CN108897824A (zh) * | 2018-06-21 | 2018-11-27 | 百度在线网络技术(北京)有限公司 | 兴趣点空间拓扑关系构建方法、装置及存储介质 |
CN108920584B (zh) * | 2018-06-25 | 2020-10-30 | 广州视源电子科技股份有限公司 | 一种语义栅格地图生成方法及其装置 |
CN109084749B (zh) * | 2018-08-21 | 2021-05-11 | 北京云迹科技有限公司 | 通过环境中物体进行语义定位的方法及装置 |
CN109272554A (zh) * | 2018-09-18 | 2019-01-25 | 北京云迹科技有限公司 | 一种识别目标的坐标系定位和语义地图构建的方法及系统 |
CN109163731A (zh) * | 2018-09-18 | 2019-01-08 | 北京云迹科技有限公司 | 一种语义地图构建方法及系统 |
US20200133272A1 (en) * | 2018-10-29 | 2020-04-30 | Aptiv Technologies Limited | Automatic generation of dimensionally reduced maps and spatiotemporal localization for navigation of a vehicle |
DK180774B1 (en) | 2018-10-29 | 2022-03-04 | Motional Ad Llc | Automatic annotation of environmental features in a map during navigation of a vehicle |
CN111238465B (zh) * | 2018-11-28 | 2022-02-18 | 台达电子工业股份有限公司 | 地图建置设备及其地图建置方法 |
CN111291140A (zh) * | 2018-12-06 | 2020-06-16 | 北京欣奕华科技有限公司 | 一种拓扑节点的识别方法、装置、设备及介质 |
CN109855624A (zh) * | 2019-01-17 | 2019-06-07 | 宁波舜宇智能科技有限公司 | 用于agv车的导航装置及导航方法 |
CN111461972A (zh) * | 2019-01-19 | 2020-07-28 | 北京初速度科技有限公司 | 一种地下车库的自动导航驾驶地图更新方法及系统 |
CN110021041B (zh) * | 2019-03-01 | 2021-02-12 | 浙江大学 | 基于双目相机的无人驾驶场景增量式网格化结构重建方法 |
CN109920424A (zh) * | 2019-04-03 | 2019-06-21 | 北京石头世纪科技股份有限公司 | 机器人语音控制方法、装置、机器人和介质 |
CN113874681B (zh) * | 2019-05-23 | 2024-06-18 | 北京嘀嘀无限科技发展有限公司 | 点云地图质量的评估方法和系统 |
CN110210398A (zh) * | 2019-06-03 | 2019-09-06 | 宁波智能装备研究院有限公司 | 一种三维点云语义分割标注方法 |
CN110443850B (zh) * | 2019-08-05 | 2022-03-22 | 珠海优特电力科技股份有限公司 | 目标对象的定位方法及装置、存储介质、电子装置 |
CN112393719B (zh) * | 2019-08-12 | 2023-04-14 | 科沃斯商用机器人有限公司 | 一种栅格语义地图生成方法、装置以及存储设备 |
CN112445205B (zh) * | 2019-08-15 | 2024-06-14 | 广州极飞科技股份有限公司 | 地面植保设备的控制方法、装置、设备和存储介质 |
CN112204568A (zh) * | 2019-09-30 | 2021-01-08 | 深圳市大疆创新科技有限公司 | 路面标识识别方法及装置 |
CN110779527B (zh) * | 2019-10-29 | 2021-04-06 | 无锡汉咏科技股份有限公司 | 一种基于多源数据融合和视觉深度学习的室内定位方法 |
CN110736465B (zh) * | 2019-11-15 | 2021-01-08 | 北京云迹科技有限公司 | 导航方法、装置、机器人及计算机可读存储介质 |
CN110928972A (zh) * | 2019-11-22 | 2020-03-27 | 珠海格力电器股份有限公司 | 一种语义地图构建方法、系统、装置、存储介质及机器人 |
CN112837412B (zh) * | 2019-11-25 | 2023-08-04 | 科沃斯家用机器人有限公司 | 三维地图交互方法、装置、机器人及存储介质 |
CN111242994B (zh) * | 2019-12-31 | 2024-01-09 | 深圳优地科技有限公司 | 一种语义地图构建方法、装置、机器人及存储介质 |
CN111337049A (zh) * | 2020-03-05 | 2020-06-26 | 维沃移动通信有限公司 | 一种导航方法及电子设备 |
CN111652057A (zh) * | 2020-04-24 | 2020-09-11 | 平安科技(深圳)有限公司 | 地图构建方法、装置、计算机设备和存储介质 |
CN111652174B (zh) * | 2020-06-10 | 2024-01-23 | 北京云迹科技股份有限公司 | 一种基于激光数据的语义化标定方法及装置 |
CN111678522A (zh) * | 2020-06-18 | 2020-09-18 | 小狗电器互联网科技(北京)股份有限公司 | 一种针对目标物的清扫方法、装置、可读介质及电子设备 |
WO2022021132A1 (zh) * | 2020-07-29 | 2022-02-03 | 上海高仙自动化科技发展有限公司 | 计算机设备定位方法、装置、计算机设备和存储介质 |
CN111928839A (zh) * | 2020-08-07 | 2020-11-13 | 北京星天地信息科技有限公司 | 一种通行路线规划方法、装置及计算机设备 |
CN112037325B (zh) * | 2020-08-07 | 2024-07-12 | 珠海格力电器股份有限公司 | 构建语义地图的方法、装置、计算机设备和存储介质 |
CN112070068A (zh) * | 2020-10-13 | 2020-12-11 | 上海美迪索科电子科技有限公司 | 一种地图构建方法、装置、介质及设备 |
CN112344935B (zh) * | 2020-10-19 | 2023-04-07 | 深圳优地科技有限公司 | 机器人地图管理方法、装置、设备及存储介质 |
CN113362461B (zh) * | 2021-06-18 | 2024-04-02 | 盎锐(杭州)信息科技有限公司 | 基于语义分割的点云匹配方法、系统及扫描终端 |
CN114115250A (zh) * | 2021-11-11 | 2022-03-01 | 深圳市中舟智能科技有限公司 | 机器人运动地图的构建方法、机器人运动方法和机器人 |
CN114323058A (zh) * | 2021-12-30 | 2022-04-12 | 深圳一清创新科技有限公司 | 一种目标地图获取方法、装置、电子设备和可读存储介质 |
CN114924822B (zh) * | 2022-05-19 | 2023-09-05 | 安天科技集团股份有限公司 | 三维拓扑结构的截图方法、装置、电子设备及存储介质 |
CN114674308B (zh) * | 2022-05-26 | 2022-09-16 | 之江实验室 | 基于安全出口指示牌视觉辅助激光长廊定位方法及装置 |
CN115655261B (zh) * | 2022-12-09 | 2023-04-07 | 深圳鹏行智能研究有限公司 | 地图生成方法、装置、机器人以及存储介质 |
CN116976356A (zh) * | 2023-07-24 | 2023-10-31 | 云创智行科技(苏州)有限公司 | 一种拓扑图重复节点语义推断方法及装置 |
CN117076591B (zh) * | 2023-10-17 | 2024-02-23 | 大扬智能科技(北京)有限公司 | 机器人的地图生成方法及装置、机器人和可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102155942A (zh) * | 2011-02-26 | 2011-08-17 | 山东大学 | 大范围环境下基于模糊拓扑地图的全局路径规划方法 |
CN102313547A (zh) * | 2011-05-26 | 2012-01-11 | 东南大学 | 基于手绘轮廓语义地图的移动机器人视觉导航方法 |
CN103712617A (zh) * | 2013-12-18 | 2014-04-09 | 北京工业大学 | 一种基于视觉内容的多层语义地图的创建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9406018B2 (en) * | 2012-01-31 | 2016-08-02 | Infosys Limited | Systems and methods for semantic data integration |
-
2016
- 2016-12-29 CN CN201611243602.5A patent/CN106780735B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102155942A (zh) * | 2011-02-26 | 2011-08-17 | 山东大学 | 大范围环境下基于模糊拓扑地图的全局路径规划方法 |
CN102313547A (zh) * | 2011-05-26 | 2012-01-11 | 东南大学 | 基于手绘轮廓语义地图的移动机器人视觉导航方法 |
CN103712617A (zh) * | 2013-12-18 | 2014-04-09 | 北京工业大学 | 一种基于视觉内容的多层语义地图的创建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106780735A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780735B (zh) | 一种语义地图构建方法、装置及一种机器人 | |
CN107862738B (zh) | 一种基于移动激光测量点云进行室内结构化三维重建方法 | |
US11816907B2 (en) | Systems and methods for extracting information about objects from scene information | |
Li et al. | Universal path planning for an indoor drone | |
Chen et al. | A BIM-based location aware AR collaborative framework for facility maintenance management. | |
Turner et al. | Floor plan generation and room labeling of indoor environments from laser range data | |
Prieto et al. | As-is building-structure reconstruction from a probabilistic next best scan approach | |
CN108801268B (zh) | 目标对象的定位方法、装置及机器人 | |
Díaz-Vilariño et al. | Indoor navigation from point clouds: 3D modelling and obstacle detection | |
CN109470233B (zh) | 一种定位方法及设备 | |
Fichtner et al. | Semantic enrichment of octree structured point clouds for multi‐story 3D pathfinding | |
Diakité et al. | First experiments with the tango tablet for indoor scanning | |
CN115393386B (zh) | 三维场景图的生成方法、装置、设备及可读存储介质 | |
Weinmann et al. | Efficient 3d mapping and modelling of indoor scenes with the microsoft hololens: A survey | |
Yuan et al. | A survey on indoor 3D modeling and applications via RGB-D devices | |
CN113971628A (zh) | 图像匹配方法、装置和计算机可读存储介质 | |
JP2024083371A (ja) | データ処理方法、記録媒体、プログラム、及びシステム | |
CN112614234A (zh) | 对混合现实三维场景进行编辑的方法及混合现实设备 | |
Jenke et al. | Statistical reconstruction of indoor scenes | |
Yan et al. | Challenges in flying quadrotor unmanned aerial vehicle for 3D indoor reconstruction | |
Patel | Augmented reality based indoor navigation using point cloud localization | |
Jarząbek-Rychard et al. | Automatic enrichment of indoor 3D models using a deep learning approach based on single images with unknown camera poses | |
Xiong | Reconstructing and correcting 3d building models using roof topology graphs | |
Yoon et al. | A framework development for mapping and detecting changes in repeatedly collected massive point clouds | |
Turner et al. | Multistory floor plan generation and room labeling of building interiors from laser range data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |