CN111006676A - 地图构建方法、装置及系统 - Google Patents

地图构建方法、装置及系统 Download PDF

Info

Publication number
CN111006676A
CN111006676A CN201911115380.2A CN201911115380A CN111006676A CN 111006676 A CN111006676 A CN 111006676A CN 201911115380 A CN201911115380 A CN 201911115380A CN 111006676 A CN111006676 A CN 111006676A
Authority
CN
China
Prior art keywords
data
constructed
point cloud
environmental
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911115380.2A
Other languages
English (en)
Other versions
CN111006676B (zh
Inventor
舒远
郑争光
曾祥阔
曹国
姚林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN201911115380.2A priority Critical patent/CN111006676B/zh
Publication of CN111006676A publication Critical patent/CN111006676A/zh
Application granted granted Critical
Publication of CN111006676B publication Critical patent/CN111006676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Abstract

本申请实施例公开了一种地图构建方法、装置、系统、电子设备及存储介质。本方法通过获取待构建对象的环境特征数据;继而获取与待构建对象对应的BIM模型的三维点云数据;然后将环境特征数据与三维点云数据进行融合,得到与待构建对象对应的目标地图。通过将包括待构建对象的环境深度信息以及环境视觉图像信息的环境特征数据与三维点云数据进行融合,使得目标地图的数据更加丰富,进而使得机器人的导航数据更加精确,提升了机器人导航数据的准确性。

Description

地图构建方法、装置及系统
技术领域
本申请涉及地图导航技术领域,更具体地,涉及一种地图构建方法、装置、系统、电子设备及存储介质。
背景技术
导航系统是移动机器人的重要组成部分之一,它能够提供给机器人正确的位置和姿态信息,从而使得机器人能在一定的环境中进行工作,完成指定的任务,也是实现移动机器人路径规划,避障避碰,智能自主控制的基础。目前常见的导航系统方式有:电磁导航、光反射导航、GPS导航等。然而,受限于信号遮挡和定位精度,现有的导航系统仍无法满足室内场景的高精度定位需求。
发明内容
鉴于上述问题,本申请提出了一种地图构建方法、装置、系统、电子设备及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种地图构建方法,所述方法包括:获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息;获取与所述待构建对象对应的BIM模型的三维点云数据;将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
第二方面,本申请实施例提供了一种地图构建装置,所述装置包括:第一获取模块,用于获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息;第二获取模块,用于获取与所述待构建对象对应的BIM模型的三维点云数据;处理模块,用于将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
第三方面,本申请实施例提供了一种地图构建系统,所述系统包括机器人以及服务器:所述机器人获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息;所述机器人将所述环境特征数据发送给所述服务器;所述服务器获取与所述待构建对象对应的BIM模型的三维点云数据;所述服务器将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图;所述服务器将所述目标地图返回给所述机器人,以便于所述机器人根据所述目标地图进行室内导航。
第四方面,本申请实施例提供了一种电子设备,包括一个或多个处理器以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面所述的方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码运行时执行上述第一方面所述的方法。
本申请提供的一种地图构建方法、装置、系统、电子设备及存储介质,涉及地图导航技术领域。本方法通过获取待构建对象的环境特征数据;继而获取与待构建对象对应的BIM模型的三维点云数据;然后将环境特征数据与三维点云数据进行融合,得到与待构建对象对应的目标地图。通过将包括待构建对象的环境深度信息以及环境视觉图像信息的环境特征数据与三维点云数据进行融合,使得目标地图的数据更加丰富,进而使得机器人的导航数据更加精确,提升了机器人导航数据的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的地图构建方法的方法流程图。
图2示出了本申请另一实施例提出的地图构建方法的方法流程图。
图3示出了图2中的步骤S230的方法流程图。
图4示出了图2中的步骤S260的方法流程图。
图5示出了本申请又一实施例提出的地图构建方法的方法流程图。
图6示出了本申请实施例提出的地图构建系统的方法流程图。
图7示出了本申请实施例提出的地图构建装置的结构框图。
图8示出了本申请的用于执行根据本申请实施例的地图构建方法的电子设备的结构框图。
图9是本申请实施例的用于保存或者携带实现根据本申请实施例的地图构建方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着机器人技术的发展,目前市场上已经有智能机器人开始被广泛应用,如变电站巡检机器人、勘察机器人、工厂搬运机器人以及餐厅服务机器人等等。这类机器人由于工作环境比较复杂,工作区域范围较大,甚至需要在不同地域高度交替工作,因此对导航的需求比较高。
导航系统是移动机器人的重要组成部分之一,它能够提供给机器人正确的位置和姿态信息,从而使得机器人能在一定的环境中进行工作,完成指定的任务,也是实现移动机器人路径规划,避障避碰,智能自主控制的基础。目前常见的导航系统方式有:电磁导航、光反射导航、GPS导航等。然而,受限于信号遮挡和定位精度,现有的导航系统仍无法满足室内场景的高精度定位需求。
因此,发明人提出了本申请中改善现有的导航系统仍无法满足室内场景的高精度定位需求的地图构建方法、装置、电子设备以及存储介质。
下面将结合附图具体描述本申请的各实施例。
请参阅图1,本申请一实施例提供了一种地图构建方法,可应用于电子设备,所述方法包括:
步骤S110:获取待构建对象的环境特征数据。
其中,本实施例中的待构建对象可以理解为任意建筑的需要进行地图重构的待构建室内空间。例如,可以将某一购物商场里面的某一商铺、某层楼或者是某几层楼作为待构建对象。本实施例中的环境特征数据可以包括待构建对象的环境深度信息以及环境视觉图像信息。可选的,环境深度信息可以包括待构建室内空间的长度、宽度以及高度等信息,环境视觉图像信息可以包括待构建室内空间的外形、颜色或者纹理等信息,待构建室内空间的环境深度信息以及环境视觉图像信息的具体内容在此不作限定。
可选的,待构建对象的环境特征数据可以表达待构建室内空间的当前状态(包括室内空间的结构形态以及外部形态等)。可以理解的是,对于任一建筑,随着一些商铺搬迁、房屋改装、改变物品陈列布局、或者是商铺升级重装等,所对应的室内空间的结构布局以及外部形态(包括颜色、图案以及纹理等)都会发生变化。在这种方式下,为了保证数据的可靠性与准确性,可以获取待构建对象的环境特征数据,以便于后续可以获取精确度更高的待构建室内空间的导航地图。
步骤S120:获取与所述待构建对象对应的BIM模型的三维点云数据。
作为一种方式,可以通过BIM模型建模软件获取待构建对象的BIM模型。其中,BIM模型建模软件可以包括Revit、Navisworks、Bentley Navigator、Tekla Structures、ArchiCAD、AutoCAD等,不同的待构建对象类型的建模软件可以不同。
可选的,标准化的BIM模型数据可以精确的反应待构建对象的室内空间信息,包括待构建室内空间的二维地图信息以及三维点云数据。而BIM模型数据是根据待构建对象的建筑数据(包括楼房高度、坐标、层数、宽度、角度以及长度等信息)构建的模型,在当待构建对象的室内空间结构或是形态发生变化时,若依然用BIM模型数据生成导航地图进行导航,可能会带来导航偏差或者错误导航。
作为一种改善上述问题的方式,可以获取与待构建对象对应的BIM模型的三维点云数据,以便于后续可以借助该三维点云数据获取精确度更高的待构建室内空间的导航地图,具体请参见后续描述。
步骤S130:将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
本实施例中,目标地图可以理解为导航精确度高,和真实环境匹配度高的地图,可选的,与不同的待构建对象对应的目标地图可以不同。
可选的,环境特征数据可以实时地反映待构建对象的室内空间环境状态,却无法表达室内空间的真实场景结构,而BIM模型的三维点云数据可以精确的表达室内空间的场景结构,却不能实时的反应室内空间的环境状态。作为一种方式,为了改善上述问题,本申请实施例采用将环境特征数据与三维点云数据进行融合的方式,使得构建地图数据更加丰富,以便于可以构建出准确的与待构建对象对应的目标地图。
本申请提供的一种地图构建方法,通过获取待构建对象的环境特征数据;继而获取与待构建对象对应的BIM模型的三维点云数据;然后将环境特征数据与三维点云数据进行融合,得到与待构建对象对应的目标地图。通过将包括待构建对象的环境深度信息以及环境视觉图像信息的环境特征数据与三维点云数据进行融合,使得目标地图的数据更加丰富,进而使得机器人的导航数据更加精确,提升了机器人导航数据的准确性。
请参阅图2,本申请另一实施例提供了一种地图构建方法,可应用于电子设备,所述方法包括:
步骤S210:获取第一点云数据,所述第一点云数据包括所述待构建对象的环境深度信息。
其中,第一点云数据可以从包括待构建对象的室内地面高度信息的三维激光探测地图中获得,第一点云数据包括待构建对象的环境深度信息。
作为一种方式,可以通过激光雷达采集待构建对象的室内空间环境深度信息,从而获取第一点云数据。例如,在一个具体的应用场景中,可以由机器人载激光雷达结合机器人自身的惯性传感器,完成室内闭环检测,进而完成室内的SLAM(SimultaneousLocalization and Mapping,即时定位与地图构建)建图,即机器人可以在感知室内环境的同时把自己的位置在环境中标识出来,从而可以得到室内的三维点云数据,可选的,可以将该三维点云数据作为第一点云数据。
作为另一种方式,可以通过相机的摄像头采集待构建对象的室内图像,再通过相机标定获取相机的内参,进一步计算得到室内图像的像素在相机坐标下的位置,进而完成图像坐标系到世界坐标系的转换。可选的,可以利用双目摄像头的采样位置不同而获取同一物体的两幅图像,继而根据视差原理和三角形原理可以恢复物体到摄像头的距离,从而得到室内空间环境的深度图像。可选的,可以从该深度图像中提取点云从而获得第一点云数据。
可选的,第一点云数据可能会由于传感器误差等原因导致数据存在噪音,作为一种实施方式,可以通过采样处理以及滤波处理的方式对第一点云数据进行优化(包括降低环境噪声干扰和降低点云数据量),进而将优化后的第一点云数据进行存储。
步骤S220:获取第二点云数据,所述第二点云数据包括所述待构建对象的环境视觉图像信息。
其中,第二点云数据包括待构建对象的环境视觉图像信息,例如,待构建对象的室内环境图像、室内环境纹理等。
作为一种方式,可以通过摄像机进行视觉感知室内空间环境,运行视觉感知算法,并保存三维视觉感知点云地图的方式获取第二点云数据。
需要说明的是,本申请实施例中的第二点云数据与第一点云数据可以为获取的相同时段内与待构建对象对应的点云数据。例如,由搭载于同一平台的激光雷达与摄像机同时同地点采集的点云数据。可选的,在一些可能的实施方式中,第一点云数据与第二点云数据也可以是来自于不同的搭载平台获取的,对应于待构建对象的不同实相的点云数据。例如,第一点云数据可以由搭载于第一平台的激光雷达进行拍摄得到,第二点云数据可以由搭载于第二平台的摄像机拍摄得到。其中,搭载于第一平台的激光雷达与搭载于第二平台的摄像机均拍摄的是相同待构建对象的相同时段内的点云数据。
步骤S230:通过随机一致性处理算法对所述环境深度信息与所述环境视觉图像信息进行融合处理,得到环境特征数据。
作为一种实现方式,可以通过随机一致性处理算法将环境深度信息与环境视觉图像信息进行融合,得到环境特征数据,具体描述如下:
作为一种方式,请参阅图3,步骤S230可以包括:
步骤S231:基于所述环境深度信息与所述环境视觉图像信息,通过随机一致性处理算法估计与所述待构建对象对应的模型参数,将所述模型参数作为待处理环境特征数据。
其中,本实施例中的模型参数可以用于表征待构建对象的室内模型。
作为一种实施方式,对于同一空间环境,可以将一片包含环境深度信息的点云与一片包含环境视觉图像信息的点云利用随机一致性处理算法进行匹配融合,从而得到对待构建对象的室内环境感知精确的三维点云数据(即模型参数),该融合后的三维点云数据准确表达了当前的环境空间状态,因而可以将该模型参数作为待处理环境特征数据(在该种方式下得到的模型参数会不可避免的存在匹配误差)。
可选的,对于不同空间环境,可以采用对应的包含环境深度信息的点云与包含环境视觉图像信息的点云并利用随机一致性处理算法进行匹配融合,进而获取对应的室内空间模型参数。
步骤S232:剔除所述待处理环境特征数据中的误差参数,得到环境特征数据。
其中,误差参数可以包括环境深度信息及环境视觉图像信息与待构建对象的室内模型无法匹配的数据。例如,某一楼层内包含若干个房间,而每个房间的构造布局均不相同,且一些房间的布局较为紧密,一些陈列物品被相互遮挡,在这种情况下,通过前述方式所获取得到的环境深度信息及环境视觉图像信息可能不太准确,例如,对于一些零散细小的陈列物品的误识别,对一些重叠放置的物品未完整识别等。
作为一种改善上述问题的方式,可以在获得待处理环境特征数据后,检测并剔除待处理环境特征数据中的误差参数,得到环境特征数据。
步骤S240:获取与所述待构建对象对应的BIM模型的三维点云数据。
步骤S250:提取所述环境特征数据所包括的特征点数据、特征线段数据以及特征面数据。
其中,特征点可以包括相邻边(例如,门边与墙角边等)的交点、墙体的角点,以及墙角(包括阴角、阳角)在二维平面的投影点;特征线可以理解为房间脚踢线或立面墙与天花板的交线,即不同墙面之间的交线,特征线能够很大程度上直接与激光雷达数据(即前述的第一点云数据)进行配准。可选的,环境特征数据还可以包括特征面。可选的,特征面可以包括待构建对象的墙面,特征面具有方向和高度属性。
作为一种方式,为了便于待构建对象的环境特征数据可以更好地与BIM模型中的三维点云数据融合,可以提取环境特征数据所包括的特征点数据、特征线段数据以及特征面数据等。可选的,具体的提取原理以及提取的方式可以参考现有技术,在此不再赘述。
步骤S260:获取所述BIM模型中表征所述待构建对象的结构特征的室内构件数据。
其中,室内构件数据可以包括待构建对象的房间、走廊、电梯和/或门窗等建筑组件。作为一种方式,可以将室内构件数据和上述特征点以及特征线段等数据进行融合,从而可以得到更符合当前环境的三维点云地图数据,进而实现提升三维点云地图数据的精确度。可选的,关于BIM模型中表征待构建对象的结构特征的室内构件数据的获取方式具体描述如下:
作为一种方式,请参阅图4,步骤S260可以包括:
步骤S261:获取所述BIM模型中与所述待构建对象对应的建筑组件。
作为一种方式,可以预先定义待构建对象的所有能用于导航的建筑组件。例如,某一百货商场的二楼有一家进口婴儿用品专卖店,那么从该百货商场的各个出入大门通往该进口婴儿用品专卖店的路上的所有地标都应作为建筑组件,可选的,建筑组件可以包括商场大门(可以理解的是,每个商场一般都有几个门,且每一个门的装修风格可能不同)、走廊、电梯(例如,可以是双向或者单向电梯、短电梯或长电梯等)、门、窗、飘窗以及途径的其他商铺的形态等。
可选的,可以按照预先定义的建筑组件的最小组成单元从BIM模型中提取与待构建对象对应的建筑组件。
步骤S262:判断所述建筑组件是否满足地图构建规则。
需要说明的是,对于所有可定义的建筑组件,可能并不是都能用于构建地图。例如,一些原本规则的建筑组件被商家改装后形态有所变化,可能无法满足地图构建规则,或者一些具体的物品信息,因其结构不满足地图构建规则而无法用于地图构建等。
作为一种方式,可以通过分析待构建对象的室内空间构件的几何信息来判断阴角、脚踢线墙面等是否包括作为地图构件的数据信息。可选的,若判定包括作为地图构件的数据信息,那么可以判定当前建筑组件满足地图构建规则,可以用作地图构件;而若判定不包括作为地图构件的数据信息,那么可以判定当前建筑组件不满足地图构建规则。
步骤S263:若满足,将所述建筑组件作为表征所述待构建对象的结构特征的室内构件数据。
可以理解的是,若建筑组件满足地图构建规则,那么可以将该建筑组件作为表征待构建对象的结构特征的室内构件数据。
步骤S270:获取所述特征点数据、特征线段数据以及特征面数据与所述室内构件数据之间的欧式距离参数。
其中,欧式距离参数可以理解为欧式距离极小值。
作为一种方式,可以将特征点数据、特征线段数据以及特征面数据与室内构件数据进行匹配,求取二者之间的欧式距离极小值。
步骤S280:若所述欧式距离参数小于设定阈值,将所述特征点数据、特征线段数据以及特征面数据所表征的位置作为所述室内构件数据所表征的位置。
其中,设定阈值可以预先设定,设定阈值的具体数值可以不作限定,例如,设定阈值可以是具体数值的范围区间,也可以是某一具体的数值。
可以理解的是,在将特征点数据以及特征线段等数据与室内构件数据进行匹配的过程中,可能会因一些数据带来的误差而无法完全匹配,例如,一些细小、零散的点云数据可能无法完全匹配,在这种情况下,可能会影响匹配后的数据精度。
作为一种改善上述问题的方式,可以将欧式距离极小值与设定阈值进行比较,可选的,若欧式距离极小值小于设定阈值,那么可以特征点数据、特征线段数据以及特征面数据所表征的位置作为室内构件数据所表征的位置,进而实现提升数据精度。
其中,若设定阈值为具体数值的范围区间,那么若欧式距离极小值在该具体数值的范围区间内,那么可以判定欧式距离极小值小于设定阈值。若设定阈值为某一具体数值,那么若欧式距离极小值大于该具体数值,那么可以判定欧式距离极小值小于设定阈值。
步骤S290:基于所述室内构件数据所表征的位置获取与所述待构建对象对应的目标地图。
可选的,上述去除极小数据带来的误差后的室内构件数据可以准确的表达当前室内空间的环境状态,并且可以精确表达待构建对象的室内空间模型,在这种方式下,可以基于室内构件数据所表征的位置获取与待构建对象对应的目标地图。
例如,在一个具体的应用场景中,假设室内构件数据所表征的位置包括门、房屋、电梯以及走廊,且门、房屋、电梯以及走廊可以用于形成所需要导航路径的完整导航数据,那么可以根据门、房屋、电梯以及走廊的位置信息获取与待构建对象对应的目标地图。
本申请提供的一种地图构建方法,实现了将包括待构建对象的环境深度信息以及环境视觉图像信息的环境特征数据与三维点云数据进行融合,使得目标地图的数据更加丰富,进而使得机器人的导航数据更加精确,提升了机器人导航数据的准确性。
请参阅图5,本申请又一实施例提供了一种地图构建方法,可应用于电子设备,所述方法包括:
步骤S310:获取待构建对象的环境特征数据。
步骤S320:获取与所述待构建对象对应的BIM模型的三维点云数据。
步骤S330:基于所述环境特征数据对所述BIM模型进行修正处理,得到目标三维点云数据。
可以理解的是,对于待构建对象,在施工的过程中由于一些施工误差可能会导致待构建对象的实际环境数据与其对应的BIM模型存在差异,例如,某面墙的实际施工位置和BIM模型相差0.2毫米,那么在利用机器人自主导航的过程中,可能会发生碰撞而影响导航效果与用户体验。
作为一种方式,为了改善这一现象,本实施例提出可以基于待构建对象的环境特征数据对BIM模型进行修正处理,进而得到目标三维点云数据。其中,作为一种实施方式,修正处理可以理解为用待构建对象的实际的环境特征数据调整待构建对象的BIM模型数据,具体的,可以基于环境特征数据修改BIM模型的尺寸规格,以使BIM模型与环境特征数据当前所表征的三维模型重合,得到目标三维点云数据,从而实现提升BIM模型的数据精度。
作为另一种实施方式,修正处理具体可以用于获取环境特征数据所表征的位置与BIM模型所表征的位置的不一致的区域,再获取该不一致的区域内环境特征数据与BIM模型各自对应的权值,可选的,可以将权值大的所表征的位置作为最终的位置。例如,对于某一不一致的区域,若判定环境特征数据所占据的权值大,此时若BIM模型不包括该不一致的区域,那么可以将不一致的区域对应的位置数据添加至BIM模型;若判定BIM模型所占据的权值大,此时若BIM模型包括该不一致的区域,可以将该不一致的区域保留。
步骤S340:将所述环境特征数据与所述目标三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
作为一种方式,在对BIM模型进行修正之后,可以将环境特征数据与目标三维点云数据进行融合,从而可以得到精确度更高的与待构建对象对应的目标地图。
本申请提供的一种地图构建方法,通过获取待构建对象的环境特征数据;继而获取与待构建对象对应的BIM模型的三维点云数据;然后基于环境特征数据对BIM模型进行修正处理,得到目标三维点云数据,然后将环境特征数据与目标三维点云数据进行融合,得到目标地图。通过将包括待构建对象的环境深度信息以及环境视觉图像信息的环境特征数据与修正的BIM模型所包括的三维点云数据进行融合,使得目标地图的数据更加丰富,进而使得机器人的导航数据更加精确,提升了机器人导航数据的准确性。
请参阅图6,本申请再一实施例提供了一种地图构建系统,该地图构建包括机器人以及服务器,服务器可以用于处理并提供室内导航数据,机器人可以用于根据室内导航数据进行室内导航:
步骤S410:所述机器人获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息;
步骤S420:所述机器人将所述环境特征数据发送给所述服务器;
步骤S430:所述服务器获取与所述待构建对象对应的BIM模型的三维点云数据;
步骤S440:所述服务器将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图;
步骤S450:所述服务器将所述目标地图返回给所述机器人,以便于所述机器人根据所述目标地图进行室内导航。
本申请提供的一种地图构建系统,通过所述机器人获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息;所述机器人将所述环境特征数据发送给所述服务器;所述服务器获取与所述待构建对象对应的BIM模型的三维点云数据;所述服务器将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图;所述服务器将所述目标地图返回给所述机器人,以便于所述机器人根据所述目标地图进行室内导航。
请参阅图7,本申请实施例提供了一种地图构建装置500,运行于电子设备,所述装置500包括:
第一获取模块510,用于获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息。
作为一种方式,第一获取模块510具体可以用于获取第一点云数据,所述第一点云数据包括所述待构建对象的环境深度信息;获取第二点云数据,所述第二点云数据包括所述待构建对象的环境视觉图像信息;通过随机一致性处理算法对所述环境深度信息与所述环境视觉图像信息进行融合处理,得到环境特征数据。
其中,通过随机一致性处理算法对所述环境深度信息与所述环境视觉图像信息进行融合处理,得到环境特征数据具体可以用于:基于所述环境深度信息与所述环境视觉图像信息,通过随机一致性处理算法估计与所述待构建对象对应的模型参数,所述模型参数用于表征所述待构建对象的室内模型,将所述模型参数作为待处理环境特征数据;剔除所述待处理环境特征数据中的误差参数,得到环境特征数据,所述误差参数包括所述环境深度信息及所述环境视觉图像信息与所述待构建对象的室内模型无法匹配的数据。
第二获取模块520,用于获取与所述待构建对象对应的BIM模型的三维点云数据。
处理模块530,用于将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
作为一种方式,处理模块530具体可以用于提取所述环境特征数据所包括的特征点数据、特征线段数据以及特征面数据;获取所述BIM模型中表征所述待构建对象的结构特征的室内构件数据;获取所述特征点数据、特征线段数据以及特征面数据与所述室内构件数据之间的欧式距离参数;若所述欧式距离参数小于设定阈值,将所述特征点数据、特征线段数据以及特征面数据所表征的位置作为所述室内构件数据所表征的位置;基于所述室内构件数据所表征的位置获取与所述待构建对象对应的目标地图。
其中,获取所述BIM模型中表征所述待构建对象的结构特征的室内构件数据具体可以包括:获取所述BIM模型中与所述待构建对象对应的建筑组件;判断所述建筑组件是否满足地图构建规则;若满足,将所述建筑组件作为表征所述待构建对象的结构特征的室内构件数据。
作为另一种方式,处理模块530具体可以用于基于所述环境特征数据对所述BIM模型进行修正处理,得到目标三维点云数据;将所述环境特征数据与所述目标三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
本申请提供的一种地图构建装置,通过获取待构建对象的环境特征数据;继而获取与待构建对象对应的BIM模型的三维点云数据;然后将环境特征数据与三维点云数据进行融合,得到与待构建对象对应的目标地图。通过将包括待构建对象的环境深度信息以及环境视觉图像信息的环境特征数据与三维点云数据进行融合,使得目标地图的数据更加丰富,进而使得机器人的导航数据更加精确,提升了机器人导航数据的准确性。
需要说明的是,本申请中装置实施例与前述方法实施例是相互对应的,装置实施例中具体的原理可以参见前述方法实施例中的内容,此处不再赘述。
下面将结合图8对本申请提供的一种电子设备进行说明。
请参阅图8,基于上述的地图构建方法、装置,本申请实施例还提供的另一种可以执行前述地图构建方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102以及存储器104。其中,该存储器104中存储有可以执行前述实施例中内容的程序,而处理器102可以执行该存储器104中存储的程序,存储器104包括前述实施例中所描述的装置500。
其中,处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器104内的指令、程序、代码集或指令集,以及调用存储在存储器104内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器102可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit,CPU)、视频图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器102中,单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、视频图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图9,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质600中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。
本申请提供的一种地图构建方法、装置、电子设备以及存储介质,通过获取待构建对象的环境特征数据;继而获取与待构建对象对应的BIM模型的三维点云数据;然后将环境特征数据与三维点云数据进行融合,得到与待构建对象对应的目标地图。通过将包括待构建对象的环境深度信息以及环境视觉图像信息的环境特征数据与三维点云数据进行融合,使得目标地图的数据更加丰富,进而使得机器人的导航数据更加精确,提升了机器人导航数据的准确性。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种地图构建方法,其特征在于,所述方法包括:
获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息;
获取与所述待构建对象对应的BIM模型的三维点云数据;
将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
2.根据权利要求1所述的方法,其特征在于,所述获取待构建对象的环境特征数据,包括:
获取第一点云数据,所述第一点云数据包括所述待构建对象的环境深度信息;
获取第二点云数据,所述第二点云数据包括所述待构建对象的环境视觉图像信息,所述第二点云数据与所述第一点云数据为获取的相同时段内与所述待构建对象对应的点云数据;
通过随机一致性处理算法对所述环境深度信息与所述环境视觉图像信息进行融合处理,得到环境特征数据。
3.根据权利要求2所述的方法,其特征在于,所述通过随机一致性处理算法对所述环境深度信息与所述环境视觉图像信息进行融合处理,得到环境特征数据,包括:
基于所述环境深度信息与所述环境视觉图像信息,通过随机一致性处理算法估计与所述待构建对象对应的模型参数,所述模型参数用于表征所述待构建对象的室内模型,将所述模型参数作为待处理环境特征数据;
剔除所述待处理环境特征数据中的误差参数,得到环境特征数据,所述误差参数包括所述环境深度信息及所述环境视觉图像信息与所述待构建对象的室内模型无法匹配的数据。
4.根据权利要求1所述的方法,其特征在于,所述将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图,包括:
提取所述环境特征数据所包括的特征点数据、特征线段数据以及特征面数据;
获取所述BIM模型中表征所述待构建对象的结构特征的室内构件数据;
获取所述特征点数据、特征线段数据以及特征面数据与所述室内构件数据之间的欧式距离参数;
若所述欧式距离参数小于设定阈值,将所述特征点数据、特征线段数据以及特征面数据所表征的位置作为所述室内构件数据所表征的位置;
基于所述室内构件数据所表征的位置获取与所述待构建对象对应的目标地图。
5.根据权利要求4所述的方法,其特征在于,所述获取所述BIM模型中表征所述待构建对象的结构特征的室内构件数据,包括:
获取所述BIM模型中与所述待构建对象对应的建筑组件;
判断所述建筑组件是否满足地图构建规则;
若满足,将所述建筑组件作为表征所述待构建对象的结构特征的室内构件数据。
6.根据权利要求4所述的方法,其特征在于,所述特征点包括相邻边的交点、墙体的角点以及墙角的投影点,所述特征线包括不同墙面之间的交线,所述特征面包括所述待构建对象的墙面。
7.根据权利要求5所述的方法,其特征在于,所述室内构件数据包括所述待构建对象的房间、走廊、电梯和/或门窗等建筑组件。
8.根据权利要求1所述的方法,其特征在于,所述将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图,包括:
基于所述环境特征数据对所述BIM模型进行修正处理,得到目标三维点云数据;
将所述环境特征数据与所述目标三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
9.根据权利要求8所述的方法,其特征在于,所述基于所述环境特征数据对所述BIM模型进行修正处理,包括:
基于环境特征数据修改所述BIM模型的尺寸规格,以使所述BIM模型与所述环境特征数据当前所表征的三维模型重合,得到目标三维点云数据。
10.一种地图构建装置,其特征在于,所述装置包括:
第一获取模块,用于获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息;
第二获取模块,用于获取与所述待构建对象对应的BIM模型的三维点云数据;
处理模块,用于将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图。
11.一种地图构建系统,其特征在于,所述系统包括机器人以及服务器:
所述机器人获取待构建对象的环境特征数据,所述环境特征数据包括所述待构建对象的环境深度信息以及环境视觉图像信息;
所述机器人将所述环境特征数据发送给所述服务器;
所述服务器获取与所述待构建对象对应的BIM模型的三维点云数据;
所述服务器将所述环境特征数据与所述三维点云数据进行融合,得到与所述待构建对象对应的目标地图;
所述服务器将所述目标地图返回给所述机器人,以便于所述机器人根据所述目标地图进行室内导航。
12.一种电子设备,其特征在于,包括存储器;
一个或多个处理器;
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1-6任一所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码由处理器运行时执行权利要求1-6任一所述的方法。
CN201911115380.2A 2019-11-14 2019-11-14 地图构建方法、装置及系统 Active CN111006676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911115380.2A CN111006676B (zh) 2019-11-14 2019-11-14 地图构建方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911115380.2A CN111006676B (zh) 2019-11-14 2019-11-14 地图构建方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111006676A true CN111006676A (zh) 2020-04-14
CN111006676B CN111006676B (zh) 2021-08-31

Family

ID=70113290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911115380.2A Active CN111006676B (zh) 2019-11-14 2019-11-14 地图构建方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111006676B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521193A (zh) * 2020-04-23 2020-08-11 广东博智林机器人有限公司 实景导航的方法、实景导航的装置、存储介质与处理器
CN111578949A (zh) * 2020-07-03 2020-08-25 哈工大机器人湖州国际创新研究院 室内定位方法及装置、存储介质和电子装置
CN111667545A (zh) * 2020-05-07 2020-09-15 东软睿驰汽车技术(沈阳)有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN112085823A (zh) * 2020-09-01 2020-12-15 上海擎朗智能科技有限公司 一种激光地图的拼接方法、装置、电子设备及存储介质
CN112200907A (zh) * 2020-10-29 2021-01-08 久瓴(江苏)数字智能科技有限公司 扫地机器人地图数据生成方法、装置、计算机设备和介质
CN112304318A (zh) * 2020-11-10 2021-02-02 河北工业大学 一种虚实耦合约束环境下的机器人自主导航方法
CN112581535A (zh) * 2020-12-25 2021-03-30 达闼机器人有限公司 机器人定位方法、装置、存储介质及电子设备
CN113573232A (zh) * 2021-07-13 2021-10-29 深圳优地科技有限公司 机器人巷道定位方法、装置、设备及存储介质
CN116878504A (zh) * 2023-09-07 2023-10-13 兰笺(苏州)科技有限公司 基于多传感器融合的建筑物外墙作业无人机精准定位方法
CN117213469A (zh) * 2023-11-07 2023-12-12 中建三局信息科技有限公司 地铁站厅的同步定位与建图方法、系统、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629330A (zh) * 2012-02-29 2012-08-08 华南理工大学 一种深度图像与彩色图像的快速高精度匹配方法
CN106384079A (zh) * 2016-08-31 2017-02-08 东南大学 一种基于rgb‑d信息的实时行人跟踪方法
EP3156944A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
CN106952337A (zh) * 2017-03-14 2017-07-14 福州市规划设计研究院 一种城市街景三维输入输出方法
CN108445496A (zh) * 2018-01-02 2018-08-24 北京汽车集团有限公司 测距标定装置及方法、测距设备及测距方法
WO2018176440A1 (zh) * 2017-04-01 2018-10-04 深圳市速腾聚创科技有限公司 点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质
CN109388150A (zh) * 2014-09-05 2019-02-26 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN109801358A (zh) * 2018-12-06 2019-05-24 宁波市电力设计院有限公司 一种基于slam扫描和点云影像融合的变电站三维勘测方法
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN110174107A (zh) * 2019-04-30 2019-08-27 厦门大学 一种导览机器人定位建图激光视觉融合方法和机器人
CN110188505A (zh) * 2019-06-12 2019-08-30 中国建筑第七工程局有限公司 基于bim+3d激光扫描技术的复杂深基坑监测系统及方法
CN110411340A (zh) * 2019-07-30 2019-11-05 广东博智林机器人有限公司 一种3d视觉检测装置及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629330A (zh) * 2012-02-29 2012-08-08 华南理工大学 一种深度图像与彩色图像的快速高精度匹配方法
CN109388150A (zh) * 2014-09-05 2019-02-26 深圳市大疆创新科技有限公司 多传感器环境地图构建
EP3156944A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
CN106384079A (zh) * 2016-08-31 2017-02-08 东南大学 一种基于rgb‑d信息的实时行人跟踪方法
CN106952337A (zh) * 2017-03-14 2017-07-14 福州市规划设计研究院 一种城市街景三维输入输出方法
WO2018176440A1 (zh) * 2017-04-01 2018-10-04 深圳市速腾聚创科技有限公司 点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质
CN108445496A (zh) * 2018-01-02 2018-08-24 北京汽车集团有限公司 测距标定装置及方法、测距设备及测距方法
CN109801358A (zh) * 2018-12-06 2019-05-24 宁波市电力设计院有限公司 一种基于slam扫描和点云影像融合的变电站三维勘测方法
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN110174107A (zh) * 2019-04-30 2019-08-27 厦门大学 一种导览机器人定位建图激光视觉融合方法和机器人
CN110188505A (zh) * 2019-06-12 2019-08-30 中国建筑第七工程局有限公司 基于bim+3d激光扫描技术的复杂深基坑监测系统及方法
CN110411340A (zh) * 2019-07-30 2019-11-05 广东博智林机器人有限公司 一种3d视觉检测装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PANAGIOTIS AGRAFIOTIS 等: "DepthLearn: Learning to Correct the Refraction on Point Clouds Derived from Aerial Imagery for Accurate Dense ShallowWater Bathymetry Based on SVMs-Fusion with LiDAR Point Clouds", 《REMOTE SENSING》 *
段晓芳 等: "高层住宅场景可视化三维真实性建模仿真", 《计算机仿真》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521193A (zh) * 2020-04-23 2020-08-11 广东博智林机器人有限公司 实景导航的方法、实景导航的装置、存储介质与处理器
CN111667545A (zh) * 2020-05-07 2020-09-15 东软睿驰汽车技术(沈阳)有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术(沈阳)有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111578949A (zh) * 2020-07-03 2020-08-25 哈工大机器人湖州国际创新研究院 室内定位方法及装置、存储介质和电子装置
CN112085823A (zh) * 2020-09-01 2020-12-15 上海擎朗智能科技有限公司 一种激光地图的拼接方法、装置、电子设备及存储介质
CN112200907B (zh) * 2020-10-29 2022-05-27 久瓴(江苏)数字智能科技有限公司 扫地机器人地图数据生成方法、装置、计算机设备和介质
CN112200907A (zh) * 2020-10-29 2021-01-08 久瓴(江苏)数字智能科技有限公司 扫地机器人地图数据生成方法、装置、计算机设备和介质
CN112304318B (zh) * 2020-11-10 2022-07-29 河北工业大学 一种虚实耦合约束环境下的机器人自主导航方法
CN112304318A (zh) * 2020-11-10 2021-02-02 河北工业大学 一种虚实耦合约束环境下的机器人自主导航方法
CN112581535A (zh) * 2020-12-25 2021-03-30 达闼机器人有限公司 机器人定位方法、装置、存储介质及电子设备
CN113573232A (zh) * 2021-07-13 2021-10-29 深圳优地科技有限公司 机器人巷道定位方法、装置、设备及存储介质
CN113573232B (zh) * 2021-07-13 2024-04-19 深圳优地科技有限公司 机器人巷道定位方法、装置、设备及存储介质
CN116878504A (zh) * 2023-09-07 2023-10-13 兰笺(苏州)科技有限公司 基于多传感器融合的建筑物外墙作业无人机精准定位方法
CN116878504B (zh) * 2023-09-07 2023-12-08 兰笺(苏州)科技有限公司 基于多传感器融合的建筑物外墙作业无人机精准定位方法
CN117213469A (zh) * 2023-11-07 2023-12-12 中建三局信息科技有限公司 地铁站厅的同步定位与建图方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111006676B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN111006676B (zh) 地图构建方法、装置及系统
CN109737974B (zh) 一种3d导航语义地图更新方法、装置及设备
CN107004297B (zh) 基于二维平面图的三维自动立体建模方法及程序
US9251417B1 (en) Fast open doorway detection for autonomous robot exploration
KR101993920B1 (ko) 물리적 장면을 표현하기 위한 방법 및 장치
Winterhalter et al. Accurate indoor localization for RGB-D smartphones and tablets given 2D floor plans
KR102197732B1 (ko) 실내공간의 3차원 지도 생성 방법 및 장치
WO2017132636A1 (en) Systems and methods for extracting information about objects from scene information
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
WO2016065063A1 (en) Photogrammetric methods and devices related thereto
CN113570664B (zh) 增强现实导航显示方法和装置、电子设备、计算机介质
CN109470233A (zh) 一种定位方法及设备
US20220035974A1 (en) Movement route prediction system, movement route prediction method, and recording medium
US10565786B1 (en) Sensor placement interface
Lehtola et al. Indoor 3D: Overview on scanning and reconstruction methods
CN112405526A (zh) 一种机器人的定位方法及装置、设备、存储介质
CA3099748A1 (en) Spatial construction using guided surface detection
CN115657060A (zh) 基于三维传感器的地面点云分割方法及装置
CN111207672B (zh) 一种ar量房方法
US10957100B2 (en) Method and apparatus for generating 3D map of indoor space
Runceanu et al. Indoor point cloud segmentation for automatic object interpretation
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
Lladrovci Indoor navigation with motion tracking and depth perception sensors
Manouchehri et al. Extrinsic calibration of a camera and a 2D laser range finder using ping pong balls and the corner of a room
US20220329737A1 (en) 3d polygon scanner

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant