CN115290097A - 基于bim的实时精确地图构建方法、终端及存储介质 - Google Patents
基于bim的实时精确地图构建方法、终端及存储介质 Download PDFInfo
- Publication number
- CN115290097A CN115290097A CN202211205837.0A CN202211205837A CN115290097A CN 115290097 A CN115290097 A CN 115290097A CN 202211205837 A CN202211205837 A CN 202211205837A CN 115290097 A CN115290097 A CN 115290097A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- map
- bim
- component
- transport robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/383—Indoor data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明涉及室内建筑机器人技术领域,特别是涉及基于BIM的实时精确地图构建方法、终端及存储介质。该构建方法包括以下步骤:S1.搭建具有构件材质信息的全局BIM点云地图。S2.将运输机器人上的激光雷达的初始帧点云与全局BIM点云地图进行特征配准,得到运输机器人的初始位姿。S3.根据初始位姿生成作业轨迹并修正运输机器人沿作业轨迹移动的实时位姿,通过实时位姿对运输机器人建立的slam地图做语义分割,进而建立语义地图。S4.去除语义地图中的障碍物点云,并对完工构件、对未完工构件的点云进行点云稠密化处理,得到当前施工场景的精确三维点云地图。本发明结合作业路径的多重复性不断更新地图,更具时效性和准确性。
Description
技术领域
本发明涉及室内建筑机器人技术领域,特别是涉及一种基于BIM的实时精确地图构建方法、实现所述基于BIM的实时精确地图构建方法功能的计算机终端,存储有实现所述基于BIM的实时精确地图构建方法程序的存储介质。
背景技术
为获取建筑室内施工场景,现有方式主要采用无人机搭载激光扫描仪进行扫描或者是人工使用相机进行拍摄,最后对数据进行处理得到。由于室内施工建筑环境的不确定性、变换频繁,使得无人机与人工获取数据费时费力,同时也缺乏实时性和有效性。
现有的运用slam技术实现三维地图重建的流程如下:对建设场景进行拍摄,采用视觉slam的方式获取三维场景的原始数据。对每一帧的点云进行解析,获取关键帧点云,舍弃匹配失败的帧和离关键帧够近的帧,然后根据关键帧点云姿态建立三维点云地图,流程如图1所示。因位置误差、更新速率等问题,仅使用slam获取的点云地图缺乏精确性。
发明内容
基于此,有必要针对采用无人机搭载激光扫描仪或slam技术构建的地图缺乏实时有效性和精准性的问题,提供一种基于BIM的实时精确地图构建方法、实现基于BIM的实时精确地图构建方法功能的计算机终端,存储有实现基于BIM的实时精确地图构建方法程序的存储介质。
为实现上述目的,本发明采用了以下技术方案:
一种基于BIM的实时精确地图构建方法,包括以下步骤:
S1.搭建施工场景的初步BIM点云地图,根据构件的材质信息建立完工构件的物理反射率变化曲线,并通过点云渲染加入到初步BIM点云地图内,得到全局BIM点云地图;
S2.将运输机器人上的激光雷达的初始帧点云与全局BIM点云地图进行特征配准,得到运输机器人的初始位姿,进而确定运输机器人的初始位置和方向;
S3.根据运输机器人的初始位置和方向生成作业轨迹,根据全局BIM点云地图修正运输机器人沿作业轨迹移动时的实时位姿,通过实时位姿对运输机器人首次作业下建立的slam地图做语义分割,进而建立包含障碍物、未完工构件和完工构件的语义地图;
S4.去除所述语义地图中的障碍物点云,并对所述语义地图中的完工构件点云以及对未完工构件点云进行点云稠密化处理,得到当前施工场景下的精确三维点云地图;
其中,点云稠密化方法如下:
S41.将语义地图中的障碍物点云通过聚类去除,以及通过地面点云分割去除语义地图中的地面点云,得到初步三维点云地图;
S42.提取全局BIM点云地图中与语义地图内的完工构件相同位置的构件BIM点云,将初步三维点云地图中的完工构件点云的边缘与构件BIM点云的边缘通过最近邻点匹配进行配准,并对完工构件点云进行网格划分,将每个网格内的完工构件点云根据激光雷达扫描的强度信息进行划分排列,并进行随机采样,将采样后的完工构件点云与构件BIM点云进行强度最近邻关联,扩展网格内的完工构件点云,完成完工构件点云的点云稠密化处理;
S43.将运输机器人实时扫描的未完工构件点云与初步三维点云地图中的未完工构件点云进行迭代拼接,完成初步三维点云地图中的未完工构件的点云稠密化处理,直至判定未完工构件已经完工,停止迭代拼接并转为步骤S42;
S44.将地面点云叠加到完成点云稠密化的初步三维点云地图,得到当前施工场景下的精确三维点云地图。
进一步的,运输机器人首次作业建立的slam地图的语义分割方法如下:
S31.根据运输机器人的初始位置和方向生成作业轨迹,将运输机器人的实时点云与全局BIM点云地图进行实时匹配,实时修正运输机器人沿作业轨迹移动时的位姿;
S32.将运输机器人首次作业扫描的slam地图进行初步点云分割,并对每一部分分割点云进行初始标定;
S33.根据作业轨迹在全局BIM点云地图中的位置,确定初始标定过的分割点云在全局BIM点云地图上的位置,提取分割点云的点云信息,判断与分割点云相同位置的全局BIM点云地图上是否存在构件;
S34.否则将分割点云标定为障碍物,是则判断与全局BIM点云地图相同位置的构件点云的点云信息是否匹配;
S35.是则将分割点云标记为完工构件,否则将分割点云标记为未完工构件。
进一步的,分割点云与构件的点云信息的匹配方法如下:
与构件的点云信息的匹配度判断方法如下:
获取分割点云的点云信息即强度变化曲线,以及相同位置的全局BIM点云地图上构件的点云信息即物理反射率变化曲线;
建立强度变化曲线和物理反射率变化曲线的直接关联关系,并判断两者的化匹配程度是否在预设的构件匹配标准区域内;
是则判定分割点云与构件相匹配,否则判定不匹配。
进一步的,初步BIM点云地图的搭建方法如下:
根据施工设计图纸与构件加工图纸搭建整体建筑信息模型;
提取整体建筑信息模型的特征信息,并进行均匀采样,得到初步BIM点云地图。
进一步的,特征信息包括结构柱、承重墙、门、窗的尺寸信息和三维位置信息,以及彼此之间的空间关系信息。
进一步的,运输机器人上的激光雷达的初始帧点云与全局BIM点云地图的特征配准方法如下:
S21.将全局BIM点云地图的非地面点云投影到地面点云上,得到平面地图,以平面地图的顶点为坐标原点,在平面地图上建立二维点云坐标系;
S22.对激光雷达的初始帧点云进行体素滤波处理,以运输机器人上的激光雷达中心为坐标原点、运输机器人的移动方向为X轴、运输机器人的重力反方向为Z轴,并根据右手准则确定Y轴,建立初始帧点云坐标系;
S23.获取初始帧点云坐标系的XY平面的边缘线,在边缘线上选取两点G 1 (x j ,y j )和G 2 (x j+1 ,y j+1 ),计算边缘线到激光雷达中心的垂距,其中,(x j ,y j )是G 1 在初始帧点云坐标系上的X轴坐标和Y轴坐标,(x j+1 ,y j+1 )是G 2 在初始帧点云坐标系上的X轴坐标和Y轴坐标;
S24.将边缘线在二维点云坐标系下进行全局匹配,根据垂距d确定激光雷达中心在二维点云坐标系上的坐标B 0 (p 0 ,q 0 ),其中,p 0 是激光雷达中心在二维点云坐标系上的横坐标,q 0 是激光雷达中心在二维点云坐标系上的纵坐标;
S25.选取边缘线上的端点,将端点在初始帧点云坐标系上的XY轴坐标变换到二维点云坐标系上,计算出运输机器人的旋转角度θ,进而得到运输机器人的初始位姿,计算公式为:,,其中,p m 是端点在二维点云坐标系上的横坐标,q n 是端点在二维点云坐标系上的纵坐标,x m 是端点在初始帧点云坐标系上的X轴坐标,y n 是端点在初始帧点云坐标系上的Y轴坐标,R是旋转矩阵。
进一步的,初始帧点云坐标系下XY平面的边缘线获取方法如下:
统计XY平面上的点云数量,通过点云数量设置alpha圆,根据alpha圆半径拾取XY平面上的边缘点;
判断边缘点与其前后的点的间距是否大于一个预设的间距值;
是则判定该边缘点为断点,将断点前后的聚集点云拟合成轮廓线,计算轮廓线之间的相交角度ω,提取相交角度ω等于90°的轮廓线;
判断相交角度ω等于90°的轮廓线的长度是否大于一个标准构件投影到XY平面的长度;
是则判定该轮廓线为边缘线。
进一步的,未完工构件的完工判断方法如下:
获取实时扫描的未完工构件的扫描点云,以及全局BIM点云地图中相同位置的构件BIM点云;
对比扫描点云和构件BIM点云是否一致;
是则判定未完工构件已经完工;
否则判定仍为未完工构件。
本发明还包括一种计算机终端,其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现前述基于BIM的实时精确地图构建方法的步骤。
本发明还包括一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时,实现前述基于BIM的实时精确地图构建方法的步骤。
本发明提供的技术方案,具有如下有益效果:
1.本发明能够实时获取运输机器人作业下的施工三维地图,并结合作业路径的多重复性不断更新地图,更具时效性和准确性;运用精确的BIM构件点云和运输机器人多视角获取的点云,采取点云拼接和点云稠密化的方法获取精确的实时的施工场景,相对于激光扫描的稀疏以及录制视频和无人机搭载激光扫描的繁琐,不仅改善了精确度低的问题,同时给予了实时性,省时省力。
2.本发明结合构件的材质信息以及激光雷达获取的强度信息精准划分未完工构件和已完工构件,并结合全局BIM点云地图获取构件的空间位置,相比录制视频和无人机搭载激光扫描具有更高的区分和识别。
3.本发明结合全局BIM点云地图对运输机器人的移动时的位姿进行修正,降低运输机器人在作业移动时的累计误差。
附图说明
图1为本发明的获取初步BIM点云地图的流程图;
图2为基于图1的运输机器人的初始位姿确定的示意图;
图3为基于图2的运输机器人的初始位姿确定的流程图;
图4为基于图3的slam地图进行语义分割的障碍物、未完工构件和完工构件的示意图;
图5为基于图4的对slam地图进行语义分割的流程图;
图6为基于图5的精确三维点云地图的获取流程图;
图7为本发明的一种基于BIM的实时精确地图构建方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明针对现有技术中的无人机搭载激光扫描仪进行扫描或者是人工使用相机进行拍摄费时费力、缺乏实时性和实时有效性以及使用slam获取的点云地图缺乏精确性,介绍了一种基于BIM的实时精确地图构建方法。本发明通过运用BIM中提取的构件材质和空间位置信息和激光雷达获取的强度信息精准划分未完工构件点云与完工构件点云并获取其空间位置,相比现在录制视频和无人机搭载激光扫描具有更高的区分和识别;运用精确的BIM构件点云和运输机器人多视角获取的点云通过点云拼接和点云稠密化的方法获取精确的实时的施工场景,相对于激光扫描的稀疏,精度低有较好的改善,并给予了实时性。
如图7所示,基于BIM的实时精确地图构建方法包括以下步骤:
步骤1:搭建施工场景的初步BIM点云地图,根据构件的材质信息建立完工构件的物理反射率变化曲线,并通过点云渲染加入到初步BIM点云地图内,得到全局BIM点云地图。不同的颜色以及材质对于光的反射率不同,预先进行实验,构件完工后表面附着的材质由远及近的物理反射率变化情况,且可以和构件每一步加工后的表面反射率进行对比,确定完工构件的物理反射率与未完工时有区别。在点云地图中添加完工构件的物理反射率变化曲线,在激光雷达扫描施工场所时,可直接与激光雷达的强度数据关联,将激光雷达的强度数据扫描已完工构件的强度信息由远及近建立强度变化曲线,将强度变化曲线和物理反射率变化曲线相关联,进而激光雷达扫描时根据强度信息并参考全局BIM点云地图即可判断该构件是否完工。全局BIM点云地图给激光雷达扫描时判断构件提供依据,提供激光雷达扫描的精准度。
步骤2:将运输机器人上的激光雷达的初始帧点云与全局BIM点云地图进行特征配准,得到运输机器人的初始位姿,进而确定运输机器人的初始位置和方向。参考全局BIM点云地图能够确定运输机器人的初始位置和方向,方便了解运输机器人在施工场景的位置,协助运输机器人精准定位。
步骤3:根据运输机器人的初始位置和方向生成作业轨迹,根据全局BIM点云地图修正运输机器人沿作业轨迹移动时的实时位姿,通过实时位姿对运输机器人首次作业下建立的slam地图做语义分割,进而建立包含障碍物、未完工构件和完工构件的语义地图。通过实时位姿能够知晓运输机器人的具体位置和方向,方便实时位姿下的激光雷达扫面的点云与全局BIM点云地图中的点云相对应。结合全局BIM点云地图能够对运输机器人移动时造成的误差进行修正,提高运输机器人沿作业轨迹移动的精准性,进而获得的slam地图与全局BIM点云地图适配度高,通过全局BIM点云地图进行语义划分也更为精准。
步骤4:去除所述语义地图中的障碍物点云,并对所述语义地图中的完工构件点云以及对未完工构件点云进行点云稠密化处理,得到当前施工场景下的精确三维点云地图。
其中,点云稠密化方法如下:
步骤41.将语义地图中的障碍物点云通过聚类去除,以及通过地面点云分割去除语义地图中的地面点云,得到初步三维点云地图。地面点云分割的方式可以是地面直线拟合的linefit ground segmentation算法或是基于改进形态学滤波的地面点云分割算法或者其它能够实现地面点云分割的方式。
步骤42.提取所述全局BIM点云地图中与所述语义地图内的完工构件相同位置的构件BIM点云,将所述初步三维点云地图中的完工构件点云的边缘与所述构件BIM点云的边缘通过最近邻点匹配进行配准,并对所述完工构件点云进行网格划分,将每个网格内的所述完工构件点云根据所述激光雷达扫描的强度信息进行划分排列,并进行随机采样,将采样后的所述完工构件点云与所述构件BIM点云进行强度最近邻关联,扩展网格内的所述完工构件点云,完成所述完工构件点云的点云稠密化处理。
步骤43.将运输机器人实时扫描的未完工构件点云与初步三维点云地图中的未完工构件点云进行迭代拼接,完成未完工构件的点云稠密化处理,直至未完工构件已经完工,此时不需要进行未完工构件的点云稠密化处理,转为步骤42进行完工构件的点云稠密化处理。
步骤44.将地面点云叠加到完成点云稠密化的初步三维点云地图,得到当前施工场景下的精确三维点云地图。叠加的方式可以采用Fast globel Registration算法。
结合全局BIM点云地图对语义地图中完工构件点云稠密化,丰富激光雷达扫描的稀疏点云,进而得到更为精准的点云地图。
步骤1的作用是搭建施工场景的初步BIM点云地图,根据构件的材质信息建立完工构件的物理反射率变化曲线,并通过点云渲染加入到初步BIM点云地图内,得到全局BIM点云地图。如图1所示,具体内容如下:
第一步:根据各个构件(门、窗、柱等)的加工图纸,创建各个构件的样板,随后根据施工设计图纸,运用构件样板搭建具有地基、结构柱、梁等基础部分的整体的BIM。
第二步:对整体的BIM提取IFC文件(建筑工程数据交换标准),按照IFC文件中的三维位置信息、构件大小信息以及空间关系信息,使用编程语言重新描绘成三维模型,并对模型表面进行均匀采样,来获取施工完成情况的初步BIM点云地图。
第三步:对初步BIM点云地图中的各个构件点云,根据其构件IFC文件中的材质信息,建立其完工构件由远及近的物理反射率变化曲线,将其通过点云渲染的方式加入到初步BIM点云中,在明确各个构件在完整BIM中的空间位置关系下,建立全局BIM点云地图。
步骤2作用是根据全局BIM点云地图与运输机器人激光雷达扫描的的初始帧点云数据进行特征匹配,是建筑施工场景下运输机器人能够确定初始位姿的关键。如图2所示,由于建筑大楼会优先根据轴网标高的设计图纸建立起地基、结构柱和梁等基础部分。其中边缘墙体和结构柱建筑施工始终长期存在,可以做为边缘和几何特征用于点云的快速配准,从而确定运输机器人的初始位置与方向。如图3所示,具体方法如下:
第一步:根据完整BIM导出的建筑交换格式文件信息以及结构柱连接楼板与地面,做二维平面处理。根据施工设计图纸中的结构柱和承重墙等特征,将其投影到地面点云上,进而得到具有全局特征线段的平面地图,以平面地图的顶点为坐标原点,建立二维点云坐标系,其中,横纵坐标分别定义为P、Q。
第二步:对运输机器人上的激光雷达的初始帧点云先进行滤波处理,由于室内建筑多为结构化的,故采用体素滤波的方法对点云进行处理,然后以运输机器人移动方向为X方向,重力的反方向为Z方向,根据右手准则确定Y方向,建立初始帧点云坐标系,提取XY平面且Z方向大小一致的平面点云。
第三步:采用alpha shape算法提取边缘点云。通过统计XY平面上的点云数量设置合理alpha圆的大小半径拾取边缘点,预先设置一个间距值,边缘点与前后点的距离大于间距值的设置为断点,将断点前后的聚集点云通过直线拟合的方式设定为y=ax+b,其中,y和x分别是初始帧点云坐标系下的拟合直线上任一点在Y轴上和在X轴上的坐标值,a是拟合直线的斜率值,b是拟合直线的截距值,则拟合成的轮廓线的角度A=arctan(a)。对所有拟合的轮廓线段计算角度,其中角度会集中在两个角度值:A 1 和A 2 且。去除轮廓线长度小于结构柱和承重墙平面轮廓特征的最小长度和角度值不为A 1 和A 2 的轮廓线即相交角度ω不等于90°的轮廓线,得到边缘线。对相交90°的两边缘线分别计算其到激光雷达中心的垂距,其中(xj,yj)和(xj+1,yj+1)为边缘线上在初始帧点云坐标系上的两点坐标。将边缘线在二维点云坐标系下进行全局匹配可以确定机器人初始点即激光雷达中心在二维点云坐标系下的坐标B 0 (p 0 ,q 0 )。
第四步:根据二维点云坐标系中的B 0 ,对初始帧点云坐标系下的点做变换,使两坐标系原点统一,随后使用平面旋转矩阵R,计算出运输机器人的旋转角度。例如选取边缘线上的端点,将端点在初始帧点云坐标系上的XY轴坐标变换到二维点云坐标系上,通过,计算旋转角度θ,其中,p m 是端点在二维点云坐标系上的横坐标,q n 是端点在二维点云坐标系上的纵坐标,x m 是端点在初始帧点云坐标系上的X轴坐标,y n 是端点在初始帧点云坐标系上的Y轴坐标,选取多点求得最大匹配的旋转矩阵R,进而确定旋转角度,得到运输机器人的初始位姿。
如图4所示,步骤3的作用是根据运输机器人的不同路径的作业轨迹,对运输机器人首次作业下建立的slam(同步建图与定位)地图做语义分割,目的是建立起区分障碍物、未完工构件和完工构件的语义地图。如图5所示,具体步骤如下:
第一步:运输机器人出发作业到施工点,运用slam技术建立起三维地图,由于运输机器人在移动过程中存在累计误差,采用BIM全局定位对初始坐标的配准方式,利用结构柱和承重墙的长期存在和边缘线特征的旋转不变性,对运输机器人的实时激光点云与全局BIM点云地图进行实时匹配,实时更新机器人在全局BIM点云地图中的坐标,以消除累计误差。
第二步:对初次作业轨迹下扫描的slam局部点云地图运用RANSAC(随机采样一致性)的方法做初步的点云分割,并对每一部分点云进行标定,得到多个初始标定的分割点云。对于初步的点云分割,还可以采用FCM聚类算法、区域生长算法和基于图论的min-cut算法等。
第三步:根据获取的作业轨迹图确定运输机器人在全局BIM点云地图的位置,提取在全局BIM点云地图中与分割点云相同空间位置上的点云信息,与分割点云对比判断施工构件的完工状况。具体表现为提取的点云信息构件材质反射率变换曲线和分割点云的强度变化曲线进行比对,对比两者曲线的变化匹配程度,而对不同构件要建立不同的匹配程度标准,这样可以判断构件施工状态。激光雷达的强度信息在室内情境下主要受距离、入射角和物理反射率的影响,在构件位置已知情况下,选取合适的角度因子可以建立强度信息与物理反射率的直接相关关系,而在施工过程中,材质不断变化,直到完工时才会达到物理反射率变化曲线与强度曲线完全匹配的状况则可判断构件已经完工。如门把手的金属材料反射率较门板要高,墙体粉刷前后反射率也有变化等,可以对不同构件建立完工与否建立区分方法;而对无构件的位置上存在分割点云则判断为障碍物。
步骤4的作用是对获取的语义地图进行处理,对已经完工的构件部分,将提取的构件点云采用点云拼接的方法替换移动激光雷达扫描到构件的稀疏点云;对未完工的构件部分,在运输机器人作业时,通过作业轨迹下不同路径获取的未完工部分点云地图,采用迭代的方法优化实现未完工部分点云的稠密化。如图6所示,具体流程如下:
第一步:去除语义地图中的障碍物和地面点云,得到初步三维点云地图。
第二步:提取全局BIM点云地图中与语义地图内的完工构件相同位置的构件BIM点云,将初步三维点云地图中的完工构件点云的边缘与构件BIM点云的边缘通过最近邻点匹配进行配准,并对完工构件点云进行网格划分,将每个网格内的完工构件点云根据激光雷达扫描的强度信息进行划分排列,并进行随机采样,将采样后的完工构件点云与构件BIM点云进行强度最近邻关联,扩展网格内的完工构件点云。
第三步:将运输机器人作业轨迹下不同路径下扫描的同一未完工构件点云进行迭代拼接,由于不同路径下可以获取不同视角下的未完工构件点云,而这些点云的初始位置相近,所以采用ICP的配准方法进行拼接,或者也可以采用ICP变体算法(Go-ICP和PL-ICP等)、NDT和4PCS及其变体等算法进行匹配拼接,每路过一次就可以迭代拼接一次,从而避免寻找最佳视点的扫描点云。若在一次扫描中确认未完工构件已经完工,则将点云转为第二步处理。
其中,未完工构件的完工判断方法如下:获取实时扫描的未完工构件的扫描点云,以及全局BIM点云地图中相同位置的构件BIM点云。对比扫描点云和构件BIM点云是否一致。是则判定未完工构件已经完工。否则判定仍为未完工构件。
第四步:根据运输机器人作业的遍及性成点云稠密化的初步三维点云地图加上地面点云获得当前施工场景下的精确三维点云地图。
在基于BIM的实时精确地图构建系统方法的基础上,还可设置一种基于BIM的实时精确地图构建系统,该构建系统包括全局BIM点云地图获取模块、BIM全局定位模块、语义地图构建模块和精确地图获取模块。
全局BIM点云地图获取模块:用于根据设计图纸绘制的精准的建筑构件模型,根据建筑图纸搭建将构件模型搭建成完整的建筑信息模型,并导出建筑信息交换格式文件,提取构件表面的材质信息和构件的空间位置信息。对完整的建筑信息模型和构件模型的表面进行均匀采样,生成初步BIM点云地图,根据构件的材质信息建立完工构件的物理反射率变化曲线,并通过点云渲染加入到初步BIM点云地图内,得到全局BIM点云地图。
BIM全局定位模块:用于提取运输机器人的初始帧点云,将点云滤波处理,对建筑初期的建立边缘墙体和结构柱在楼板平面建立二维点云坐标系,还建立运输机器人的以激光雷达为中心的三维坐标系,根据初始帧点云的边缘特征,计算边缘线特征到运输机器人的垂距,根据垂距大小确定机器人在二维点云坐标系下的坐标,根据平面旋转矩阵R,可以求得旋转角度,进而确定运输机器人的初始位姿,即运输机器人的初始位置和方向。此模块可以在运输机器人作业时实时修正累计误差,提高slam建立的点云地图精度。
语义地图构建模块:用于根据运输机器人的初始位置和方向生成作业路径,根据运输机器人首次作业路径所建立的同步点云地图做分割处理,采用随机采样一致性做粗略的分割处理,确定每一个构件位置的点云存在情况,以构件门为例:门锁的安装意味一个门施工的完成,但由于激光雷达的识别度不高,故提取激光雷达的强度数据,根据激光反射率的变化以及IFC文件中门板、墙体和门锁的材质信息,可以判断一个构件是否施工完成。而对无构件位置的存在点云则判断为障碍物,在后续处理中舍去。由此,建立一个完工构件、未完工构件和去除障碍物的语义地图。
精确地图获取模块:用于对语义地图中未完工构件点云部分运用运输机器人在作业中的多重复性,由全局BIM点云地图提供的全局点云,对同一未完工构件进行多视角的点云由于其位置确定,采用构件边缘特征点做最近邻点匹配,将多视角激光雷达获取的点云做拼接处理。若在扫描中确定构件已完工,则转为完工构件处理。对于完工构件点云部分,将在语义地图中的完工构件点云做网格划分处理,与同位置全局BIM点云地图的件BIM点云做关联处理,实现点云的稠密化,提高建图精度。利用运输机器人作业的遍及性,在完成获取未完工构件点云、去除障碍物点云、完工构件稠密点云的多路径的整合后,进行点云整合,从而获取到实时的精确的施工三维场景。此模块既能丰富点云信息又可以实时展现未完工构件的施工状况,既具有精确性又具有时效性
本实施例能够实时获取运输机器人作业下精确的施工三维地图,并结合作业路径的多重复性不断更新地图,更具时效性和准确性。
在上述基于BIM的实时精确地图构建方法的基础上,本实施例还介绍一种计算机终端,其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述基于BIM的实时精确地图构建方法的步骤。在应用时,可以软件的形式进行应用,如设计成独立运行的程序,安装在计算机终端上,计算机终端可以是电脑、智能手机等。也可以设计成嵌入式运行的程序,安装在计算机终端上,如安装在单片机上。
在上述基于BIM的实时精确地图构建方法的基础上,本实施例还介绍一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时,实现上述基于BIM的实时精确地图构建方法的步骤。在应用时,可以软件的形式进行应用,如设计成计算机可读存储介质可独立运行的程序,计算机可读存储介质可以是U盘,设计成U盾,通过U盘设计成通过外在触发启动整个方法的程序。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于BIM的实时精确地图构建方法,其用于实时获取运输机器人施工场景的精确三维点云地图,其特征在于,所述基于BIM的实时精确地图构建方法包括以下步骤:
S1.搭建施工场景的初步BIM点云地图,根据构件的材质信息建立完工构件的物理反射率变化曲线,并通过点云渲染加入到初步BIM点云地图内,得到全局BIM点云地图;
S2.将所述运输机器人上的激光雷达的初始帧点云与所述全局BIM点云地图进行特征配准,得到所述运输机器人的初始位姿,进而确定运输机器人的初始位置和方向;
S3.根据所述运输机器人的初始位置和方向生成作业轨迹,根据所述全局BIM点云地图修正所述运输机器人沿所述作业轨迹移动时的实时位姿,通过所述实时位姿对所述运输机器人首次作业下建立的slam地图做语义分割,进而建立包含障碍物、未完工构件和完工构件的语义地图;
S4.去除所述语义地图中的障碍物点云,并对所述语义地图中的完工构件点云以及对未完工构件点云进行点云稠密化处理,得到当前施工场景下的精确三维点云地图;
其中,点云稠密化方法如下:
S41.将所述语义地图中的障碍物点云通过聚类去除,以及通过地面点云分割去除所述语义地图中的地面点云,得到初步三维点云地图;
S42.提取所述全局BIM点云地图中与所述语义地图内的完工构件相同位置的构件BIM点云,将所述初步三维点云地图中的完工构件点云的边缘与所述构件BIM点云的边缘通过最近邻点匹配进行配准,并对所述完工构件点云进行网格划分,将每个网格内的所述完工构件点云根据所述激光雷达扫描的强度信息进行划分排列,并进行随机采样,将采样后的所述完工构件点云与所述构件BIM点云进行强度最近邻关联,扩展网格内的所述完工构件点云,完成所述完工构件点云的点云稠密化处理;
S43.将所述运输机器人实时扫描的未完工构件点云与初步三维点云地图中的未完工构件点云进行迭代拼接,完成初步三维点云地图中的未完工构件点云的点云稠密化处理,直至未完工构件已经完工,停止迭代拼接并转为步骤S42;
S44.将所述地面点云叠加到完成点云稠密化的初步三维点云地图,得到当前施工场景下的精确三维点云地图。
2.根据权利要求1所述的基于BIM的实时精确地图构建方法,其特征在于,所述运输机器人首次作业建立的slam地图的语义分割方法如下:
S31.将所述运输机器人的实时点云与所述全局BIM点云地图进行实时匹配,实时修正运输机器人沿所述作业轨迹移动时的实时位姿;
S32.根据所述实时位姿对所述运输机器人首次作业扫描的slam地图进行初步点云分割,得到不同部分的分割点云,并对每一部分的分割点云进行初始标定;
S33.根据所述作业轨迹在所述全局BIM点云地图中的位置,确定初始标定过的分割点云在全局BIM点云地图上的位置,提取所述分割点云的点云信息,判断与所述分割点云相同位置的所述全局BIM点云地图上是否存在构件;
S34.否则将所述分割点云标定为障碍物,是则判断与所述全局BIM点云地图相同位置的构件点云的点云信息是否匹配;
S35.是则将所述分割点云标记为完工构件,否则将所述分割点云标记为未完工构件。
3.根据权利要求2所述的基于BIM的实时精确地图构建方法,其特征在于,所述分割点云与构件的点云信息的匹配方法如下:
获取所述分割点云的点云信息即强度变化曲线,以及相同位置的全局BIM点云地图上构件的点云信息即物理反射率变化曲线;
建立强度变化曲线和物理反射率变化曲线的直接关联关系,并判断二者的匹配程度是否在预设的构件匹配标准区域内;
是则判定分割点云与构件相匹配,否则判定不匹配。
4.根据权利要求1所述的基于BIM的实时精确地图构建方法,其特征在于,所述初步BIM点云地图的搭建方法如下:
根据施工设计图纸与构件加工图纸搭建整体建筑信息模型;
提取所述整体建筑信息模型的特征信息,并进行均匀采样,得到初步BIM点云地图。
5.根据权利要求1所述的基于BIM的实时精确地图构建方法,其特征在于,所述特征信息包括结构柱、承重墙、门、窗的尺寸信息和三维位置信息,以及彼此之间的空间关系信息。
6.根据权利要求1所述的基于BIM的实时精确地图构建方法,其特征在于,所述运输机器人上的激光雷达的初始帧点云与所述全局BIM点云地图的特征配准方法如下:
S21.将所述全局BIM点云地图的非地面点云投影到地面点云上,得到平面地图,以所述平面地图的顶点为坐标原点,在所述平面地图上建立二维点云坐标系;
S22.对所述激光雷达的初始帧点云进行体素滤波处理,以所述运输机器人上的激光雷达中心为坐标原点、运输机器人的移动方向为X轴、运输机器人的重力反方向为Z轴,并根据右手准则确定Y轴,建立初始帧点云坐标系;
S23.获取所述初始帧点云坐标系的XY平面的边缘线,在所述边缘线上选取两点G 1 (x j , y j )和G 2(x j+1 ,y j+1 ),计算所述边缘线到激光雷达中心的垂距,其中,(x j ,y j )是G 1 在初始帧点云坐标系上的X轴坐标和Y轴坐标,(x j+1 ,y j+1 )是G 2 在初始帧点云坐标系上的X轴坐标和Y轴坐标;
S24.将所述边缘线在所述二维点云坐标系下进行全局匹配,根据垂距d确定所述激光雷达中心在所述二维点云坐标系上的坐标B 0 (p 0 ,q 0 ),其中,p 0 是激光雷达中心在二维点云坐标系上的横坐标,q 0 是激光雷达中心在二维点云坐标系上的纵坐标;
7.根据权利要求6所述的基于BIM的实时精确地图构建方法,其特征在于,所述初始帧点云坐标系下XY平面的边缘线获取方法如下:
统计XY平面上的点云数量,通过点云数量设置alpha圆,根据alpha圆半径拾取XY平面上的边缘点;
判断边缘点与其前后的点的间距是否大于一个预设的间距值;
是则判定该边缘点为断点,将断点前后的聚集点云拟合成轮廓线,计算轮廓线之间的相交角度ω,提取相交角度ω等于90°的轮廓线;
判断提取的轮廓线的长度是否大于一个标准构件投影到XY平面的长度;
是则判定该轮廓线为边缘线。
8.根据权利要求1所述的基于BIM的实时精确地图构建方法,其特征在于,所述未完工构件的完工判断方法如下:
获取所述激光雷达实时扫描的未完工构件的扫描点云,以及全局BIM点云地图中相同位置的构件BIM点云;
对比所述扫描点云和所述构件BIM点云是否一致;
是则判定未完工构件已经完工;
否则判定仍为未完工构件。
9.一种计算机终端,其包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8中任意一项所述的基于BIM的实时精确地图构建方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时,实现如权利要求1至8中任意一项所述的基于BIM的实时精确地图构建方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211205837.0A CN115290097B (zh) | 2022-09-30 | 2022-09-30 | 基于bim的实时精确地图构建方法、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211205837.0A CN115290097B (zh) | 2022-09-30 | 2022-09-30 | 基于bim的实时精确地图构建方法、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115290097A true CN115290097A (zh) | 2022-11-04 |
CN115290097B CN115290097B (zh) | 2022-12-30 |
Family
ID=83834549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211205837.0A Active CN115290097B (zh) | 2022-09-30 | 2022-09-30 | 基于bim的实时精确地图构建方法、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115290097B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116776451A (zh) * | 2023-08-10 | 2023-09-19 | 安徽建筑大学 | 一种用于环境设计的调色方法及装置 |
CN116878504A (zh) * | 2023-09-07 | 2023-10-13 | 兰笺(苏州)科技有限公司 | 基于多传感器融合的建筑物外墙作业无人机精准定位方法 |
CN117315183A (zh) * | 2023-11-30 | 2023-12-29 | 四川鼎鸿智电装备科技有限公司 | 一种基于激光雷达构建三维地图和作业分析的方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469388A (zh) * | 2015-11-16 | 2016-04-06 | 集美大学 | 基于降维的建筑物点云配准算法 |
US20190325089A1 (en) * | 2018-04-18 | 2019-10-24 | Reconstruct Inc. | Computation of point clouds and joint display of point clouds and building information models with project schedules for monitoring construction progress, productivity, and risk for delays |
CN111754566A (zh) * | 2020-05-12 | 2020-10-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 机器人场景定位方法和施工操作方法 |
CN112097823A (zh) * | 2020-07-29 | 2020-12-18 | 安徽建筑大学 | 一种基于北斗高精度定位和bim施工多点同步监测系统 |
CN112633657A (zh) * | 2020-12-16 | 2021-04-09 | 中冶建筑研究总院有限公司 | 一种施工质量管理方法、装置、设备及存储介质 |
CN112835064A (zh) * | 2020-12-31 | 2021-05-25 | 上海蔚建科技有限公司 | 一种建图定位方法、系统、终端及介质 |
CN113656858A (zh) * | 2021-07-02 | 2021-11-16 | 中建七局安装工程有限公司 | 基于激光扫描点云与bim模型的双球嵌套结构数模比对方法 |
JP2021196487A (ja) * | 2020-06-12 | 2021-12-27 | 株式会社竹中工務店 | 地図変換システム、及び地図変換プログラム |
CN114862932A (zh) * | 2022-06-20 | 2022-08-05 | 安徽建筑大学 | 基于bim全局定位的位姿修正方法及运动畸变矫正方法 |
-
2022
- 2022-09-30 CN CN202211205837.0A patent/CN115290097B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469388A (zh) * | 2015-11-16 | 2016-04-06 | 集美大学 | 基于降维的建筑物点云配准算法 |
US20190325089A1 (en) * | 2018-04-18 | 2019-10-24 | Reconstruct Inc. | Computation of point clouds and joint display of point clouds and building information models with project schedules for monitoring construction progress, productivity, and risk for delays |
CN111754566A (zh) * | 2020-05-12 | 2020-10-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 机器人场景定位方法和施工操作方法 |
JP2021196487A (ja) * | 2020-06-12 | 2021-12-27 | 株式会社竹中工務店 | 地図変換システム、及び地図変換プログラム |
CN112097823A (zh) * | 2020-07-29 | 2020-12-18 | 安徽建筑大学 | 一种基于北斗高精度定位和bim施工多点同步监测系统 |
CN112633657A (zh) * | 2020-12-16 | 2021-04-09 | 中冶建筑研究总院有限公司 | 一种施工质量管理方法、装置、设备及存储介质 |
CN112835064A (zh) * | 2020-12-31 | 2021-05-25 | 上海蔚建科技有限公司 | 一种建图定位方法、系统、终端及介质 |
CN113656858A (zh) * | 2021-07-02 | 2021-11-16 | 中建七局安装工程有限公司 | 基于激光扫描点云与bim模型的双球嵌套结构数模比对方法 |
CN114862932A (zh) * | 2022-06-20 | 2022-08-05 | 安徽建筑大学 | 基于bim全局定位的位姿修正方法及运动畸变矫正方法 |
Non-Patent Citations (2)
Title |
---|
YANG CUI 等: "Automatic 3-D Reconstruction of Indoor Environment With Mobile Laser Scanning Point Clouds", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
孙常恒: "基于BIM的自主装修机器人定位与环境感知系统", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116776451A (zh) * | 2023-08-10 | 2023-09-19 | 安徽建筑大学 | 一种用于环境设计的调色方法及装置 |
CN116776451B (zh) * | 2023-08-10 | 2023-11-07 | 安徽建筑大学 | 一种用于环境设计的调色方法及装置 |
CN116878504A (zh) * | 2023-09-07 | 2023-10-13 | 兰笺(苏州)科技有限公司 | 基于多传感器融合的建筑物外墙作业无人机精准定位方法 |
CN116878504B (zh) * | 2023-09-07 | 2023-12-08 | 兰笺(苏州)科技有限公司 | 基于多传感器融合的建筑物外墙作业无人机精准定位方法 |
CN117315183A (zh) * | 2023-11-30 | 2023-12-29 | 四川鼎鸿智电装备科技有限公司 | 一种基于激光雷达构建三维地图和作业分析的方法 |
CN117315183B (zh) * | 2023-11-30 | 2024-02-23 | 四川鼎鸿智电装备科技有限公司 | 一种基于激光雷达构建三维地图和作业分析的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115290097B (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115290097B (zh) | 基于bim的实时精确地图构建方法、终端及存储介质 | |
CN110717983A (zh) | 一种基于背包式三维激光点云数据的建筑物立面三维重建方法 | |
CN112927360A (zh) | 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统 | |
Cheng et al. | Automatic registration of terrestrial and airborne point clouds using building outline features | |
Mu et al. | Research on SLAM algorithm of mobile robot based on the fusion of 2D LiDAR and depth camera | |
CN113432600A (zh) | 基于多信息源的机器人即时定位与地图构建方法及系统 | |
CN113409410A (zh) | 一种基于3d激光雷达的多特征融合igv定位与建图方法 | |
CN113888691A (zh) | 构建建筑场景语义地图的方法、装置及储存介质 | |
CN113108773A (zh) | 一种融合激光与视觉传感器的栅格地图构建方法 | |
CN112465849B (zh) | 一种无人机激光点云与序列影像的配准方法 | |
CN111179321A (zh) | 一种基于模板匹配的点云配准方法 | |
CN109146990B (zh) | 一种建筑轮廓的计算方法 | |
Wei et al. | Automatic coarse registration of point clouds using plane contour shape descriptor and topological graph voting | |
CN111820545A (zh) | 一种结合离线与在线扫描自动生成鞋底喷胶轨迹的方法 | |
CN116449384A (zh) | 基于固态激光雷达的雷达惯性紧耦合定位建图方法 | |
CN114549956A (zh) | 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法 | |
CN114463396B (zh) | 一种利用平面形状和拓扑图投票的点云配准方法 | |
Guo et al. | 3D Lidar SLAM Based on Ground Segmentation and Scan Context Loop Detection | |
CN113886903A (zh) | 构建全局slam地图的方法、装置及存储介质 | |
Pu | Generating building outlines from terrestrial laser scanning | |
de Paiva et al. | Intelligent Digital Built Heritage Models: An Approach from Image Processing and Building Information Modelling Technology. | |
Xiang et al. | Low data overlap rate graph-based slam with distributed submap strategy | |
Moradi et al. | Development of a Voxel Based Local Plane Fitting for Multi-Scale Registration of Sequential Mls Point Clouds | |
Xu et al. | Multiscale Space Adaptation-Based Dynamic Object Removal for LiDAR Mapping | |
CN117788774A (zh) | 一种室内结构点云分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |