CN110490415B - 一种多无人机视觉协同的建筑进度评估方法 - Google Patents

Abstract

一种多无人机视觉协同的建筑进度评估方法，执行以下操作：根据建筑项目施工图建立整个建筑项目的BIM计划模型；使用多架无人机协同作业，在真实建筑场景中获取多方位多角度的施工场景图片组成图像集I；将无人机获得的施工场景图片图像集I通过Mask R‑CNN方法进行实例分割获得图像集I’，用图像集I’进行三维重建，获得当前建筑场景中建筑任务的当前3D模型，当前3D模型信息包含实际的建筑高度，实际的建筑表面材料信息和实际工时；将当前3D模型信息输入实际BIM模型中，基于模糊算法，用实际BIM模型估算BIM计划模型的总工程量完成时间；以实际BIM模型的实际工时与BIM计划模型的总工程量完成时间获得实时建筑进度指数。使用多无人机采集建筑施工现场的图像，提高了建筑进度评估的自动化程度。根据模糊算法对当前建筑进度进行评估，提高了建筑进度评估的可靠性和准确性。

Description

一种多无人机视觉协同的建筑进度评估方法

技术领域

本发明属于建筑进度评估领域，具体为一种多无人机视觉协同的建筑进度评估方法。

背景技术

背景技术的内容只是为了帮助理解技术内容，并非现有技术。

建筑业是国民经济的支柱产业，在经济和社会发展中发挥着至关重要的作用。建筑业已经普遍认识到对建筑施工的有效监控是建筑项目成功的关键因素之一，而有效的监控的基础是对建筑施工进度进行准确的评估。建筑施工阶段是建筑项目生命周期的重要阶段，建筑项目的时间和成本的投入大部分在项目的施工阶段，施工阶段的进度评估和监控对项目目标至关重要。

建筑项目的施工进度评估是一个动态的过程，需要不断的更新现场数据，由此产生了巨大的信息量，并且随着项目进度的进展项目信息量不断的动态增加。施工进度评估的实时信息的动态性和大量性对信息的存储、共享和管理有较高的要求。传统的方式主要是依靠传统手工的方式进行现场数据的采集，通过手工的测量和纸笔记录，然后计算数据生成报告。传统的现场数据手工采集方法已经不能满足现代项目施工进度评估的需要，其缺点日渐明显。项目管理人员需要花费大量的时间去等待和搜索报告中的信息以感知项目施工作业活动和进度的情况。由于传统的人工测量、记录以及计算需要耗费大量的人力物力财力，因此有必要研究一种自动化的建筑施工进度实时评估方法完成对建筑项目进度的准确评估。现有的建筑进度评估方法中，使用BIM(Building Information Modeling)技术代替人工对建筑项目的进行有效地管理，以做出准确的进度评估。但是，BIM技术是通过建立虚拟的建筑工程三维模型，利用数字化技术，为这个模型提供完整的、与实际情况一致的建筑工程信息库，需要对建筑施工现场进行数据采集，通过使用摄像测量技术、3D激光扫描仪或者RFID(Radio Frequency Identification)技术获取构件的进度信息，然后输入BIM模型中，进行建筑项目进度评估。当前的进度评估方法都需要人力进行现场采集，尤其是当建筑项目较大时，这种半自动的方式所需的人力物力成本就会很高，因此如何全自动化地对建筑项目做出准确有效的评估是急需解决的问题。

发明内容

本发明的目的在于提供一种基于多无人机协同拍摄获得建筑工地的实地场景、将实地场景的建筑信息与建筑项目的BIM计划模型的建筑信息进行比对，获得实际建筑进度的评估方法。

一种多无人机视觉协同的建筑进度评估方法，执行以下操作：

根据建筑项目施工图建立整个建筑项目的BIM计划模型；使用多架无人机协同作业，在真实建筑场景中获取多方位多角度的施工场景图片组成图像集I；将无人机获得的施工场景图像集I通过Mask R-CNN方法进行实例分割获得图像集I’，用图像集I’进行三维重建，获得当前建筑场景中建筑任务的当前3D模型，当前3D模型信息包含实际的建筑高度，实际的建筑表面材料信息和实际工时；将当前3D模型信息输入实际BIM模型中，基于模糊算法，用实际BIM模型估算BIM计划模型的总工程量完成时间；以实际BIM模型的实际工时与BIM计划模型的总工程量完成时间获得实时建筑进度指数。

作为优选的方案：获得实际的建筑高度的方法为：

1)、使用SFM方法对建筑图像集I进行处理，得到含建筑构件的场景点云，过滤场景点云的局外点和噪声，得到点云集合P；

2)、使用RANSAC方法得到点云集合P中的平面，根据集合P中各平面的上点云的Z轴坐标(即高度)的平均值，筛选出平均高度最小的平面即为地平面G₀，获取与地平面G₀垂直的平面作为建筑立面，获得地平面与建筑立面的交线，该交线作为建筑构件在地面的二维轮廓B；

3)、将点云集合P中、所有投影在二维轮廓B上的点剔除获得剩余点云，剔除二维轮廓覆盖的所有点之后，建筑构件点云只剩下建筑顶面的点云；对剩余点云进行欧式聚类，欧式聚类将剩余点云自动分类为建筑顶面子集C_B和环境点云子集；

4)、以地平面G₀任意一点为原点O，以地平面为X-Y平面，垂直地平面且指向建筑构件点云所在方向为Z方向，建立空间直角坐标系，计算建筑平面子集C_B中点云中每个点在新坐标系下的坐标(x,y,z)，z表示高度，(x,y)表示点在X-Y平面的投影位置；

5)、获得包围二维轮廓B的最小矩形区域，将最小矩形区域划分为多个大小相等的方格G＝{g(i,j)|1≤i≤w,1≤j≤h}，其中w,h是区域内方格行列数，方格的数量越多则计算精度越高；将建筑平面子集C_B中的点云垂直地向地平面投影，获得所有投影在到最小矩形区域的点，将投影在最小矩形区域的点按方格划分，取投影在方格内的点云的Z轴坐标平均值作为方格高度；以方格高度作为当前位置的建筑物高度；每个方格及其方格高度形成一个柱状模型，所有方格形成的柱状模型组成实际建筑构件的3D模型。

进一步，获得实际的建筑高度的方法的步骤5)中，若某方格无点云投影在其内，则将该无点云投影的方格高度设置为0；对于高度为0的方格，以跟该高度为0的方格最近的且在B中的方格高度进行插值，如对上述最近的且在B中的方格的高度取平均，以插值高度作为该高度为0的方格的模型高度，以该高度为0的方格和其模型高度形成该方格的柱状模型，所有方格形成的柱状模型组成实际建筑构件的3D模型。

作为优选的方案，获得实际的建筑表面材料信息的方法为：

用深度学习的Mask R-CNN算法从建筑图像集I中的建筑构件从背景中分割出来，将已建的建筑构件组成建筑构件图集I’，识别建筑构件图集I’中出现的表面材料。

进一步，将实际建筑构件的3D模型和表面材料输入实际BIM模型中，将实际建筑构件的点云集合中的所有点的坐标按照3D模型与BIM模型的比例关系转换为BIM模型中的坐标。3D模型的建筑构件和BIM模型的大小是有一个比例关系，3D模型的点云中点的坐标转换为BIM模型中的坐标就是用3D模型的坐标乘以这个比例得到BIM模型中的坐标。

作为优选的，用实际BIM模型估算BIM计划模型的总工程量完成时间的方法为：1)对于每一分部工程A_i(i＝1,K,n)，假设A_i是由A_i1,A_i2,K,A_im共m个关键任务组成，即A_i＝{A_ij|j＝1,2,K,m}。对于任务基元A_ij，T_ij为其所需的模糊时间，Ω_ij为已收集到的该任务的有限数据样本集合，可以得到一个Ω_ij到T_ij的一个模糊映射，即f_ij:Ω_ij→T_ij,T_ij＝f_ij(Ω_ij)，分部工程的项目预测所需时间为

2)对于每一分部工程的各道工序在实施工程中容易受到人力、物力、财力、环境、管理等因素的影响，导致非关键工序变成了关键工序，引起了工期的滞后。对于单个关键工序而言，其所消耗的时间的分布是符合一定的数值分布规律的，假设Ω_i1,Ω_i2,K,Ω_in是具有类似分布曲线的随机变量，即随机变量Ω_i1,Ω_i2,K,Ω_in的风险为同质风险。分部工程的项目预测所需时间为

获得实时建筑进度指数的方法为：计算整个建筑工程的项目预测总所需时间

当前实际施工时间为T_D，得到整个建筑项目的建筑进度指数为ω＝T_D/T_Y×100。

作为优选的方案，在本项目开建之后，以二维平面的离散点的方式记录高度、表面材料和时间的关系图，高度和表面材料各为一个坐标轴，高度和表面材料对应到一个点，该点表达时间含义；每更新一次高度、表面材料和时间的关系，就在关系图中增加一个点；关系图表示Ω_ij到T_ij的模糊映射。

优选的，在估算分部工程的项目预测所需时间时，输入高度和表面材料信息，若关系图有相同的高度和表面材料信息，则直接输出时间；若关系图没有相同的高度和表面材料信息，则在关系图中根据输入的高度和表面材料新增一个点，寻找与新增点距离最近的第一点和第二点；计算新增点与第一点的距离L_x1，计算新增点与第二点的距离L_x2；计算第一权重

第二权重/>

新增点的时间T_ij为，T_ij＝t_x1×Q₁+t_x2×Q₂，t_x1是第一点的时间，t_x2是第二点的时间。

本发明的有益效果是：

1、使用多无人机采集建筑施工现场的图像，提高了建筑进度评估的自动化程度。

2、根据模糊算法对当前建筑进度进行评估，提高了建筑进度评估的可靠性和准确性。

附图说明

图一为本发明三维重建方法示意图。

图二为本发明建筑总工程量预测时间和建筑进度指数示意图。

图三为本发明无人机拍照示意图。

具体实施方式

根据建筑项目施工图建立整个建筑项目的BIM计划模型；使用多架无人机协同作业，在真实建筑场景中获取多方位多角度的施工场景图片组成图像集I；将无人机获得的施工场景图像集I通过Mask R-CNN方法进行实例分割获得图像集I’，用图像集I’进行三维重建，获得当前建筑场景中建筑任务的当前3D模型，当前3D模型信息包含实际的建筑高度，实际的建筑表面材料信息和实际工时；将当前3D模型信息输入实际BIM模型中，基于模糊算法，用实际BIM模型估算BIM计划模型的总工程量完成时间；以实际BIM模型的实际工时与BIM计划模型的总工程量完成时间获得实时建筑进度指数。

作为优选的方案：获得实际的建筑高度的方法为：

1)、使用SFM方法对建筑图像集I进行处理，得到含建筑构件的场景点云，过滤场景点云的局外点和噪声，得到点云集合P；

2)、使用RANSAC方法得到点云集合P中的平面，根据集合P中各平面的上点云的Z轴坐标(即高度)的平均值，筛选出平均高度最小的平面即为地平面G₀，获取与地平面G₀垂直的平面作为建筑立面，获得地平面与建筑立面的交线，该交线作为建筑构件在地面的二维轮廓B；

3)、将点云集合P中、所有投影在二维轮廓B上的点剔除获得剩余点云，剔除二维轮廓覆盖的所有点之后，建筑构件点云只剩下建筑顶面的点云；对剩余点云进行欧式聚类，欧式聚类将剩余点云自动分类为建筑顶面子集C_B和环境点云子集；

4)、以地平面G₀任意一点为原点O，以地平面为X-Y平面，垂直地平面且指向建筑构件点云所在方向为Z方向，建立空间直角坐标系，计算建筑平面子集C_B中点云中每个点在新坐标系下的坐标(x,y,z)，z表示高度，(x,y)表示点在X-Y平面的投影位置；

5)、获得包围二维轮廓B的最小矩形区域，将最小矩形区域划分为多个大小相等的方格G＝{g(i,j)|1≤i≤w,1≤j≤h}，其中w,h是区域内方格行列数，方格的数量越多则计算精度越高；将建筑平面子集C_B中的点云垂直地向地平面投影，获得所有投影在到最小矩形区域的点，将投影在最小矩形区域的点按方格划分，取投影在方格内的点云的Z轴坐标平均值作为方格高度；以方格高度作为当前位置的建筑物高度；每个方格及其方格高度形成一个柱状模型，所有方格形成的柱状模型组成实际建筑构件的3D模型。

进一步，获得实际的建筑高度的方法的步骤5)中，若某方格无点云投影在其内，则将该无点云投影的方格高度设置为0；对于高度为0的方格，以跟该高度为0的方格最近的且在B中的方格高度进行插值，如对上述最近的且在B中的方格的高度取平均，以插值高度作为该高度为0的方格的模型高度，以该高度为0的方格和其模型高度形成该方格的柱状模型，所有方格形成的柱状模型组成实际建筑构件的3D模型。

作为优选的方案，获得实际的建筑表面材料信息的方法为：

用深度学习的Mask R-CNN算法从建筑图像集I中的建筑构件从背景中分割出来，将已建的建筑构件组成建筑构件图集I’，识别建筑构件图集I’中出现的表面材料。

进一步，将实际建筑构件的3D模型和表面材料输入实际BIM模型中，将实际建筑构件的点云集合中的所有点的坐标按照3D模型与BIM模型的比例关系转换为BIM模型中的坐标。3D模型的建筑构件和BIM模型的大小是有一个比例关系，3D模型的点云中点的坐标转换为BIM模型中的坐标就是用3D模型的坐标乘以这个比例得到BIM模型中的坐标。

作为优选的，用实际BIM模型估算BIM计划模型的总工程量完成时间的方法为：1)对于每一分部工程A_i(i＝1,K,n)，假设A_i是由A_i1,A_i2,K,A_im共m个关键任务组成，即A_i＝{A_ij|j＝1,2,K,m}。对于任务基元A_ij，T_ij为其所需的模糊时间，Ω_ij为已收集到的该任务的有限数据样本集合，可以得到一个Ω_ij到T_ij的一个模糊映射，即f_ij:Ω_ij→T_ij,T_ij＝f_ij(Ω_ij)，分部工程的项目预测所需时间为

2)对于每一分部工程的各道工序在实施工程中容易受到人力、物力、财力、环境、管理等因素的影响，导致非关键工序变成了关键工序，引起了工期的滞后。对于单个关键工序而言，其所消耗的时间的分布是符合一定的数值分布规律的，假设Ω_i1,Ω_i2,K,Ω_in是具有类似分布曲线的随机变量，即随机变量Ω_i1,Ω_i2,K,Ω_in的风险为同质风险。分部工程的项目预测所需时间为

获得实时建筑进度指数的方法为：计算整个建筑工程的项目预测总所需时间

当前实际施工时间为T_D，得到整个建筑项目的建筑进度指数为ω＝T_D/T_Y×100。

作为优选的方案，在本项目开建之后，以二维平面的离散点的方式记录高度、表面材料和时间的关系图，高度和表面材料各为一个坐标轴，高度和表面材料对应到一个点，该点表达时间含义；每更新一次高度、表面材料和时间的关系，就在关系图中增加一个点；关系图表示Ω_ij到T_ij的模糊映射。

优选的，在估算分部工程的项目预测所需时间时，输入高度和表面材料信息，若关系图有相同的高度和表面材料信息，则直接输出时间；若关系图没有相同的高度和表面材料信息，则在关系图中根据输入的高度和表面材料新增一个点，寻找与新增点距离最近的第一点和第二点；计算新增点与第一点的距离L_x1，计算新增点与第二点的距离L_x2；计算第一权重

第二权重/>

新增点的时间T_ij为，T_ij＝t_x1×Q₁+t_x2×Q₂，t_x1是第一点的时间，t_x2是第二点的时间。

本发明说明书中提到的所有专利和出版物都表示这些是本领域的公开技术，本发明可以使用。这里所引用的所有专利和出版物都被同样列在参考文献中，跟每一个出版物具体的单独被参考引用一样。这里所述的本发明可以在缺乏任何一种元素或多种元素，一种限制或多种限制的情况下实现，这里这种限制没有特别说明。例如这里每一个实例中术语“包含”，“实质由……组成”和“由……组成”可以用两者之一的其余2个术语代替。这里采用的术语和表达方式所为描述方式，而不受其限制，这里也没有任何意图来指明此书描述的这些术语和解释排除了任何等同的特征，但是可以知道，可以在本发明和权利要求的范围内做任何合适的改变或修改。可以理解，本发明所描述的实施例子都是一些优选的实施例子和特点，任何本领域的一般技术人员都可以根据本发明描述的精髓下做一些更改和变化，这些更改和变化也被认为属于本发明的范围和独立权利要求以及附属权利要求所限制的范围内。

Claims (8)

1.一种多无人机视觉协同的建筑进度评估方法，执行以下操作：

根据建筑项目施工图建立整个建筑项目的BIM计划模型；使用多架无人机协同作业，在真实建筑场景中获取多方位多角度的施工场景图片组成图像集I；将无人机获得的施工场景图像集I通过Mask R-CNN方法进行实例分割获得图像集I’，用图像集I’进行三维重建，获得当前建筑场景中建筑任务的当前3D模型，当前3D模型信息包含实际的建筑高度，实际的建筑表面材料信息和实际工时；将当前3D模型信息输入实际BIM模型中，基于模糊算法，用实际BIM模型估算BIM计划模型的总工程量完成时间；以实际BIM模型的实际工时与BIM计划模型的总工程量完成时间获得实时建筑进度指数；

获得实际的建筑高度的方法为：

1)、使用SFM方法对建筑图像集I进行处理，得到含建筑构件的场景点云，过滤场景点云的局外点和噪声，得到点云集合P；

2)、使用RANSAC方法得到点云集合P中的平面，根据集合P中各平面的上点云的Z轴坐标的平均值，筛选出平均高度最小的平面即为地平面G₀，获取与地平面G₀垂直的平面作为建筑立面，获得地平面与建筑立面的交线，该交线作为建筑构件在地面的二维轮廓B；

3)、将点云集合P中、所有投影在二维轮廓B上的点剔除获得剩余点云，剔除二维轮廓覆盖的所有点之后，建筑构件点云只剩下建筑顶面的点云；对剩余点云进行欧式聚类，欧式聚类将剩余点云自动分类为建筑顶面子集C_B和环境点云子集；

4)、以地平面G₀任意一点为原点O，以地平面为X-Y平面，垂直地平面且指向建筑构件点云所在方向为Z方向，建立空间直角坐标系，计算建筑平面子集C_B中点云中每个点在新坐标系下的坐标(x，y，z)，z表示高度，(x,y)表示点在X-Y平面的投影位置；

5)、获得包围二维轮廓B的最小矩形区域，将最小矩形区域划分为多个大小相等的方格G＝{g(i,j)|1≤i≤w,1≤j≤h}，其中w,h是区域内方格行列数；方格的数量越多则计算精度越高；将建筑平面子集C_B中的点云垂直地向地平面投影，获得所有投影在到最小矩形区域的点，将投影在最小矩形区域的点按方格划分，取投影在方格内的点云的Z轴坐标平均值作为方格高度；以方格高度作为当前位置的建筑物高度；每个方格及其方格高度形成一个柱状模型，所有方格形成的柱状模型组成实际建筑构件的3D模型。

2.如权利要求1所述的一种多无人机视觉协同的建筑进度评估方法，其特征在于：获得实际的建筑高度的方法的步骤5)中，若某方格无点云投影在其内，则将该无点云投影的方格高度设置为0；对于高度为0的方格，以跟该高度为0的方格最近且在二维轮廓B中的方格高度进行插值，以插值高度作为该高度为0的方格的模型高度，以该高度为0的方格和其模型高度形成该方格的柱状模型，所有方格形成的柱状模型组成实际建筑构件的3D模型。

3.如权利要求1或2所述的多无人机视觉协同的建筑进度评估方法，其特征在于：获得实际的建筑表面材料信息的方法为：

用深度学习的Mask R-CNN算法从建筑图像集I中的建筑构件从背景中分割出来，将已建的建筑构件组成建筑构件图集I’，识别建筑构件图集I’中出现的表面材料。

4.如权利要求3所述的多无人机视觉协同的建筑进度评估方法，其特征在于：将实际建筑构件的3D模型和表面材料输入实际BIM模型中，将实际建筑构件的点云集合中的所有点的坐标按照3D模型与BIM模型的比例关系转换为BIM模型中的坐标。

5.如权利要求1所述的一种多无人机视觉协同的建筑进度评估方法，用实际BIM模型估算BIM计划模型的总工程量完成时间的方法为：

1)对于每一分部工程A_i(i＝1,...,n)，假设A_i是由A_i1,A_i2,...,A_im共m个关键任务组成，即A_i＝{A_ij|j＝1,2,...,m}；对于任务基元A_ij，T_ij为其所需的模糊时间，Ω_ij为已收集到的该任务的有限数据样本集合，可以得到一个Ω_ij到T_ij的一个模糊映射，即f_ij:Ω_ij→T_ij，T_ij＝f_ij(Ω_ij)，分部工程的项目预测所需时间为

2)对于每一分部工程的各道工序在实施工程中容易受到人力、物力、财力、环境、管理等因素的影响，导致非关键工序变成了关键工序，引起了工期的滞后，对于单个关键工序而言，其所消耗的时间的分布是符合一定的数值分布规律的，假设Ω_i1，Ω_i2，...，Ω_in是具有类似分布曲线的随机变量，即随机变量Ω_i1，Ω_i2，...，Ω_in的风险为同质风险，分部工程的项目预测所需时间为

6.如权利要求5所述的一种多无人机视觉协同的建筑进度评估方法，获得实时建筑进度指数的方法为：计算整个建筑工程的项目预测总所需时间

当前实际施工时间为T_D，得到整个建筑项目的建筑进度指数为ω＝T_D/T_Y×100。

7.如权利要求5所述的一种多无人机视觉协同的建筑进度评估方法，在本项目开建之后，以二维平面的离散点的方式记录高度、表面材料和时间的关系图，高度和表面材料各为一个坐标轴，高度和表面材料对应到一个点，该点表达时间含义；每更新一次高度、表面材料和时间的关系，就在关系图中增加一个点；关系图表示Ω_ij到T_ij的模糊映射。

8.如权利要求5～7中任意一项所述的一种多无人机视觉协同的建筑进度评估方法，在估算分部工程的项目预测所需时间时，输入高度和表面材料信息，若关系图有相同的高度和表面材料信息，则直接输出时间；若关系图没有相同的高度和表面材料信息，则在关系图中根据输入的高度和表面材料新增一个点，寻找与新增点距离最近的第一点和第二点；计算新增点与第一点的距离L_x1，计算新增点与第二点的距离L_x2；计算第一权重

第二权重/>

新增点的时间T_ij为，T_ij＝t_x1×Q₁+t_x2×Q₂，t_x1是第一点的时间，t_x2是第二点的时间。

Images