CN116091724A - 一种建筑数字孪生建模方法 - Google Patents

Abstract

本发明涉及数字孪生技术领域，且公开了一种建筑数字孪生建模方法，包括S101，利用无人机搭载的拍摄装置以及在固定位置安装的拍摄装置获取建筑场景的视频流，并从视频流中逐帧获取待处理图像帧；S102，对图像帧中包括的每一实体对象进行二维目标检测，并将得到的二维目标检测结果数据输入至三维模型中；S103，对步骤S102产生的模型进行坐标校准，包括无人机拍摄数据生产的初步三维模型与固定拍摄装置拍摄数据产生的模型合并校准，以及动态物坐标校准；S104，根据不断获取的拍摄数据对数字孪生模型进行场景更新。本发明中，通过固定拍摄和无人机俯拍进行联动建模，增加建模的全面性和准确性。

Description

一种建筑数字孪生建模方法

技术领域

本发明涉及数字孪生技术领域，尤其涉及一种建筑数字孪生建模方法。

背景技术

数字孪生是指充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。

具体地，建筑数字孪生是指在工程建设的应用场景中，为了更加直观清晰地展示目标实体建筑的空间布局结构，工程建设人员通常会在目标实体建筑建成之后，构建一个能够反映目标实体建筑的物理与功能特性的建筑信息模型，将构建的建筑信息模型作为目标实体建筑的数字孪生模型，以通过数字孪生模型来便捷性地管理目标实体建筑的过程。

但现有的数字孪生建模在建筑建造方面建模获取途径不够，导致建模精准度差的问题。

为此，我们提出一种建筑数字孪生建模方法。

发明内容

本发明主要是解决上述现有技术所存在的技术问题，提供一种建筑数字孪生建模方法。

为了实现上述目的，本发明采用了如下技术方案，一种建筑数字孪生建模方法，其特征在于：

S101，利用无人机搭载的拍摄装置以及在固定位置安装的拍摄装置获取建筑场景的视频流，并从视频流中逐帧获取待处理图像帧；

S102，对图像帧中包括的每一实体对象进行二维目标检测，并将得到的二维目标检测结果数据输入至三维模型中；

S103，对步骤S102产生的模型进行坐标校准，包括无人机拍摄数据生产的初步三维模型与固定拍摄装置拍摄数据产生的模型合并校准，以及动态物坐标校准；

S104，根据不断获取的拍摄数据对数字孪生模型进行场景更新。

作为优选，无人机拍摄需要进行：航高的确认，根据精度要求，参照倾斜影像分辨率与比例尺的关系计算航高，保持飞机和摄影基准面为一定相对高度，获取一定分辨率的图像，同时根据拍摄区域地表起伏，适当调节航高保证分辨率稳定；

重叠率确认，重叠率指的就是两张照片之间重叠的部分，分为旁向重叠率和航向重叠率，航空摄影中，沿两条相邻航线所摄的相邻像片上有同一地面影像部分称为旁向重叠和航向重叠，重叠度越高，相邻两张影像上的同名地物点也就越多，匹配的同名点数量也就越多，定位精度也就越高，但是重叠度的增加又会导致影像的数量增多，增加了内业数据处理的工作量，为了兼顾定位精度和作业效率通常将影像重叠度分别设置成80％和70％。

航拍时间的确认，为保证纹理清晰且亮度足够，一般采用中午12时进行拍摄，获取地面阴影最小，亮度最高，提升空中三角测量匹配精度，提高建模纹理质量；

固定拍摄装置数量不限，固定拍摄装置散布于目标实体建筑中。

作为优选，二维目标检测结果至少包括：每一所述实体对象的所属类别以及每一所述实体对象在所述待处理图像帧中所在的图像区域边界框。

作为优选，针对步骤S102中的输入至三维模型步骤，首先根据空中三角测量将无人机拍摄数据生成点云及初步三维模型，利用固定拍摄装置对无人机拍摄不清晰或无法拍摄的位置进行三维模型合并补充，利用二维目标检测结果将三维模型中相应的动态物删除，保留静态物如墙壁、立柱等模型，完成完整的建筑三维模型，再根据二维目标检测结果导入相应的动态物三维模型，如运输车，工具等物体。

作为优选，坐标校准使用数据配准方法，数据配准是将处于不同的空间坐标系的点集转换到统一的坐标系中，即计算出2个空间坐标系的旋转变换关系，这里采用手动粗配准与自动精配准结合的方法进行点云配准，精配准采用的是ICP点云匹配算法。

作为优选，所述实体对象在现实场景中与相应的虚拟模型在相应的数字孪生建筑模型之间的显示差异，所述显示差异用于表征每一所述实体对象在实体信息上的方向显示差异和/或每一所述实体对象在实体位置上的位置显示差异。

作为优选，所述建筑数字孪生构建方法可以运行于终端设备或者是服务器；其中，终端设备可以为本地终端设备，当建筑数字孪生构建方法运行于服务器时，该建筑数字孪生构建方法则可以基于云交互系统来实现与执行，其中，云交互系统至少包括服务器和客户端设备(也即终端设备)

作为优选，为检测权利要求1中的实体对象与数字孪生建筑模型之间存在的显示差异，在建模方法中提出三维模型信息检测工具，该工具包括三维模型坐标检测和三维模型信息检测；

三维模型坐标检测利用步骤S103中方法进行动态监测；

三维模型信息检测通过建筑过程中的物料信息，人员工作信息，建筑计划信息进行导入，每次信息检测周期的初始三维模型扫描结果与上次三维模型扫描结果进行对比，获得各处建筑已建成数据是否达标，同时检测每次新型检测周期的物料信息与已建成建筑之间的关联是否符合建筑计划。

有益效果

本发明提供了一种建筑数字孪生建模方法。具备以下有益效果：

(1)、该一种建筑数字孪生建模方法，通过利用采集到的监控视频数据，对该实体建筑在建造过程中进行三维模型生成，并动态地将实体建筑中的物料，人员、建造计划等在虚拟空间中的数字孪生模型进行联动更新处理，以在目标实体建筑的建造周期内，维持实体建筑与虚拟模型的一致性，从而提高用户对于目标实体建筑建造过程中的维护与管理效率。

(2)、该一种建筑数字孪生建模方法，通过固定拍摄和无人机俯拍进行联动建模，增加建模的全面性和准确性。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图做简单的介绍。显而易见的，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其他的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容的能涵盖的范围内。

图1为本发明流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：一种建筑数字孪生建模方法，如图1所示，图1示出了本申请实施例所提供的一种建筑数字孪生构建方法的流程示意图，其中，所述建筑数字孪生构建方法包括步骤S101-S104；具体的：

S101，利用无人机搭载的拍摄装置以及在固定位置安装的拍摄装置获取建筑场景的视频流，并从视频流中逐帧获取待处理图像帧。

在本申请实施例中，所述建筑数字孪生构建方法可以运行于终端设备或者是服务器；其中，终端设备可以为本地终端设备，当建筑数字孪生构建方法运行于服务器时，该建筑数字孪生构建方法则可以基于云交互系统来实现与执行，其中，云交互系统至少包括服务器和客户端设备(也即终端设备)。

具体的，以应用于终端设备为例，通过终端设备提供一图形用户界面，所述图形用户界面上显示有数字孪生模型，所述数字孪生模型用于表征目标实体建筑在虚拟空间中映射的BIM(BuildingInformationModeling，建筑信息模型)模型。

无人机拍摄需要进行：航高的确认，根据精度要求，参照倾斜影像分辨率与比例尺的关系计算航高，保持飞机和摄影基准面为一定相对高度，获取一定分辨率的图像，同时根据拍摄区域地表起伏，适当调节航高保证分辨率稳定。以35mm镜头为例，在航测过程中与基准面保持在390米相对高度，即可得到分辨率5cm的图像。

重叠率确认，重叠率指的就是两张照片之间重叠的部分，分为旁向重叠率和航向重叠率，航空摄影中，沿两条相邻航线所摄的相邻像片上有同一地面影像部分称为旁向重叠和航向重叠，重叠度越高，相邻两张影像上的同名地物点也就越多，匹配的同名点数量也就越多，定位精度也就越高，但是重叠度的增加又会导致影像的数量增多，增加了内业数据处理的工作量，为了兼顾定位精度和作业效率通常将影像重叠度分别设置成80％和70％。

航拍时间的确认，为保证纹理清晰且亮度足够，一般采用中午12时进行拍摄，获取地面阴影最小，亮度最高，提升空中三角测量匹配精度，提高建模纹理质量。

在本申请实施例中，作为一可选实施例，建筑数字孪生构建系统中至少包括一架无人机设备和多个固定拍摄装置，其中，固定拍摄装置数量不限，固定拍摄装置散布于目标实体建筑中，也即，固定拍摄装置安装于目标实体建筑的不同建筑场景中；以便终端设备可以对目标实体建筑的场景变化(如建筑工具使用、物料堆放、人员流动等)进行实时的监控。

S102，对图像帧中包括的每一实体对象进行二维目标检测，并将得到的二维目标检测结果数据输入至三维模型中。

在本申请实施例中，下面针对步骤S102中的二维目标检测步骤以及三维位姿检测步骤分别进行详细说明，具体的：

一、针对步骤S102中的二维目标检测步骤，需要说明的是：

这里，所述二维目标检测结果至少包括：每一所述实体对象的所属类别以及每一所述实体对象在所述待处理图像帧中所在的图像区域边界框；可以利用YOLOv5目标检测算法来执行步骤S102中的二维目标检测步骤，此时，通过YOLOv5目标检测算法可以对每一帧待处理图像帧中包括的实体对象进行2D目标检测，也可使用YOLOv4目标检测算法、SSD(单激发多盒探测器)目标检测算法等来实现上述2D目标检测功能。

上述实体对象所属的具体类别与目标实体建筑的建筑所需材料类型存在关联关系，上述实体对象本质上相当于在目标实体建筑建设过程中，可能使用的静态物体或者机械设备。

二、针对步骤S102中的输入至三维模型步骤，首先根据空中三角测量将无人机拍摄数据生成点云及初步三维模型，利用固定拍摄装置对无人机拍摄不清晰或无法拍摄的位置进行三维模型合并补充，利用二维目标检测结果将三维模型中相应的动态物删除，保留静态物如墙壁、立柱等模型，完成完整的建筑三维模型，再根据二维目标检测结果导入相应的动态物三维模型，如运输车，工具等物体。

S103，对步骤S102产生的模型进行坐标校准，包括无人机拍摄数据生产的初步三维模型与固定拍摄装置拍摄数据产生的模型合并校准，以及动态物坐标校准。

坐标校准使用数据配准方法，数据配准是将处于不同的空间坐标系的点集转换到统一的坐标系中，即计算出2个空间坐标系的旋转变换关系，这里采用手动粗配准与自动精配准结合的方法进行点云配准，精配准采用的是ICP点云匹配算法，而ICP算法的配准效果与点集的初始位置有很大的关系，因此不能直接用于点云精配准，需要利用其他手段进行粗配准之后才能得到较好的效果。

S104，根据不断获取的拍摄数据对数字孪生模型进行场景更新。

具体的，所述实体对象在现实场景中与相应的虚拟模型在相应的数字孪生建筑模型之间的显示差异，如已建设的墙壁，立柱，消耗的物料，人员、设备、物料的移动记录，所述显示差异用于表征每一所述实体对象在实体信息上的方向显示差异和/或每一所述实体对象在实体位置上的位置显示差异。

所述实体对象在现实场景中与相应的虚拟模型在相应的数字孪生建筑模型之间的显示差异可以分为以下几种情况，具体的：

情况一：

实体对象在现实场景比对中与数字孪生建筑模型之间不存在显示差异。相当于实体对象在数字孪生建筑模型中的实体位置和实体信息，与所述虚拟对象在数字孪生建筑模型中的模型位置和模型信息都相同。此时，终端设备无需对实体对象在数字孪生建筑模型中映射的虚拟对象进行更新。

情况二：

实体对象在现实场景比对中与数字孪生建筑模型之间存在显示差异。

相当于实体对象在现实场景中的实体位置与所述虚拟对象在数字孪生建筑模型中的模型位置相同(完全相同/位置偏差位于预设的偏差阈值范围内)，但是，实体对象在现实场景中的实体信息与虚拟对象在数字孪生建筑模型中的模型信息不同。

当用户对于实体对象在现实场景内的信息具有管理需求(如终端设备接收到用户输入的目标控制指令)时，终端设备可以响应检测到的所述管理需求，对所述虚拟对象在数字孪生建筑模型中的模型信息进行修正，以使修正后的虚拟对象在数字孪生建筑模型中的模型信息与实体对象在现实场景中的实体信息相同。

若用户对于实体对象在现实场景内的信息没有管理需求(如终端设备接收到用户输入的上述目标控制指令)，则终端设备也可以默认无需区分实体对象与虚拟对象在实体信息上的显示差异，此时终端设备可以无需对实体对象在数字孪生建筑模型中映射的虚拟对象进行更新。

情况三：

实体对象与数字孪生建筑模型之间存在实体位置上的显示差异。

这里，相当于实体对象在现实场景中的实体位置与所述虚拟对象在数字孪生建筑模型中的模型位置不同。

若检测到实体位置在数字孪生建筑模型中映射的目标虚拟位置处不具有或者具有错误的虚拟对象时(相当于数字孪生建筑模型中缺失实体对象所映射的虚拟对象)，则终端设备可以在目标虚拟位置处新增或删除一个虚拟对象。将该虚拟位置上出现与实体匹配的虚拟对象。

情况四：

实体对象与数字孪生建筑模型之间既存在实体位置上的显示差异，也存在实体信息上的显示差异。

这里，相当于同时出现上述情况二和上述情况三，此时，只需分别按照上述情况二和上述情况三中所述的实施步骤，对数字孪生建筑模型进行更新即可，重复之处在此不再赘述。

为检测上述实体对象与数字孪生建筑模型之间存在的显示差异，在建模方法中提出三维模型信息检测工具，该工具包括三维模型坐标检测和三维模型信息检测。

三维模型坐标检测利用步骤S103中方法进行动态监测。

三维模型信息检测通过建筑过程中的物料信息，人员工作信息，建筑计划信息进行导入，每次信息检测周期的初始三维模型扫描结果与上次三维模型扫描结果进行对比，获得各处建筑已建成数据是否达标，同时检测每次新型检测周期的物料信息与已建成建筑之间的关联是否符合建筑计划。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种建筑数字孪生建模方法，包括步骤S101-S104，其特征在于：

S101，利用无人机搭载的拍摄装置以及在固定位置安装的拍摄装置获取建筑场景的视频流，并从视频流中逐帧获取待处理图像帧；

S102，对图像帧中包括的每一实体对象进行二维目标检测，并将得到的二维目标检测结果数据输入至三维模型中；

S103，对步骤S102产生的模型进行坐标校准，包括无人机拍摄数据生产的初步三维模型与固定拍摄装置拍摄数据产生的模型合并校准，以及动态物坐标校准；

S104，根据不断获取的拍摄数据对数字孪生模型进行场景更新。

2.根据权利要求1所述的一种建筑数字孪生建模方法，其特征在于：无人机拍摄需要进行：航高的确认，根据精度要求，参照倾斜影像分辨率与比例尺的关系计算航高，保持飞机和摄影基准面为一定相对高度，获取一定分辨率的图像，同时根据拍摄区域地表起伏，适当调节航高保证分辨率稳定；

重叠率确认，重叠率指的就是两张照片之间重叠的部分，分为旁向重叠率和航向重叠率，航空摄影中，沿两条相邻航线所摄的相邻像片上有同一地面影像部分称为旁向重叠和航向重叠，重叠度越高，相邻两张影像上的同名地物点也就越多，匹配的同名点数量也就越多，定位精度也就越高，但是重叠度的增加又会导致影像的数量增多，增加了内业数据处理的工作量，为了兼顾定位精度和作业效率通常将影像重叠度分别设置成80％和70％。

航拍时间的确认，为保证纹理清晰且亮度足够，一般采用中午12时进行拍摄，获取地面阴影最小，亮度最高，提升空中三角测量匹配精度，提高建模纹理质量；

固定拍摄装置数量不限，固定拍摄装置散布于目标实体建筑中。

3.根据权利要求1所述的一种建筑数字孪生建模方法，其特征在于：二维目标检测结果至少包括：每一所述实体对象的所属类别以及每一所述实体对象在所述待处理图像帧中所在的图像区域边界框。

4.根据权利要求1所述的一种建筑数字孪生建模方法，其特征在于：针对步骤S102中的输入至三维模型步骤，首先根据空中三角测量将无人机拍摄数据生成点云及初步三维模型，利用固定拍摄装置对无人机拍摄不清晰或无法拍摄的位置进行三维模型合并补充，利用二维目标检测结果将三维模型中相应的动态物删除，保留静态物如墙壁、立柱等模型，完成完整的建筑三维模型，再根据二维目标检测结果导入相应的动态物三维模型，如运输车，工具等物体。

5.根据权利要求1所述的一种建筑数字孪生建模方法，其特征在于：坐标校准使用数据配准方法，数据配准是将处于不同的空间坐标系的点集转换到统一的坐标系中，即计算出2个空间坐标系的旋转变换关系，这里采用手动粗配准与自动精配准结合的方法进行点云配准，精配准采用的是ICP点云匹配算法。

6.根据权利要求1所述的一种建筑数字孪生建模方法，其特征在于：所述实体对象在现实场景中与相应的虚拟模型在相应的数字孪生建筑模型之间的显示差异，所述显示差异用于表征每一所述实体对象在实体信息上的方向显示差异和/或每一所述实体对象在实体位置上的位置显示差异。

7.根据权利要求1所述的一种建筑数字孪生建模方法，其特征在于：所述建筑数字孪生构建方法可以运行于终端设备或者是服务器；其中，终端设备可以为本地终端设备，当建筑数字孪生构建方法运行于服务器时，该建筑数字孪生构建方法则可以基于云交互系统来实现与执行，其中，云交互系统至少包括服务器和客户端设备(也即终端设备)。

8.根据权利要求1所述的一种建筑数字孪生建模方法，其特征在于：为检测权利要求1中的实体对象与数字孪生建筑模型之间存在的显示差异，在建模方法中提出三维模型信息检测工具，该工具包括三维模型坐标检测和三维模型信息检测；

三维模型坐标检测利用步骤S103中方法进行动态监测；

三维模型信息检测通过建筑过程中的物料信息，人员工作信息，建筑计划信息进行导入，每次信息检测周期的初始三维模型扫描结果与上次三维模型扫描结果进行对比，获得各处建筑已建成数据是否达标，同时检测每次新型检测周期的物料信息与已建成建筑之间的关联是否符合建筑计划。

Images