CN115984486B - 一种融合激光雷达与深度相机的桥梁模型生成方法及装置 - Google Patents

Abstract

本发明涉及土木工程计算机视觉技术领域，特别是指一种融合激光雷达与深度相机的桥梁模型生成方法及装置，一种融合激光雷达与深度相机的桥梁模型生成方法包括:激光雷达和深度相机进行联合标定，获得联合标定参数；将合成点云数据和真实点云数据输入预设的半自动标注算法，获得桥梁语义数据集；根据预设的桥梁数据集、桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型；根据联合标定参数和所述桥梁三维语义模型，获得重建后桥梁三维语义模型；根据重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型。本发明是一种精度高、语义信息丰富的桥梁三维信息模型的构建方法。

Description

一种融合激光雷达与深度相机的桥梁模型生成方法及装置

技术领域

本发明涉及土木工程计算机视觉技术领域，特别是指一种融合激光雷达与深度相机的桥梁模型生成方法及装置。

背景技术

通过提供信息管理系统，桥梁信息模型可以大大提高健康检查效率和状态评估的可靠性，同时能直观了解桥梁的健康情况，便于辅助桥梁构件损坏修复决策。目前已建桥梁大多缺乏桥梁信息模型，而桥梁重建过程仍依赖于专业工程师手动操作建模，构件精度不高，成本大于收益。为此，在不少学者致力于识别和细分桥梁的结构组件，提高模型重建的精度与效率。但是这些方法要么依赖于手动数据预处理，要么需要大量的训练数据集，要么需要依照基于激光雷达的桥梁点云模型进行人工建立桥梁信息模型，不仅缺乏桥梁语义信息，还没有真正实现桥梁信息模型的自动生成。这使得上述技术在实际应用中颇具挑战。

目前，在现有技术中缺乏一种精度高、语义信息丰富的桥梁三维信息模型的构建方法。

发明内容

本发明实施例提供了一种融合激光雷达与深度相机的桥梁模型生成方法及装置。所述技术方案如下：

一方面，提供了一种融合激光雷达与深度相机的桥梁模型生成方法，该方法由电子设备实现，该方法包括：

基于激光雷达和深度相机进行联合标定，获得联合标定参数；

对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据；

将所述合成点云数据和所述真实点云数据输入预设的半自动标注算法，获得桥梁语义数据集；

根据预设的桥梁数据集、所述桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型；

根据所述联合标定参数和所述桥梁三维语义模型，获得重建后桥梁三维语义模型；

根据所述重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型。

可选地，所述的一种融合激光雷达与深度相机的桥梁模型生成方法，其特征在于，所述基于激光雷达和深度相机进行联合标定，获得联合标定参数，包括：

基于标定工具箱和标定板，使用激光雷达和深度相机进行数据采集，获得激光雷达标定数据和深度相机标定数据；

基于所述激光雷达标定数据和所述深度相机标定数据通过预设算法进行编译，获取激光雷达与深度相机的联合标定参数。

可选地，所述对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据，包括：

对预设的桥梁三维模型进行格式转换、点云处理和多角度截取构建，获得合成点云数据；

使用无人机对桥梁进行拍摄，获得真实桥梁图片；

将真实桥梁图片转换为点云数据，获得真实点云数据。

可选地，所述根据预设的桥梁数据集、所述桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型，包括：

将预设的桥梁数据集通过迁移学习方法融入所述桥梁语义数据集，获得融合语义数据集；

使用所述融合语义数据集对预设的二维深度学习算法进行训练，获得桥梁三维语义模型。

可选地，所述根据所述联合标定参数和所述桥梁三维语义模型，获得重建后桥梁三维语义模型，包括：

基于所述联合标定参数，通过激光雷达和深度相机的联合标定对待重建桥梁进行拍摄，获得待重建桥梁点云数据；

将所述待重建桥梁点云数据输入所述桥梁三维语义模型进行桥梁构件的语义分割，获得重建后桥梁三维语义模型。

可选地，所述根据所述重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型，包括：

对所述重建后桥梁三维语义模型进行桥梁构件的信息提取，获得桥梁构件的基础信息；

将所述桥梁构件的基础信息输入预设的二次开发程序进行参数化编译，获得桥梁信息模型。

另一方面，提供了一种融合激光雷达与深度相机的桥梁模型生成装置，该装置应用于一种融合激光雷达与深度相机的桥梁模型生成方法，该装置包括：

设备联合标定模块，用于基于激光雷达和深度相机进行联合标定，获得联合标定参数；

点云数据采集模块，用于对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据；

语义数据获取模块，用于将所述合成点云数据和所述真实点云数据输入预设的半自动标注算法，获得桥梁语义数据集；

语义模型建立模块，用于根据预设的桥梁数据集、所述桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型；

重建模型获取模块，用于根据所述联合标定参数和所述桥梁三维语义模型，获得重建后桥梁三维语义模型；

信息模型生成模块，用于根据所述重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型。

可选地，所述设备联合标定模块，进一步用于：

基于标定工具箱和标定板，使用激光雷达和深度相机进行数据采集，获得激光雷达标定数据和深度相机标定数据；

基于所述激光雷达标定数据和所述深度相机标定数据通过预设算法进行编译，获取激光雷达与深度相机的联合标定参数。

可选地，所述点云数据采集模块，进一步用于：

对预设的桥梁三维模型进行格式转换、点云处理和多角度截取构建，获得合成点云数据；

使用无人机对桥梁进行拍摄，获得真实桥梁图片；

将真实桥梁图片转换为点云数据，获得真实点云数据。

可选地，所述语义模型建立模块，进一步用于：

将预设的桥梁数据集通过迁移学习方法融入所述桥梁语义数据集，获得融合语义数据集；

使用所述融合语义数据集对预设的二维深度学习算法进行训练，获得桥梁三维语义模型。

可选地，所述重建模型获取模块，进一步用于：

基于所述联合标定参数，通过激光雷达和深度相机的联合标定对待重建桥梁进行拍摄，获得待重建桥梁点云数据；

将所述待重建桥梁点云数据输入所述桥梁三维语义模型进行桥梁构件的语义分割，获得重建后桥梁三维语义模型。

可选地，所述信息模型生成模块，进一步用于：

对所述重建后桥梁三维语义模型进行桥梁构件的信息提取，获得桥梁构件的基础信息；

将所述桥梁构件的基础信息输入预设的二次开发程序进行参数化编译，获得桥梁信息模型。

另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种融合激光雷达与深度相机的桥梁模型生成方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种融合激光雷达与深度相机的桥梁模型生成方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明提出一种融合激光雷达与深度相机的桥梁模型生成方法，结合激光雷达的高精度定位特性和深度相机相机的语义信息丰富特点，为桥梁三维语义重建提供技术支持。在桥梁三维模型重建方面，提升了重建模型精度，降低了场景识别误差，更加便于桥梁运维管理和辅助修复决策。本发明是一种精度高、语义信息丰富的桥梁三维信息模型的构建方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种融合激光雷达与深度相机的桥梁模型生成方法流程图；

图2是本发明实施例提供的一种融合激光雷达与深度相机的桥梁模型生成装置框图；

图3是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种融合激光雷达与深度相机的桥梁模型生成方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种融合激光雷达与深度相机的桥梁模型生成方法流程图，该方法的处理流程可以包括如下的步骤：

S1、基于激光雷达和深度相机进行联合标定，获得联合标定参数。

可选地，的一种融合激光雷达与深度相机的桥梁模型生成方法，其特征在于，基于激光雷达和深度相机进行联合标定，获得联合标定参数，包括：

基于标定工具箱和标定板，使用激光雷达和深度相机进行数据采集，获得激光雷达标定数据和深度相机标定数据；

基于激光雷达标定数据和深度相机标定数据通过预设算法进行编译，获取激光雷达与深度相机的联合标定参数。

一种可行的实施方式中，激光雷达是16线以上且平面局部扫描或者全方位扫描的三维型；深度相机是包含（惯性测量单元）IMU的单目或双目型，同时亦可采用多相机标定形式。

无人机是搭载重量1kg以上的长续航型，合成点云和真实点云桥梁图片必须包括桥梁的一个或多个构件，并不包括仅含背景的桥梁图片。数据集的构件类型标签需要包括构件名称和材质等属性名词，数据集图片需要在500张以上。

对（Inertial Measurement Unit，IMU）惯性测量单元进行校正，IMU矫正后进行数据采集，再将IMU和深度相机进行标定。同步采集相机和IMU的标定板、录制包数据用于标定测试。基于Ubuntu系统，采用Kalibr标定工具箱通过编译命令对激光雷达和深度相机进行标定，校正相机数据，对比相机和激光雷达在标定板上识别的点，得到初始标定参数。重复标定多次，迭代更新标定参数直至其收敛，得到最终标定参数。

S2、对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据。

可选地，对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据，包括：

对预设的桥梁三维模型进行格式转换、点云处理和多角度截取构建，获得合成点云数据；

使用无人机对桥梁进行拍摄，获得真实桥梁图片；

将真实桥梁图片转换为点云数据，获得真实点云数据。

一种可行的实施方式中，在桥梁建模软件Revit中，通过桥梁的三维模型，利用ifcConvert软件对其进行格式转换，并导入CloudCompare软件中多角度截取合成点云的图片；该合成点云图片必须包括桥梁的一个及多个构件，并不包括单独的桥梁背景图片。再利用无人机在真实桥梁场景拍摄桥梁图片，导入CloudCompare软件中转为真实点云图像。

S3、将合成点云数据和真实点云数据输入预设的半自动标注算法，获得桥梁语义数据集。

一种可行的实施方式中，将两种图像在Labelme软件中进行名称和材质等语义标注，利用半自动标注算法形成桥梁语义数据集。

将合成点云数据和真实点云数据作为半自动标注算法的训练数据集，在训练数据集中抽取一小部分数据进行人工标注，将标注好的数据输入模型进行训练，基于训练结果制作xml文件，并对训练结果进行人工修正。在训练数据集中再抽取一部分未训练数据和上述步骤中的训练结果重新输入算法模型中继续训练，重复此过程，最后输出训练结果为桥梁语义数据集。

S4、根据预设的桥梁数据集、桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型。

可选地，根据预设的桥梁数据集、桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型，包括：

将预设的桥梁数据集通过迁移学习方法融入桥梁语义数据集，获得融合语义数据集；

使用融合语义数据集对预设的二维深度学习算法进行训练，获得桥梁三维语义模型。

一种可行的实施方式中，将桥梁语义数据集按一定比例分为训练集（占比50%以上）、测试集（占比35%以内）和验证集（占比15%以内），再结合训练完的预设的不同类型的桥梁语义数据集，通过迁移学习方法融入上述步骤的桥梁语义数据集，通过二维深度学习算法进行桥梁数据集的语义构件训练。

S5、根据联合标定参数和桥梁三维语义模型，获得重建后桥梁三维语义模型。

可选地，根据联合标定参数和桥梁三维语义模型，获得重建后桥梁三维语义模型，包括：

基于联合标定参数，通过激光雷达和深度相机的联合标定对待重建桥梁进行拍摄，获得待重建桥梁点云数据；

将待重建桥梁点云数据输入桥梁三维语义模型进行桥梁构件的语义分割，获得重建后桥梁三维语义模型。

一种可行的实施方式中，桥梁三维语义模型的重建过程需要对桥梁点云模型用进行点云去噪处理。其中，先融合深度相机和激光雷达的三维点云数据；再对桥梁构件进行语义分割，以不同颜色区分不同构件的名称和属性；其次将激光雷达建立的稀疏重建点云模型对深度相机的稠密重建点云模型进行定位校正；最后进行回环检测，建立桥梁三维语义模型。

S6、根据重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型。

可选地，根据重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型，包括：

对重建后桥梁三维语义模型进行桥梁构件的信息提取，获得桥梁构件的基础信息；

将桥梁构件的基础信息输入预设的二次开发程序进行参数化编译，获得桥梁信息模型。

一种可行的实施方式中，上述步骤中结合激光雷达与深度相机建立桥梁三维语义模型，以.pcd格式导入CloudCompare开源软件，并对模型数据进行处理。其中，数据处理的步骤包括背景点云去噪、语义构件的几何信息提取等，获得桥梁构件的基础信息。

将桥梁构件的基础信息以.txt格式导入Dynamo软件中，进行编写指令。先在构件关键点之间建立直线或曲线的轮廓，再结合线条完成构件平面的搭建，其次结合构件平面闭合为桥梁的构件三维模型，最终依据桥梁构件的空间位置关系建立相应的桥梁信息模型（Bridge Information Modeling，BrIM）。可将BrIM模型以.obj格式导入CloudCompare开源软件，转换为点云模型，与之前的原始点云模型进行定量偏差分析。

本发明提出一种融合激光雷达与深度相机的桥梁模型生成方法，结合激光雷达的高精度定位特性和深度相机相机的语义信息丰富特点，为桥梁三维语义重建提供技术支持。在桥梁三维模型重建方面，提升了重建模型精度，降低了场景识别误差，更加便于桥梁运维管理和辅助修复决策。本发明是一种精度高、语义信息丰富的桥梁三维信息模型的构建方法。

图2是根据一示例性实施例示出的一种融合激光雷达与深度相机的桥梁模型生成装置框图。参照图2，该装置包括：

设备联合标定模块210，用于基于激光雷达和深度相机进行联合标定，获得联合标定参数；

点云数据采集模块220，用于对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据；

语义数据获取模块230，用于将合成点云数据和真实点云数据输入预设的半自动标注算法，获得桥梁语义数据集；

语义模型建立模块240，用于根据预设的桥梁数据集、桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型；

重建模型获取模块250，用于根据联合标定参数和桥梁三维语义模型，获得重建后桥梁三维语义模型；

信息模型生成模块260，用于根据重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型。

可选地，设备联合标定模块210，进一步用于：

基于标定工具箱和标定板，使用激光雷达和深度相机进行数据采集，获得激光雷达标定数据和深度相机标定数据；

基于激光雷达标定数据和深度相机标定数据通过预设算法进行编译，获取激光雷达与深度相机的联合标定参数。

可选地，点云数据采集模块220，进一步用于：

对预设的桥梁三维模型进行格式转换、点云处理和多角度截取构建，获得合成点云数据；

使用无人机对桥梁进行拍摄，获得真实桥梁图片；

将真实桥梁图片转换为点云数据，获得真实点云数据。

可选地，语义模型建立模块240，进一步用于：

将预设的桥梁数据集通过迁移学习方法融入桥梁语义数据集，获得融合语义数据集；

使用融合语义数据集对预设的二维深度学习算法进行训练，获得桥梁三维语义模型。

可选地，重建模型获取模块250，进一步用于：

基于联合标定参数，通过激光雷达和深度相机的联合标定对待重建桥梁进行拍摄，获得待重建桥梁点云数据；

将待重建桥梁点云数据输入桥梁三维语义模型进行桥梁构件的语义分割，获得重建后桥梁三维语义模型。

可选地，信息模型生成模块260，进一步用于：

对重建后桥梁三维语义模型进行桥梁构件的信息提取，获得桥梁构件的基础信息；

将桥梁构件的基础信息输入预设的二次开发程序进行参数化编译，获得桥梁信息模型。

本发明提出一种融合激光雷达与深度相机的桥梁模型生成方法，结合激光雷达的高精度定位特性和深度相机相机的语义信息丰富特点，为桥梁三维语义重建提供技术支持。在桥梁三维模型重建方面，提升了重建模型精度，降低了场景识别误差，更加便于桥梁运维管理和辅助修复决策。本发明是一种精度高、语义信息丰富的桥梁三维信息模型的构建方法。

图3是本发明实施例提供的一种电子设备300的结构示意图，该电子设备300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）301和一个或一个以上的存储器302，其中，所述存储器302中存储有至少一条指令，所述至少一条指令由所述处理器301加载并执行以实现上述一种融合激光雷达与深度相机的桥梁模型生成方法的步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述一种融合激光雷达与深度相机的桥梁模型生成方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种融合激光雷达与深度相机的桥梁模型生成方法，其特征在于，所述方法包括：

基于激光雷达和深度相机进行联合标定，获得联合标定参数；

其中，所述基于激光雷达和深度相机进行联合标定，获得联合标定参数，包括：

基于标定工具箱和标定板，使用激光雷达和深度相机进行数据采集，获得激光雷达标定数据和深度相机标定数据；

基于所述激光雷达标定数据和所述深度相机标定数据通过预设算法进行编译，获取激光雷达与深度相机的联合标定参数；

对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据；

其中，所述对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据，包括：

对预设的桥梁三维模型进行格式转换、点云处理和多角度截取构建，获得合成点云数据；

使用无人机对桥梁进行拍摄，获得真实桥梁图片；

将真实桥梁图片转换为点云数据，获得真实点云数据；

将所述合成点云数据和所述真实点云数据输入预设的半自动标注算法，获得桥梁语义数据集；

根据预设的桥梁数据集、所述桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型；

其中，所述根据预设的桥梁数据集、所述桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型，包括：

将预设的桥梁数据集通过迁移学习方法融入所述桥梁语义数据集，获得融合语义数据集；

使用所述融合语义数据集对预设的二维深度学习算法进行训练，获得桥梁三维语义模型；

根据所述联合标定参数和所述桥梁三维语义模型，获得重建后桥梁三维语义模型；

根据所述重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型；

其中，所述根据所述重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型，包括：

对所述重建后桥梁三维语义模型进行桥梁构件的信息提取，获得桥梁构件的基础信息；

将所述桥梁构件的基础信息输入预设的二次开发程序进行参数化编译，获得桥梁信息模型。

2.根据权利要求1所述的一种融合激光雷达与深度相机的桥梁模型生成方法，其特征在于，所述根据所述联合标定参数和所述桥梁三维语义模型，获得重建后桥梁三维语义模型，包括：

基于所述联合标定参数，通过激光雷达和深度相机的联合标定对待重建桥梁进行拍摄，获得待重建桥梁点云数据；

将所述待重建桥梁点云数据输入所述桥梁三维语义模型进行桥梁构件的语义分割，获得重建后桥梁三维语义模型。

3.一种融合激光雷达与深度相机的桥梁模型生成装置，其特征在于，所述装置包括：

设备联合标定模块，用于基于激光雷达和深度相机进行联合标定，获得联合标定参数；

其中，所述基于激光雷达和深度相机进行联合标定，获得联合标定参数，包括：

基于标定工具箱和标定板，使用激光雷达和深度相机进行数据采集，获得激光雷达标定数据和深度相机标定数据；

基于所述激光雷达标定数据和所述深度相机标定数据通过预设算法进行编译，获取激光雷达与深度相机的联合标定参数；

点云数据采集模块，用于对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据；

其中，所述对预设的桥梁三维模型进行数据处理，获得合成点云数据，使用无人机对桥梁进行拍摄，获得真实点云数据，包括：

对预设的桥梁三维模型进行格式转换、点云处理和多角度截取构建，获得合成点云数据；

使用无人机对桥梁进行拍摄，获得真实桥梁图片；

将真实桥梁图片转换为点云数据，获得真实点云数据；

语义数据获取模块，用于将所述合成点云数据和所述真实点云数据输入预设的半自动标注算法，获得桥梁语义数据集；

语义模型建立模块，用于根据预设的桥梁数据集、所述桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型；

其中，所述根据预设的桥梁数据集、所述桥梁语义数据集和预设的二维深度学习算法，获得桥梁三维语义模型，包括：

将预设的桥梁数据集通过迁移学习方法融入所述桥梁语义数据集，获得融合语义数据集；

使用所述融合语义数据集对预设的二维深度学习算法进行训练，获得桥梁三维语义模型；

重建模型获取模块，用于根据所述联合标定参数和所述桥梁三维语义模型，获得重建后桥梁三维语义模型；

信息模型生成模块，用于根据所述重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型；

其中，所述根据所述重建后桥梁三维语义模型，通过预设的二次开发程序进行编译，获得桥梁信息模型，包括：

对所述重建后桥梁三维语义模型进行桥梁构件的信息提取，获得桥梁构件的基础信息；

将所述桥梁构件的基础信息输入预设的二次开发程序进行参数化编译，获得桥梁信息模型。

Images