CN118314463A - 一种基于机器学习的结构损伤识别方法及系统 - Google Patents

Abstract

本发明涉及结构健康监测技术领域，具体公开了一种基于机器学习的结构损伤识别方法及系统，方法包括图像获取、有限元建模、CG建模、合成环境、标注图像、数据集创建、神经网络训练和损伤识别。本方案使用高层建筑不同角度和不同构件的图像建立包含损坏纹理的CG模型，并利用CG模型生成高层建筑的逼真图像以及各种构件和损坏类型的相应标签的数据集，使得模型具有更好的泛化能力；使用预训练的DeepLabv3+模型，通过在数据集上训练、验证以及测试，对模型参数进行微调，建立适用于高层建筑结构损伤识别的SD_DeepLabv3+模型，准确有效地学习高层建筑结构损伤的特征，实现对损伤构件的准确识别和分类。

Description

一种基于机器学习的结构损伤识别方法及系统

技术领域

本发明涉及结构健康监测技术领域，具体是指一种基于机器学习的结构损伤识别方法及系统。

背景技术

高层建筑的结构损伤是跨尺度的演化过程，累积于材料的长期工作荷载、疲劳损伤和极端灾害的破坏，给以损伤过程分析为目标的结构模拟及其分析方法带来极大的挑战。一般的高层建筑裂缝的可用图像数量有限，构造的三维模型难以全面展示高层建筑的细节和裂缝，导致损伤识别的准确率低；一般的结构损伤识别方法依赖于特定结构的先验信息，对于其他高层建筑结构的损伤识别存在很大的限制，鲁棒性差。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于机器学习的结构损伤识别方法及系统，针对一般的高层建筑裂缝的可用图像数量有限，构造的三维模型难以全面展示高层建筑的细节和裂缝，导致损伤识别的准确率低的问题，本方案拍摄高层建筑不同角度和不同构件的图像，建立包含损坏纹理的高层建筑的CG模型，并利用CG模型生成高层建筑的逼真图像以及各种构件和损坏类型的相应标签的数据集，覆盖了各种可能的损坏情况，使得模型具有更好的泛化能力；针对一般的结构损伤识别方法依赖于特定结构的先验信息，对于其他高层建筑结构的损伤识别存在很大的限制，鲁棒性差的问题，本方案使用预训练的DeepLabv3+模型，通过在数据集上训练、验证以及测试，对模型参数进行微调，建立适用于高层建筑结构损伤识别的SD_DeepLabv3+模型，准确有效地学习高层建筑结构损伤的特征，从而实现对损伤构件的准确识别和分类。

本发明采用的技术方案如下：本发明提供的一种基于机器学习的结构损伤识别方法，该方法包括以下步骤：

步骤S1：图像获取，使用无人机拍摄高层建筑，获取高层建筑不同角度的物理图像，并从物理图像中提取高层建筑的纹理图；

步骤S2：有限元建模，创建高层建筑的有限元模型，提取结构构件及其节点信息；

步骤S3：CG建模，使用结构构件的节点信息创建非结构构件，合并结构构件和非结构构件，生成无纹理的CG模型，将高层建筑的纹理图添加到CG模型中；

步骤S4：合成环境，添加天空、光照、其他建筑及环境元素，创建真实感的合成环境，在合成环境中生成有损伤和无损伤的合成图像，输出合成标签图像；

步骤S5：标注图像，对物理图像进行手动标注，生成真实标签图像；

步骤S6：数据集创建，将合成标签图像和真实标签图像保存在数据集中，随机选择60%作为训练集，20%作为验证集，20%作为测试集；

步骤S7：神经网络训练，使用预训练的DeepLabv3+模型在训练集上训练，使用验证集对DeepLabv3+模型的参数进行微调，得到SD_DeepLabv3+模型；

步骤S8：损伤识别，使用SD_DeepLabv3+模型处理真实高层建筑图像，识别和标记其中的构件和裂缝。

进一步地，在步骤S4中，所述合成环境，具体包括以下步骤：

步骤S41：选择CG模型中的结构构件和非结构构件作为目标构件；

步骤S42；使用Mesh Cracker插件进行切割，模拟真实世界中目标构件表面的损伤和断裂痕迹；

步骤S43：改变损伤和断裂痕迹的形状、深度、密度属性，模拟高层建筑随时间推移和灾害期间发生的结构劣化，对目标构件进行不规则切割，生成不同宽度和形状的裂缝；

步骤S44：引入其他形式的损坏，模拟掉落的砖块、裸露的钢筋和结构倒塌场景。

进一步地，在步骤S7中，所述神经网络训练，具体包括以下步骤：

步骤S71：模型加载，使用PyTorch框架加载预训练的DeepLabv3+模型，DeepLabv3+模型由编码器和解码器组成，具体步骤如下：

步骤S711：编码器设置，编码器使用ResNet-50分类网络，配置膨胀卷积的弹性空间金字塔池化模块，使用具有不同速率的n个并行卷积分支，输出上下文的信息，使用1×1卷积层减少特征通道的数量；

步骤S712：解码器设置，通过1×1卷积操作进行通道调整，使用膨胀卷积处理特征通道，并执行上采样操作，得到融合特征，对融合特征进行3×3卷积，执行下采样操作；

步骤S713：输出层调整，根据数据集中的分类数调整输出节点数；

步骤S72：参数设置，使用交叉熵损失函数计算训练损失，使用SGD优化算法进行优化，设置学习率和动量超参数，配置GPU加速训练过程；

步骤S73：模型训练，设置训练轮次，将训练集输入至DeepLabv3+模型中，每个训练轮次中通过前向传播得到输出的分类结果，通过反向传播更新模型参数，记录并输出训练损失；

步骤S74：模型验证，使用验证集计算并记录验证损失，根据验证损失调整DeepLabv3+模型的模型参数，更新训练好的模型参数，得到SD_DeepLabv3+模型；

步骤S75：模型测试，使用测试集评估SD_DeepLabv3+模型性能，计算分类结果的准确率。

本发明提供的一种基于机器学习的结构损伤识别系统，包括图像获取模块、有限元建模模块、CG建模模块、合成环境模块、标注图像模块、数据集创建模块、神经网络训练模块和损伤识别模块；

所述图像获取模块使用无人机拍摄高层建筑，获取高层建筑不同角度的物理图像，并从物理图像中提取高层建筑的纹理图，将物理图像发送至有限元建模模块和标注图像模块，将纹理图发送至CG建模模块；

所述有限元建模模块根据物理图像创建高层建筑的有限元模型，提取结构构件及其节点信息，将结构构件及其节点信息发送至CG建模模块；

所述CG建模模块创建非结构构件，合并结构构件和非结构构件，生成无纹理的CG模型，所述CG模型是用于模拟和分析高层建筑的三维模型，将高层建筑的纹理添加到CG模型中，将CG模型发送至合成环境模块；

所述合成环境模块在CG模型中添加天空、光照、其他建筑及环境元素，创建真实感的合成环境，在合成环境中生成有损伤和无损伤的合成图像，输出合成标签图像，将合成标签图像发送至数据集创建模块；

所述标注图像模块对物理图像进行手动标注，生成真实标签图像，将真实标签图像发送至数据集创建模块；

所述数据集创建模块将合成标签图像和真实标签图像保存在数据集中，随机选择60%作为训练集，20%作为验证集，20%作为测试集，将数据集发送至神经网络训练模块；

所述神经网络训练模块使用预训练的DeepLabv3+模型在训练集上训练，使用验证集对DeepLabv3+模型的参数进行微调，得到SD_DeepLabv3+模型，将SD_DeepLabv3+模型发送至损伤识别模块；

所述损伤识别模块使用SD_DeepLabv3+模型处理真实高层建筑图像，识别和标记其中的构件和裂缝。

采用上述方案本发明取得的有益效果如下：

（1）针对一般的高层建筑裂缝的可用图像数量有限，构造的三维模型难以全面展示高层建筑的细节和裂缝，导致损伤识别的准确率低的问题，本方案拍摄高层建筑不同角度和不同构件的图像，建立包含损坏纹理的高层建筑的CG模型，并利用CG模型生成高层建筑的逼真图像以及各种构件和损坏类型的相应标签的数据集，覆盖了各种可能的损坏情况，使得模型具有更好的泛化能力。

（2）针对一般的结构损伤识别方法依赖于特定结构的先验信息，对于其他高层建筑结构的损伤识别存在很大的限制，鲁棒性差的问题，本方案使用预训练的DeepLabv3+模型，通过在数据集上训练、验证以及测试，对模型参数进行微调，建立适用于高层建筑结构损伤识别的SD_DeepLabv3+模型，准确有效地学习高层建筑结构损伤的特征，从而实现对损伤构件的准确识别和分类。

附图说明

图1为本发明提出的一种基于机器学习的结构损伤识别方法的流程示意图；

图2为本发明提出的SD_DeepLabv3+模型的结构示意图。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一，参阅图1，本发明提供的一种基于机器学习的结构损伤识别方法，该方法包括以下步骤：

步骤S1：图像获取，使用无人机拍摄高层建筑，获取高层建筑不同角度的物理图像，并从物理图像中提取高层建筑的纹理图；

步骤S2：有限元建模，创建高层建筑的有限元模型，提取结构构件及其节点信息；

步骤S3：CG建模，使用结构构件的节点信息创建非结构构件，合并结构构件和非结构构件，生成无纹理的CG模型，将高层建筑的纹理图添加到CG模型中；

步骤S4：合成环境，添加天空、光照、其他建筑及环境元素，创建真实感的合成环境，在合成环境中生成有损伤和无损伤的合成图像，输出合成标签图像；

步骤S5：标注图像，对物理图像进行手动标注，生成真实标签图像；

步骤S6：数据集创建，将合成标签图像和真实标签图像保存在数据集中，随机选择60%作为训练集，20%作为验证集，20%作为测试集；

步骤S7：神经网络训练，使用预训练的DeepLabv3+模型在训练集上训练，使用验证集对DeepLabv3+模型的参数进行微调，得到SD_DeepLabv3+模型；

步骤S8：损伤识别，使用SD_DeepLabv3+模型处理真实高层建筑图像，识别和标记其中的构件和裂缝。

实施例二，参阅图1，该实施例基于上述实施例，在步骤S1中，高层建筑不同角度的物理图像，包括高层建筑的墙壁、百叶窗、玻璃窗和阳台栏杆图像；提取四种类型的纹理图，包括环境光遮蔽图、置换贴图、法线贴图和粗糙度贴图。

实施例三，参阅图1，该实施例基于上述实施例，在步骤S2中，有限元建模，使用SAP2000软件创建高层建筑的有限元模型，提取结构构件的节点信息，结构构件包括墙、板和梁，使用Blender-Python应用程序编程接口将结构构件的节点信息导入Blender软件中，自动生成结构构件的三维网格模型。

实施例四，参阅图1，该实施例基于上述实施例，在步骤S3中，非结构构件包括百叶窗、玻璃窗和阳台栏杆，将非结构构件和结构构件组合生成无纹理的CG模型。

实施例五，参阅图1，该实施例基于上述实施例，在步骤S4中，合成环境，具体包括以下步骤：

步骤S41：选择CG模型中的结构构件和非结构构件作为目标构件；

步骤S42；使用Mesh Cracker插件进行切割，模拟真实世界中目标构件表面的损伤和断裂痕迹；

步骤S43：改变损伤和断裂痕迹的形状、深度、密度属性，模拟高层建筑随时间推移和灾害期间发生的结构劣化，对目标构件进行不规则切割，生成不同宽度和形状的裂缝；

步骤S44：引入其他形式的损坏，模拟掉落的砖块、裸露的钢筋和结构倒塌场景。

实施例六，参阅图1和图2，该实施例基于上述实施例，在步骤S7中，神经网络训练，具体包括以下步骤：

步骤S71：模型加载，使用PyTorch框架加载预训练的DeepLabv3+模型，DeepLabv3+模型由编码器和解码器组成，具体步骤如下：

步骤S711：编码器设置，编码器使用ResNet-50分类网络，配置膨胀卷积的弹性空间金字塔池化模块，使用具有不同速率的n个并行卷积分支，输出上下文的信息，使用1×1卷积层减少特征通道的数量；

步骤S712：解码器设置，通过1×1卷积操作进行通道调整，使用膨胀卷积处理特征通道，并执行上采样操作，得到融合特征，对融合特征进行3×3卷积，执行下采样操作；

步骤S713：输出层调整，根据数据集中的分类数调整输出节点数；

步骤S72：参数设置，使用交叉熵损失函数计算训练损失，使用SGD优化算法进行优化，设置学习率和动量超参数，配置GPU加速训练过程；

步骤S73：模型训练，设置训练轮次，将训练集输入至DeepLabv3+模型中，每个训练轮次中通过前向传播得到输出的分类结果，通过反向传播更新模型参数，记录并输出训练损失；

步骤S74：模型验证，使用验证集计算并记录验证损失，根据验证损失调整DeepLabv3+模型的模型参数，更新训练好的模型参数，得到SD_DeepLabv3+模型；

步骤S75：模型测试，使用测试集评估SD_DeepLabv3+模型性能，计算分类结果的准确率。

本实施例中，n选取为4，使用3x3卷积核，每个分支的速率设置分别为：分支1膨胀率为1，分支2膨胀率为6，分支3膨胀率为12，分支4膨胀率为18；

数据集中的分类结果有6种，包括背景、墙、玻璃、栏杆、天窗、裂缝，则输出节点设置为6个；

设置初始训练轮次为50个，初始学习率为0.001，批量大小为16，记录训练损失，每5个轮次评估一次模型在验证集上的性能，记录验证损失，若50个轮次后训练损失和验证损失都趋于稳定，则模型接近最优状态，停止训练；否则增加训练轮次继续训练。

实施例七，参阅图1，该实施例基于上述实施例，本发明提供的一种基于机器学习的结构损伤识别系统，包括图像获取模块、有限元建模模块、CG建模模块、合成环境模块、标注图像模块、数据集创建模块、神经网络训练模块和损伤识别模块；

所述图像获取模块使用无人机拍摄高层建筑，获取高层建筑不同角度的物理图像，并从物理图像中提取高层建筑的纹理图，将物理图像发送至有限元建模模块和标注图像模块，将纹理图发送至CG建模模块；

所述有限元建模模块根据物理图像创建高层建筑的有限元模型，提取结构构件及其节点信息，将结构构件及其节点信息发送至CG建模模块；

所述CG建模模块创建非结构构件，合并结构构件和非结构构件，生成无纹理的CG模型，所述CG模型是用于模拟和分析高层建筑的三维模型，将高层建筑的纹理添加到CG模型中，将CG模型发送至合成环境模块；

所述合成环境模块在CG模型中添加天空、光照、其他建筑及环境元素，创建真实感的合成环境，在合成环境中生成有损伤和无损伤的合成图像，输出合成标签图像，将合成标签图像发送至数据集创建模块；

所述标注图像模块对物理图像进行手动标注，生成真实标签图像，将真实标签图像发送至数据集创建模块；

所述数据集创建模块将合成标签图像和真实标签图像保存在数据集中，随机选择60%作为训练集，20%作为验证集，20%作为测试集，将数据集发送至神经网络训练模块；

所述神经网络训练模块使用预训练的DeepLabv3+模型在训练集上训练，使用验证集对DeepLabv3+模型的参数进行微调，得到SD_DeepLabv3+模型，将SD_DeepLabv3+模型发送至损伤识别模块；

所述损伤识别模块使用SD_DeepLabv3+模型处理真实高层建筑图像，识别和标记其中的构件和裂缝。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (3)

1.一种基于机器学习的结构损伤识别方法，其特征在于：该方法包括以下步骤：

步骤S1：图像获取，使用无人机拍摄高层建筑，获取高层建筑不同角度的物理图像，并从物理图像中提取高层建筑的纹理图；

步骤S2：有限元建模，创建高层建筑的有限元模型，提取结构构件及其节点信息；

步骤S3：CG建模，使用结构构件的节点信息创建非结构构件，合并结构构件和非结构构件，生成无纹理的CG模型，将高层建筑的纹理图添加到CG模型中；

步骤S4：合成环境，添加天空、光照、其他建筑及环境元素，创建真实感的合成环境，在合成环境中生成有损伤和无损伤的合成图像，输出合成标签图像；

步骤S5：标注图像，对物理图像进行手动标注，生成真实标签图像；

步骤S6：数据集创建，将合成标签图像和真实标签图像保存在数据集中，随机选择60%作为训练集，20%作为验证集，20%作为测试集；

步骤S7：神经网络训练，使用预训练的DeepLabv3+模型在训练集上训练，使用验证集对DeepLabv3+模型的参数进行微调，得到SD_DeepLabv3+模型；

步骤S8：损伤识别，使用SD_DeepLabv3+模型处理真实高层建筑图像，识别和标记其中的构件和裂缝。

2.根据权利要求1所述的一种基于机器学习的结构损伤识别方法，其特征在于：在步骤S4中，所述合成环境，包括以下步骤：

步骤S41：选择CG模型中的结构构件和非结构构件作为目标构件；

步骤S42；使用Mesh Cracker插件进行切割，模拟真实世界中目标构件表面的损伤和断裂痕迹；

步骤S43：改变损伤和断裂痕迹的形状、深度、密度属性，模拟高层建筑随时间推移和灾害期间发生的结构劣化，对目标构件进行不规则切割，生成不同宽度和形状的裂缝；

步骤S44：引入其他形式的损坏，模拟掉落的砖块、裸露的钢筋和结构倒塌场景。

3.根据权利要求2所述的一种基于机器学习的结构损伤识别方法，其特征在于：在步骤S7中，所述神经网络训练，包括以下步骤：

步骤S71：模型加载，使用PyTorch框架加载预训练的DeepLabv3+模型，DeepLabv3+模型由编码器和解码器组成，具体步骤如下：

步骤S711：编码器设置，编码器使用ResNet-50分类网络，配置膨胀卷积的弹性空间金字塔池化模块，使用具有不同速率的n个并行卷积分支，输出上下文的信息，使用1×1卷积层减少特征通道的数量；

步骤S712：解码器设置，通过1×1卷积操作进行通道调整，使用膨胀卷积处理特征通道，并执行上采样操作，得到融合特征，对融合特征进行3×3卷积，执行下采样操作；

步骤S713：输出层调整，根据数据集中的分类数调整输出节点数；

步骤S72：参数设置，使用交叉熵损失函数计算训练损失，使用SGD优化算法进行优化，设置学习率和动量超参数，配置GPU加速训练过程；

步骤S73：模型训练，设置训练轮次，将训练集输入至DeepLabv3+模型中，每个训练轮次中通过前向传播得到输出的分类结果，通过反向传播更新模型参数，记录并输出训练损失；

步骤S74：模型验证，使用验证集计算并记录验证损失，根据验证损失调整DeepLabv3+模型的模型参数，更新训练好的模型参数，得到SD_DeepLabv3+模型；

步骤S75：模型测试，使用测试集评估SD_DeepLabv3+模型性能，计算分类结果的准确率。