CN112381060B - 一种基于深度学习的建筑物地震破坏等级分类方法 - Google Patents

Abstract

本发明提出一种基于深度学习的建筑物地震破坏等级分类方法，涉及地震工程领域，首先，基于区域内单体建筑的拍摄，获得其地震破坏和损伤图像，然后通过基于深度学习的图像分割神经网络快速准确地对所摄图像中的建筑物实行分割，即将受震建筑物从复杂图像背景中进行提取；而后通过基于深度学习的图像分类神经网络对分割出的建筑物进行受震损伤分类。本发明可以快速高效地对受震区域内的建筑进行准确地损伤分类，基于深度学习的图像分类方法，可以利用深度神经网络的计算能力以及快速的决策能力，代替现场人工评估，大幅度减少时间和精力耗费，在保证准确率的情况下对大范围的受震区域内建筑是否倒塌进行高效判断。

Description

一种基于深度学习的建筑物地震破坏等级分类方法

技术领域

本发明属于地震工程技术领域，特别是涉及一种基于深度学习的建筑物地震破坏等级分类方法。

背景技术

在建筑物区域震害评估中，由于地震发生后需要对震害区域的建筑损坏情况进行快速评估，以及时获取建筑受震后的破坏等级和数量，便于震后的辅助决策和应急救援的展开。如何在准确地对震害区域内建筑进行破坏等级划分的同时又可以满足时效性的要求，即在震后及时调查灾害的分布和数量实行震害的快速评估，是降低地震灾害损失的有效途径。基于这种现状，需要发展一种有效的建筑物地震破坏等级分类方法。

以人工评估为基础的现场评价方法广泛应用于震后灾区调研和勘察当中。传统的人工评估是通过派遣地震专家或结构工程师到地震灾区进行专业判断，手持相机拍照，采集图像信息后，手工评估建筑物的损坏程度。现场评估是最为准确的的评估方式，但是以人工检查为基础的现场评估虽然结果准确但耗时费力。

与人工评估相比，遥感评估可以在较短的时间内获取更大范围内的建筑物破坏情况，提高了工作效率。用于遥感评估的传感器类型包括光学传感器、合成孔径雷达传感器(SAR)和光探测和测距传感器(LiDAR)。利用高分辨率航空影像可进行基于光学的建筑物损伤遥感。与基于光学的遥感相比，SAR遥感和LiDAR遥感不会受到视野条件的影响。但是由于雷达和卫星所处高度较高，获取的建筑物图像和点云数据难以检测到建筑外立面的损伤。

近年来得益于多旋翼无人机的迅速发展与应用，基于其机动灵活的特点，可获取多角度的建筑损伤图像，与卫星或固定翼飞机等传统遥感平台相比，多旋翼无人机能够在相对较低的高度巡航或悬停，并提供更详细的建筑外观遥感数据，该平台越来越多地应用于区域地震损伤评估和城市规划。随着卷积神经网络(CNN)的发展，尤其是全卷积神经网络模型(FCN)提出以来，基于深度学习语义分割模型迅速发展，如SegNet，PSPNet可以实现对目标对象的图像语义分割。本发明使用深度神经网络DeepLabV3+对震害后建筑图像进行分割，实现在复杂图像背景下对建筑物的提取。基于深度学习的基础设施损伤评估近年来得到了广泛的应用，基于深度学习图像分类模型可实现对震后建筑物是否倒塌的自动分类。

发明内容

本发明目的是为了解决在建筑物区域震害评估中，既能准确地对震害区域内建筑进行破坏等级划分，同时又可以满足评估时效性的要求的问题，提出了一种基于深度学习的建筑物地震破坏等级分类方法。本发明所述方法基于利用深度神经网络对获取的震后建筑图像进行提取和识别，以判断震后建筑物是否倒塌的自动化分类。

本发明是通过以下技术方案实现的，本发明提出一种基于深度学习的建筑物地震破坏等级分类方法，所述方法包括：

步骤一、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，建立图像集A，并对图像集A中图像进行标注；

步骤二、利用Cityscapes数据集和标注过的图像集A，对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M_s，利用M_s对图像集A中的建筑物图像实行分割，得到分割后的图像集B；

步骤三、基于图像集B建立用于图像分类训练的数据集C，通过迁移学习在数据集C上对用于震害损伤分类的深度神经网络Resnext-50进行训练，得到图像分类神经网络模型M_c；

步骤四、根据步骤三得到的图像分类神经网络模型M_c对待评估受震区域内建筑图像进行分类，判断是否倒塌。

进一步地，所述步骤一具体为：

步骤1.1、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，组成图像集A；

步骤1.2、基于图像集A中每一张图像，按照Cityscapes数据集的格式，利用Labelme工具对图像中的每一类物体进行标注并命名。

进一步地，所述步骤二具体为：

步骤2.1、在cityscapesscripts里的label文件里原始分类共19类，将不需要的fence、pole、traffic light、traffic sign和train五类的trainid栏值改为255，并将所述五类的ignoreInEval栏值改为True，然后重新按顺序将剩余的14类进行排序；

步骤2.2、在PyTorch上基于步骤2.1中修改分类后的Cityscapes数据集，对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M_sp并保存其网络参数θ_sp；

步骤2.3、在PyTorch上加载步骤2.2中得到的图像分割神经网络模型M_sp，同时按1:1随机将图像集A分为A₁和A₂两部分，并基于图像集A₁对该图像分割神经网络模型M_sp进行训练更新得到图像分割神经网络模型M_s，并保存更新后模型对应的网络参数θ_s；图像分割是在像素级别上的分类，属于同一类的像素都要被归为一类，图像分割神经网络模型M_s的分割准确率由交占比IoU进行评价：

其中TP，FP和FN分别表示真阳性，假阳性和假阴性像素计数；

步骤2.4、重复步骤2.1至步骤2.3，共N次；N为重复训练回合数；选出在步骤2.3中获得的对图像集A₂中的图像表现最优的图像分割神经网络模型M_s，对整个图像集A进行分割；

步骤2.5、将分割后的图像集A原图中的建筑物从其复杂背景中提取出来形成图像集B，所述图像集B由倒塌类B_f和非倒塌类B_t组成。

进一步地，所述步骤2.5具体为：

步骤2.5.1、图像集A中图像均为.jpg格式，通过图像分割神经网络模型M_s对图像集A₂中的图像进行分割后得到与之对应的.png格式的彩色mask，不同类像素用不同颜色表示；仅将彩色mask中表示building类的像素进行提取，并将其转换为二值图像；

步骤2.5.2、将图像集A原图的像素值与二值图像的像素值对应相加，得到移除遮罩后的图像，即可将原图中的建筑物从其复杂背景中提取出来；

步骤2.5.3、将步骤2.5.2得到的所有图像保存形成图像集B，所述图像集B由倒塌类B_f和非倒塌类B_t组成。

进一步地，所述步骤三具体为：

步骤3.1、将图像集B中B_f和B_t的图像按照6:2:2分为训练集、验证集和测试集，形成数据集C；

步骤3.2、在PyTorch上加载基于ImageNet上训练得到的ResNeXt-50预训练模型，基于步骤3.1中制作的数据集利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新；模型训练的过程中，输入图像尺寸Input size为256×256大小的彩色图像；优化器采用带动量的随机梯度下降算法，动量设置为0.9；初始学习率设置为2×10^-3，然后随着迭代次数的增加，减小学习率；损失函数选择使用交叉熵CrossEntropy；由于训练数据有限，对全连接层通过采用丢弃法dropout以避免过拟合，dropout比率设置为0.5；该预训练模型以批尺寸batch size为32，迭代周期epoch数为80进行训练，最终得到图像分类神经网络模型M_c并保存其网络参数θ_c；

步骤3.3、在PyTorch上加载在步骤3.2中得到的图像分类神经网络模型M_c，在图像集B中的验证集和测试集上进行测试，验证震后建筑损伤等级判定模型即M_c的准确度。

本发明的有益效果为：

1、与其它遥感评估技术相比，图像数据易于获取。基于深度神经网络的图像分割算法，可以在仅有建筑物单一角度图像数据的情况下实现建筑物的分割，而无需其它复杂传感器提供额外的数据，如2D-GIS数据；

2、利用图像分割神经网络模型的输出结果可以实现建筑物整体从复杂背景的剥离，从而为进一步的建筑物破坏等级分类减少干扰，提供决策支持；

3、相较于传统的人工评估方法，基于深度学习的建筑物地震破坏等级分类方法既能准确地对震害区域内建筑进行破坏等级划分，同时又可以满足评估时效性的要求的问题，大幅减少震后区域建筑评估所需的人力物力。

附图说明

图1为本发明基于深度学习的建筑物地震破坏等级分类方法的流程图；

图2为本发明基于深度学习的图像分割及图像分类的操作流程图；

图3为本发明图像内建筑物分割提取示意图；

图4为本发明图像分类网络模型神经层参数训练示意图；

图5为本发明实施例中部分图像集A和B示意图；其中(a)为图像集A非倒塌示意图；(b)为图像集A倒塌示意图；(c)为图像集B非倒塌示意图；(d)为图像集B倒塌示意图；

图6为本发明实施例中地震破坏等级分类结果图，其中(a)为训练集准确度曲线结果图；(b)为验证集准确度曲线结果图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是为了解决现有利用遥感进行区域震害评估的技术所需数据信息不易获取的问题，目前遥感评估方法往往要求使用一些复杂传感器提供额外的数据，如2D-GIS数据、点云三维数据。本发明基于训练后的深度神经网络的图像分割模型，可以利用建筑物单一角度图像数据实现建筑物的分割，用于进一步的建筑地震破坏等级分类。同时，本发明也为解决传统评估方法中耗时耗力的问题。基于训练后的深度神经网络分类模型，可以在保证准确率的情况下对震后区域内的建筑图像数据进行快速自动化分类，提高工作效率。

结合图1-图6，本发明提出一种基于深度学习的建筑物地震破坏等级分类方法，所述方法包括：

步骤一、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，建立图像集A，并对图像集A中图像进行标注；

步骤二、利用Cityscapes数据集和标注过的图像集A，对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M_s，利用M_s对图像集A中的建筑物图像实行分割，得到分割后的图像集B；

步骤三、基于图像集B建立用于图像分类训练的数据集C，通过迁移学习在数据集C上对用于震害损伤分类的深度神经网络Resnext-50进行训练，得到图像分类神经网络模型M_c；

步骤四、根据步骤三得到的图像分类神经网络模型M_c对待评估受震区域内建筑图像进行分类，判断是否倒塌。

所述步骤一具体为：

步骤1.1、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，组成图像集A；

步骤1.2、基于图像集A中每一张图像，按照Cityscapes数据集的格式，利用Labelme工具对图像中的每一类物体进行标注并命名。

所述步骤二具体为：

步骤2.1、在cityscapesscripts里的label文件里原始分类共19类，将不需要的fence、pole、traffic light、traffic sign和train五类的trainid栏值改为255，并将所述五类的ignoreInEval栏值改为True，然后重新按顺序将剩余的14类进行排序；

步骤2.2、在PyTorch上基于步骤2.1中修改分类后的Cityscapes数据集，对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M_sp并保存其网络参数θ_sp；

步骤2.3、在PyTorch上加载步骤2.2中得到的图像分割神经网络模型M_sp，同时按1:1随机将图像集A分为A₁和A₂两部分，并基于图像集A₁对该图像分割神经网络模型M_sp进行训练更新得到图像分割神经网络模型M_s，并保存更新后模型对应的网络参数θ_s；图像分割是在像素级别上的分类，属于同一类的像素都要被归为一类，图像分割神经网络模型M_s的分割准确率由交占比IoU进行评价：

其中TP，FP和FN分别表示真阳性，假阳性和假阴性像素计数；在本发明中只关心类别2即building这一类别的交占比。

步骤2.4、重复步骤2.1至步骤2.3，共N次；N为重复训练回合数；选出在步骤2.3中获得的对图像集A₂中的图像表现最优的图像分割神经网络模型M_s，对整个图像集A进行分割；

步骤2.5、将分割后的图像集A原图中的建筑物从其复杂背景中提取出来形成图像集B，所述图像集B由倒塌类B_f和非倒塌类B_t组成。

所述步骤2.5具体为：

步骤2.5.1、图像集A中图像均为.jpg格式，通过图像分割神经网络模型M_s对图像集A₂中的图像进行分割后得到与之对应的.png格式的彩色mask，不同类像素用不同颜色表示；仅将彩色mask中表示building类的像素进行提取，并将其转换为二值图像；

步骤2.5.2、将图像集A原图的像素值与二值图像的像素值对应相加，得到移除遮罩后的图像，即可将原图中的建筑物从其复杂背景中提取出来；

步骤2.5.3、将步骤2.5.2得到的所有图像保存形成图像集B，所述图像集B由倒塌类B_f和非倒塌类B_t组成。

所述步骤三具体为：

步骤3.1、将图像集B中B_f和B_t的图像按照6:2:2分为训练集、验证集和测试集，形成数据集C；

步骤3.2、在PyTorch上加载基于ImageNet上训练得到的ResNeXt-50预训练模型，基于步骤3.1中制作的数据集利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新；模型训练的过程中，输入图像尺寸Input size为256×256大小的彩色图像；优化器采用带动量的随机梯度下降算法，动量设置为0.9；初始学习率设置为2×10^-3，然后随着迭代次数的增加，减小学习率；损失函数选择使用交叉熵CrossEntropy；由于训练数据有限，对全连接层通过采用丢弃法dropout以避免过拟合，dropout比率设置为0.5；该预训练模型以批尺寸batch size为32，迭代周期epoch数为80进行训练，最终得到图像分类神经网络模型M_c并保存其网络参数θ_c；

步骤3.3、在PyTorch上加载在步骤3.2中得到的图像分类神经网络模型M_c，在图像集B中的验证集和测试集上进行测试，验证震后建筑损伤等级判定模型即M_c的准确度。

实施例

结合图5，针对某震后建筑图像数据以及互联网搜集得到的震后建筑图像数据，利用本发明基于深度学习的建筑物地震破坏等级分类方法进行震后建筑破坏等级的分类：

所述步骤一具体为：将某震后建筑图像数据以及互联网搜集得到的高分辨率不同结构震后建筑图像数据组成图像集A，按照Cityscapes数据集的格式，利用Labelme工具对图像中的每一类物体进行标注并命名。制作多样化的震后建筑图像数据集。

所述步骤二具体为：应用DeepLabV3+作为基础的图像分割模型，其中输入层输入图像的分辨率不作限制，使用Cityscapes数据集进行图像分割模型的预训练，得到模型M_sp。在cityscapesscripts里的label文件里选好要用的分类，原始分类给的19类，将不需要的fence、pole、traffic light、traffic sign、train五类的trainid栏值改为255。然后重新按顺序将剩余分类进行排序，共14类，而后在ignoreInEval下将不需要的改为True。优化器采用带动量的随机梯度下降算法，动量设置为0.9；初始学习率设置为0.01，然后随着迭代次数的增加，减小学习率，权重衰减weight_decay设置为10^-4。初始化其余各项训练参数(批次大小、训练回合数等)，按1:1多次随机将图像集A分为A₁和A₂两部分，取循环次数N＝10，并在每车次划分后利用得到的图像集A₁对M_sp进行再次训练更新其权重参数。通过在A₂上分割结果的比较，获得有效学习了各类物体特征的图像分割模型M_s，固定其网络参数θ_s不再改变。使用M_s对图像集A原图中的建筑物从其复杂背景中提取出来，并按倒塌与非倒塌将其分为B_f和B_t两类，由其组成图像集B。

所述步骤三具体为：在PyTorch上加载基于ImageNet上训练得到的ResNeXt-50预训练模型，基于步骤二中制作的数据集B，按照6:2:2分为训练集、验证集和测试集，形成数据集C利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新。模型训练的过程中，输入图像尺寸Input size为256×256大小的彩色图像；优化器采用带动量的随机梯度下降算法，动量设置为0.9；初始学习率设置为2×10^-3，然后随着迭代次数的增加，减小学习率。损失函数选择使用交叉熵CrossEntropy。由于训练数据有限，对全连接层通过采用丢弃法dropout以避免过拟合，dropout比率设置为0.5。该模型以批尺寸batch size为32，迭代周期epoch数为80进行训练。最终得到用于图像分类的深度神经网络模型M_c并保存其网络参数θ_c；建筑地震破坏等级分类效果如图6所示。

最后使用模型M_c在数据集C中的测试集上进行建筑地震破坏等级测试，结果显示达到85％以上的准确率。

本发明实现了一种基于深度学习的建筑物地震破坏等级分类方法。该方法采用深度神经网络的图像分割模型，可以利用建筑物单一角度图像数据实现建筑物的分割，大大减小了用于区域建筑震害评估的数据获取难度。同时，将建筑物整体从图像背景中独立出来，避免了震后的复杂环境对震害等级分类结果的准确性产生干扰。通过训练图像分类网络，可以在保证准确率的情况下，实现基于图像对震后大范围区域内数目众多的震后建筑进行自动化震害等级分类。

以上对本发明所提出的一种基于深度学习的建筑物地震破坏等级分类方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种基于深度学习的建筑物地震破坏等级分类方法，其特征在于，所述方法包括：

步骤一、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，建立图像集A，并对图像集A中图像进行标注；

步骤二、利用Cityscapes数据集和标注过的图像集A，对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M_s，利用M_s对图像集A中的建筑物图像实行分割，得到分割后的图像集B；在分割过程中，利用单体建筑物立面图像数据实现建筑物的分割；

步骤三、基于图像集B建立用于图像分类训练的数据集C，通过迁移学习在数据集C上对用于震害损伤分类的深度神经网络Resnext-50进行训练，得到图像分类神经网络模型M_c；

步骤四、根据步骤三得到的图像分类神经网络模型M_c对待评估受震区域内建筑图像进行分类，判断是否倒塌；

所述步骤二具体为：

步骤2.1、在cityscapesscripts里的label文件里原始分类共19类，将不需要的fence、pole、traffic light、traffic sign和train五类的trainid栏值改为255，并将所述五类的ignoreInEval栏值改为True，然后重新按顺序将剩余的14类进行排序；

步骤2.2、在PyTorch上基于步骤2.1中修改分类后的Cityscapes数据集，对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M_sp并保存其网络参数θ_sp；

步骤2.3、在PyTorch上加载步骤2.2中得到的图像分割神经网络模型M_sp，同时按1:1随机将图像集A分为A₁和A₂两部分，并基于图像集A₁对该图像分割神经网络模型M_sp进行训练更新得到图像分割神经网络模型M_s，并保存更新后模型对应的网络参数θ_s；图像分割是在像素级别上的分类，属于同一类的像素都要被归为一类，图像分割神经网络模型M_s的分割准确率由交占比IoU进行评价：

其中TP，FP和FN分别表示真阳性，假阳性和假阴性像素计数；

步骤2.4、重复步骤2.1至步骤2.3，共N次；N为重复训练回合数；选出在步骤2.3中获得的对图像集A₂中的图像表现最优的图像分割神经网络模型M_s，对整个图像集A进行分割；

步骤2.5、将分割后的图像集A原图中的建筑物从其复杂背景中提取出来形成图像集B，所述图像集B由倒塌类B_f和非倒塌类B_t组成；

所述步骤2.5具体为：

步骤2.5.1、图像集A中图像均为.jpg格式，通过图像分割神经网络模型M_s对图像集A₂中的图像进行分割后得到与之对应的.png格式的彩色mask，不同类像素用不同颜色表示；仅将彩色mask中表示building类的像素进行提取，并将其转换为二值图像；

步骤2.5.2、将图像集A原图的像素值与二值图像的像素值对应相加，得到移除遮罩后的图像，即可将原图中的建筑物从其复杂背景中提取出来；

步骤2.5.3、将步骤2.5.2得到的所有图像保存形成图像集B，所述图像集B由倒塌类B_f和非倒塌类B_t组成。

2.根据权利要求1所述的方法，其特征在于，所述步骤一具体为：

步骤1.1、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，组成图像集A；

步骤1.2、基于图像集A中每一张图像，按照Cityscapes数据集的格式，利用Labelme工具对图像中的每一类物体进行标注并命名。

3.根据权利要求2所述的方法，其特征在于，所述步骤三具体为：

步骤3.1、将图像集B中B_f和B_t的图像按照6:2:2分为训练集、验证集和测试集，形成数据集C；

步骤3.2、在PyTorch上加载基于ImageNet上训练得到的ResNeXt-50预训练模型，基于步骤3.1中制作的数据集利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新；模型训练的过程中，输入图像尺寸Input size为256×256大小的彩色图像；优化器采用带动量的随机梯度下降算法，动量设置为0.9；初始学习率设置为2×10^-3，然后随着迭代次数的增加，减小学习率；损失函数选择使用交叉熵CrossEntropy；由于训练数据有限，对全连接层通过采用丢弃法dropout以避免过拟合，dropout比率设置为0.5；该预训练模型以批尺寸batch size为32，迭代周期epoch数为80进行训练，最终得到图像分类神经网络模型M_c并保存其网络参数θ_c；

步骤3.3、在PyTorch上加载在步骤3.2中得到的图像分类神经网络模型M_c，在图像集B中的验证集和测试集上进行测试，验证震后建筑损伤等级判定模型即M_c的准确度。

Images