CN112381060A - 一种基于深度学习的建筑物地震破坏等级分类方法 - Google Patents
一种基于深度学习的建筑物地震破坏等级分类方法 Download PDFInfo
- Publication number
- CN112381060A CN112381060A CN202011405061.8A CN202011405061A CN112381060A CN 112381060 A CN112381060 A CN 112381060A CN 202011405061 A CN202011405061 A CN 202011405061A CN 112381060 A CN112381060 A CN 112381060A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- earthquake
- training
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于深度学习的建筑物地震破坏等级分类方法,涉及地震工程领域,首先,基于区域内单体建筑的拍摄,获得其地震破坏和损伤图像,然后通过基于深度学习的图像分割神经网络快速准确地对所摄图像中的建筑物实行分割,即将受震建筑物从复杂图像背景中进行提取;而后通过基于深度学习的图像分类神经网络对分割出的建筑物进行受震损伤分类。本发明可以快速高效地对受震区域内的建筑进行准确地损伤分类,基于深度学习的图像分类方法,可以利用深度神经网络的计算能力以及快速的决策能力,代替现场人工评估,大幅度减少时间和精力耗费,在保证准确率的情况下对大范围的受震区域内建筑是否倒塌进行高效判断。
Description
技术领域
本发明属于地震工程技术领域,特别是涉及一种基于深度学习的建筑物地震破坏等级分类方法。
背景技术
在建筑物区域震害评估中,由于地震发生后需要对震害区域的建筑损坏情况进行快速评估,以及时获取建筑受震后的破坏等级和数量,便于震后的辅助决策和应急救援的展开。如何在准确地对震害区域内建筑进行破坏等级划分的同时又可以满足时效性的要求,即在震后及时调查灾害的分布和数量实行震害的快速评估,是降低地震灾害损失的有效途径。基于这种现状,需要发展一种有效的建筑物地震破坏等级分类方法。
以人工评估为基础的现场评价方法广泛应用于震后灾区调研和勘察当中。传统的人工评估是通过派遣地震专家或结构工程师到地震灾区进行专业判断,手持相机拍照,采集图像信息后,手工评估建筑物的损坏程度。现场评估是最为准确的的评估方式,但是以人工检查为基础的现场评估虽然结果准确但耗时费力。
与人工评估相比,遥感评估可以在较短的时间内获取更大范围内的建筑物破坏情况,提高了工作效率。用于遥感评估的传感器类型包括光学传感器、合成孔径雷达传感器(SAR)和光探测和测距传感器(LiDAR)。利用高分辨率航空影像可进行基于光学的建筑物损伤遥感。与基于光学的遥感相比,SAR遥感和LiDAR遥感不会受到视野条件的影响。但是由于雷达和卫星所处高度较高,获取的建筑物图像和点云数据难以检测到建筑外立面的损伤。
近年来得益于多旋翼无人机的迅速发展与应用,基于其机动灵活的特点,可获取多角度的建筑损伤图像,与卫星或固定翼飞机等传统遥感平台相比,多旋翼无人机能够在相对较低的高度巡航或悬停,并提供更详细的建筑外观遥感数据,该平台越来越多地应用于区域地震损伤评估和城市规划。随着卷积神经网络(CNN)的发展,尤其是全卷积神经网络模型(FCN)提出以来,基于深度学习语义分割模型迅速发展,如SegNet,PSPNet可以实现对目标对象的图像语义分割。本发明使用深度神经网络DeepLabV3+对震害后建筑图像进行分割,实现在复杂图像背景下对建筑物的提取。基于深度学习的基础设施损伤评估近年来得到了广泛的应用,基于深度学习图像分类模型可实现对震后建筑物是否倒塌的自动分类。
发明内容
本发明目的是为了解决在建筑物区域震害评估中,既能准确地对震害区域内建筑进行破坏等级划分,同时又可以满足评估时效性的要求的问题,提出了一种基于深度学习的建筑物地震破坏等级分类方法。本发明所述方法基于利用深度神经网络对获取的震后建筑图像进行提取和识别,以判断震后建筑物是否倒塌的自动化分类。
本发明是通过以下技术方案实现的,本发明提出一种基于深度学习的建筑物地震破坏等级分类方法,所述方法包括:
步骤一、基于无人机航拍对地震区域内单体建筑拍照,收集其地震破坏和损伤图像,建立图像集A,并对图像集A中图像进行标注;
步骤二、利用Cityscapes数据集和标注过的图像集A,对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型Ms,利用Ms对图像集A中的建筑物图像实行分割,得到分割后的图像集B;
步骤三、基于图像集B建立用于图像分类训练的数据集C,通过迁移学习在数据集C上对用于震害损伤分类的深度神经网络Resnext-50进行训练,得到图像分类神经网络模型Mc;
步骤四、根据步骤三得到的图像分类神经网络模型Mc对待评估受震区域内建筑图像进行分类,判断是否倒塌。
进一步地,所述步骤一具体为:
步骤1.1、基于无人机航拍对地震区域内单体建筑拍照,收集其地震破坏和损伤图像,组成图像集A;
步骤1.2、基于图像集A中每一张图像,按照Cityscapes数据集的格式,利用Labelme工具对图像中的每一类物体进行标注并命名。
进一步地,所述步骤二具体为:
步骤2.1、在cityscapesscripts里的label文件里原始分类共19类,将不需要的fence、pole、traffic light、traffic sign和train五类的trainid栏值改为255,并将所述五类的ignoreInEval栏值改为True,然后重新按顺序将剩余的14类进行排序;
步骤2.2、在PyTorch上基于步骤2.1中修改分类后的Cityscapes数据集,对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型Msp并保存其网络参数θsp;
步骤2.3、在PyTorch上加载步骤2.2中得到的图像分割神经网络模型Msp,同时按1:1随机将图像集A分为A1和A2两部分,并基于图像集A1对该图像分割神经网络模型Msp进行训练更新得到图像分割神经网络模型Ms,并保存更新后模型对应的网络参数θs;图像分割是在像素级别上的分类,属于同一类的像素都要被归为一类,图像分割神经网络模型Ms的分割准确率由交占比IoU进行评价:
其中TP,FP和FN分别表示真阳性,假阳性和假阴性像素计数;
步骤2.4、重复步骤2.1至步骤2.3,共N次;N为重复训练回合数;选出在步骤2.3中获得的对图像集A2中的图像表现最优的图像分割神经网络模型Ms,对整个图像集A进行分割;
步骤2.5、将分割后的图像集A原图中的建筑物从其复杂背景中提取出来形成图像集B,所述图像集B由倒塌类Bf和非倒塌类Bt组成。
进一步地,所述步骤2.5具体为:
步骤2.5.1、图像集A中图像均为.jpg格式,通过图像分割神经网络模型Ms对图像集A2中的图像进行分割后得到与之对应的.png格式的彩色mask,不同类像素用不同颜色表示;仅将彩色mask中表示building类的像素进行提取,并将其转换为二值图像;
步骤2.5.2、将图像集A原图的像素值与二值图像的像素值对应相加,得到移除遮罩后的图像,即可将原图中的建筑物从其复杂背景中提取出来;
步骤2.5.3、将步骤2.5.2得到的所有图像保存形成图像集B,所述图像集B由倒塌类Bf和非倒塌类Bt组成。
进一步地,所述步骤三具体为:
步骤3.1、将图像集B中Bf和Bt的图像按照6:2:2分为训练集、验证集和测试集,形成数据集C;
步骤3.2、在PyTorch上加载基于ImageNet上训练得到的ResNeXt-50预训练模型,基于步骤3.1中制作的数据集利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新;模型训练的过程中,输入图像尺寸Input size为256×256大小的彩色图像;优化器采用带动量的随机梯度下降算法,动量设置为0.9;初始学习率设置为2×10-3,然后随着迭代次数的增加,减小学习率;损失函数选择使用交叉熵CrossEntropy;由于训练数据有限,对全连接层通过采用丢弃法dropout以避免过拟合,dropout比率设置为0.5;该预训练模型以批尺寸batch size为32,迭代周期epoch数为80进行训练,最终得到图像分类神经网络模型Mc并保存其网络参数θc;
步骤3.3、在PyTorch上加载在步骤3.2中得到的图像分类神经网络模型Mc,在图像集B中的验证集和测试集上进行测试,验证震后建筑损伤等级判定模型即Mc的准确度。
本发明的有益效果为:
1、与其它遥感评估技术相比,图像数据易于获取。基于深度神经网络的图像分割算法,可以在仅有建筑物单一角度图像数据的情况下实现建筑物的分割,而无需其它复杂传感器提供额外的数据,如2D-GIS数据;
2、利用图像分割神经网络模型的输出结果可以实现建筑物整体从复杂背景的剥离,从而为进一步的建筑物破坏等级分类减少干扰,提供决策支持;
3、相较于传统的人工评估方法,基于深度学习的建筑物地震破坏等级分类方法既能准确地对震害区域内建筑进行破坏等级划分,同时又可以满足评估时效性的要求的问题,大幅减少震后区域建筑评估所需的人力物力。
附图说明
图1为本发明基于深度学习的建筑物地震破坏等级分类方法的流程图;
图2为本发明基于深度学习的图像分割及图像分类的操作流程图;
图3为本发明图像内建筑物分割提取示意图;
图4为本发明图像分类网络模型神经层参数训练示意图;
图5为本发明实施例中部分图像集A和B示意图;其中(a)为图像集A非倒塌示意图;(b)为图像集A倒塌示意图;(c)为图像集B非倒塌示意图;(d)为图像集B倒塌示意图;
图6为本发明实施例中地震破坏等级分类结果图,其中(a)为训练集准确度曲线结果图;(b)为验证集准确度曲线结果图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是为了解决现有利用遥感进行区域震害评估的技术所需数据信息不易获取的问题,目前遥感评估方法往往要求使用一些复杂传感器提供额外的数据,如2D-GIS数据、点云三维数据。本发明基于训练后的深度神经网络的图像分割模型,可以利用建筑物单一角度图像数据实现建筑物的分割,用于进一步的建筑地震破坏等级分类。同时,本发明也为解决传统评估方法中耗时耗力的问题。基于训练后的深度神经网络分类模型,可以在保证准确率的情况下对震后区域内的建筑图像数据进行快速自动化分类,提高工作效率。
结合图1-图6,本发明提出一种基于深度学习的建筑物地震破坏等级分类方法,所述方法包括:
步骤一、基于无人机航拍对地震区域内单体建筑拍照,收集其地震破坏和损伤图像,建立图像集A,并对图像集A中图像进行标注;
步骤二、利用Cityscapes数据集和标注过的图像集A,对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型Ms,利用Ms对图像集A中的建筑物图像实行分割,得到分割后的图像集B;
步骤三、基于图像集B建立用于图像分类训练的数据集C,通过迁移学习在数据集C上对用于震害损伤分类的深度神经网络Resnext-50进行训练,得到图像分类神经网络模型Mc;
步骤四、根据步骤三得到的图像分类神经网络模型Mc对待评估受震区域内建筑图像进行分类,判断是否倒塌。
所述步骤一具体为:
步骤1.1、基于无人机航拍对地震区域内单体建筑拍照,收集其地震破坏和损伤图像,组成图像集A;
步骤1.2、基于图像集A中每一张图像,按照Cityscapes数据集的格式,利用Labelme工具对图像中的每一类物体进行标注并命名。
所述步骤二具体为:
步骤2.1、在cityscapesscripts里的label文件里原始分类共19类,将不需要的fence、pole、traffic light、traffic sign和train五类的trainid栏值改为255,并将所述五类的ignoreInEval栏值改为True,然后重新按顺序将剩余的14类进行排序;
步骤2.2、在PyTorch上基于步骤2.1中修改分类后的Cityscapes数据集,对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型Msp并保存其网络参数θsp;
步骤2.3、在PyTorch上加载步骤2.2中得到的图像分割神经网络模型Msp,同时按1:1随机将图像集A分为A1和A2两部分,并基于图像集A1对该图像分割神经网络模型Msp进行训练更新得到图像分割神经网络模型Ms,并保存更新后模型对应的网络参数θs;图像分割是在像素级别上的分类,属于同一类的像素都要被归为一类,图像分割神经网络模型Ms的分割准确率由交占比IoU进行评价:
其中TP,FP和FN分别表示真阳性,假阳性和假阴性像素计数;在本发明中只关心类别2即building这一类别的交占比。
步骤2.4、重复步骤2.1至步骤2.3,共N次;N为重复训练回合数;选出在步骤2.3中获得的对图像集A2中的图像表现最优的图像分割神经网络模型Ms,对整个图像集A进行分割;
步骤2.5、将分割后的图像集A原图中的建筑物从其复杂背景中提取出来形成图像集B,所述图像集B由倒塌类Bf和非倒塌类Bt组成。
所述步骤2.5具体为:
步骤2.5.1、图像集A中图像均为.jpg格式,通过图像分割神经网络模型Ms对图像集A2中的图像进行分割后得到与之对应的.png格式的彩色mask,不同类像素用不同颜色表示;仅将彩色mask中表示building类的像素进行提取,并将其转换为二值图像;
步骤2.5.2、将图像集A原图的像素值与二值图像的像素值对应相加,得到移除遮罩后的图像,即可将原图中的建筑物从其复杂背景中提取出来;
步骤2.5.3、将步骤2.5.2得到的所有图像保存形成图像集B,所述图像集B由倒塌类Bf和非倒塌类Bt组成。
所述步骤三具体为:
步骤3.1、将图像集B中Bf和Bt的图像按照6:2:2分为训练集、验证集和测试集,形成数据集C;
步骤3.2、在PyTorch上加载基于ImageNet上训练得到的ResNeXt-50预训练模型,基于步骤3.1中制作的数据集利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新;模型训练的过程中,输入图像尺寸Input size为256×256大小的彩色图像;优化器采用带动量的随机梯度下降算法,动量设置为0.9;初始学习率设置为2×10-3,然后随着迭代次数的增加,减小学习率;损失函数选择使用交叉熵CrossEntropy;由于训练数据有限,对全连接层通过采用丢弃法dropout以避免过拟合,dropout比率设置为0.5;该预训练模型以批尺寸batch size为32,迭代周期epoch数为80进行训练,最终得到图像分类神经网络模型Mc并保存其网络参数θc;
步骤3.3、在PyTorch上加载在步骤3.2中得到的图像分类神经网络模型Mc,在图像集B中的验证集和测试集上进行测试,验证震后建筑损伤等级判定模型即Mc的准确度。
实施例
结合图5,针对某震后建筑图像数据以及互联网搜集得到的震后建筑图像数据,利用本发明基于深度学习的建筑物地震破坏等级分类方法进行震后建筑破坏等级的分类:
所述步骤一具体为:将某震后建筑图像数据以及互联网搜集得到的高分辨率不同结构震后建筑图像数据组成图像集A,按照Cityscapes数据集的格式,利用Labelme工具对图像中的每一类物体进行标注并命名。制作多样化的震后建筑图像数据集。
所述步骤二具体为:应用DeepLabV3+作为基础的图像分割模型,其中输入层输入图像的分辨率不作限制,使用Cityscapes数据集进行图像分割模型的预训练,得到模型Msp。在cityscapesscripts里的label文件里选好要用的分类,原始分类给的19类,将不需要的fence、pole、traffic light、traffic sign、train五类的trainid栏值改为255。然后重新按顺序将剩余分类进行排序,共14类,而后在ignoreInEval下将不需要的改为True。优化器采用带动量的随机梯度下降算法,动量设置为0.9;初始学习率设置为0.01,然后随着迭代次数的增加,减小学习率,权重衰减weight_decay设置为10-4。初始化其余各项训练参数(批次大小、训练回合数等),按1:1多次随机将图像集A分为A1和A2两部分,取循环次数N=10,并在每车次划分后利用得到的图像集A1对Msp进行再次训练更新其权重参数。通过在A2上分割结果的比较,获得有效学习了各类物体特征的图像分割模型Ms,固定其网络参数θs不再改变。使用Ms对图像集A原图中的建筑物从其复杂背景中提取出来,并按倒塌与非倒塌将其分为Bf和Bt两类,由其组成图像集B。
所述步骤三具体为:在PyTorch上加载基于ImageNet上训练得到的ResNeXt-50预训练模型,基于步骤二中制作的数据集B,按照6:2:2分为训练集、验证集和测试集,形成数据集C利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新。模型训练的过程中,输入图像尺寸Input size为256×256大小的彩色图像;优化器采用带动量的随机梯度下降算法,动量设置为0.9;初始学习率设置为2×10-3,然后随着迭代次数的增加,减小学习率。损失函数选择使用交叉熵CrossEntropy。由于训练数据有限,对全连接层通过采用丢弃法dropout以避免过拟合,dropout比率设置为0.5。该模型以批尺寸batch size为32,迭代周期epoch数为80进行训练。最终得到用于图像分类的深度神经网络模型Mc并保存其网络参数θc;建筑地震破坏等级分类效果如图6所示。
最后使用模型Mc在数据集C中的测试集上进行建筑地震破坏等级测试,结果显示达到85%以上的准确率。
本发明实现了一种基于深度学习的建筑物地震破坏等级分类方法。该方法采用深度神经网络的图像分割模型,可以利用建筑物单一角度图像数据实现建筑物的分割,大大减小了用于区域建筑震害评估的数据获取难度。同时,将建筑物整体从图像背景中独立出来,避免了震后的复杂环境对震害等级分类结果的准确性产生干扰。通过训练图像分类网络,可以在保证准确率的情况下,实现基于图像对震后大范围区域内数目众多的震后建筑进行自动化震害等级分类。
以上对本发明所提出的一种基于深度学习的建筑物地震破坏等级分类方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (5)
1.一种基于深度学习的建筑物地震破坏等级分类方法,其特征在于,所述方法包括:
步骤一、基于无人机航拍对地震区域内单体建筑拍照,收集其地震破坏和损伤图像,建立图像集A,并对图像集A中图像进行标注;
步骤二、利用Cityscapes数据集和标注过的图像集A,对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型Ms,利用Ms对图像集A中的建筑物图像实行分割,得到分割后的图像集B;
步骤三、基于图像集B建立用于图像分类训练的数据集C,通过迁移学习在数据集C上对用于震害损伤分类的深度神经网络Resnext-50进行训练,得到图像分类神经网络模型Mc;
步骤四、根据步骤三得到的图像分类神经网络模型Mc对待评估受震区域内建筑图像进行分类,判断是否倒塌。
2.根据权利要求1所述的方法,其特征在于,所述步骤一具体为:
步骤1.1、基于无人机航拍对地震区域内单体建筑拍照,收集其地震破坏和损伤图像,组成图像集A;
步骤1.2、基于图像集A中每一张图像,按照Cityscapes数据集的格式,利用Labelme工具对图像中的每一类物体进行标注并命名。
3.根据权利要求2所述的方法,其特征在于,所述步骤二具体为:
步骤2.1、在cityscapesscripts里的label文件里原始分类共19类,将不需要的fence、pole、traffic light、traffic sign和train五类的trainid栏值改为255,并将所述五类的ignoreInEval栏值改为True,然后重新按顺序将剩余的14类进行排序;
步骤2.2、在PyTorch上基于步骤2.1中修改分类后的Cityscapes数据集,对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型Msp并保存其网络参数θsp;
步骤2.3、在PyTorch上加载步骤2.2中得到的图像分割神经网络模型Msp,同时按1:1随机将图像集A分为A1和A2两部分,并基于图像集A1对该图像分割神经网络模型Msp进行训练更新得到图像分割神经网络模型Ms,并保存更新后模型对应的网络参数θs;图像分割是在像素级别上的分类,属于同一类的像素都要被归为一类,图像分割神经网络模型Ms的分割准确率由交占比IoU进行评价:
其中TP,FP和FN分别表示真阳性,假阳性和假阴性像素计数;
步骤2.4、重复步骤2.1至步骤2.3,共N次;N为重复训练回合数;选出在步骤2.3中获得的对图像集A2中的图像表现最优的图像分割神经网络模型Ms,对整个图像集A进行分割;
步骤2.5、将分割后的图像集A原图中的建筑物从其复杂背景中提取出来形成图像集B,所述图像集B由倒塌类Bf和非倒塌类Bt组成。
4.根据权利要求3所述的方法,其特征在于,所述步骤2.5具体为:
步骤2.5.1、图像集A中图像均为.jpg格式,通过图像分割神经网络模型Ms对图像集A2中的图像进行分割后得到与之对应的.png格式的彩色mask,不同类像素用不同颜色表示;仅将彩色mask中表示building类的像素进行提取,并将其转换为二值图像;
步骤2.5.2、将图像集A原图的像素值与二值图像的像素值对应相加,得到移除遮罩后的图像,即可将原图中的建筑物从其复杂背景中提取出来;
步骤2.5.3、将步骤2.5.2得到的所有图像保存形成图像集B,所述图像集B由倒塌类Bf和非倒塌类Bt组成。
5.根据权利要求4所述的方法,其特征在于,所述步骤三具体为:
步骤3.1、将图像集B中Bf和Bt的图像按照6:2:2分为训练集、验证集和测试集,形成数据集C;
步骤3.2、在PyTorch上加载基于ImageNet上训练得到的ResNeXt-50预训练模型,基于步骤3.1中制作的数据集利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新;模型训练的过程中,输入图像尺寸Input size为256×256大小的彩色图像;优化器采用带动量的随机梯度下降算法,动量设置为0.9;初始学习率设置为2×10-3,然后随着迭代次数的增加,减小学习率;损失函数选择使用交叉熵CrossEntropy;由于训练数据有限,对全连接层通过采用丢弃法dropout以避免过拟合,dropout比率设置为0.5;该预训练模型以批尺寸batch size为32,迭代周期epoch数为80进行训练,最终得到图像分类神经网络模型Mc并保存其网络参数θc;
步骤3.3、在PyTorch上加载在步骤3.2中得到的图像分类神经网络模型Mc,在图像集B中的验证集和测试集上进行测试,验证震后建筑损伤等级判定模型即Mc的准确度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011405061.8A CN112381060B (zh) | 2020-12-04 | 2020-12-04 | 一种基于深度学习的建筑物地震破坏等级分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011405061.8A CN112381060B (zh) | 2020-12-04 | 2020-12-04 | 一种基于深度学习的建筑物地震破坏等级分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112381060A true CN112381060A (zh) | 2021-02-19 |
CN112381060B CN112381060B (zh) | 2022-05-20 |
Family
ID=74590473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011405061.8A Active CN112381060B (zh) | 2020-12-04 | 2020-12-04 | 一种基于深度学习的建筑物地震破坏等级分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112381060B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378967A (zh) * | 2021-06-28 | 2021-09-10 | 哈尔滨工业大学 | 一种基于卷积神经网络与迁移学习的结构健康监测多元数据异常诊断方法 |
CN113450333A (zh) * | 2021-06-30 | 2021-09-28 | 哈尔滨工业大学 | 基于机器学习的钢筋混凝土柱地震损伤程度评估方法 |
CN113516169A (zh) * | 2021-05-19 | 2021-10-19 | 哈尔滨理工大学 | 一种基于深度学习的建筑震后破坏等级分类方法 |
CN114117617A (zh) * | 2021-12-08 | 2022-03-01 | 哈尔滨工业大学 | 一种三跨内廊式rc框架建筑地震响应的快速预测方法 |
CN115390136A (zh) * | 2022-08-15 | 2022-11-25 | 上海核工程研究设计院有限公司 | 一种地震psa定量化的二次抽样方法及系统 |
CN115797297A (zh) * | 2022-12-05 | 2023-03-14 | 哈尔滨工业大学 | 震后建筑结构健康诊断多任务学习方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011065419A1 (ja) * | 2009-11-26 | 2011-06-03 | 株式会社パスコ | 家屋倒壊領域抽出システム、家屋倒壊領域抽出方法、及び家屋倒壊領域抽出プログラム |
CN102496023A (zh) * | 2011-11-23 | 2012-06-13 | 中南大学 | 像素层面的感兴趣区域提取方法 |
CN104239885A (zh) * | 2014-09-05 | 2014-12-24 | 北京航天控制仪器研究所 | 一种基于无人机航拍的地震灾害损毁度评估方法 |
CN108170906A (zh) * | 2017-12-11 | 2018-06-15 | 哈尔滨工业大学 | 一种基于典型相关分析的多元地震破坏势评估方法 |
CN109543616A (zh) * | 2018-11-23 | 2019-03-29 | 北京师范大学 | 一种震后目标实物的损毁评估方法、装置、设备及介质 |
CN110796152A (zh) * | 2020-01-06 | 2020-02-14 | 杭州鲁尔物联科技有限公司 | 一种基于倾斜摄影的群体建筑物震害提取方法及系统 |
CN111126308A (zh) * | 2019-12-26 | 2020-05-08 | 西南交通大学 | 结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法 |
CN111126183A (zh) * | 2019-12-09 | 2020-05-08 | 武汉大学 | 一种基于近地面影像数据的震后建筑物损毁检测方法 |
CN111860106A (zh) * | 2020-05-28 | 2020-10-30 | 江苏东印智慧工程技术研究院有限公司 | 一种无监督的桥梁裂缝识别方法 |
CN111985355A (zh) * | 2020-08-01 | 2020-11-24 | 桂林理工大学 | 基于深度学习和云计算的遥感建筑物震害评估方法和系统 |
-
2020
- 2020-12-04 CN CN202011405061.8A patent/CN112381060B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011065419A1 (ja) * | 2009-11-26 | 2011-06-03 | 株式会社パスコ | 家屋倒壊領域抽出システム、家屋倒壊領域抽出方法、及び家屋倒壊領域抽出プログラム |
CN102496023A (zh) * | 2011-11-23 | 2012-06-13 | 中南大学 | 像素层面的感兴趣区域提取方法 |
CN104239885A (zh) * | 2014-09-05 | 2014-12-24 | 北京航天控制仪器研究所 | 一种基于无人机航拍的地震灾害损毁度评估方法 |
CN108170906A (zh) * | 2017-12-11 | 2018-06-15 | 哈尔滨工业大学 | 一种基于典型相关分析的多元地震破坏势评估方法 |
CN109543616A (zh) * | 2018-11-23 | 2019-03-29 | 北京师范大学 | 一种震后目标实物的损毁评估方法、装置、设备及介质 |
CN111126183A (zh) * | 2019-12-09 | 2020-05-08 | 武汉大学 | 一种基于近地面影像数据的震后建筑物损毁检测方法 |
CN111126308A (zh) * | 2019-12-26 | 2020-05-08 | 西南交通大学 | 结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法 |
CN110796152A (zh) * | 2020-01-06 | 2020-02-14 | 杭州鲁尔物联科技有限公司 | 一种基于倾斜摄影的群体建筑物震害提取方法及系统 |
CN111860106A (zh) * | 2020-05-28 | 2020-10-30 | 江苏东印智慧工程技术研究院有限公司 | 一种无监督的桥梁裂缝识别方法 |
CN111985355A (zh) * | 2020-08-01 | 2020-11-24 | 桂林理工大学 | 基于深度学习和云计算的遥感建筑物震害评估方法和系统 |
Non-Patent Citations (4)
Title |
---|
付博: "基于无人机正射影像的建筑物震害识别研究", 《中国优秀硕士学位论文全文数据库基础科学辑》 * |
陈梦: "基于深度学习的建筑物震害遥感识别研究", 《中国优秀硕士学位论文全文数据库基础科学辑》 * |
陈鹏 等: "利用ResNet 进行建筑物倒塌评估", 《武汉大学学报信息科学版》 * |
黄永 等: "基于分形理论和小波包变换的损伤识别方法", 《第六届全国土木工程研究生学术论坛》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516169A (zh) * | 2021-05-19 | 2021-10-19 | 哈尔滨理工大学 | 一种基于深度学习的建筑震后破坏等级分类方法 |
CN113378967A (zh) * | 2021-06-28 | 2021-09-10 | 哈尔滨工业大学 | 一种基于卷积神经网络与迁移学习的结构健康监测多元数据异常诊断方法 |
CN113378967B (zh) * | 2021-06-28 | 2022-11-08 | 哈尔滨工业大学 | 一种基于卷积神经网络与迁移学习的结构健康监测多元数据异常诊断方法 |
CN113450333A (zh) * | 2021-06-30 | 2021-09-28 | 哈尔滨工业大学 | 基于机器学习的钢筋混凝土柱地震损伤程度评估方法 |
CN113450333B (zh) * | 2021-06-30 | 2022-01-28 | 哈尔滨工业大学 | 基于机器学习的钢筋混凝土柱地震损伤程度评估方法 |
CN114117617A (zh) * | 2021-12-08 | 2022-03-01 | 哈尔滨工业大学 | 一种三跨内廊式rc框架建筑地震响应的快速预测方法 |
CN115390136A (zh) * | 2022-08-15 | 2022-11-25 | 上海核工程研究设计院有限公司 | 一种地震psa定量化的二次抽样方法及系统 |
CN115390136B (zh) * | 2022-08-15 | 2024-05-10 | 上海核工程研究设计院股份有限公司 | 一种地震psa定量化的二次抽样方法及系统 |
CN115797297A (zh) * | 2022-12-05 | 2023-03-14 | 哈尔滨工业大学 | 震后建筑结构健康诊断多任务学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112381060B (zh) | 2022-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112381060B (zh) | 一种基于深度学习的建筑物地震破坏等级分类方法 | |
CN111444821B (zh) | 一种城市道路标志自动识别方法 | |
CN108596101B (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
CN110619283B (zh) | 一种无人机正射影像道路自动提取方法 | |
CN109376606B (zh) | 一种电力巡检图像杆塔基础故障检测方法 | |
CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
CN110619282A (zh) | 一种无人机正射影像建筑物自动提取方法 | |
CN108229589B (zh) | 一种基于迁移学习的地基云图分类方法 | |
CN111914795A (zh) | 一种航拍图像中旋转目标检测方法 | |
CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
CN113177560A (zh) | 一种普适性轻量级深度学习车辆检测方法 | |
CN111178206A (zh) | 一种基于改进yolo的建筑预埋件检测方法及系统 | |
CN113420643B (zh) | 基于深度可分离空洞卷积的轻量级水下目标检测方法 | |
CN113255589B (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
CN110751209B (zh) | 一种融合深度图像分类和检索的智能台风定强方法 | |
CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
CN112528934A (zh) | 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法 | |
CN110334719B (zh) | 一种提取遥感影像中建筑物图像的方法及系统 | |
CN116206185A (zh) | 一种基于改进YOLOv7的轻量级小目标检测方法 | |
CN114170531B (zh) | 基于困难样本迁移学习的红外图像目标检测方法和装置 | |
CN114049572A (zh) | 识别小目标的检测方法 | |
CN115512247A (zh) | 基于图像多参数提取的区域建筑损伤等级评定方法 | |
Wu et al. | Single shot multibox detector for vehicles and pedestrians detection and classification | |
CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |