CN116310791A - 基于建筑物震害检测的极灾区快速判定方法及电子设备 - Google Patents

基于建筑物震害检测的极灾区快速判定方法及电子设备 Download PDF

Info

Publication number
CN116310791A
CN116310791A CN202310055454.8A CN202310055454A CN116310791A CN 116310791 A CN116310791 A CN 116310791A CN 202310055454 A CN202310055454 A CN 202310055454A CN 116310791 A CN116310791 A CN 116310791A
Authority
CN
China
Prior art keywords
earthquake
building
earthquake damage
model
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310055454.8A
Other languages
English (en)
Other versions
CN116310791B (zh
Inventor
李晓丽
杨建思
杨凡
刘耀辉
李志强
郑钰
徐志强
姜旭东
段乙好
徐志双
文鑫涛
陈雅慧
张云芝
任静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INSTITUTE OF GEOPHYSICS CHINA EARTHQUAKE ADMINISTRATION
CHINA EARTHQUAKE NETWORKS CENTER
Original Assignee
INSTITUTE OF GEOPHYSICS CHINA EARTHQUAKE ADMINISTRATION
CHINA EARTHQUAKE NETWORKS CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INSTITUTE OF GEOPHYSICS CHINA EARTHQUAKE ADMINISTRATION, CHINA EARTHQUAKE NETWORKS CENTER filed Critical INSTITUTE OF GEOPHYSICS CHINA EARTHQUAKE ADMINISTRATION
Priority to CN202310055454.8A priority Critical patent/CN116310791B/zh
Publication of CN116310791A publication Critical patent/CN116310791A/zh
Application granted granted Critical
Publication of CN116310791B publication Critical patent/CN116310791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明公开了一种基于建筑物震害检测的极灾区快速判定方法及电子设备，通过结合高精细地理国情普查建筑物数据与震后无人机高分辨率遥感影像，并充分利用卷积神经网络强大的层次化特征学习能力和迁移性能，以建筑物震害检测为核心，从检测精度和检测时间两个角度，定位于快速判定，平衡检测精度和检测速度，构建出对应的建筑物震害检测模型，融合国情普查房屋建筑物数据提高震害检测的速度和效率，并借助于迁移学习将其应用于新发生地震，通过识别新发生地震震后遥感影像中的倒塌建筑物，计算倒塌率，结合其他多源数据可实现精确的、高时效的极灾区判定。

Description

基于建筑物震害检测的极灾区快速判定方法及电子设备
技术领域
本发明涉及地震应急技术领域，特别是涉及一种基于建筑物震害检测的极灾区快速判定方法及电子设备。
背景技术
快速判定地震极灾区的方法对加快地震应急救援速度和提高救援效率、应急处置和应对地震灾害具有重要作用，是地震应急救援的重要研究领域，也是地震应急理论寻求的突破方向之一。快速、准确、科学地判定地震极灾区的位置、范围和破坏程度是提高救援救灾效率的重要前提，是应急救援时效的重要保障。
目前地震极灾区快速评估的方法目前主要有四种：一是基于烈度衰减关系计算地震影响场；二是基于强震观测台网的仪器烈度速报方法；三是基于与承灾体破坏相关的大数据进行间接判定的方法；四是综合法；但上述这些方法多用于判定地震的影响范围，上述第一、第二和第四种方法均从地震发生发展机理出发开展地震影响场的快速判定，考虑了诸多的因素如震中、震级、历史地震经验参考、场地条件、余震分布等等，震后能够实时的为地震应急、公共信息发布、损失评估、等工作提供有价值的信息，但是没有关注承灾体，不能很好的反映承灾体的具体受灾程度，而第三种方法是是灾害承灾体对地震动能的间接反应，但不能准确反应承灾体受灾情况和需要救援对象的具体位置。
鉴于地震中约95％的人员伤亡是由于建筑物破坏和倒塌造成的，基于建筑物震害进行极灾区的快速判定更加直接有效。而相比于前面四种方法，利用与人员伤亡有直接关联的建筑物震害进行极灾区的判定对于人员搜救来说更加直接有效，更有针对性，为极灾区的快速判定提供了新的突破点。
发明内容
本发明要解决的技术问题是提供一种基于建筑物震害检测的极灾区快速判定方法及电子设备，其解决了现有极灾区判定方法无法利用建筑物震害进行快速判定的问题，从而克服现有技术的不足。
为解决上述技术问题，本发明提供一种基于建筑物震害检测的极灾区快速判定方法，其包括如下步骤：
S1.从房屋震害特征分析、破坏程度分级和震害结构分类角度，基于历史震例的震后遥感影像数据分别制作含结构信息和不含结构信息的建筑物震害样本数据集，兼顾检测精度及检测时效，融合注意力机制、特征融合及模型轻量化设计分别构建两种建筑物震害检测模型，利用训练样本数据集对建筑物震害检测模型进行训练，获得最优建筑物震害检测模型；
S2.基于新发生地震灾区的震前地理国情普查的房屋建筑物矢量数据和居民点分布数据定位筛选出震中周边建筑物密集的区域，并根据筛选结果完成无人机航拍路径的规划；
S3.利用无人机航拍获取新发生地震灾区的遥感影像数据，将新获取的遥感影像输入已训练好的最优建筑物震害检测模型中，并通过基于样本的迁移方法或基于模型的迁移方法进行新震例建筑物震害的检测；
S4.根据检测结果是否满足需求，判定是否进行建筑物震害检测模型的重新训练:若检测结果满足需求，则进行下一步；若检测结果未满足需求，则基于新发生地震灾区的部分建筑物数据制作微训练样本，并冻结最优建筑物震害检测模型的中、低层通用特征的权重，采用随机权重替换高层语义特征权重，然后基于微训练样本重新训练最优建筑物震害检测模型，得到二次建筑物震害检测模型并替换至最优建筑物震害检测模型，再将新发生地震灾区的遥感影像输入替换后的最优建筑物震害检测模型，进行重新检测，直至检测结果满足需求；
S5.依据检测结果和新发生地震灾区建筑物数据中的房屋栋数计算得到新发生地震灾区的房屋倒塌率，同时结合多源数据，综合判定出新发生地震的极灾区分布范围；
S6.基于新发生地震的震后遥感影像数据扩充制作新的训练样本数据集，并重新训练建筑物震害检测模型，且保存新的最优建筑物震害检测模型，以作为下一次新发生地震检测的建筑物震害检测模型。
作为本发明的进一步改进，所述建筑物震害检测模型采用基于注意力机制和特征融合的震害检测模型，所述基于注意力机制和特征融合的震害检测模型采用SSD300模型架构作为基础架构，采用空洞卷积代替部分池化层进行下采样，通过下采样将浅层特征融入到深层特征中；同时采用上采样的方法将深层特征的语义信息融入到浅层特征中；进行特征融合时分别将Cov3_3、Conv4_3与Conv7进行融合，将Conv4_3、Conv7与Conv8_2进行融合，将Conv7、Conv8_2与Conv9_2进行融合，通过融合分别生成新特征图层Conv4_3_n，Conv7_n与Conv8_2_n，新特征层与高层特征层Conv8_2，Conv10_2，Conv11_2共同作为特征检测图层；同时新特征图Conv4_3_n、Conv7_n、Conv8_2_n以及高层特征层Conv9_2、Conv10_2、Conv11_2分别通过注意力机制模块，对震害特征进行增强，最终实现震害的分类和定位。
作为本发明的一种改进，所述建筑物震害检测模型采用基于轻量卷积的震害检测模型，所述基于轻量卷积的震害检测模型采用MobileNetV2作为基础网络，并融合SSD300算法网络架构：所述建筑物震害检测轻量模型在MobileNetV2的卷积层Conv19之后设有8个卷积层Conv20_1、Conv20_2、Conv21_1、Conv21_2、Conv22_1、Conv22_2、Conv23_1、Conv23_2作为辅助层，并利用辅助层取代MobileNetV2的平均池化层和全连接层；同时选取MobileNetV2中Conv14与Conv19的特征图，以及辅助层中Conv20_2、Conv21_2、Conv22_2和Conv23_2的特征图作为用于分类的特征层，所述特征层的尺寸依次分别为19×19、10×10、5×5、3×3、2×2以及1×1；所述卷积层Conv14与Conv19以及辅助层中Conv20_2、Conv21_2、Conv22_2与Conv23_2的特征图分别经过对应的注意力机制模块，对建筑物震害特征进行增强。
作为本发明的一种改进，所述建筑物震害检测模型中注意力机制模块采用ECA注意力模块、SE注意力模块或CBAM注意力模块。
作为本发明的进一步改进，所述建筑物震害检测模型中IOU值设定范围为0.3-0.6，且模型迭代时长设定为40000次以上。
作为本发明的进一步改进，所述S1步骤利用训练样本数据集对建筑物震害检测模型训练，获得最优建筑物震害检测模型过程中，训练样本的尺寸采用512×512，测试样本及验证样本的尺寸均采用300×300。
作为本发明的进一步改进，所述基于注意力机制和特征融合的震害检测模型中所采用的注意力机制模块选用ECA注意力模块，且震害检测模型中IOU值设定为0.4，迭代时长设定40000-120000次。
作为本发明的进一步改进，所述基于轻量卷积的震害检测模型所采用的注意力机制模块选用ECA注意力模块，且震害检测模型中IOU值设定为0.3，迭代时长设定40000-120000次。
作为本发明的进一步改进，所述S1步骤中所构建的训练样本数据集包括不含结构信息的建筑物震害样本数据集和含结构信息的建筑物震害样本数据集，且构建的训练样本数据集前需首先对遥感影像数据进行图像匀光匀色和去雾处理；训练样本数据集构建完成后还需采用边缘检测的方式将训练样本翻倍，并采用旋转、镜像、亮度变换、高斯扰动、仿射变化方法相组合的方式对图像进行增强。
进一步，本发明还公开有一种电子设备，该电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行如上述的极灾区判定方法。
采用这样的设计后，本发明至少具有以下优点：
(1)本发明的极灾区判定方法通过结合高精细地理国情普查建筑物数据与震后无人机高分辨率遥感影像，并充分利用卷积神经网络强大的层次化特征学习能力和迁移性能，以建筑物震害检测为核心，从检测精度和检测时间两个角度，定位于快速判定，平衡检测精度和检测速度，构建出对应的建筑物震害检测模型，并融合国情普查房屋建筑物数据提高震害检测的速度和效率，并借助于迁移学习将其应用于新发生地震，通过识别新发生地震震后遥感影像中的倒塌建筑物，计算倒塌率，结合其他多源数据可实现精确的、高时效的极灾区判定。
(2)本发明的建筑物震害检测模型通过在原有SSD300模型架构的基础上，引入注意力机制对建筑物震害进行增强，通过特征融合将震害的低层细节和高层语义特征充分融合起来，解决了原有SSD算法存在的重复检测、对小目标不敏感等问题，基于特征融合和注意力机制对网络结构进行改进，将高层语义特征与低层细节特征进行充分融合，使二者优势互补，同时对特征图中的关键震害信息给予更多的关注，提高建筑物震害检测的精度，改善了检测效果。
(3)本发明的建筑物震害检测模型通过采用MobileNetV2作为基础网络，融合SSD300网络架构，构建出轻量级建筑物震害检测模型，采用特征金字塔的方式进行多尺度特征图融合预测，在震害检测模型轻量化过程中也融入ECA注意力机制，对建筑物震害特征进行增强，通过平衡时间和精度，牺牲部分检测精度提升速度，同时通过适当降低置信度阈值的方式，提高模型的实际检测效果。
(4)本发明的极灾区判定方法通过预训练模型直接进行建筑物震害的迁移检测，并鉴于建筑物震害检测模型结果误检比例较少，其检测结果具有很高的可信度，可通过直接迁移检测进行新发生地震灾区震害的粗检测，通过对检测效果与实际情况进行评估，可进一步通过制作少量新样本对模型的高层语义特征进行重新提取，进而达到高精度检测的目的。
附图说明
上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1是本发明实施例中对遥感影像进行图像匀光匀色处理的示意图。
图2是本发明实施例中对遥感影像进行图像去雾处理的示意图。
图3是本发明实施例中不含结构信息建筑物震害样本标注实例示意图。
图4是本发明实施例中含结构信息建筑物震害样本标注实例示意图。
图5是本发明实施例中训练样本数据集进行数据增强的效果示例图。
图6是本发明实施例中建筑物震害样本数据集制作流程图。
图7是本发明实施例1中震害检测模型EBD_AFSSD的结构图。
图8是本发明实施例1中震害检测模型中特征融合的流程图。
图9是本发明实施例1中不同尺寸样本的检测结果精度变化曲线图。
图10是本发明实施例1中引入注意力机制的四种模型训练损失曲线图。
图11是本发明实施例1中引入注意力机制的四种模型mAP值变化曲线图。
图12是本发明实施例1中引入注意力机制的四种模型检测可视化结果图。
图13是本发明实施例2中震害检测模型EBD_AFSSDLite的结构图。
图14是本发明实施例2中震害检测模型在不同IOU值时检测精度变化曲线图。
图15是本发明实施例2中震害检测模型不同置信度阈值下召回率变化曲线图。
图16是本发明实施例3中极灾区判定方法的流程图。
图17是本发明实施例3中无人机遥感影像采集点分布图。
具体实施方式
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本实施例中首先基于历史震例的遥感影像数据制作建筑物震害样本库，xBD数据集(高分辨率卫星图像标注数据集)是迄今为止第一个最大规模的建筑物灾害评估遥感数据集，考虑到国内外建筑物建筑结构的差异性导致建筑物震害特征的差异性，本实施例基于国内地震中所收集的分辨率优于1m的无人机遥感影像构建了适应于我国建筑物震害检测的样本数据集。
本实施例中所采用的历史遥感影像是利用无人机于2008年5月15日至22日在某地震现场获取的大量遥感影像，上述遥感影像大小为3888×2592像素，其覆盖了共计6771个数据采集点，无人机采集数据的地区大部分分布于基本烈度VIII度及以上地区，且上述遥感影像采集于震后10天内，其人为因素造成的变动较少，可较好呈现建筑物震害的原始状态，有利于后期震害特征的分析和提取。上述地区的房屋类型主要包括框架结构、砖混结构、土木结构、砖木结构等，具备我国西南地区房屋建筑物的典型特征，基本上囊括了我国主要的房屋结构类型，保障了样本的代表性。
本实施例中用于制作建筑物震害样本库所采用的历史遥感影像因获取的时间、天气、环境等不同，可能导致图像之间的亮度、色彩之间出现明显差异，故本实施例在制作样本前首先会针对遥感影像进行数据预处理。本实施例中数据预处理主要包括图像匀光匀色和去雾。其通过图像的匀光匀色，如图1所示，可调整图像的色彩和亮度，使图像色彩一致，亮度均匀；而通过图像去雾可去除雾霾的遮挡，如图2所示，便于震害的识别和解译。
之后本实施例根据在历史地震中所收集的灾区无人机高分辨率遥感影像，对建筑物震害形式进行了总结，并综合考量高分辨率遥感影像建筑物的震害分级和震害结构分类，将建筑物震害的结构分为含木结构震害和非含木结构震害。其中含木结构包括土木、砖木等简易房屋，非含木结构主要包括钢混、砖混等。具体的，处于倒塌或半倒塌状态的木结构，其木架散落，并与土块或砖块混在一起，建筑用木的辨识度高；而非木结构的废弃物堆状散落，有大面积水泥板和方形柱体。因两种二者震害特征差异较大，更易于区分。
本实施例中所构建的建筑物震害样本数据集可细分为两类，一类是不含建筑物结构信息的建筑物震害样本数据集，如图3所示，另外一类是含建筑物结构信息的建筑物震害样本数据集，如图4所示，分别用于后期不含结构信息的倒塌建筑物的检测与含结构信息的倒塌建筑物的检测。不含结构信息的建筑物震害样本数据集标注类别只有一个即为damaged，代表倒塌建筑物或者部分倒塌建筑物的倒塌部分。在含结构信息的建筑物震害样本数据集中标注类别有两个，一类是wooddamaged代表木结构倒塌建筑或部分倒塌木结构建筑的倒塌部分，另一类是damaged代表非木结构倒塌建筑或者部分倒塌非木结构建筑的倒塌部分。建筑物震害样本数据集制作流程如下图6所示。
具体的，本实施例在制作震害样本数据库过程中，首先将研究区域对应的遥感影像批量分割为512×512像素，共获得52000余张图像，通过筛选得到含有建筑物震害信息的图像1809张，然后对这些图像通过目视解译的方式完成样本标注，最终获得震害样本1809个，标注实例总数为4773个，该尺寸数据集空间分布情况如表1所示，
表1样本采集数量分布表(512×512)
Figure BDA0004060487610000091
其次，作为对照组，本实施例还将研究区的影像同时分割为1024×1024像素，共获得13000余张图像，通过筛选得到含有建筑物震害信息的图像1047张，然后对这些图像通过目视解译的方式完成样本的标注，最终获得震害样本1047个，标注实例总数为5564个。其具体空间分布情况如表2所示，
表2样本采集数量分布表(1024×1024)
Figure BDA0004060487610000092
Figure BDA0004060487610000101
更进一步的，本实施例中为更加突出建筑物倒塌所带来的图像灰度值变化的跳跃性，本实施例中首先采用边缘检测的方式将训练样本翻倍，然后采用旋转、镜像、亮度变换、高斯扰动、仿射变化方法相组合的方式对图像进行增强，并且实际操作时对每一种方法的应用增加一定的概率，这样能在增加数据多样性的同时更好的保持原有数据的真实性。最终得到12倍于原训练数据集的数据，共计17580张。同时在图像增强的同时，还要对相应的标注进行增强，本实施例采用同步增强的方式完成样本的标注，该训练样本增强具体效果可参照如图5所示，图5中白框表示标注框。
本实施例中基于历史震例中无人机所采集的高分辨率遥感影像构建出建筑物震害样本数据集，并根据是否含有震害结构信息，将数据集筛选分为含结构信息的建筑物震害样本数据集和不含结构信息的建筑物震害样本数据集两类，共计采集样本5904个，标注震害实例21047个。
本实施例中在建筑物震害样本库构建完成后，则需进一步构建建筑物震害检测模型。本实施例鉴于震后应急救援的急迫性和紧迫性，本实施例基于从极灾区判定的实际需求出发，选定集分类与定位于一体的目标检测作为主要的震害提取方法，并以此构建建筑物震害检测模型。
具体的，本实施例中有两种震害提取方法：一种为基于检测精度角度出发所提出的基于注意力机制和特征融合的建筑物震害检测方法；另一种为基于检测时效角度出发所提出的基于轻量卷积的建筑物震害检测方法。
实施例1：
本实施例1在SSD300模型架构的基础上，提出了基于特征融合和注意力机制的震害检测模型EBD_AFSSD(Earthquake-induced Building Damage SSD with Attention andFeature Fusion)，其改进后的震害检测模型如图7所示，该模型基于特征融合和注意力机制对网络结构进行改进，引入注意力机制对建筑物震害进行增强，通过特征融合方式将震害的低层细节和高层语义特征进行融合，以此改善检测效果。
具体的，震害检测模型EBD_AFSSD中将VOC2007数据集中原有类别数为20类，调整为2类或3类。其中2类用于不含结构信息的建筑物震害检测，目标类别包括倒塌建筑物类，亦包含部分倒塌建筑物的倒塌部分和背景类。3类用于包含结构信息的震害检测，目标类别包括含木结构倒塌建筑物类，非含木结构倒塌建筑物类和背景类，其中含木结构倒塌建筑物类亦包含含木结构部分倒塌建筑物的倒塌部分，非含木结构倒塌建筑物类亦包含非含木结构部分倒塌建筑物的倒塌部分。
本实施例1在进行特征融合时采用空洞卷积代替部分池化层进行下采样，通过下采样将浅层特征融入到深层特征中，使模型学到更多中小占比的震害信息。同时引入上采样的方法，例如反卷积或插值法，将深层特征的语义信息融入到浅层特征中。本实施例1中特征融合共包括三部分，一是Cov3_3、Conv4_3与Conv7的融合；二是Conv4_3、Conv7与Conv8_2的融合；三是Conv7、Conv8_2与Conv9_2的融合，通过融合共生成三个新的特征图层Conv4_3_n，Conv7_n与Conv8_2_n。然后将这三个新的特征层与高层特征层Conv8_2，Conv10_2，Conv11_2共同作为数据集的特征检测图。特征融合的算法流程可参照图8所示。
将上述融合后的特征检测图中所得到的特征图Conv4_3_n、Conv7_n、Conv8_2_n、Conv9_2、Conv10_2与Conv11_2分别通过注意力机制模块，对震害特征进行增强，最终实现震害的分类和定位。
本实施例1中可采用的注意力机制包括SE(Squeeze-and-Excitation)、ECA(Efficient Channel Attention)和CBAM(Convolutional Block Attention Module)三种注意力机制，其分别构成了三种相应的震害检测模型SSD_SE，SSD_ECA，SSD_CBAM。
本实施例1中为了对比分析上述不同注意力机制在震害检测时的性能，本实施例1在模型训练过程中分别使用上述三种注意力机制构成的震害检测模型SSD_SE，SSD_ECA，SSD_CBAM，最后根据对比分析结果将精度最高的作为震害检测模型EBD_AFSSD的注意力机制模块。
本实施例1中为了对改进后的震害检测模型进行评价，会在训练完成后将训练生成的结果模型加载到相应网络中，对测试集进行检测识别，完成模型的精度性能评价。在目标检测中，通常采用平均精度均值(Mean Average Precision,mAP)对模型检测精度进行评估。本实施例1进一步考虑到极灾区判定时对速度和效率的要求，除了采用平均精度均值外，本实施例还选取了检测帧率(Frame Per Second，FPS)、参数量(Model Size)及迭代一次所用的平均时间(Average Time Per Iter)，即训练总时长与总迭代次数的比值，作为评估模型检测精度的性能度量指标，其中参数量的大小由模型文件的存储空间占有量来表示，其值越小表明震害检测模型越简单，计算量越小。
本实施例1中实验中随机抽取样本数据集中的80％数据作为训练集，10％数据作为验证集，10％数据作为测试集，并在模型训练前对训练集进行数据增广。模型训练过程中采用在VOC2007数据集上预训练的VGG16基础模型进行初始化，并通过SGD优化器最小化损失函数，在训练集中的遥感影像进入模型训练前都会统一将影像尺寸缩放到300*300像素。
本实施例1进行了三种实验评估，具体为：
实验1：样本尺寸对模型精度的影响实验：
实验1中为了能在节省样本制作时间的同时保证震害检测的精度，首先分别利用不含结构信息的数据集1(样本原始尺寸为1024×1024)和数据集3(样本原始尺寸为512×512)训练SSD300模型，模型训练完成后分别采用1024×1024,512×512,300×300，200×200四个尺寸的测试样本数据集进行测试，前后共计包括8个实验组，其中300×300，200×200尺寸的样本数据是在512×512测试数据集的基础上制作的，300×300样本数据共计123个，含震害实例239个，200×200样本数据共计69个，含震害实例134个。模型总迭代次数为24万次(约为428个Epoch)。
本实施例1中实验1中共计迭代24万次，每迭代2000次保存一次模型，实验结果对比如表3所示，其精度变化曲线如图9所示，其中图9中的横坐标为迭代次数，图9中线A或a为测试样本是1024×1024的结果，线B或b为测试样本是512×512的结果，线C或c为测试样本是300×300的结果，线D或d为测试样本是200×200的结果；其中粗线的训练样本尺寸为1024×1024，细线的训练样本尺寸为512×512。
表3实验1结果对比表
Figure BDA0004060487610000131
结合图9及表3可以看出，训练样本原始尺寸为512×512时的模型检测精度要显著优于1024×1024，而测试样本采集尺寸从1024×1024降至512×512，512×512降至300×300时模型检测精度均有大幅度提高，而300×300将至200×200时检测精度开始下降，因此模型训练样本采样尺寸取512×512，测试样本和验证样本的尺寸取300×300时，所获得的检测精度最佳，所以本实施例1后续实验中均采用512×512的训练样本，测试样本和验证样本的尺寸均为300×300。
实验2：融合不同注意力机制模块的震害检测模型精度对比实验。
本实验2采用数据集2中样本尺寸为512×512的含结构信息的震害样本分别对SSD、SSD_SE、SSD_ECA、SSD_CBAM4个模型开展训练、验证和测试，总迭代次数为16万次(约为285个Epoch)。
实验3：IOU值对检测精度的影响实验。
本实验3是基于实验2中训练得到的模型，采用不同的IOU值分别进行测试，本实施例优选IOU值范围为0.2-0.6，然后将每次得到的mAP值进行比较，最终确定适合震害检测的IOU最佳阈值。
本实施例1中实验2记录了4种不同模型在不同训练批次的训练损失和精度，图10和图11分别展示了训练损失值(Loss)和mAP(IOU＝0.5)随着训练批次/迭代次数增加的动态变化情况。结合图10所示，随着训练批次的增加，损失值随着训练批次的增加逐渐降低并趋于平缓，增加注意力机制之后，模型的损失衰减速度优于SSD原模型，其中SSD_CBAM模型的衰减速度最快，SSD_SE模型与SSD_ECA模型的衰减速度相当。
实验2中每2000次迭代保存1次模型参数，共计保存80次，结合图11所示，随着迭代次数的增加，mAP逐渐增加并最终保持在一个较高的水平，其中SSD_ECA模型的表现最好，SSD_SE相较于原模型也有部分改善，SSD_CBAM的性能比原模型要差。迭代次数2万次以内时，SSD原模型的收敛速度最快，SSD_ECA和SSD_SE相当，SSD_CBAM最慢，2万次之后SSD_ECA的收敛速度加快，迭代至12万次时mAP值逐渐稳定并达到最优。
本实施例1针对改进前后的模型，基于测试集分别采用不同的IOU阈值进行了检测，以便确定最佳的震害检测IOU阈值，实验2和实验3检测结果如下表4所示，
表4不同阈值下各模型mAP对比表(训练样本尺寸为512×512)
Figure BDA0004060487610000141
Figure BDA0004060487610000151
其中表4中检测帧率、模型大小和训练总时长与IOU阈值无关，因此重复的部分不再列出；黑色加粗的部分表示该阈值下该类震害检测的最佳精度。
(1)结合表4可以看出，当IOU＝0.5时，模型SSD_ECA的表现最佳，mAP为83.54％，比同IOU阈值下SSD原模型提高了8.76％，其精度的提高主要体现在对含木结构震害的检测上，达到了87.20％，比SSD原模型含木结构震害的检测精度提高了10.40％。
(2)结合表4可以看出，IOU值的变化会引起各个模型检测精度的变化，IOU值从0.6逐渐降至0.2时，各模型的检测精度整体呈提升的趋势，0.6降至0.5、0.5降至0.4时增幅最大，IOU降至0.3、0.2时，mAP值的增幅不显著，且部分模型震害检测开始出现精度降低的情况，因此总体而言，增加注意力机制后的建筑物震害检测模型的IOU阈值取0.4时检测结果最为理想。
3)结合表4从检测精度来看，改进后的模型中，模型SSD_ECA总体表现在各个阈值下的优势显著，表现最佳，其次是模型SSD_SE，表现最差的是模型SSD_CBAM。IOU＝0.4时，模型SSD_ECA的mAP值比阈值＝0.5时提高了4.88％，达到了88.42％，比原SSD模型的精度提高了4.55％，其中含木结构震害检测精度提高了3.95％，达到了91.15％，非含木结构震害检测精度提高了5.81％，达到了85.69％。由于极灾区快速判定中，首先需要解决的问题是震害是否存在的问题，而对于震害的位置精度要求相对较低，因此，在建筑物震害检测后续实验中IOU阈值取0.4最为理想。
4)结合表4中参数量，在模型改进之后，各模型参数量相较SSD原模型均有所增加，但是增幅不大，其中SSD_CBAM的参数量最多，为127.0M，SSD_ECA参数量增加最少，比SSD原模型增加了约10M，增幅约10％。
5)结合表4中FPS值，改进后的各模型FPS值相差不大，最慢的SSD_ECA与最快的SSD_SE速度相差仅为2fps，SSD_ECA与SSD_CBAM与改进前相比，检测速度稍有下降。由于训练过程中随着迭代次数的增加，服务器因长期运转计算性能有所下降导致每次迭代所需要的时间逐渐增加，因此采用平均迭代时长作为参数指标较为合理。从模型训练速度来看，在总迭代次数相同的情况下原模型SSD训练总时长最短，增加注意力机制之后，由于计算参数的增加导致训练速度有所下降，但总体相差不大。
进一步的，为了对比分析改进后的各个模型对建筑物震害检测的优缺点，在数据集2的测试集上，4个模型部分震害检测可视化结果如图12所示，图12中第一排为标注后的原始图像(1)、(2)、(3)、(4)，而第二排、第三排、第四排、第五排分别为模型SSD、SSD_ECA、SSD_CBAM和SD_SE针对上述原始图像的检测结果。各模型检测出的结果均用黑色框(包括damaged和wooddamaged)表示。
从图12的检测结果来看，基于注意力机制和特征融合机制改进后的SSD模型，将高层震害语义特征和低层震害细节特征相结合，增强了特征的表征能力，出现漏检的情况减少，检测效果更好，而且建筑物震害的定位也相对精准。从第四列图像可以看出，注意力机制的加入在一定程度上克服了SSD原模型对小目标的不敏感性，模型SSD_ECA、SSD_CBAM将被树木遮盖了大半的建筑物震害正确的检测了出来，且置信度很高，分别为0.88，0.96。同时模型SSD_ECA检测结果的置信度相对较高，如第一列图像中共有一处倒塌房屋，模型SSD的置信度为0.87，模型SSD_CBAM检测出两处，存在重复检测，置信度分别为0.80、0.91，模型SSD_SE的置信度为0.90，而模型SSD_ECA的置信度为0.94；第三列图像中只有模型SSD_ECA与模型SSD_CBAM检测出了全部震害，前者的置信度分别为0.95、0.67，后者对应的置信度分比为0.90、0.64。同时可以从图中看出，原SSD模型在第三列图像和第四列图像上都出现了漏检的情况，模型SSD_CBAM在第一列图像上出现重复检测，第二列和第四列图像上出现了漏检，模型SSD_SE在第四列图像上出现漏检，而SSD_ECA在这四列图像中没有出现漏检，这是由于该模型通过对不同通道的特征图按照特征的重要程度赋予不同的权重有关，如此可以使训练后的模型更能提取到更具区分性、更显著的特征，这一特点在建筑物不同结构震害检测中表现突出，具有较好的鲁棒性。
更进一步，本实施例1中设置测试集共计123个样本，包括248个建筑物震害实例，其中damaged192个，wooddamaged56个，将测试集中所有的图像进行检测可视化后，统计结果如表5所示，
表5各模型可视化结果统计表
Figure BDA0004060487610000171
其中表5中TP表示能成功检测出的真实目标数，FP表示检测出来的错误目标数，FN为未检测出的真实目标数，P表示准确率，R表示召回率，F1-score值的计算公式如下述公式所示。
Figure BDA0004060487610000181
综上，本实施例1中模型SSD_ECA虽然检测速度稍低，但是从检测精度以及漏检率角度，SSD_ECA的性能最佳，因此，本实施例1中所构建的震害检测模型EBD_AFSSD的注意力机制模块优选采用ECA注意力机制。基于ECA注意力机制和特征融合改进后得到的震害检测模型EBD_AFSSD虽然模型训练速度有所下降，但模型性能得到优化，当IOU值取0.5时，其mAP值比SSD原模型提高了8.76％，IOU值取0.4时，其mAP值比SSD原模型提高了4.55％。
实施例2：
本实施例2中模型则利用震害检测模型进行训练和检测加速，其采用模型轻量化设计的方法来降低计算资源需求，提升模型的性能和运算效率。为将轻量化设计的思想融入到建筑物震害检测中，本实施例2将SSD的基础网络上由原来的VGG16替换为MobileNet，构建轻量级建筑物震害检测模型。
本实施例2中构建的建筑物震害检测模型EBD_AFSSDLite采用MobileNetV2作为基础网络，并融合SSD300网络架构，其在MobileNetV2的卷积层Conv19之后增加8个卷积层Conv20_1、Conv20_2、Conv21_1、Conv21_2、Conv22_1、Conv22_2、Conv23_1、Conv23_2作为辅助层，并用辅助层取代原有的平均池化层和全连接层。同时该模型中用于分类的特征层设置6层，分别取MobileNetV2中的卷积层Conv14和卷积层Conv19的特征图，以及辅助层Conv20_2、Conv21_2、Conv22_2和Conv23_2的特征图，并且将这些特征层的尺寸依次分别设为19×19,10×10,5×5,3×3,2×2,1×1。该EBD_AFSSDLite网络结构图如图13所示。
实施例2模型中采用特征金字塔的方式进行多尺度特征图融合预测。其中该模型采用六个不同尺度的特征图19×19、10×10、5×5、3×3、2×2、1×1构建特征金字塔。同样的，该模型中在震害检测模型检测过程中也融入ECA注意力机制，具体的，将Conv14、Conv19、Conv20_2、Conv21_2、Conv22_2和Conv23_2的特征图分别经过ECA注意力模块，对建筑物震害特征进行增强。
同理针对模型中的震害检测模型进行评价，在训练完成后将训练生成的结果模型加载到相应网络中，对测试集进行检测识别，完成模型的精度性能评价。
实验4：改进后的震害检测网络结构精度对比实验。
实验4包含5个实验组，这5个实验组的网络结构分别为SSD、MobileNet V2+SSD、MobileNetV2+SSD+Focalloss、MobileNetV2+SSD+ECA、MobileNet V2+SSD+ECA+Focalloss，分别采用这5种网络结构进行训练，对训练损失和精度分别进行记录以便进行结果比对。
实验5：训练时长对精度的影响验证实验。
实验5通过调整迭代总次数，对不同训练总时长下的震害检测轻量化模型EBD_AFSSDLite的检测精度进行对比，以便确定进行建筑物震害检测的最佳训练时长。其中训练时长分别取24万，16万，12万，8万，4万，2万，共计6个。
在本实施例2的极灾区快速判定中，由于首要解决问题是震害是否发生，对于震害的位置精度要求相对较低，因此，在建筑物震害检测过程中IOU阈值均取0.4。IOU＝0.4时各模型的mAP值，检测帧率、模型大小和平均迭代时长情况如下表6所示，
表6各模型mAP对比表(IOU＝0.4，Iter＝24万)
Figure BDA0004060487610000191
Figure BDA0004060487610000201
结合表6可知，ECA注意力机制和特征融合的应用弥补了模型轻量化带来的检测精度的损失。模型轻量化后SSD_MobileNetV2的mAP值比SSD原模型降低了3.39％，但是通过6层特征金字塔和注意力机制ECA之后，模型SSD_MobileNetV2_ECA的检测精度提升至86.98％，不仅弥补了检测精度的损失，甚至稍有改善，比SSD原模型提高了0.52％。
结合表6可知，模型轻量化大幅度降低了训练的时间成本。首先模型轻量化之后，模型大小大幅下降，由原来的90.5M降为22.6M，在应用ECA机制时，因只采用了前19层卷积，SSD_MobileNetV2_ECA的参数量下降为17.7M，仅为原来的1/5。参数量的减少带来训练时间的大幅下降，由原来的每次迭代时长为3.26s/iter降为原来的1/5，约为0.61s/iter，以迭代24万次为例，时间由原来的217小时减少为41小时，训练的时间成本大大降低，为极灾区的快速判定提供了时间保障。
结合上述结果可知，本实施例2中应用模型进行震害检测过程中可直接沿用SSD原模型的损失函数，并且模型EBD_AFSSDLite，即模型SSD_MobileNetV2_ECA的检测精度最优，为86.98％，且训练速度仅为SSD原模型的1/5。
实验5通过调整训练时长，对比分析不同训练时长下的检测精度，对比结果如下表7所示，
表7不同迭代次数下震害检测精度对比表
Figure BDA0004060487610000202
Figure BDA0004060487610000211
结合表7可知，采用FocalLoss无论是在精度还是在训练速度都较不采用略有下降，所以本实施例2所构建的建筑物震害检测轻量化模型，不再使用Focal Loss函数，而是沿用原SSD模型的损失函数。
结合表7和图14所示，图14展示了震害检测模型EBD_AFSSDLite在不同IOU值(0.5和0.4)时检测精度随迭代总次数产生的变化曲线，其中线A为IOU值为0.5时的变化曲线，线B为IOU值为0.4时的变化曲线。从图14中可以看出，IOU为0.4的检测精度值优于IOU为0.5，且在迭代总次数为16万次时，模型的mAP值最高，为87.92％。总体来看，随着迭代总次数的减少，检测精度呈下降趋势，但起伏不大，迭代总次数从24万次降至4万次时，检测精度仅比最高时下降了1.29％，但时间却节省了34.25个小时，仅需要6.5个小时。
为了进一步分析不同的迭代次数下训练模型的检测效果，基于不同迭代时长获得的震害检测模型EBD_AFSSDLite，分别计算了其在不同置信度阈值0.3-0.5范围下的准确率P，召回率R以及F1-score值，其中F1的计算公式如下式所示：
Figure BDA0004060487610000221
其中测试集共计123个样本，包括248个建筑物震害实例，检测结果如下表8所示，
表8不同迭代总次数不同置信度阈值下震害检测结果对比
Figure BDA0004060487610000222
结合表8可以看出，其一，在所有迭代时长下，最大的误检实例数为4，误检率仅为1.6％。因此置信度阈值的调整对震害检测的准确率几乎没有影响。
其二，本实施例2模型EBD_AFSSDLite在不同迭代总次数下的检测准确率均很高，其中最高可达100％，最低为98.19％，两者仅差1.81％，F1值从4万次迭代开始，均高于0.8。
其三、本实施例2模型EBD_AFSSDLite的召回率在迭代时长为12万次时最高，置信度阈值设为0.3时为93.15％，置信度阈值设为0.4时为89.52％，置信度阈值设为0.5时为83.87％。进一步结合图15所示，图15中为不同置信度阈值下R值变化曲线，其中线A为置信度阈值0.3的R值变化曲线，线B为置信度阈值0.4的R值变化曲线，线C为置信度阈值0.5的R值变化曲线。从图15中可以看出，不同置信度下的R值曲线总体均呈先上升后下降的趋势，均在迭代总次数为12万时达到峰值，且置信度阈值降低R值明显上升，由此可见模型EBD_AFSSDLite并非迭代次数越多，检测效果越好，过多会导致模型过拟合，检测结果变差。在迭代总次数为4万，当置信度阈值设为0.3时，R值分别为89.11％，比迭代总次数为8万时，相同置信度阈值下的R值仅低1.21％，P值仅低0.1％，F1值仅低0.01。为进一步检验置信度阈值的影响，实验中继续降低该阈值至0.2时，模型重复检测框出现激增，检测结果不可用(图中未示出)。因此，本实施例2中模型EBD_AFSSDLite在进行震害检测时，最低的置信度阈值可设置至0.3，训练次数可低至4万次，此时虽然检测结果置信度不高，但是此时的总训练时长仅为6.5小时，更符合极灾区判定的高时效要求，在时间允许的前提下，可将训练次数增至12万次，可获得更高的检测精度以及具备高置信度的检测结果。
故本实施例2中所构建的震害检测模型EBD_AFSSDLite可大幅降低计算参数，其仅为SSD原模型的1/5，同时训练速度也提升至原来的5倍。
本实施例2中震害检测模型EBD_AFSSDLite的IOU值取0.4，并在6个不同的训练时长下进行实验，通过对比分析训练时长对检测精度的影响。EBD_AFSSDLite在迭代次数为16万次时mAP值最优，为87.92％，比原SSD模型提高了1.46％，训练总时长仅为原来的1/5。其中迭代次数为4万次时mAP值已达到86.63％，虽然仅比SSD原模型高了0.17％，但是训练总时长大大缩短，仅为6.5个小时。因此震害检测模型EBD_AFSSDLite通过牺牲部分精度可大幅减低时间成本，同时检测效果仍可满足震害检测。因此在应急震害检测中通过平衡时间和精度，可牺牲部分检测精度提升速度。
实施例3
本实施例3基于上述实施例1和实施例2中所构建的震害检测模型，提出了一种地震极灾区快速判定方法，具体的结合图16所示，该方法包括下述步骤：
首先从房屋震害特征分析、破坏程度分级和震害结构分类角度，基于历史震例的震后遥感影像数据分别制作含结构信息和不含结构信息的建筑物震害样本数据集，兼顾检测精度及检测时效，融合注意力机制、特征融合及模型轻量化设计分别构建两种建筑物震害检测模型，利用训练样本数据集对建筑物震害检测模型进行训练，获得最优建筑物震害检测模型。其模型构建结构及方法如实施例1或2所述。
之后针对新发生地震，可基于震前普查建筑物矢量数据和居民点分布数据定位筛选出震中周边建筑物密集的区域，并根据筛选结果完成无人机航拍路径的规划，利用无人机航拍获取新发生地震灾区的遥感影像数据。针对无人机获取的遥感影像同样可进行图像预处理，例如图像匀光匀色及去雾处理。
将新发生地震灾区的遥感影像输入最优建筑物震害检测模型中，并通过基于样本的迁移方法或基于模型的迁移方法进行新发生地震建筑物震害的检测；
本实施例3中震害检测中用到的迁移学习主要包括基于样本的迁移学习和基于模型的迁移学习。震害检测模型通过在新的震例中不断地积累震害样本数量，提高震害特征的泛化能力，同时基于已有的震害样本训练性能鲁棒的震害检测模型在实际震例中不标注样本或通过标注少量样本进行迁移应用。本实施例3中深度学习的迁移策略主要有以下两种：
(1)将预先训练好的震害检测模型作为特征提取器提取通用特征。利用深度学习网络的特征分层性，将训练好的模型作为其他数据集目标任务的中、低层特征提取器，从而对训练参数进行初始化，减少训练参数，缓解过拟合，提高收敛速度。
(2)微调预训练网络。通过微调卷积神经网络的超参数，将捕获中低层通用特征的网络冻结，即固定特征权重，用随机权重替换高层语义特征提取网络，并对其基于新目标样本进行训练。
S4.根据检测结果是否满足需求，判定是否进行建筑物震害检测模型的重新训练:若检测结果满足需求，则进行下一步；若检测结果未满足需求，则基于新发生地震灾区的部分建筑物数据制作微训练样本，并冻结最优建筑物震害检测模型的中、低层通用特征的权重，采用随机权重替换高层语义特征权重，然后基于微训练样本重新训练最优建筑物震害检测模型，得到二次建筑物震害检测模型并替换至最优建筑物震害检测模型，再将新发生地震灾区的遥感影像输入替换后的最优建筑物震害检测模型，进行重新检测，直至检测结果满足需求。
根据步骤S4所述，该步骤包括两种迁移检测方式:采用模型共享全部特征参数进行直接检测和利用微训练样本重新训练(共享部分特征参数)进行检测两种。
本实施例3中针对上述两种迁移检测方式进行对比：
首先选取了鲁甸地震灾区4个地点共计4幅影像作为研究区域，如图17中黑色方框圈选区域所示，图中灰色三角为无人机航拍路径轨迹，黑色圆块为村落或乡镇驻地。
本实施例3首先采用基于不含结构信息的建筑物震害数据集训练的EBD_AFSSDLite模型进行迁移，在地点2、地点4首先直接利用预先训练好的模型进行检测，结果如下表9所示：
表9鲁甸地震震害预训练模型直接迁移检测结果统计表
Figure BDA0004060487610000261
结合表9可以看出，直接利用训练好的震害检测模型进行迁移时，检测精度较高，都在80％以上，但是召回率较低，最高仅达32.89％，F1值都在0.5以下，模型的整体检测效果较差，但是综合来看模型检测仍是以漏检为主，误检比例较小。
之后采用上述第2种迁移检测方式，基于新发生地震制作少量样本，冻结已训练好的震害模型的中、低层通用特征的权重，用随机权重替换高层语义特征权重，然后基于新样本进行训练。
首先基于地点1、地点3制作样本，重新训练后保存模型参数，之后在地点2和地点4进行检测，最后对检测结果进行对比分析，检测结果统计如下表10所示。
表10鲁甸地震震害预训练模型部分参数共享迁移检测结果统计表
Figure BDA0004060487610000262
从表10中可以看出，重新训练后模型在地点2、地点4的检测准确率分别为96.88％、87.07％，召回率都在80％以上，F1分数均高于88％，检测效果较直接迁移的方式有了大幅度的提升，漏检率显著降低。通过国情普查房屋建筑物数据进行检测结果后处理剔除明显的误检后地点4的检测结果通过后处理，FP由15变为10，检测的准确率即可达到90.99％。
由上述可知，在新发生地震中可先通过预训练的模型直接进行建筑物震害的迁移检测，进而完成灾区震害的粗检测，如果检测效果较实际情况相差很远，可进一步通过制作少量新样本对模型的高层语义特征进行重新提取，进一步达到高精度检测的目的。
S5.依据检测结果和新发生地震灾区建筑物数据中的房屋栋数计算得到新发生地震灾区的房屋倒塌率，同时结合多源数据，综合判定出新发生地震的极灾区分布范围；
S6.基于新发生地震的震后遥感影像数据扩充制作新的训练样本数据集，并重新训练建筑物震害检测模型，且保存新的最优建筑物震害检测模型，以作为下一次新发生地震检测的建筑物震害检测模型。
同时本实施例3还提供了一种电子设备，该电子设备包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例3中的极灾区判定方法。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (10)

1.一种基于建筑物震害检测的极灾区快速判定方法，其特征在于，包括如下步骤：
S1.从房屋震害特征分析、破坏程度分级和震害结构分类角度，基于历史震例的震后遥感影像数据分别制作含结构信息和不含结构信息的建筑物震害样本数据集，兼顾检测精度及检测时效，融合注意力机制、特征融合及模型轻量化设计分别构建两种建筑物震害检测模型，利用训练样本数据集对建筑物震害检测模型进行训练，获得最优建筑物震害检测模型；
S2.基于新发生地震灾区震前地理国情普查房屋建筑物矢量数据和居民点分布数据定位筛选出震中周边建筑物密集的区域，并根据筛选结果完成无人机航拍路径的规划；
S3.利用无人机航拍获取新发生地震灾区的遥感影像数据，并将新获取的遥感影像输入已训练好的最优建筑物震害检测模型中，通过基于样本的迁移方法或基于模型的迁移方法进行新震例建筑物震害的检测；
S4.根据检测结果是否满足需求，判定是否进行建筑物震害检测模型的重新训练:若检测结果满足需求，则进行下一步；若检测结果未满足需求，则基于新发生地震灾区的部分建筑物数据制作微训练样本，并冻结最优建筑物震害检测模型的中、低层通用特征的权重，采用随机权重替换高层语义特征权重，然后基于微训练样本重新训练最优建筑物震害检测模型，得到二次建筑物震害检测模型并替换至最优建筑物震害检测模型，再将新发生地震灾区的遥感影像输入替换后的最优建筑物震害检测模型，进行重新检测，直至检测结果满足需求；
S5.依据检测结果和新发生地震灾区建筑物数据中的房屋栋数计算得到新发生地震灾区的房屋倒塌率，同时结合多源数据，综合判定出新发生地震的极灾区分布范围；
S6.基于新发生地震震后遥感影像数据扩充制作新的训练样本数据集，并重新训练建筑物震害检测模型，且保存新的最优建筑物震害检测模型，以作为下一次新发生地震检测的建筑物震害检测模型。
2.根据权利要求1所述的极灾区判定方法，其特征在于，所述建筑物震害检测模型采用基于注意力机制和特征融合的震害检测模型，所述基于注意力机制和特征融合的震害检测模型采用SSD300模型架构作为基础架构，采用空洞卷积代替部分池化层进行下采样，通过下采样将浅层特征融入到深层特征中；同时采用上采样的方法将深层特征的语义信息融入到浅层特征中；进行特征融合时分别将Cov3_3、Conv4_3与Conv7进行融合，将Conv4_3、Conv7与Conv8_2进行融合，将Conv7、Conv8_2与Conv9_2进行融合，通过融合分别生成新特征图层Conv4_3_n，Conv7_n与Conv8_2_n，新特征层与高层特征层Conv8_2，Conv10_2，Conv11_2共同作为特征检测图层；同时新特征图Conv4_3_n、Conv7_n、Conv8_2_n以及高层特征层Conv9_2、Conv10_2、Conv11_2分别通过注意力机制模块，对震害特征进行增强，最终实现震害的分类和定位。
3.根据权利要求1所述的极灾区判定方法，其特征在于，所述建筑物震害检测模型采用基于轻量卷积的震害检测模型，所述基于轻量卷积的震害检测模型采用Mobi leNetV2作为基础网络，并融合SSD300算法网络架构：所述建筑物震害检测轻量模型在Mobi leNetV2的卷积层Conv19之后设有8个卷积层Conv20_1、Conv20_2、Conv21_1、Conv21_2、Conv22_1、Conv22_2、Conv23_1、Conv23_2作为辅助层，并利用辅助层取代Mobi leNetV2的平均池化层和全连接层；同时选取Mobi leNetV2中Conv14与Conv19的特征图，以及辅助层中Conv20_2、Conv21_2、Conv22_2和Conv23_2的特征图作为用于分类的特征层，所述特征层的尺寸依次分别为19×19、10×10、5×5、3×3、2×2以及1×1；所述卷积层Conv14与Conv19以及辅助层中Conv20_2、Conv21_2、Conv22_2与Conv23_2的特征图分别经过对应的注意力机制模块，对建筑物震害特征进行增强。
4.根据权利要求2或3所述的极灾区判定方法，其特征在于，所述建筑物震害检测模型中注意力机制模块采用ECA注意力模块、SE注意力模块或CBAM注意力模块。
5.根据权利要求2或3所述的极灾区判定方法，其特征在于，所述建筑物震害检测模型中IOU值设定范围为0.3-0.6，且模型迭代时长设定为40000次以上。
6.根据权利要求1所述的极灾区判定方法，其特征在于，所述S1步骤利用训练样本数据集对建筑物震害检测模型训练，获得最优建筑物震害检测模型过程中，训练样本的尺寸采用512×512，测试样本及验证样本的尺寸均采用300×300。
7.根据权利要求2所述的极灾区判定方法，其特征在于，所述基于注意力机制和特征融合的震害检测模型中所采用的注意力机制模块选用ECA注意力模块，且震害检测模型中IOU值设定为0.4，迭代时长设定40000-120000次。
8.根据权利要求3所述的极灾区判定方法，其特征在于，所述基于轻量卷积的震害检测模型所采用的注意力机制模块选用ECA注意力模块，且震害检测模型中IOU值设定为0.3，迭代时长设定40000-120000次。
9.根据权利要求1所述的极灾区判定方法，其特征在于，所述S1步骤中所构建的训练样本数据集包括不含结构信息的建筑物震害样本数据集和含结构信息的建筑物震害样本数据集，且构建的训练样本数据集前需首先对遥感影像数据进行图像匀光匀色和去雾处理；训练样本数据集构建完成后还需采用边缘检测的方式将训练样本翻倍，并采用旋转、镜像、亮度变换、高斯扰动、仿射变化方法相组合的方式对图像进行增强。
10.一种电子设备，其特征在于，该电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行如权利要求1至9中的任一项所述的极灾区判定方法。
CN202310055454.8A 2023-01-19 2023-01-19 基于建筑物震害检测的极灾区快速判定方法及电子设备 Active CN116310791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310055454.8A CN116310791B (zh) 2023-01-19 2023-01-19 基于建筑物震害检测的极灾区快速判定方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310055454.8A CN116310791B (zh) 2023-01-19 2023-01-19 基于建筑物震害检测的极灾区快速判定方法及电子设备

Publications (2)

Publication Number Publication Date
CN116310791A true CN116310791A (zh) 2023-06-23
CN116310791B CN116310791B (zh) 2023-09-05

Family

ID=86778754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310055454.8A Active CN116310791B (zh) 2023-01-19 2023-01-19 基于建筑物震害检测的极灾区快速判定方法及电子设备

Country Status (1)

Country Link
CN (1) CN116310791B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032824A (zh) * 2019-04-25 2019-07-19 滨州学院 一种工程结构基于位移的抗震设计方法
CN112560573A (zh) * 2020-10-29 2021-03-26 河北省地震局 一种建筑物震害信息检测提取方法
CN113094965A (zh) * 2021-06-10 2021-07-09 北京盈建科软件股份有限公司 一种竖向地震作用下结构稳定性分析方法、系统、终端及介质
CN113095127A (zh) * 2021-03-01 2021-07-09 兰州大学 一种基于卫星图像的建筑震后定位与破坏状态评估方法
CN114117617A (zh) * 2021-12-08 2022-03-01 哈尔滨工业大学 一种三跨内廊式rc框架建筑地震响应的快速预测方法
CN115017591A (zh) * 2022-06-20 2022-09-06 长沙理工大学 建筑结构群抗震性能评估方法
CN115049924A (zh) * 2022-06-06 2022-09-13 四川大学 基于视频监控下非结构构件损伤识别的建筑震害评估方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032824A (zh) * 2019-04-25 2019-07-19 滨州学院 一种工程结构基于位移的抗震设计方法
CN112560573A (zh) * 2020-10-29 2021-03-26 河北省地震局 一种建筑物震害信息检测提取方法
CN113095127A (zh) * 2021-03-01 2021-07-09 兰州大学 一种基于卫星图像的建筑震后定位与破坏状态评估方法
CN113094965A (zh) * 2021-06-10 2021-07-09 北京盈建科软件股份有限公司 一种竖向地震作用下结构稳定性分析方法、系统、终端及介质
CN114117617A (zh) * 2021-12-08 2022-03-01 哈尔滨工业大学 一种三跨内廊式rc框架建筑地震响应的快速预测方法
CN115049924A (zh) * 2022-06-06 2022-09-13 四川大学 基于视频监控下非结构构件损伤识别的建筑震害评估方法
CN115017591A (zh) * 2022-06-20 2022-09-06 长沙理工大学 建筑结构群抗震性能评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOLI LI: "BUILDING DAMAGE DETECTION FOR EXTREME EARTHQUAKE DISASTER AREA LOCATION FROM POST-EVENT UAV IMAGES USING IMPROVED SSD", 《2022 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》, pages 2674 - 2677 *
黄文涛等: "川南地区民居建筑地震易损性研究", 《华北地震科学》, vol. 40, no. 4, pages 1003 - 1375 *

Also Published As

Publication number Publication date
CN116310791B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN111178206B (zh) 一种基于改进yolo的建筑预埋件检测方法及系统
CN110956412B (zh) 基于实景模型的洪灾动态评估方法、装置、介质和设备
CN114140683A (zh) 一种航拍图像目标检测的方法、设备与介质
CN113033520A (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN113569788B (zh) 一种建筑物语义分割网络模型训练方法、系统及应用方法
CN116168295B (zh) 一种岩性遥感智能解译模型建立方法及解译方法
CN111814699A (zh) 一种面向swarm电磁卫星数据的深度学习地震预测方法
CN114139819A (zh) 基于地统计加权随机森林的地球化学变量空间预测方法
CN115797297A (zh) 震后建筑结构健康诊断多任务学习方法
CN114997501A (zh) 基于样本失衡的深度学习矿产资源分类预测方法及系统
CN112766381B (zh) 有限样本下属性引导的sar图像生成方法
CN117710508A (zh) 基于改进条件生成对抗网络的近地表温度反演方法和装置
CN116310791B (zh) 基于建筑物震害检测的极灾区快速判定方法及电子设备
CN117315441A (zh) 基于改进yolox的道路井盖状态检测方法
Niemeyer et al. Automation of change detection procedures for nuclear safeguards-related monitoring purposes
CN110826691A (zh) 基于yolo和lstm的地震速度谱智能拾取方法
CN116012709A (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN115527118A (zh) 一种融合注意力机制的遥感图像目标检测方法
CN115100428A (zh) 一种利用上下文感知的目标检测方法
CN115375925A (zh) 一种基于相位信息和深度学习的水下声呐图像匹配算法
Ruggieri et al. Using transfer learning technique to define seismic vulnerability of existing buildings through mechanical models
CN117710758B (zh) 一种遥感图像岩土解译方法、介质及设备
CN117725523B (zh) 基于物理约束的雷暴天气预警方法及预警系统
CN118072205B (zh) 基于特征变换和样本优化的无人机航拍小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant