CN114359756A - 一种震后无人机遥感影像损毁房屋快速智能检测方法 - Google Patents
一种震后无人机遥感影像损毁房屋快速智能检测方法 Download PDFInfo
- Publication number
- CN114359756A CN114359756A CN202210013687.7A CN202210013687A CN114359756A CN 114359756 A CN114359756 A CN 114359756A CN 202210013687 A CN202210013687 A CN 202210013687A CN 114359756 A CN114359756 A CN 114359756A
- Authority
- CN
- China
- Prior art keywords
- house
- damaged
- remote sensing
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000010586 diagram Methods 0.000 claims abstract description 16
- 238000013136 deep learning model Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 20
- 238000005457 optimization Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 206010034719 Personality change Diseases 0.000 description 3
- 239000004566 building material Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001660917 Crassula ovata Species 0.000 description 1
- 241001106412 Pilea Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种震后无人机遥感影像损毁房屋快速智能检测方法，包括步骤：A、收集无人机遥感影像样本，建立损毁房屋样本集；B、基于YOLOv5深度学习模型，一是引入Vision Transformer结构优化Backbone网络、提高检测精度；二是针对目标多尺度特点，用BiFPN替换PANet网络，增强多尺度信息融合能力；进而构建YOLOv5s‑ViT‑BiFPN模型；C、对输入的无人机遥感影像进行裁剪并记录其地理位置编码信息；D、基于该模型对裁剪后影像进行损毁房屋检测，得到目标检测框；E、将目标检测框进行地理位置信息复原和矢量化，得到损毁房屋检测框矢量图。本发明实现了震后无人机遥感影像损毁房屋快速高精度智能检测。
Description
技术领域
本发明属于遥感影像处理与分析技术领域，更具体涉及一种震后无人机遥感影像损毁房屋快速智能检测方法，适用于分辨率为0.01-0.1m的大幅面无人机正射遥感影像。
背景技术
我国是世界上地震灾害最为严重的国家之一，50％以上的城市和70％以上的大中城市位于7度及以上烈度区内，受到中强地震的威胁。我国曾发生过多次损失惨重的破坏性大地震，如2008年“5.12”汶川Ms8.0特大地震，2010年“4.14”青海玉树Ms7.1地震，2014年“8.3”云南鲁甸Ms6.5地震，2021年“5.21”云南大理州漾濞Ms6.4级地震，导致大量房屋受损。震后应急救援及灾后评估决策支持迫切需要快速准确获取损毁房屋信息，但这一直是一个具有挑战性的问题，难以满足应急的需求。无人机遥感具有低空灵活部署、高空间分辨率且不受云的干扰等优势，成为近10多年以来卫星遥感之外的不可或缺的灾后应急及损失评估的技术手段。
针对损毁房屋提取，无人机遥感主要从屋顶受损、损毁分类、不同类别的损毁识别等角度提取损毁房屋，已取得了不少进展。代表性算法有修正CRF(Chinese RestaurantFranchise)无监督分类、面向对象分类和深度学习方法，此外还有一些方法集成了激光雷达点云3D特征。Li S.等提出的修正CRF无监督分类模型，利用颜色和形状特征对轻度损毁的农村房屋的“屋顶洞”进行分割，精度达到98.62％，比K-means和ISODATA无监督分类方法的精度约提高了2％以上。Li S.等根据震后无人机影像和激光点云数据的高程信息并结合影像光谱和形态特征对损毁房屋进行分类，共包含四个类别：基本完好、轻微损毁、部分倒塌和完全倒塌房屋。
等采用面向对象分类方法，利用模拟地震前后的两幅无人机影像提取了新建房屋(作为损毁的房屋)。Vetrivel等采用多内核学习(Multiple KernelLearning，MKL)并集成CNN(Convolutional Neural Network)特征与3D点云特征进行损毁房屋检测，精度达到94％。虽然这些研究各有优势，但模型的建立需要耗费大量时间，且难以同时平衡其精度和效率。随着深度学习领域模型方法的发展，深度学习在目标检测模型中表现出高效检测与定位的优势，被应用于损毁房屋的提取的尝试。该类模型基于候选区域或基于回归。其中，基于区域的目标检测(如R-CNN系列模型)精度高，但速度较慢。基于回归的目标检测速度快，最典型是YOLO系列算法。
但YOLO系列模型仅采用了CNN层、特征融合网络结构较简单，对全局特征的提取还有待改进，不能很好解决遥感图像目标检测背景地物复杂、易受干扰因素较多的问题，进而影响检测精度。
综上所述，目前针对震后应急救援大范围损毁房屋目标检测的应用尚属少见，现有方法检测精度和自动化与智能化程度有待改进。基于无人机遥感影像的损毁房屋检测在灾害应急管理中发挥着越来越重要的作用，然而现有的遥感影像分析技术仍未达到实际应用的需求。尤其随着影像分辨率的提高、数据量的剧增，重大地震震后损毁房屋环境背景复杂、无人机遥感影像多尺度特点以及震后应急对灾情获取的精度与时效性需求，对遥感数据的自动化智能化处理效率和精度均提出了严峻的挑战。
发明内容
针对上述现有技术存在的缺陷，损毁房屋的环境背景复杂、无人机遥感影像多尺度特点及震后应急对灾情获取的精度与时效性需求，本发明的目的在于提供了一种震后无人机遥感影像损毁房屋快速智能检测方法，利用无人机高分辨率遥感影像对损毁房屋进行检测是本发明的侧重点。损毁房屋检测的目的是从无人机遥感影像中识别出损毁房屋目标并对其进行定位。本发明将检测速度快的YOlOv5迁移到地震应急中最迫切的损毁房屋检测需要中，并针对损毁房屋目标背景复杂，如未损毁房屋和堆放建筑材料等地物干扰、树木遮挡房屋等，无人机遥感影像初始分辨率不一致的特点，应急救援对震后损毁信息获取时效性强的需求，本发明基于YOLOv5并选择其中体积最小的YOLOv5s，引入利用VisionTransformer优化Backbone特征提取网络，并利用BiFPN替换原始YOLOv5中的PANet特征融合网络，使得模型具有更强的全局特征学习能力及多尺度信息融合能力，构建了YOLOv5s-ViT-BiFPN模型，有效解决了上述问题。本发明的方法易行，操作方便，通过获取震后灾区的无人机遥感影像损毁房屋目标的快速智能识别与检测，快速锁定目标，提高损毁房屋目标检测的自动化和智能化处理效率与精度，有助于在重大灾情发生后，提高应急救援指挥决策效率、增强灾害应急管理决策支持能力，同时为灾后重建提供客观的灾损数据。
为进一步实现上述目的，本发明采用以下技术方案：
本发明的构思为：首先，建立高分辨率损毁房屋样本集；其次，对损毁房屋样本进行训练和测试，得到损毁房屋检测模型；然后，对无人机遥感影像进行裁剪，以满足深度学习模型对输入的要求；之后，对处理后的无人机遥感影像进行目标检测，并得到目标预测框；最后，将目标检测结果的位置信息进行复原和矢量化，最终得到损毁房屋检测矢量图。
一种震后无人机遥感影像损毁房屋快速智能检测方法，其步骤是：
A、收集无人机遥感影像样本，建立损毁房屋样本集；
B、基于YOLOv5深度学习模型，一是引入Vision Transformer结构，以优化Backbone网络、提高检测精度；二是针对目标多尺度特点，用BiFPN替换PANet网络，增强多尺度信息融合能力；进而构建YOLOv5s-ViT-BiFPN模型；
C、对输入的无人机遥感影像进行裁剪，并记录其地理位置编码信息；
D、基于该模型对裁剪后影像进行损毁房屋检测，得到目标检测框；
E、将目标检测框进行地理位置信息复原和矢量化，得到损毁房屋检测框矢量图。
可选的，在步骤A中，首先收集了高分辨率无人机拍摄正射遥感影像，然后利用深度学习目标检测标记工具LabelImg对损毁房屋进行标注，并将损毁房屋的外接矩形框和类别分别保存在相应的XML文件中，以此构建损毁房屋样本集。
可选的，在步骤B中，首先，引入Vision Transformer结构，对YOLOv5s的骨干网络进行修改，以优化网络结构、聚焦目标特征，从而提高检测精度。其次是针对损毁房屋尺度多样性特点，优化特征融合网络，即用双向特征金字塔网络(Bi-Directional FeaturePyramid Network，BiFPN)替换YOLOv5模型的路径聚合网络(Path Aggregation Network，PANet)，建立YOLOv5s-ViT-BiFPN模型，对模型进行训练与测试，最终得到损毁房屋目标检测模型YOLOv5s-ViT-BiFPN；
进一步的，采用CNN网络和Vision Transformer的混合结构，在保留CNN较强特征提取能力的同时，弥补卷积层不能很好地学习特征图的全局特征的缺陷。将VisionTransformer添加到Backbone的最后一层。Vision Transformer由Patch Embedding和Transformer Encoder组成。首先，Path Embedding用于将输入特征图进行降维。其次，加入位置编码操作，解决降维变化带来的位置信息丢失问题。最后，将向量输入TransformerEncoder。原始的Transformer Encoder由MSHA(Multi-Head Self-Attention)和MLP(Multilayer Perception)组成。为了尽量减少参数量，将MLP层替换为两个全连接层(Fully Connected Layer，FC)层，MSHA中head个数设置为4。
更进一步地，在Backbone模块提取特征之后，需在Neck模块中进行多尺度特征融合，以检测不同分辨率的目标。PANet通过上采样和下采样在多尺度融合中存在模型参数较多、计算量大的问题，而BiFPN采用跨尺度连接的策略，将PANet替换为BiFPN，去掉PANet中对特征融合贡献较小的节点，在同一级别的输入和输出节点之间添加额外的连接，在提高模型效率的同时，可以融合更多的特征。
可选的，在步骤C中，深度学习目标检测模型的输入影像大小一般是几百或几千像素，例如本发明采用的基于YOLOv5s-ViT-BiFPN网络输入影像的大小是416×416像素，这与大幅面遥感影像(Large Remote Sensing Images)的大小差别很大，所以将遥感影像输入网络之前需要先进行裁剪操作，得到标准图像块，并将其相对于大幅面遥感影像的地理位置编码信息记录下来。
可选的，在步骤D中，将裁剪后的标准图像块依次输入到训练好的YOLOv5s-ViT-BiFPN的损毁房屋检测模型中，为每个标准图像块进行损毁房屋目标检测，得到损毁房屋目标检测框。
可选的，在步骤E中，根据每个损毁房屋目标检测框所在的标准图像块记录的地理位置编码信息和原始遥感影像的空间坐标系，将其地理位置信息进行复原，再将所有目标检测框进行矢量化，最终生成损毁房屋检测矢量图。
由上，通过前述五个步骤的技术措施，可以实现震后无人机遥感影像损毁房屋快速智能检测。由于原始YOLOv5模型中Backbone仅由卷积神经网络组成，不能很地学习特征图的全局特征，且由于无人机影像受飞行高度及姿态变化等的影响，其分辨率不能保持一致，所以在关键的步骤B中，利用Vision Transformer优化Backbone特征提取网络，并利用BiFPN替换原始YOLOv5中的PANet特征融合网络。该创新点成功解决了原始YOLOv5目标检测模型全局特征学习能力不足和多尺度特征融合能力不足的问题。
破坏性地震往往造成大量房屋受损。如何在最短时间内准确、自动获取这些信息，为应急救援与灾后评估提供决策支持依据，一直是灾害应急管理中一个具有挑战性的问题。但是震后损毁房屋信息提取存在诸多问题，包括损毁房屋目标背景复杂，如未损毁房屋和堆放建筑材料等地物干扰、树木遮挡房屋等问题；无人机遥感影像中损毁房屋因飞行高度及姿态变化等而导致的尺度多样性问题；当前震后损毁房屋信息提取时效性不强的问题。针对以上问题，本发明收集震后无人机拍摄影像，建立损毁房屋样本集。选择实时目标检测模型YOLOv5网络作为目标检测网络，并针对上述问题对网络进行改进，利用VisionTransformer优化Backbone特征提取网络，并利用BiFPN替换原始YOLOv5中的PANet特征融合网络，最终建立了YOLOv5s-ViT-BiFPN损毁房屋检测模型。使得基于深度学习的损毁房屋检测模型具有更强的全局特征学习能力及多尺度信息融合能力。
在自然影像中，感兴趣目标通常在整张图片中占较大比例。但是一幅遥感影像像素数量巨大且地理范围较大，感兴趣目标相对于背景来说通常非常小。一幅大幅面遥感影像无法直接输入深度学习目标检测网络。针对以上问题，本发明在一幅大幅面遥感影像输入深度学习目标检测网络之前，通过裁剪成标准图像块使之可以正常输入深度学习目标检测与识别网络中，并记录每个标准图像块的地理位置编码信息，利用该信息对检测之后的损毁房屋目标检测框进行地理位置信息复原和矢量化，最终得到大幅面遥感影像损毁房屋信息提取矢量结果。有效解决深度学习网络无法直接对大幅面遥感影像进行目标检测的问题。
由于应急管理的需要，需要在第一时间快速掌握损毁房屋状况，因此本发明实现了无人机遥感影像中损毁房屋的快速、精确、智能检测。
本发明与现有技术相比，至少具有以下优点和效果：
(1)本发明建立的震后无人机遥感影像损毁房屋快速智能检测方法能够自动从大幅面无人机遥感影像中提取损毁房屋目标，且速度快、精度高。
(2)本发明对YOLOv5模型进行改进，提出并构建了YOLOv5s-ViT-BiFPN模型，增强了模型在检测过程中对图像的全局特征学习能力和多尺度信息融合能力。
(3)本发明通过对大幅面遥感影像进行裁剪和地理信息复原处理，使得可以直接针对大幅面遥感影像进行损毁房屋目标的识别与检测，且输出损毁房屋矢量图，更易进行损毁房屋信息统计分析。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为震后无人机遥感影像损毁房屋快速智能检测方法流程图；
图2为YOLOv5s-ViT-BiFPN目标检测模型的网络结构；
图3为本文添加的Vision Transformer结构图；
图4为双向特征金字塔网络(Bi-Directional Feature Pyramid Network，BiFPN)和路径聚合网络(Path Aggregation Network，PANet)的对比图；
图5为YOLOv5s、YOLOv5s-ViT、YOLOv5s-ViT-BiFPN三种模型训练过程中验证数据的损失值和平均精度(Average Precision，AP)的变化曲线；(a)损失值变化曲线；(b)平均精度(AP)变化曲线；
图6为实施例的损毁房屋待检测无人机遥感影像图；
图7为实施例中的损毁房屋检测矢量图与无人机遥感影像叠加图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图1-7对本发明实施方式作进一步地详细描述。
如图1至图7所示，为解决传统遥感灾情信息提取工作量大和时效性低等问题，本发明利用卷积神经网络(Convolutional Neural Network，CNN)自动选择最优特征，建立损毁房屋目标检测模型。但由于遥感影像像素数量巨大，一幅大幅面遥感影像无法直接输入深度学习目标检测网络，因此，本发明提出一种震后无人机遥感影像损毁房屋快速智能检测方法，选择实时目标检测模型YOLOv5作为基本框架，通过引入利用Vision Transformer优化Backbone特征提取网络，并利用BiFPN替换原始YOLOv5中的PANet特征融合网络，解决了损毁房屋检测背景复杂和增加了模型多尺度检测的鲁棒性。针对大幅面遥感影像中小物体检测的问题，通过无人机遥感影像裁剪和损毁房屋目标检测框地理位置信息复原两个步骤，解决了深度学习模型无法直接针对大幅面遥感影像进行检测的问题。通过本发明提出的一种震后无人机遥感影像损毁房屋快速智能检测方法，可以实现震后无人机遥感影像中损毁房屋目标的快速高精度智能化提取。
本发明的震后无人机遥感影像损毁房屋快速智能检测方法流程如图1所示，包括7个单元，主要包括基于深度学习的损毁房屋目标检测模型建立和大幅面遥感影像损毁房屋目标检测两个部分。基于深度学习的损毁房屋目标检测模型建立的过程为：首先对震后无人机遥感影像收集与预处理，然后建立损毁房屋样本集，进而建立基于YOLOv5s-ViT-BiFPN的损毁房屋目标检测模型。为了获取大幅面遥感影像损毁房屋目标检测结果，首先对大幅面遥感影像裁剪，然后对裁剪后的标准图像块进行损毁房屋目标检测，得到损毁房屋目标检测框，对其进行地理位置复原和矢量化，最后得到无人机遥感影像损毁房屋检测矢量图。
本发明提出的震后无人机遥感影像损毁房屋快速智能检测方法，建立了YOLOv5s-ViT-BiFPN，网络结构如图2所示。YOLOv5s-ViT-BiFPN模型由输入、Backbone、BiFPN和YOLOHead组成。
输入是固定大小416×416像素的图像，Backbone是特征提取网络，在Backbone最后一层添加Vision Transformer结构；Vision Transformer由Patch Embedding和Transformer Encoder组成；首先，Path Embedding用于将输入特征图进行降维；其次，加入位置编码操作，解决降维变化带来的位置信息丢失问题；最后，将向量输入TransformerEncoder中；原始的Transformer Encoder由MSHA(Multi-Head Self-Attention)和MLP(Multilayer Perception)组成。为了尽量减少参数量，将MLP层替换为两个全连接层(Fully Connected Layer，FC)层，MSHA中head个数设置为4。BiFPN用于融合多尺度特征，本发明用它将YOLOv5的PANet进行替换。PANet通过上采样和下采样在多尺度融合中存在模型参数较多、计算量大的问题，而双向特征金字塔网络(Bi-Directional Feature PyramidNetwork)BiFPN采用跨尺度连接的策略，将路径聚合网络(Path Aggregation Network)PANet替换为BiFPN，删除PANet中对特征融合贡献较小的节点，在同一级别的输入和输出节点之间添加额外的连接，在提高模型效率的同时可以融合更多的特征。YOLO Head是在三个尺度上分别输出目标的类别概率和边界框。最终输出输入图像中损毁房屋目标检测边界框。
图3为本发明使用的改进的Vision Transformer结构。
图4为本发明利用双向特征金字塔网络(Bi-Directional Feature PyramidNetwork，BiFPN)替代路径聚合网络(Path Aggregation Network，PANet)。
图5中(a)、(b)为YOLOv5s、YOLOv5s-ViT、YOLOv5s-ViT-BiFPN三种模型训练过程中验证数据的损失值和平均精度(AP)的变化曲线图。从图中可以看出这三种模型的损失函数曲线和平均精度(AP)曲线分别随训练次数的增加而逐渐保持平稳，但其变化特点存在明显差异。YOLOv5s-ViT-BiFPN模型损失函数曲线抖动幅度最先保持稳定且损失值最小，YOLOv5s和YOLOv5s-ViT模型的损失函数曲线抖动幅度较大、收敛速度较慢且损失值均比YOLOv5s-ViT-BiFPN模型的大。YOLOv5s-ViT-BiFPN模型的平均精度AP抖动幅度最先保持稳定且值最大，YOLOv5s和YOLOv5s-ViT模型的AP曲线抖动幅度较大且AP值比YOLOv5s-ViT-BiFPN模型的小。
在此基础上，对如图6所示的“5.21”云南漾濞Ms6.4级地震后获取的漾濞彝族自治县柏木村的震后无人机遥感影像，其损毁房屋检测结果如图7所示，深色矩形块为正确检测损毁房屋目标，浅色矩形块为漏检损毁房屋目标。
本发明建立了震后无人机遥感影像损毁房屋快速智能检测方法，利用改进的YOLOv5目标检测网络构建YOLOv5s-ViT-BiFPN模型，提取更深层次的特征进行损毁房屋目标检测，使得检测结果具有更高的准确性、更强的鲁棒性和更高的时效性。针对损毁房屋目标背景复杂，如未损毁房屋和堆放建筑材料等地物干扰、树木遮挡房屋，无人机遥感影像中损毁房屋因飞行高度及姿态变化等导致的尺度多样性，以及当前震后损毁房屋信息提取时效性不强等问题，本发明基于YOLOv5，引入利用Vision Transformer优化Backbone特征提取网络，并利用BiFPN替换原始YOLOv5中的PANet特征融合网络，使得模型具有更强的全局特征学习能力及多尺度信息融合能力，有效解决上述问题。从大范围影像中检测小物体是遥感影像分析的主要问题之一，因此在大幅面遥感影像分割过程中，通过检测前裁剪生成标准图像块并记录其地理位置编码信息，与检测后根据损毁房屋目标检测框所在标准图像块的地理位置编码信息和遥感影像的空间坐标系进行地理位置信息复原和矢量化两个步骤，解决了大幅面遥感影像中损毁房屋检测的问题。以重点地震灾害应急救援应用为例，为快速锁定震后损毁房屋目标，帮助救援人员快速掌握损毁房屋情况，为应急救援赢得时间。通过对2021年“5·21”云南漾濞Ms6.4级地震后的一幅大幅面遥感影像的测试(实施例1)，本发明方法可以有效提取无人机遥感影像中的损毁房屋目标，平均精度(AP)达到90.41％，验证了本发明的有效性。
实施例1：
一种震后无人机遥感影像损毁房屋快速智能检测方法，其步骤是：
100、无人机遥感影像收集及预处理：以2021年“5·21”云南漾濞Ms6.4级地震为例，收集了地震灾区无人机拍摄影像，筛选出适合损毁房屋目标检测的遥感数据源，并对遥感影像进行预处理，包括生成无人机正射影像等。
101、损毁房屋样本集建立：收集损毁房屋遥感影像样本并标注，建立损毁房屋样本集。本实例中共获得了400个大小为416×416像素的影像，每个影像至少包含一个损毁房屋目标，共有860个损毁房屋目标。然后利用深度学习目标检测标记工具LabelImg对损毁房屋进行标注，并将损毁房屋的外接矩形框和类别保存在XML文件中，以此构建损毁房屋样本集。
102、YOLOv5s-ViT-BiFPN损毁房屋检测模型建立：基于YOLOv5框架，利用VisionTransformer优化Backbone特征提取网络，并利用BiFPN替换原始YOLOv5中的PANet特征融合网络，对模型进行训练与验证，模型平均精度(AP)到达90.94％，最终建立了YOLOv5s-ViT-BiFPN损毁房屋检测模型。
103、无人机遥感影像裁剪：输入影像是一幅2021年“5·21”云南漾濞Ms6.4级地震灾区的遥感影像，分辨率为0.03m。对输入遥感影像进行裁剪，得到标准图像块，并记录其地理位置编码信息。
104、损毁房屋目标检测：基于YOLOv5s-ViT-BiFPN损毁房屋检测模型，将每个标准图像块输入YOLOv5s-ViT-BiFPN目标检测模型，得到每个标准图像块中的损毁房屋目标检测框。
105、损毁房屋目标检测框地理位置信息复原：根据每个目标检测框所属在的标准图像块的地理位置编码信息和原始遥感影像的空间坐标系，对目标检测框进行地理位置信息复原，并将所有目标检测框合并生成矢量。
106、无人机遥感影像损毁房屋检测矢量图：经上述步骤输出最终无人机遥感影像中损毁房屋检测矢量图。
本发明的实施例在PC平台上实现，经试验验证，能够得到较理想的结果。
本发明提出的一种震后无人机遥感影像损毁房屋快速智能检测方法，解决了传统方法和现有机器学习方法在目标检测中精度低和时效性低且较少针对大幅面遥感影像等问题。通过对2021年“5·21”云南漾濞Ms6.4级地震灾区大幅面遥感影像的损毁房屋目标检测试验验证发现，该方法可以有效提高损毁房屋目标检测精度与效率，图6中73栋损毁房屋中，正确检测66栋，精度达到90.41％，检测时间为38.02s，损毁房屋检测矢量图与无人机遥感影像叠加图如图7所示。
上述实施例仅为本发明的较佳的实施方式，并非对本发明实施方式的限定。在上述实施例的基础上还可以做出其它不同形式的变化或变动，这里无法穷举所有实施方式。凡是属于本发明的技术方案所引申出的显而易见的变化与改动仍属于本发明的保护范围之内。
Claims (6)
1.一种震后无人机遥感影像损毁房屋快速智能检测方法，其特征在于，步骤如下：
A、收集无人机遥感影像样本，建立损毁房屋样本集；
B、基于YOLOv5深度学习模型，引入Vision Transformer结构以优化Backbone网络；针对目标采用双向特征金字塔网络替换路径聚合网络，进而构建YOLOv5s-ViT-BiFPN模型；
C、对输入的无人机遥感影像进行裁剪并记录其地理位置编码信息；
D、基于该YOLOv5s-ViT-BiFPN模型对裁剪后影像进行损毁房屋检测，得到目标检测框；
E、将目标检测框进行地理位置信息复原和矢量化，得到损毁房屋检测框矢量图。
2.根据权利要求1所述的一种震后无人机遥感影像损毁房屋快速智能检测方法，其特征在于，所述的步骤A中，首先利用无人机拍摄的遥感影像，建立损毁房屋样本集，然后在此基础上，利用深度学习目标检测标记工具LabelImg对目标进行标注，将损毁房屋的外接矩形框和类别分别保存在相应的XML文件中。
3.根据权利要求1所述的一种震后无人机遥感影像损毁房屋快速智能检测方法，其特征在于，所述的步骤B中，YOLOv5s-ViT-BiFPN模型包括输入、Backbone、BiFPN和YOLO Head；
输入为大小固定为416×416像素的图像，Backbone是特征提取网络，在Backbone最后一层添加Vision Transformer结构；Vision Transformer由Patch Embedding和Transformer Encoder组成；首先，Path Embedding用于将输入特征图进行降维；其次，加入位置编码操作，解决降维变化带来的位置信息丢失问题；最后，将向量输入TransformerEncoder中；原始的Transformer Encoder包括MSHA和MLP；将MLP层替换为两个全连接层，MSHA中head个数设置为4；BiFPN用于融合多尺度特征，用它将YOLOv5的PANet进行替换；YOLO Head是在三个尺度上分别输出目标的类别概率和边界框；最终输出输入图像中损毁房屋目标检测边界框。
4.根据权利要求1所述的一种震后无人机遥感影像损毁房屋快速智能检测方法，其特征在于，所述的步骤C中，YOLOv5s-ViT-BiFPN网络输入影像的大小是416×416像素，将遥感影像输入网络之前，先进行裁剪操作，得到大小为416×416像素的标准图像块，并记录其地理位置编码信息，以便模型检测得到的损毁房屋目标检测框的地理位置信息复原。
5.根据权利要求1所述的一种震后无人机遥感影像损毁房屋快速智能检测方法，其特征在于，所述步骤D中，将分割后大小为416×416像素的标准图像块分别输入到训练好的损毁房屋检测模型YOLOv5s-ViT-BiFPN中，得到包括损毁房屋的标准图像块中的损毁房屋目标检测框；损毁目标检测框包含四个参数，左上角横坐标与纵坐标、右下角横坐标与纵坐标。
6.根据权利要求1所述的一种震后无人机遥感影像损毁房屋快速智能检测方法，其特征在于，所述步骤E中，根据目标检测框相对于标准图像块的位置与地理位置编码信息，将目标检测框的地理位置信息进行复原，然后将所有目标检测框进行矢量化，生成损毁房屋检测矢量图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210013687.7A CN114359756A (zh) | 2022-01-06 | 2022-01-06 | 一种震后无人机遥感影像损毁房屋快速智能检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210013687.7A CN114359756A (zh) | 2022-01-06 | 2022-01-06 | 一种震后无人机遥感影像损毁房屋快速智能检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359756A true CN114359756A (zh) | 2022-04-15 |
Family
ID=81106789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210013687.7A Pending CN114359756A (zh) | 2022-01-06 | 2022-01-06 | 一种震后无人机遥感影像损毁房屋快速智能检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359756A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782846A (zh) * | 2022-06-20 | 2022-07-22 | 绵阳天仪空间科技有限公司 | 一种灾后救援引导系统及方法 |
| CN114863299A (zh) * | 2022-04-28 | 2022-08-05 | 哈尔滨理工大学 | 一种航空图像目标精细识别系统 |
| CN116433991A (zh) * | 2023-06-14 | 2023-07-14 | 中国地质大学（武汉） | 一种用于应急救援的震后建筑物受损评估方法 |
| CN116778227A (zh) * | 2023-05-12 | 2023-09-19 | 昆明理工大学 | 基于红外图像与可见光图像的目标检测方法、系统及设备 |
| CN116994116A (zh) * | 2023-08-04 | 2023-11-03 | 北京泰策科技有限公司 | 基于自注意力模型与yolov5的目标检测方法及系统 |
| CN117292248A (zh) * | 2023-10-30 | 2023-12-26 | 吉林农业大学 | 基于深度学习的农田喷药系统及杂草检测方法 |
-
2022
- 2022-01-06 CN CN202210013687.7A patent/CN114359756A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114863299A (zh) * | 2022-04-28 | 2022-08-05 | 哈尔滨理工大学 | 一种航空图像目标精细识别系统 |
| CN114782846A (zh) * | 2022-06-20 | 2022-07-22 | 绵阳天仪空间科技有限公司 | 一种灾后救援引导系统及方法 |
| CN116778227A (zh) * | 2023-05-12 | 2023-09-19 | 昆明理工大学 | 基于红外图像与可见光图像的目标检测方法、系统及设备 |
| CN116778227B (zh) * | 2023-05-12 | 2024-05-10 | 昆明理工大学 | 基于红外图像与可见光图像的目标检测方法、系统及设备 |
| CN116433991A (zh) * | 2023-06-14 | 2023-07-14 | 中国地质大学（武汉） | 一种用于应急救援的震后建筑物受损评估方法 |
| CN116433991B (zh) * | 2023-06-14 | 2023-08-22 | 中国地质大学（武汉） | 一种用于应急救援的震后建筑物受损评估方法 |
| CN116994116A (zh) * | 2023-08-04 | 2023-11-03 | 北京泰策科技有限公司 | 基于自注意力模型与yolov5的目标检测方法及系统 |
| CN116994116B (zh) * | 2023-08-04 | 2024-04-16 | 北京泰策科技有限公司 | 基于自注意力模型与yolov5的目标检测方法及系统 |
| CN117292248A (zh) * | 2023-10-30 | 2023-12-26 | 吉林农业大学 | 基于深度学习的农田喷药系统及杂草检测方法 |
| CN117292248B (zh) * | 2023-10-30 | 2024-04-26 | 吉林农业大学 | 基于深度学习的农田喷药系统及杂草检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114359756A (zh) | 一种震后无人机遥感影像损毁房屋快速智能检测方法 | |
| Over et al. | Processing coastal imagery with Agisoft Metashape Professional Edition, version 1.6—Structure from motion workflow documentation | |
| Vetrivel et al. | Identification of damage in buildings based on gaps in 3D point clouds from very high resolution oblique airborne images | |
| Lu et al. | Object-oriented change detection for landslide rapid mapping | |
| CN109543630B (zh) | 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备 | |
| EP3022686B1 (en) | Automatic generation of multi-scale descriptors from overhead imagery through manipulation of alpha-tree data structures | |
| Axel et al. | Building damage assessment using airborne lidar | |
| Tu et al. | Automatic building damage detection method using high-resolution remote sensing images and 3D GIS model | |
| CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
| Elberink et al. | Detection of collapsed buildings by classifying segmented airborne laser scanner data | |
| CN117058446B (zh) | 一种钻探岩芯特征的智能识别描述方法、系统及存储介质 | |
| CN112766417A (zh) | 一种利用现场照片识别目标地块土地利用现状地类的方法及系统 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN115115954A (zh) | 基于无人机遥感的松材线虫病疫区变色立木智能识别方法 | |
| Katrojwar et al. | Design of Image based Analysis and Classification using Unmanned Aerial Vehicle | |
| Abdi et al. | Building damage detection in post-event high-resolution imagery using deep transfer learning | |
| Dong et al. | A review of research on remote sensing images shadow detection and application to building extraction | |
| Moya et al. | Detection of collapsed buildings due to the 2016 Kumamoto, Japan, earthquake from Lidar data | |
| Rejaie et al. | Reconnaissance of Golcuk 1999 earthquake damage using satellite images | |
| Rezaeian et al. | Automatic 3D building extraction from aerial and space images for earthquake risk management | |
| Cal | High-resolution object-based building extraction using PCA of LiDAR nDSM and aerial photos | |
| Nussbaum et al. | Feature recognition in the context of automated object-oriented analysis of remote sensing data monitoring the Iranian nuclear sites | |
| Dos Santos et al. | K-means clustering based on omnivariance attribute for building detection from airborne LiDAR data | |
| Khodaverdi et al. | Combination of post-earthquake LiDAR data and satellite imagery for buildings damage detection | |
| CN110321794B (zh) | 一种融入语义模型的遥感图像油罐检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |