CN111126184A - 一种基于无人机视频的震后建筑物损毁检测方法 - Google Patents

Abstract

本发明提供一种基于无人机视频的震后建筑物损毁检测方法，包括：步骤一，对采集的震后无人机视频数据进行预处理，并获取视频关键帧序列；步骤二，利用视频关键帧序列生成建筑物三维点云数据，并对三维点云数据，采用基于点云结构特征分析和深度学习特征分析的方法进行建筑物结构损毁检测，若检测为结构损毁，则进入步骤四；若检测为非结构损毁，则进入步骤三；步骤三，对待检测建筑物的二维关键帧图像，采用基于深度学习特征分析的方法进行建筑物立面损毁检测，然后对待检测建筑物的二维关键帧图像进行超像素分割，并利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化；步骤四，输出待检测建筑物的损毁检测结果。

Description

一种基于无人机视频的震后建筑物损毁检测方法

技术领域

本发明涉及遥感应用技术领域和灾害评估领域，尤其涉及基于无人机视频的震后建筑物损毁检测技术，具体涉及基于模糊度和重叠度分析的视频关键帧选取、基于计算机视觉技术的建筑物三维点云重建、基于三维点云深度学习和结构特征分析的建筑物结构损毁检测以及基于二维关键帧图像深度学习和超像素分割算法的建筑物立面损毁检测。

背景技术

地震发生后，第一时间准确获取建筑物的损毁信息，能够为开展应急救援、决策指挥以及震后重建等提供重要的技术支持和决策依据。传统的卫星遥感影像评估周期长，且绝大多数只能获取建筑物的顶面信息，对建筑物的立面损毁检测具有先天缺陷。目前的建筑物立面损毁检测方法主要借助航空Lidar点云或航空倾斜摄影测量技术。然而由于现代建筑物的复杂性，特别是在建筑物密集的区域，存在地物遮挡和摄影死角等问题，仅利用航空摄影测量的方式依然导致部分建筑物立面信息难以准确获取。而无人机作为一种新兴发展的遥感探测技术，能够在震后第一时间，保障技术人员安全的前提下，克服地域限制，捕获到立面信息更加丰富的建筑物数据。

随着无人机技术的日益成熟和普及，利用无人机视频数据进行建筑物精细化损毁检测逐渐成为可能。与传统摄影测量技术相比较，无人机视频数据分辨率更高，且对于采集人员的技术要求较低、容错性和时效性更强，能够有效克服传统卫星、航空机载影像数据中不可避免存在的立面信息缺失及地物遮挡等问题。

目前利用无人机进行震后建筑物损毁检测的方法中，多数通过对灾区制定大规模巡航路线来获取某一地区建筑物群的斜下视影像数据，通过影像拼接的方式生成该地区的灾后正射投影图，并结合该地区的灾前正射影像图，应用变化检测技术从二维的角度进行损毁建筑物的检测。一方面，与航空机载影像类似，该方法受限于拍摄高度及灾区地形等因素，不可避免地存在地物遮挡和摄影死角等缺陷；另一方面，灾前/灾后遥感影像变化检测方法往往基于同一传感器不同时相的遥感影像，在实际地震灾害的应急监测评估中，获得同一传感器的遥感数据难度相当之大。

发明内容

针对上述问题，本发明提出了一种基于无人机视频的震后建筑物损毁检测方法，其具体步骤如下：

步骤一，对采集的震后无人机视频数据进行预处理，并获取视频关键帧序列；

步骤二，利用视频关键帧序列生成建筑物三维点云数据，并对三维点云数据，采用基于点云结构特征分析和深度学习特征分析的方法进行建筑物结构损毁检测，若检测为结构损毁，则进入步骤四；若检测为非结构损毁，则进入步骤三；

步骤三，对待检测建筑物的二维关键帧图像，采用基于深度学习特征分析的方法进行建筑物立面损毁检测，然后对待检测建筑物的二维关键帧图像进行超像素分割，并利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化；

步骤四，输出待检测建筑物的损毁检测结果。

进一步的，步骤一中，利用影像模糊度、重叠度分析获取视频关键帧序列，具体实现方式如下，

(1.1)对视频逐帧进行模糊度分析：

1.1a)将视频帧转换为灰度图像；

1.1b)计算灰度图像的拉普拉斯方差：首先使用拉普拉斯算子对图像进行边缘检测，然后，对边缘检测结果，以一定的采样窗口计算方差，方差计算公式如下：

其中，x_i为采样窗口内第i像元的LoG计算值，

为采样窗口内所有像元LoG计算值的均值，n为采样窗口内所包含的像元总数；

1.1c)将1.1b)返回的方差值作为图像模糊度水平的度量值，通过设置阈值的方式，滤除视频帧序列中方差值小于阈值的模糊帧；

(1.2)对步骤(1.1)处理后的视频帧进行重叠度分析：

1.2a)对视频帧图像提取SIFT特征点；

1.2b)以1.2a)中的第一帧作为初始参考帧，以第二帧为当前帧，使用BF Featurematcher对参考帧和当前帧进行SIFT特征点的暴力匹配；

1.2c)计算1.2b)中SIFT特征匹配点对之间的欧氏距离，作为图像之间重叠度的度量值，欧氏距离的计算公式如下：

其中，X，Y代表两幅关键帧中的任意一对SIFT特征匹配点对，n为特征点维数，x′_j，y′_j分别代表两个特征点第j维对应的参数值；

1.2d)根据1.2c)返回的距离值计算图像重叠度，保留重叠阈值为P1％～P2％的参考帧；

12e)将保留的帧设置为参考帧，以下一帧为当前帧，重复步骤1.2b)、1.2c)、1.2d)，直到最后一帧，得到的帧序列，即为视频关键帧序列。

进一步的，步骤二中，首先对步骤一中所获取的视频关键帧序列，利用空中三角测量方法或计算机视觉的方法得到影像的外方位元素，并进行光束法的整体平差，生成建筑物的稀疏三维点云；然后利用GPU加速的PMVS算法进行快速的密集匹配，生成密集的三维点云，作为后续损毁检测的待用数据。

进一步的，步骤二中采用深度学习特征分析的方法和基于点云结构特征分析方法进行建筑物结构损毁检测，具体实现方式如下，

(2.1)基于深度学习特征分析的方法对建筑物三维点云进行建筑物整体结构损毁检测，包括以下步骤：

模型训练过程：

2.1a)首先对建筑物三维点云训练样本进行人工标注，将严重整体结构损毁类型标注为正样本，其余标注为负样本，通过深度学习分类的方法对建筑物进行结构损毁类型的划分；

2.1b)将建筑物三维点云训练样本和其对应的标注信息代入PointNet++模型，进行深度神经网络模型训练；

损毁检测过程：

2.1c)将待检测的建筑物三维点云代入训练好的PointNet++模型，进行建筑物的结构损毁类型划分；

2.1d)根据步骤2.1c)，得出待检测建筑物的结构损毁类型划分结果，如果检测为整体结构损毁类型，则直接输出建筑物结构损毁结果；否则继续进入下述步骤；

(2.2)基于点云结构特征分析对建筑物三维点云进行建筑物立面结构损毁检测，包括以下步骤：

模型训练过程：

2.2a)对训练样本的建筑物三维点云提取房屋立面点云，并进而提取点云结构张量特征，包线性度、平面度、离散度、全方差、各向异性、特征熵、曲率、法向量；

2.2b)对以上提取的点云结构张量结构特征作直方图统计，得到各个结构张量特征的直方图统计结果；

2.2c)将步骤2.2b)中建筑物点云各个特征的直方图统计结果作为特征子集和其对应的损毁标注信息一起代入到支持向量机模型中进行分类器训练，其中严重立面结构损毁类型被标注为正样本，其余标注为负样本；

损毁检测过程：

2.2d)对待检测的建筑物三维点云提取房屋立面点云，并进而提取线性度、平面度、离散度、全方差、各向异性、特征熵、曲率、法向量点云结构张量特征，并作直方图统计，将直方图统计结果作为特征子集；

2.2e)将步骤2.2d)中各个特征子集代入到训练好的支持向量机模型中，进行建筑物结构损毁检测；

2.2f)根据步骤2.2e)，得出待检测建筑物的立面结构损毁检测结果；

进一步的，步骤三中采用基于深度学习实例分割算法Mask R-CNN模型对建筑物二维关键帧图像进行损毁检测，包括以下步骤，

模型训练过程：

3.1a)首先对训练样本图像中的损毁对象进行人工掩模标注，通过深度学习实例分割的方法对建筑物二维关键帧图像中的立面损毁对象进行检测；

3.1b)将训练样本图像和其对应的损毁标注信息代入Mask R-CNN模型中进行训练；

损毁检测过程：

3.1c)将待检测建筑物的影像代入已训练好的Mask R-CNN模型，进行建筑物立面损毁检测；

3.1d)在步骤3.1c)生成的损毁检测结果中，自动标绘出建筑物立面损毁对象的标注框和对应损毁像元，实现建筑物二维关键帧图像的立面损毁检测及定位。

进一步的，步骤三中利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化的具体实现方式如下，

首先基于分割后的超像素块将影像超像素分割结果图划分为不同区域；进而计算各个区域内，与之相对应的损毁预检测结果中各个类别所包含的像元数；最后根据像元数统计结果，将所包含像元总数最多的类别作为该超像素块区域所属的类别标签，公式表示如下：

其中，L_r为区域r所属的类别标签，M为损毁预检测结果的类别总数，r(i,j)为区域r内坐标为(i,j)的像元，f(r(i,j))为像元r(i,j)所属的类别标签，sgn(x)函数为数学上的符号函数，在本实施例中，如果f(r(i,j))＝c，则sgn返回1，否则，返回0。

本发明充分利用了从无人机视频数据中选取得到的视频关键帧序列及对应生成的三维点云信息，分别从建筑物结构损毁和建筑物立面损毁两个角度，综合检测震后建筑物的损毁信息，特点是：

(1)损毁检测过程中同时考虑到二维、三维的损毁信息。其中，三维检测对建筑物的完全损毁和严重损毁等级(结构损毁)具有较强检测能力；二维检测对建筑物的中度或者轻度损毁等级(立面损毁)具有较强检测能力；

(2)建筑物二维、三维损毁检测过程中均采用到深度学习方法。其中，二维损毁检测深度学习方法包括但不限于实例分割算法如Mask R-CNN网络模型，该方法能够从建筑物二维视频关键帧图像中，用目标检测方法框出不同损毁对象的实例，再用语义分割方法在不同实例区域内进行逐像素的损毁标记；三维损毁检测深度学习方法包括但不限于PointNet++网络模型，该方法改进了PointNet网络存在的局部结构特征丢失的不足，能够更好地提取建筑物三维点云的局部损毁特征。

(3)由于无人机飞行平台具有灵活性、时效性、操作性强等特征以及无人机能够对震后大范围场景制定巡航路线，本发明面向的建筑物损毁检测对象，既包括指定范围的建筑物群，也包括指定的单栋建筑物。

本发明主要通过操纵无人机对单栋或者小范围建筑物群进行近距离环绕拍摄以采集其灾后视频数据。比较而言，通过这种方式获得的震后建筑物数据，其数据分辨率更高、实时性更强、拍摄角度更直观且立面信息更完整。方法上，本发明从三维和二维两个角度入手，对建筑物分别从结构损毁和立面损毁进行精细化损毁检测，得到更为全面综合的震后建筑物损毁检测结果。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例中建筑物属于整体结构损毁类型、立面结构损毁类型以及立面二维损毁类型时所对应的示例场景图。

图3为本发明实施例对建筑物二维立面损毁检测结果进行超像素融合处理的效果示意图。其中，左图为深度学习实例分割模型输出的建筑物损毁检测结果，右图为经过超像素融合处理后的建筑物损毁检测结果。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案，使其技术内容更加清楚和便于理解。需要注意的是，本发明的保护范围并非仅限于文中提到的实施例。

如图1，实施例包括以下步骤：

步骤一，对采集的震后无人机视频数据进行预处理以及二维关键帧获取。

实施例基于无人机视频数据选取二维关键帧序列，并逐帧采用以下步骤：

(1.1)对视频逐帧进行以下模糊度分析：

1.1a)将视频帧转换为灰度图像；

1.1b)计算灰度图像的拉普拉斯方差：1)首先使用拉普拉斯算子(LoG，Laplacianof Gaussian)对图像进行边缘检测；2)然后，对1)的边缘检测结果，以(2*3)的采样窗口计算方差，方差计算公式如下：

其中，x_i为采样窗口内第i像元的LoG计算值，

为采样窗口内所有像元LoG计算值的均值，n为采样窗口内所包含的像元总数。

1.1c)对1.1b)返回的各个窗口方差值取均值，将其作为图像模糊度水平的度量值，通常清晰图像的方差值较大，而模糊图像的方差值较小，本实施例通过多次试验的方法设置最佳模糊度阈值，以滤除所采集数据中不具有研究意义的模糊失真影像。

(1.2)对步骤(1.1)处理后的视频帧进行以下重叠度分析：

1.2a)在GPU硬件加速的环境下，对视频帧图像提取SIFT特征点；

1.2b)以1.2a)中的第一帧作为初始参考帧，以第二帧为当前帧，使用Brute-force(BF)Feature matcher对参考帧和当前帧进行SIFT特征点的暴力匹配；其中，BF Featurematcher为现已成熟的特征匹配技术，这里不做详细介绍；

1.2c)计算1.2b)中SIFT特征匹配点对之间的欧氏距离，作为图像之间重叠度的度量值，欧氏距离的计算公式如下：

其中，X，Y代表两幅关键帧中的任意一对SIFT特征匹配点对，n′为特征点维数，此处为2，x′_j，y′_j分别代表两个特征点第j维对应的参数值。

1.2d)根据1.2c)返回的距离值计算图像重叠度，设置重叠度阈值为60％～80％。重叠度不低于60％，能够保证从相邻关键帧中提取充足的SIFT特征匹配点对，用于三维点云重建；重叠度不高于80％，能够保证视频关键帧序列中尽可能少地存在冗余信息，提升三维点云重建的运算效率。

1.2e)将保留的当前帧设置为参考帧，以下一帧为当前帧，重复1.2b)、1.2c)、1.2d)步骤，直到最后一帧，得到的帧序列，即为视频关键帧序列。

步骤二，选取表征性较强的重叠视频关键帧图像，生成建筑物三维点云数据，并对三维点云数据，采用基于深度学习和点云结构特征分析的方法进行建筑物结构损毁检测，若检测为结构损毁，则进入步骤四；若检测为非结构损毁，则进入步骤三；

实施例利用选取的视频关键帧序列生成三维点云数据，一般采用以下步骤：

对视频关键帧序列使用SfM(Structure from Motion)方法进行计算，求出每张影像的外方位元素，并进行光束法的整体平差，生成建筑物的稀疏三维点云。本步骤实现可采用现有技术，不再赘述；

在上一步的基础上利用现有技术中GPU加速的PMVS算法进行快速的密集匹配，生成密集的三维点云，作为后续损毁检测的待用数据。本步骤实现可采用现有技术，不再赘述；

(2.1)实施例基于深度学习算法对建筑物三维点云进行建筑物整体结构损毁检测，一般采用以下步骤：

模型训练过程：

2.1a)首先对建筑物三维点云训练样本进行整体结构损毁类型的人工标注(垮塌、沦陷等严重整体结构损毁类型标注为正样本，其余标注为负样本)；

2.1b)将建筑物三维点云训练样本和其对应的标注信息代入PointNet++模型，进行深度神经网络模型训练；

损毁检测过程：

2.1c)将待检测的建筑物三维点云代入步骤(1)训练好的PointNet++模型，进行建筑物的整体结构损毁类型划分；

2.1d)根据步骤2.1a)，得出待检测建筑物的整体结构损毁类型划分结果。如果检测为整体结构损毁类型，则直接进入步骤四，输出建筑物损毁检测结果；否则，继续进入下述步骤。

(2.2)实施例基于点云结构特征分析对建筑物三维点云进行建筑物立面结构损毁检测，一般采用以下步骤：

模型训练过程：

2.2a)对训练样本的建筑物三维点云提取房屋立面点云，并进而提取线性度、平面度、离散度、全方差、各向异性、特征熵、曲率、法向量等点云结构张量特征；

2.2b)对以上提取的点云结构张量结构特征作直方图统计，得到各个结构张量特征的直方图统计结果；

2.2c)将步骤2.2b)中建筑物立面点云各个特征的直方图统计结果作为特征子集，和其对应的损毁标注信息(标注信息为“正”或“负”，其中，立面显著倾斜以及大面积缺失等严重立面结构损毁类型被标注为正样本，其余标注为负样本)一起代入到支持向量机(SVM，Support Vector Machine)模型中进行分类器训练；

损毁检测过程：

2.2d)通过调用开源的点云PCL库函数并结合CloudCompare软件的后处理优化方法，对待检测的建筑物三维点云提取房屋立面点云，并进而提取其线性度、平面度、离散度、全方差、各向异性、特征熵、曲率、法向量等点云结构张量特征，作直方图统计，将直方图统计结果作为特征子集；

2.2e)将步骤2.2d)中各个特征子集代入到训练好的支持向量机(SVM)模型中，进行建筑物立面结构损毁检测；

2.2f)根据步骤2.2e)，得出待检测建筑物的立面结构损毁检测结果。

根据上述(2.1)、(2.2)步骤得出待检测建筑物的结构损毁检测结果。如果待检测建筑物不存在上述整体结构损毁或立面结构损毁情况，则进入步骤三，继续进行建筑物的立面二维损毁检测；如果存在建筑物整体结构损毁或立面结构损毁，则直接进入步骤四，输出待检测建筑物的损毁检测结果。

如图2，列举了震后建筑物的三种损毁场景：a)整体坍塌，隶属于整体结构损毁类型(完全损毁)；b)墙体倾斜，隶属于立面结构损毁类型(严重损毁)；c)墙体裂缝，隶属于立面二维损毁类型(中、轻度损毁)。若待检测建筑物被检测为前两种类型，则可确认建筑物为完全损毁或严重损毁，直接输出损毁检测结果；否则继续进行建筑物的立面二维损毁检测，并根据检测结果确定其为立面二维损毁类型(中、轻度损毁)或者未损毁类型。此处仅列举三种损毁场景以解释实施例中建筑物可能属于的三种损毁类型，未包含震后建筑物的全部损毁场景。

步骤三，对待检测建筑物的二维关键帧图像，采用基于深度学习和超像素分割算法进行建筑物立面损毁检测。

(3.1)实施例基于深度学习实例分割算法Mask R-CNN模型对建筑物二维关键帧图像进行损毁检测，采用以下步骤：

模型训练过程：

3.1a)首先对训练样本图像中的损毁对象进行人工掩模标注，旨在通过深度学习实例分割的方法对建筑物二维关键帧图像中的立面损毁对象(如墙体剥落、墙体裂缝、墙体孔洞等)进行检测定位；

3.1b)将训练样本图像和其对应的损毁标注信息代入Mask R-CNN模型中进行训练；

损毁检测过程：

3.1c)将待检测建筑物的二维影像代入已训练好的Mask R-CNN模型，进行建筑物二维立面损毁检测；

3.1d)在步骤3.1c)生成的损毁检测结果中，自动标绘出建筑物立面损毁对象的标注框和对应损毁像元，实现建筑物二维关键帧图像的立面损毁检测及定位。

(3.2)借助eCognition软件中的多尺度分割算法，通过设置合适的尺度参数(本实施例设置尺度参数为200，影像大小为3000px*3000px)；然后基于多数投票(MajorityVoting)规则，影像超像素分割结果与步骤三中生成的建筑物立面损毁检测结果进行融合处理。

本实施例所采用的多数投票(Majority Voting)规则，首先基于分割后的超像素块将影像超像素分割结果图划分为不同区域；进而计算各个区域内，与之相对应的损毁预检测结果中各个类别所包含的像元数；最后根据像元数统计结果，将所包含像元总数最多的类别作为该超像素块区域所属的类别标签。公式表示如下：

其中，L_r为区域r所属的类别标签，M为损毁预检测结果的类别总数，r(i,j)为区域r内坐标为(i,j)的像元，f(r(i,j))为像元r(i,j)所属的类别标签，sgn(x)函数为数学上的符号函数，在本实施例中，如果f(r(i,j))＝c，则sgn返回1，否则，返回0。

本发明借助超像素分割算法的同质聚类特性，对建筑物损毁预检测区域进行后处理优化，在对损毁对象进行精准检测及定位的同时，保留其丰富的边界信息，提升损毁检测精度。效果如图3所示。

步骤四，输出待检测建筑物的损毁检测结果。

Claims (6)

1.一种基于无人机视频的震后建筑物损毁检测方法，其特征在于，包括如下具体步骤：

步骤一，对采集的震后无人机视频数据进行预处理，并获取视频关键帧序列；

步骤二，利用视频关键帧序列生成建筑物三维点云数据，并对三维点云数据，采用基于点云结构特征分析和深度学习特征分析的方法进行建筑物结构损毁检测，若检测为结构损毁，则进入步骤四；若检测为非结构损毁，则进入步骤三；

步骤三，对待检测建筑物的二维关键帧图像，采用基于深度学习特征分析的方法进行建筑物立面损毁检测，然后对待检测建筑物的二维关键帧图像进行超像素分割，并利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化；

步骤四，输出待检测建筑物的损毁检测结果。

2.根据权利要求1所述基于无人机视频的震后建筑物损毁检测方法，其特征在于：步骤一中，利用影像模糊度、重叠度分析获取视频关键帧序列，具体实现方式如下，

(1.1)对视频逐帧进行模糊度分析：

1.1a)将视频帧转换为灰度图像；

1.1b)计算灰度图像的拉普拉斯方差：首先使用拉普拉斯算子对图像进行边缘检测，然后，对边缘检测结果，以一定的采样窗口计算方差，方差计算公式如下：

其中，x_i为采样窗口内第i像元的LoG计算值，

为采样窗口内所有像元LoG计算值的均值，n为采样窗口内所包含的像元总数；

1.1c)将1.1b)返回的方差值作为图像模糊度水平的度量值，通过设置阈值的方式，滤除视频帧序列中方差值小于阈值的模糊帧；

(1.2)对步骤(1.1)处理后的视频帧进行重叠度分析：

1.2a)对视频帧图像提取SIFT特征点；

1.2b)以1.2a)中的第一帧作为初始参考帧，以第二帧为当前帧，使用BF Featurematcher对参考帧和当前帧进行SIFT特征点的暴力匹配；

1.2c)计算1.2b)中SIFT特征匹配点对之间的欧氏距离，作为图像之间重叠度的度量值，欧氏距离的计算公式如下：

其中，X，Y代表两幅关键帧中的任意一对SIFT特征匹配点对，n为特征点维数，x′_j，y′_j分别代表两个特征点第j维对应的参数值；

1.2d)根据1.2c)返回的距离值计算图像重叠度，保留重叠阈值为P1％～P2％的参考帧；

12e)将保留的帧设置为参考帧，以下一帧为当前帧，重复步骤1.2b)、1.2c)、1.2d)，直到最后一帧，得到的帧序列，即为视频关键帧序列。

3.根据权利要求1所述基于无人机视频的震后建筑物损毁检测方法，其特征在于：步骤二中，首先对步骤一中所获取的视频关键帧序列，利用空中三角测量方法或计算机视觉的方法得到影像的外方位元素，并进行光束法的整体平差，生成建筑物的稀疏三维点云；然后利用GPU加速的PMVS算法进行快速的密集匹配，生成密集的三维点云，作为后续损毁检测的待用数据。

4.根据权利要求1所述基于无人机视频的震后建筑物损毁检测方法，其特征在于：步骤二中采用深度学习特征分析的方法和基于点云结构特征分析方法进行建筑物结构损毁检测，具体实现方式如下，

(2.1)基于深度学习特征分析的方法对建筑物三维点云进行建筑物整体结构损毁检测，包括以下步骤：

模型训练过程：

2.1a)首先对建筑物三维点云训练样本进行人工标注，将严重整体结构损毁类型标注为正样本，其余标注为负样本，通过深度学习分类的方法对建筑物进行结构损毁类型的划分；

2.1b)将建筑物三维点云训练样本和其对应的标注信息代入PointNet++模型，进行深度神经网络模型训练；

损毁检测过程：

2.1c)将待检测的建筑物三维点云代入训练好的PointNet++模型，进行建筑物的结构损毁类型划分；

2.1d)根据步骤2.1c)，得出待检测建筑物的结构损毁类型划分结果，如果检测为整体结构损毁类型，则直接输出建筑物结构损毁结果；否则继续进入下述步骤；

(2.2)基于点云结构特征分析对建筑物三维点云进行建筑物立面结构损毁检测，包括以下步骤：

模型训练过程：

2.2a)对训练样本的建筑物三维点云提取房屋立面点云，并进而提取点云结构张量特征，包线性度、平面度、离散度、全方差、各向异性、特征熵、曲率、法向量；

2.2b)对以上提取的点云结构张量结构特征作直方图统计，得到各个结构张量特征的直方图统计结果；

2.2c)将步骤2.2b)中建筑物点云各个特征的直方图统计结果作为特征子集和其对应的损毁标注信息一起代入到支持向量机模型中进行分类器训练，其中严重立面结构损毁类型被标注为正样本，其余标注为负样本；

损毁检测过程：

2.2d)对待检测的建筑物三维点云提取房屋立面点云，并进而提取线性度、平面度、离散度、全方差、各向异性、特征熵、曲率、法向量点云结构张量特征，并作直方图统计，将直方图统计结果作为特征子集；

2.2e)将步骤2.2d)中各个特征子集代入到训练好的支持向量机模型中，进行建筑物结构损毁检测；

2.2f)根据步骤2.2e)，得出待检测建筑物的立面结构损毁检测结果。

5.根据权利要求1所述基于无人机视频的震后建筑物损毁检测方法，其特征在于：步骤三中采用基于深度学习实例分割算法Mask R-CNN模型对建筑物二维关键帧图像进行损毁检测，包括以下步骤，

模型训练过程：

3.1a)首先对训练样本图像中的损毁对象进行人工掩模标注，通过深度学习实例分割的方法对建筑物二维关键帧图像中的立面损毁对象进行检测；

3.1b)将训练样本图像和其对应的损毁标注信息代入Mask R-CNN模型中进行训练；

损毁检测过程：

3.1c)将待检测建筑物的影像代入已训练好的Mask R-CNN模型，进行建筑物立面损毁检测；

3.1d)在步骤3.1c)生成的损毁检测结果中，自动标绘出建筑物立面损毁对象的标注框和对应损毁像元，实现建筑物二维关键帧图像的立面损毁检测及定位。

6.根据权利要求1所述基于无人机视频的震后建筑物损毁检测方法，其特征在于：步骤三中利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化的具体实现方式如下，

首先基于分割后的超像素块将影像超像素分割结果图划分为不同区域；进而计算各个区域内，与之相对应的损毁预检测结果中各个类别所包含的像元数；最后根据像元数统计结果，将所包含像元总数最多的类别作为该超像素块区域所属的类别标签，公式表示如下：

其中，L_r为区域r所属的类别标签，M为损毁预检测结果的类别总数，r(i,j)为区域r内坐标为(i,j)的像元，f(r(i,j))为像元r(i,j)所属的类别标签，sgn(x)函数为数学上的符号函数，在本实施例中，如果f(r(i,j))＝c，则sgn返回1，否则，返回0。

Images