CN111126308A - 结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法 - Google Patents

Abstract

本发明涉及图像处理技术，其公开了一种结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，首先通过人工解译的方式制作基于FCN的灾前建筑物提取和基于CNN的灾后损毁建筑识别样本库，并对构建的FCN模型和CNN模型进行训练。利用训练好的FCN模型提取灾前影像中的建筑物，获得灾前影像建筑区域，并采用基于对象分割策略分割灾前影像建筑区域，得到灾前建筑物分割对象，最后利用训练好的CNN模型处理灾后影像得到对应灾后影像的损毁建筑物置信矩阵，用于判断每个灾前建筑物分割对象是否损毁，得到灾后损毁建筑图。

Description

结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法

技术领域

本发明涉及图像处理技术，具体涉及一种结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法。

背景技术

建筑密集区是人类活动的主要场所，同时也是自然灾害发生时人员伤亡和财产损失最严重的区域。地震等自然灾害损毁的建筑物严重威胁着居民的生命和财产安全，因此针对损毁建筑区域的居民营救是救援工作的主要内容。实时、准确、快速的识别和定位损毁建筑物是紧急救援、抢险以及灾后重建工作有序进行的关键和亟待解决的问题。

随着在轨高分辨率遥感卫星平台以及低空平台的轻小型航空飞机和无人机所构建的立体观测系统不断发展和完善，遥感技术全天候、全天时精确地观测和获取地表信息成为可能。由于遥感影像观测范围广、目前已经广泛被用于灾情获取的任务中。目前利用高分辨率遥感影像获取灾情成为一种有效的手段，其具有观测范围广、人工成本低、时效性高的优势，可以有效避免抢险人员进入灾区观测所面临的风险，并且不会因灾区道路阻塞影响观测。高分辨率遥感影像能够为解译损毁建筑提供更加精细的纹理和空间信息，并且获取日益便利，为损毁建筑物识别和定位提供了重要支撑和保障(Menderes et al.,2015)。

然而，从高分辨率遥感影像中解译损毁建筑非常困难，由于建筑物损毁程度不同，导致建筑损毁后形态各异，具有很强的类间相似性和较弱的类内相似性，例如完全倒塌的建筑很难与裸地区分，轻微损毁的建筑物又难以与未损毁建筑物区分。传统的高分辨率遥感影像自动解译方法对视觉特征的提取和解译能力较弱，一般需要基于大量的先验知识来人为设计特征，但大量的规则设置造成解译流程复杂繁琐，并且针对分辨率高和覆盖范围广的影像开展解译任务时会表现出泛化能力较弱的特点，难以满足实际应用的需求。因此，目前仍然主要依靠人工目视解译的方法对受灾区域的遥感影像进行解译，但是这种方式不仅需要消耗大量的人力物力，而且解译时间长，很难满足快速应急抢险救援的需求。

另一方面，以卷积神经网络(convolutional neural networks,CNN)模型为代表的深度神经网络的出现为复杂特征的自动提取和易混淆地物的解译提供可能，其基于一定数量的标注训练样本，能够自动从原始影像中学习到由低层次视觉特征到高层次语义特征的层次化特征，能够有效避免人为的特征设计对先验知识的依赖，极大地增加模型的泛化能力。目前，针对损毁建筑识别的问题，基于深度神经网络的模型主要有两种分析框架，即基于场景解译框架和基于语义分割框架。具体而言，基于场景解译的框架一般利用CNN将损毁建筑物所在场景标注为损毁建筑场景，却不能精确的定位损毁建筑物。为了弥补其不足，通常采用固定大小的滑动窗口对原始影像进行处理，滑动窗口以相同的步长对原始影像进行切分，通过依次对切分的影像块标注的方式实现像素级解译，解译结果往往较粗糙，细节信息大量丢失。基于语义分割框架的解译方法利用全卷积神经网络(Full convolutionalneural network,FCN)，它能够直接获得像素级的损毁建筑识别结果，但FCN模型所需的训练样本获取困难，需要大量专业人员手工勾绘，并且灾后影像中损毁建筑的边界模糊，导致难以制定制作训练样本的统一标准，除此之外，灾后影像中损毁建筑与背景所占的比例严重失衡，不利于FCN模型对损毁建筑特征的学习。因此，直接利用FCN模型得到理想的损毁建筑识别结果难以实现。

可见，单独利用CNN模型或者FCN模型进行损毁建筑的自动识别都存在一定的缺陷。此外，经过研究发现，单独利用灾后影像进行解译会因为影像信息不足而只能提取建筑损毁后的边界，不利于准确定位建筑基座位置和评估灾情，而结合灾前影像的先验信息可以有效的避免灾后影像信息的局限性。

在此环境下，本发明提供一种结合灾前和灾后高分辨率遥感影像信息的对灾后损毁建筑物识别的方案，并综合了CNN模型和FCN模型的优势，将FCN用于对灾前影像中的建筑物进行识别，将CNN用于对灾后影像的解译，最终有效提高损毁建筑的识别精度。

发明内容

本发明所要解决的技术问题是：提出一种结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，有效提高损毁建筑的识别精度。

本发明解决上述技术问题采用的技术方案是：

结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，包括以下步骤：

a.制作灾前建筑物提取样本库和灾后损毁建筑识别样本库；

b.构建灾前建筑物提取模型和灾后损毁建筑识别模型；

c.利用灾前建筑物提取样本库中的数据对灾前建筑物提取模型进行训练，利用灾后损毁建筑识别样本库中的数据对灾后损毁建筑识别模型进行训练；

d.采用训练好的灾前建筑物提取模型提取灾前影像中的建筑物，获得灾前影像建筑区域，并采用基于对象分割策略分割灾前影像建筑区域，得到灾前建筑物分割对象；

e.采用训练好的灾后损毁建筑识别模型处理灾后影像得到对应灾后影像的损毁建筑物置信矩阵，用于判断每个灾前建筑物分割对象是否损毁，得到灾后损毁建筑图。

作为进一步优化，步骤a中，通过人工解译的方式制作灾前建筑物提取样本库和灾后损毁建筑识别样本库。

作为进一步优化，步骤b中，所述灾前建筑物提取模型采用FCN模型，所述灾后损毁建筑识别模型采用CNN模型；

所述FCN模型包括依次相连的卷积层、4个宽膨胀卷积残差单元、上采样层，所述4个宽膨胀卷积残差单元中的前两个宽膨胀卷积残差单元后设置有激活函数层和最大池化层，后两个宽膨胀卷积残差单元后仅设置激活函数层；

所述CNN模型包括依次相连的卷积层、4个宽膨胀卷积残差单元、平均池化层和全连接层；所述4个宽膨胀卷积残差单元后均设置有激活函数层和最大池化层。

作为进一步优化，所述宽膨胀卷积残差单元包括：

第一卷积层、第二卷积层和5个并联的膨胀卷积层；其中第一卷积层的输出信号连接5个并联的膨胀卷积层的输入信号；所述5个并联的膨胀卷积层的输出信号级联后输入第二卷积层；所述第二卷积层的输出信号与第一卷积层的输入信号进行叠加融合作为输出；

其中，第一卷积层和第二卷积层的卷积核大小为均为1×1；5个膨胀卷积层的卷积核大小均为3×3，膨胀因子分别为1、3、5、7、9。

作为进一步优化，步骤d中，采用训练好的灾前建筑物提取模型提取灾前影像中的建筑物后，利用提取结果对灾前影像进行掩膜处理，获得灾前影像建筑区域。

作为进一步优化，步骤d中，所述并采用基于对象分割策略分割灾前影像建筑区域，得到灾前建筑物分割对象具体包括：

采用基于图的分割方式对灾前影像建筑区域进行分割，将视觉上一致的区域分割在一起，然后使用层次聚类算法依次合并周围相似的建筑物分割体，获得灾前建筑物分割对象。

作为进一步优化，步骤e中，采用训练好的灾后损毁建筑识别模型处理灾后影像得到对应灾后影像的损毁建筑物置信矩阵，具体包括：

把灾前建筑物分割对象映射到对应的灾后影像中，得到基于灾后影像的建筑物分割对象，基于CNN模型计算灾后影像置信矩阵，通过比较分割对象包含像素的总体置信度判断建筑物分割对象是否损毁。

作为进一步优化，步骤e中，所述基于CNN模型计算灾后影像置信矩阵具体包括：

依次截取100×100大小的场景影像块输入CNN模型，得到对应分类结果的置信向量，将该向量统一作为输入影像块中每个像素的置信向量，截取影像块的滑动窗口的滑动步长设置为10，大部分像素会被多个场景影像块覆盖，最终与多个置信向量对应，将像素对应的多个置信向量求平均值，作为像素最终的置信向量；

灾后影像的置信矩阵由每个像素的置信向量组成，其中像素点P的置信向量计算公式为:

其中n代表像素点P被n个场景影像块覆盖，I_i表示第i个场景块的置信向量。

作为进一步优化，步骤e中，所述通过比较分割对象包含像素的总体置信度判断建筑物分割对象是否损毁，具体包括：

将灾前建筑分割对象与灾后影像的置信矩阵叠加得到每个建筑物分割对象中包含像素的置信向量，对每个建筑分割对象包含像素的置信向量求和，作为每个建筑分割对象的置信向量，定义I_p是建筑物分割对象中包含像素的置信向量，m是分割体中像素的数量，建筑物分割对象的置信向量采用如下公式计算：

最后通过建筑物分割对象的置信向量识别损毁建筑：

L＝argmax_o

本发明的有益效果是：

首先利用FCN对灾前影像中的建筑物进行识别，并利用分割算法对灾前影像中提取的建筑区域面向对象分割，得到具有清晰边界的独立建筑分割体，随后利用CNN对灾后影像解译，得到影像中每个像素的置信向量，通过结合建筑分割体中包含像素的置信向量判断建筑物是否损毁。通过本发明的方案获得的损毁建筑识别结果具有清晰、明确的建筑物边界，可以准确定位损毁建筑位置，更好地服务于灾后抢险救援任务。

附图说明

图1为本发明的灾后损毁建筑物自动识别原理图；

图2为本发明的灾后损毁建筑物自动识别方法流程图；

图3为本发明中的宽多尺度残差单元结构示意图；

图4为本发明中的FCN和CNN的网络结构示意图；

图5为本发明中的灾前影像建筑物分割对象获取原理图；

图6为本发明中的灾后影像置信矩阵计算原理图；

图7为本发明中的建筑物分割对象的置信向量计算原理图；

图8为本发明实验中的研究区位置和实验数据示意图；

图9为本发明实验中的损毁建筑评判标准图；

图10为本发明实验中的人工目视解译的灾后部分测试区域损毁建筑图；

图11为本发明实验中的基于GoogleEarth影像3个测试区域的倒塌建筑物提取结果图。

具体实施方式

本发明旨在提出结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，该方案基于卷积神经网络(convolutional neural networks,CNN)与全卷积神经网络(Fullconvolutional neural network,FCN)搭建灾前建筑提取和灾后损毁建筑自动识别框架，在灾前和灾后的高分辨率遥感影像信息基础上进行灾后损毁建筑自动识别。其实现原理如图1所示，首先通过人工解译的方式制作基于FCN的灾前建筑物提取和基于CNN的灾后损毁建筑识别样本库，并对构建的FCN模型和CNN模型进行训练。利用训练好的FCN模型提取灾前影像中的建筑物，获得灾前影像建筑区域，并采用基于对象分割策略分割灾前影像建筑区域，得到灾前建筑物分割对象，最后利用训练好的CNN模型处理灾后影像得到对应灾后影像的损毁建筑物置信矩阵，用于判断每个灾前建筑物分割对象是否损毁，得到灾后损毁建筑图。

图2示意了本发明中结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法的流程，其包括以下步骤：

S201、制作训练样本数据集：

通过人工解译的方式制作灾前建筑物提取样本库和灾后损毁建筑识别样本库；

S202、构建灾前建筑物提取模型和灾后损毁建筑识别模型：

搭建基于FCN网络结构的灾前建筑物提取模型和基于CNN网络结构的灾后损毁建筑识别模型；

S203、训练灾前建筑物提取模型和灾后损毁建筑识别模型：

利用灾前建筑物提取样本库中的数据对灾前建筑物提取模型进行训练，利用灾后损毁建筑识别样本库中的数据对灾后损毁建筑识别模型进行训练；

S204、对灾前影像进行提取及分割生成灾前建筑物分割对象：

采用训练好的灾前建筑物提取模型提取灾前影像中的建筑物，获得灾前影像建筑区域，并采用基于对象分割策略分割灾前影像建筑区域，得到灾前建筑物分割对象；

S205、处理灾后影像得到对应灾后影像的损毁建筑物置信矩阵，判断对应灾前建筑物分割对象是否损毁：

采用训练好的灾后损毁建筑识别模型处理灾后影像得到对应灾后影像的损毁建筑物置信矩阵，用于判断每个灾前建筑物分割对象是否损毁，得到灾后损毁建筑图。

在具体实现上，从以下几个部分进行具体介绍本发明的实现手段：

(1)卷积神经网络结构设计：

为了使卷积神经网络的特征提取能力进一步提升，本发明设计一种宽多尺度残差单元(Wide Multi-scale Residual unit,WMSResU)作为网络中特征提取的主要部分，其基本结构依据残差单元设计。一个基本的残差单元包括两个卷积核大小是1×1的卷积层和一个卷积核大小是3×3的卷积层，为了更加有效的提取和融合多种尺度的特征，进而增加特征表达能力，我们将其中卷积核大小为3×3的卷积层用5种不同膨胀因子的膨胀卷积替代，膨胀因子分别为1、3、5、7、9，最后5个膨胀卷积层的输出特征与原始输入特征融合，如图3所示，其中卷积层中的参数C代表输入宽膨胀卷积残差单元的特征图通道数，因此叠加融合后的特征图通道数为6×C。膨胀卷积能够在不增加参数量和不降低特征图分辨率的情况下通过设置膨胀因子调整卷积核感受野的大小，在宽膨胀卷积残差单元中通过不同感受野的卷积核进行运算，在一定程度上顾及到了影像特不同尺度的表达，通过级联连接的方式将各膨胀卷积层输出的特征图融合，能够有效的获得具有多尺度表达能力的特征图。另外，(Zagoruyko et al.,2016)提出的宽残差网络证明层数较浅、宽度较宽的网络结构可以更加有效的利用GPU的计算能力，并且在模型复杂度相同时得到的结果要优于网络层数较深、宽度较窄的网络结构。所提出的单元使用特征图级联连接的方式同时增加了网络的宽度，对网络性能的提升也有一定的帮助。

基于宽多尺度残差单元，我们分别构建FCN网络结构和CNN网络结构的宽多尺度残差网络(Wide Multi-scale Residual Network,WMSResNet)，分别用于在灾前影像中提取建筑物和在灾后影像中判断损毁建筑物。如图4所示，两种网络模型中提取影像特征的网络基本结构相同，包括连续4个相连的宽膨胀卷积残差单元。在CNN模型中每个宽多尺度残差单元后连接最大池化层使特征图的分辨率减半，最后提取到的特征图大小是原始影像大小的1/32，最后连接平均池化层和全连接层获得特征向量，并通过Softmax分类器获得判断建筑物是否损毁的置信向量。而FCN模型为了尽量保留更多的细节信息，去除了后面两个最大池化层，得到的特征图大小是原始影像的1/8，最后为了得到像素级的建筑物提取结果，利用线性上采样操作使特征图与原始输入影像大小相同，并通过Softmax分类器获得结果。

(2)灾前影像建筑区面向对象分割：

FCN网络能够端到端的对输入影像进行像素级的解译，目前已经被广泛的用于建筑物的精确提取任务中，提取效果明显优于其它方法。因此，本发明选择利用FCN模型对灾前影像中的建筑物进行提取，获得精度较高、位置准确、边界清晰的建筑图。但是对于建筑物分布密集的区域，得到的建筑图中经常出现建筑物之间相连接的情况，造成独立的建筑物难以区分，不利于辅助灾后独立建筑的损毁情况判别。为了解决这个问题，利用提取结果对灾前影像掩膜，得到灾前影像的建筑区域，再利用分割算法将建筑区域细分为许多独立的建筑物分割对象，将其映射至灾后影像，如图5所示，最后通过判别每个独立的建筑物分割对象是否损毁，此时损毁建筑的基本判别单元不再是单个像元，而是通过分割得到的“同质”建筑对象，充分的利用了影像对象的光谱、纹理、形状和上下文信息，实现准确识别损毁建筑物的目的，为灾情评估和抢险救援提供重要支撑。

在分割算法上，本发明选择基于图的分割方式(Efficient Graph-Based ImageSegmentation,EGIS)对灾前影像的建筑区域分割。基于图的分割是一种有效的分割方式，能够保持低变化区域的细节，同时能够忽略高变化区域的细节(to preserve detail inlow-variability image regions while ignoring detail in high-variabilityregions)，将视觉上一致的区域分割在一起，分割效果往往偏向于过分割，这样尽量保证了建筑物区域得到充分的分割。随后使用层次聚类算法(hierarchical merging)依次合并周围相似的建筑物分割体，缓解过分割效应，达到最佳的面向对象建筑物分割效果。

(3)基于灾前建筑分割对象判别损毁建筑：

通过对灾前影像中建筑物区域面向对象分割，得到独立的建筑物分割对象，把它们映射到对应的灾后影像中，即可得到基于灾后影像的建筑物分割对象。依次判断灾后影像中的建筑物分割对象是否损毁，即可有效的识别出灾后损毁建筑。对灾后影像建筑物分割对象的判断依据基于CNN模型得到的灾后影像置信矩阵，通过比较分割对象包含像素的总体置信度判断建筑物分割对象是否损毁。整个过程分为两步，即基于CNN模型计算灾后影像的置信矩阵和面向对象的置信度计算。

①基于CNN模型的灾后影像置信矩阵计算：

本发明使用基于CNN模型的patch-based策略计算灾后影像中每个像素的置信向量，依次截取100×100大小的场景影像块输入CNN模型，得到对应分类结果的置信向量，将该向量统一作为输入影像块中每个像素的置信向量。截取影像块的滑动窗口的滑动步长设置为10，因此大部分像素会被多个场景影像块覆盖，最终与多个置信向量对应，由于像素与置信向量形成一对多的关系，为了得到每个像素合理的置信向量，将像素对应的多个置信向量求平均值，作为像素最终的置信向量，因为后续只用于判断建筑分割对象是否损毁，所以置信向量只考虑损毁建筑的概率和未损毁建筑的概率，排除其它地物的干扰，灾后影像的置信矩阵由每个像素的置信向量组成，计算方法如图6所示，其中像素点P的置信向量计算公式如下:

其中n代表像素点P被n个场景影像块覆盖，I_i表示第i个场景块的置信向量。

②建筑分割对象置信向量的计算：

获得待分类影像每个像素的置信向量后，依据它只能衡量独立的像素分为损毁建筑类别的概率，结构和空间信息无法被有效的利用，不利于损毁建筑轮廓清晰完整的判别。为了改善直接基于像素的识别效果，结合面向对象解译的思想，获得灾前建筑分割对象，并通过与灾后影像的置信矩阵叠加得到每个建筑物分割对象中包含像素的置信向量，对每个建筑分割对象包含像素的置信向量求和，作为每个建筑分割对象的置信向量，如图7所示。定义I_p是建筑物分割对象中包含像素的置信向量，m是分割体中像素的数量，建筑物分割对象的置信向量可以用如下公式计算：

最后通过建筑物分割对象的置信向量识别损毁建筑：

L＝argmax I_o

下面以一个实验的实例来具体说明本发明提出的基于深度学习的灾后损毁建筑物自动识别方法，并对其结果进行验证分析。

实验区域和数据介绍：

2010年1月12日海地(Haiti)发生7.0级的地震，大量的建筑物和人工设施被破坏，尤其在首都太子港地区(Port-au-Prince)，由于建筑物分布较密集，建筑物的损毁造成大量的人员伤亡和严重的经济财产损失，据官方统计，海地地震导致105000栋房屋被完全损毁，死亡人数达到310000人(Miura et al.,2016)。研究区位置和实验数据如图8所示，从Google Earth上获取海地太子港地区的震前和震后高分辨率遥感光学影像作为实验数据，拍摄日期分别为2009年8月26日和2010年1月13日，空间分辨率均为0.28m，包含红、绿、蓝3个可见光波段。测试区选择震源附近位置有代表性的3张3500×3500像素大小的影像，用于验证损毁建筑物的识别效果。测试区中包括建筑物分布较密集的地区，也包括分布相对稀疏的区域。损毁建筑的判定标准依据European Macroseismic Scale 1988(EMS-98)(Grünthal et al.,1998)，损毁建筑物被分为5个等级，如图9所示。因为损毁等级为G1-G2的建筑物的结构基本完整，墙体和屋顶没有大面积的破损，表面只有少量裂痕，难以与正常建筑物区分，并且这种情况造成人员伤亡的可能性很小，所以我们规定只将损毁程度达到G3-G5的建筑判定为损毁建筑。

测试影像中损毁建筑的人工目视解译结合震前和震后影像信息，并通过分辨率更高的卫星影像和航空相片辅助判断，利用ENVI5.3勾绘出震后损毁建筑物的基底轮廓(Building footprints)作为标准的损毁建筑图，建筑物基底轮廓依据震前影像的建筑物位置确定，部分测试数据如图10所示，用于损毁建筑识别结果的验证。

用于建筑物提取的FCN模型使用像素级的训练和测试数据，数据集的制作基于震前影像，包括21张从震前影像中裁剪的3500×3500像素大小的影像，每张影像与经专业人员目视解译的建筑物Ground True对应，分为建筑物和背景两种类别，其中3张影像对应灾后影像的测试区，剩余的18张影像作为训练数据，如图8所示。用于损毁建筑解译的CNN模型使用基于场景的震后影像数据，训练样本从图8中震后影像中深色矩形框标识的训练区域中选取，训练样本共分成5种场景类别，分别是损毁建筑、裸地、建筑、不透水层和植被，每个类别分别采集大约400张场景影像块，每个影像块大小根据场景实际大小确定，影像块长宽范围均在50至500个像素之间，通过随机添加高斯噪声、进行旋转和翻折操作扩增训练样本，最后获取的影像块重采样至固定的224×224像素大小，构成用于CNN模型场景解译的灾后影像数据集。

参数设置：

本实验基于ubuntu16.04版本的Linux操作系统进行，采用Pytorch深度学习计算框架，使用NVIDIA Titan Xp核心显卡。实验中使用的各种深度学习模型，优化方法、基本训练参数设置和处理策略保持一致，模型的优化方法采用随机梯度下降(StochasticGradient Descent,SGD)，动量设置为0.9，权值衰减设置为0.0005，训练数据集和测试数据集的批大小(minibatch)均设置为5，模型训练过程迭代10万次，同时使用多项式衰减的学习率更新策略，基本学习率设置为0.01，多项式的幂设置为0.9，学习率更新依据如下公式：

式中：lr′表示更新后的学习率；lr表示更新前的学习率；iter表示当前迭代次数；Max_iter表示迭代总次数；power表示多项式的幂，控制学习率衰减速度。

FCN模型训练和预测中，由于显存容量限制了输入网络中的影像块尺寸，因此实验中在训练和预测阶段均将影像分割成为320×320大小的子影像块输入网络，为了使训练出来的网络模型容错率更高，建筑物识别结果更精确，以100像素为步长，将原始影像重叠分割为320×320大小的子影像块，并对每个子影像块随机添加高斯噪声、进行旋转和翻折操作，增加训练样本量。所有CNN模型均使用224×224大小的影像块作为输入。

评价指标：

选取4种定量评价指标对实验结果进行评价，即精准率(Precision)、召回率(Recall)、F1分数(F1-score)和总体精度(Overall Accuracy)。其中精准率表示自动识别出的损毁建筑物中真实损毁建筑物所占的比例；召回率表示影像中真实的损毁建筑物被正确识别所占的比例；F1分数是衡量二分类模型精确度的一种指标，同时兼顾了分类模型的精准率和召回率，是精准率和召回率的一种加权平均；总体精度表示被分类到正确地表真实分类中的像素比例。损毁建筑物识别被视为一种二分类问题，其中被分为损毁建筑物和背景两种类别，因此本实验中考虑的所有性能指标都基于四种分类输出，即真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性(FN)。真阳性表示正确分类的目标像素的数目；真阴性表示正确分类的非目标像素的数目，假阳性表示被分类为目标的非目标像素的数目；假阴性表示被分类为非目标的目标像素的数目，本实验选取的4种定量评价指标计算公式如下：

实验结果(Experimental results)：

实验中使用3张测试影像进行验证，损毁建筑识别结果如图11所示，图中第一列和第二列分别是原始的震前和震后高分辨率遥感影像，第三列是利用本方法得到的损毁建筑物识别结果图，包括正确识别的损毁建筑，识别错误的部分和未能识别出的损毁建筑。

表1中统计了3张测试影像识别结果的精度，如下所示：

表1：测试影像的损毁建筑图定量评价结果

Test region	Precision(％)	Recall(％)	F1(％)	Overall(％)
					Test Region 1	67.42	84.19	74.88	91.68
Test Region 2	67.28	80.79	73.41	94.31
					Test Region 3	79.75	81.11	80.42	97.49

从统计结果可以看出，测试影像1和测试影像2的各评价指标得分相差不大，相比之下，测试影像3的结果更好一些。通过观察测试区域，发现测试影像3中的建筑物分布较稀疏，建筑物间的间隔更大，因此独立的建筑对象更容易被正确的分割和识别出来，能够有效的减少建筑物之间或与其它地物之间的混淆。相反对于建筑分布较稠密的区域，建筑间隔很小或连接在一起，建筑物之间不容易区分，不利于单独对每个建筑物进行判别，当其中部分建筑损毁，识别中可能导致损毁的部分被忽略或连同周围未损毁的建筑一起被判定为损毁建筑。

Claims (9)

1.结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，其特征在于，

包括以下步骤：

a.制作灾前建筑物提取样本库和灾后损毁建筑识别样本库；

b.构建灾前建筑物提取模型和灾后损毁建筑识别模型；

c.利用灾前建筑物提取样本库中的数据对灾前建筑物提取模型进行训练，利用灾后损毁建筑识别样本库中的数据对灾后损毁建筑识别模型进行训练；

d.采用训练好的灾前建筑物提取模型提取灾前影像中的建筑物，获得灾前影像建筑区域，并采用基于对象分割策略分割灾前影像建筑区域，得到灾前建筑物分割对象；

e.采用训练好的灾后损毁建筑识别模型处理灾后影像得到对应灾后影像的损毁建筑物置信矩阵，用于判断每个灾前建筑物分割对象是否损毁，得到灾后损毁建筑图。

2.如权利要求1所述的结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，

其特征在于，步骤a中，通过人工解译的方式制作灾前建筑物提取样本库和灾后损毁建筑识别样本库。

3.如权利要求1所述的结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，

其特征在于，步骤b中，所述灾前建筑物提取模型采用FCN模型，所述灾后损毁建筑识别模型采用CNN模型；

所述FCN模型包括依次相连的卷积层、4个宽膨胀卷积残差单元、上采样层，所述4个宽膨胀卷积残差单元中的前两个宽膨胀卷积残差单元后设置有激活函数层和最大池化层，后两个宽膨胀卷积残差单元后仅设置激活函数层；

所述CNN模型包括依次相连的卷积层、4个宽膨胀卷积残差单元、平均池化层和全连接层；所述4个宽膨胀卷积残差单元后均设置有激活函数层和最大池化层。

4.如权利要求3所述的结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，其特征在于，所述宽膨胀卷积残差单元包括：

第一卷积层、第二卷积层和5个并联的膨胀卷积层；其中第一卷积层的输出信号连接5个并联的膨胀卷积层的输入信号；所述5个并联的膨胀卷积层的输出信号级联后输入第二卷积层；所述第二卷积层的输出信号与第一卷积层的输入信号进行叠加融合作为输出；

其中，第一卷积层和第二卷积层的卷积核大小为均为1×1；5个膨胀卷积层的卷积核大小均为3×3，膨胀因子分别为1、3、5、7、9。

5.如权利要求1所述的结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，

其特征在于，步骤d中，采用训练好的灾前建筑物提取模型提取灾前影像中的建筑物后，利用提取结果对灾前影像进行掩膜处理，获得灾前影像建筑区域。

6.如权利要求5所述的结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，

其特征在于，步骤d中，所述并采用基于对象分割策略分割灾前影像建筑区域，得到灾前建筑物分割对象具体包括：

采用基于图的分割方式对灾前影像建筑区域进行分割，将视觉上一致的区域分割在一起，然后使用层次聚类算法依次合并周围相似的建筑物分割体，获得灾前建筑物分割对象。

7.如权利要求1所述的结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，

其特征在于，步骤e中，采用训练好的灾后损毁建筑识别模型处理灾后影像得到对应灾后影像的损毁建筑物置信矩阵，具体包括：

把灾前建筑物分割对象映射到对应的灾后影像中，得到基于灾后影像的建筑物分割对象，基于CNN模型计算灾后影像置信矩阵，通过比较分割对象包含像素的总体置信度判断建筑物分割对象是否损毁。

8.如权利要求7所述的结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，

其特征在于，步骤e中，所述基于CNN模型计算灾后影像置信矩阵具体包括：

依次截取100×100大小的场景影像块输入CNN模型，得到对应分类结果的置信向量，将该向量统一作为输入影像块中每个像素的置信向量，截取影像块的滑动窗口的滑动步长设置为10，大部分像素会被多个场景影像块覆盖，最终与多个置信向量对应，将像素对应的多个置信向量求平均值，作为像素最终的置信向量；

灾后影像的置信矩阵由每个像素的置信向量组成，其中像素点P的置信向量计算公式为:

其中n代表像素点P被n个场景影像块覆盖，I_i表示第i个场景块的置信向量。

9.如权利要求8所述的结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法，

其特征在于，步骤e中，所述通过比较分割对象包含像素的总体置信度判断建筑物分割对象是否损毁，具体包括：

将灾前建筑分割对象与灾后影像的置信矩阵叠加得到每个建筑物分割对象中包含像素的置信向量，对每个建筑分割对象包含像素的置信向量求和，作为每个建筑分割对象的置信向量，定义I_p是建筑物分割对象中包含像素的置信向量，m是分割体中像素的数量，建筑物分割对象的置信向量采用如下公式计算：

最后通过建筑物分割对象的置信向量识别损毁建筑：L＝argmaxI_o。

Images