CN112733711B - 基于多尺度场景变化检测的遥感影像损毁建筑物提取方法 - Google Patents

Abstract

本发明公开了一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法。该方法包括收集待提取损毁建筑物所在地灾前和灾后的影像并进行数据预处理；提取预处理后的灾前影像的建筑物区域，并对其进行多尺度分割，得到多尺度分割结果；利用多尺度分割结果，基于深度孪生网络进行场景变化检测，得到各分割尺度下的损毁建筑物检测结果；对得到的各分割尺度下的损毁建筑物检测结果进行自动融合，确定分割体的最终类别。本发明为了解决传统损毁建筑物检测方法对样本标注要求高和检测结果轮廓保真度差的问题，利用了基于深度孪生网络的场景变化检测模型，并将建筑区域多尺度分割结果与场景变化检测结果有效融合，较完整的保留了建筑物的轮廓信息。

Description

基于多尺度场景变化检测的遥感影像损毁建筑物提取方法

技术领域

本发明涉及一种遥感影像损毁建筑物提取方法，尤其涉及一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法。

背景技术

建筑区域是人类活动的主要场所，同时也是灾害发生时人员伤亡和财产损失最为严重的区域。因此，在灾害发生之后，快速、准确地评估受灾区域建筑物的损毁情况对于灾区开展应急救援、决策指挥以及灾后重建等工作具有重要意义。遥感技术因具有宏观性、高效性和便捷性等特点，目前已经成为灾害监测与评估的主要技术手段之一。特别地，高分辨率遥感影像日益增加的可获取性，使得大范围、精细化提取灾后损毁建筑物成为可能。然而，从该类影像上直接通过人工目视解译结合实地调查的方式提取灾后损毁建筑物存在低效、耗时、费力等问题，难以满足灾害应急决策的高时效性要求。因此，迫切需要发展自动高效的损毁建筑物提取方法。

在高分辨率遥感影像中，相比于其它一般地物目标而言，损毁建筑物具有其特殊性，主要表现为损毁建筑物形态各异、凌乱无序，并且没有清晰轮廓，同时遥感影像普遍存在较强的类间相似性和类内异质性，因此，从高分辨率遥感影像中自动提取损毁建筑物面临诸多挑战。传统的损毁建筑物自动提取方法普遍基于人工设计的底层视觉特征，并需根据先验知识人为设定相应的指标阈值或借助分类器才能实现损毁建筑物和其它地物在特征空间的有效区分，但是该类方法受限于人为特征设计的不完备性以及对先验知识的过度依赖，导致此类方法的自动化程度不高，并且其地理可迁移性也难以得到保证。

随着深度学习的发展，特别是以卷积神经网络为代表的模型能从大量的训练样本中自动学习到由底层视觉特征到高层语义特征的层次化特征表达，规避了人为设计特征的缺陷，同时模型的泛化能力也得到极大提升。目前，基于深度学习的损毁建筑物提取方法已成为近年来研究的热点。但是，目前大多数研究工作直接将适用于自然图像理解的深度学习模型直接迁移应用于损毁建筑物提取，缺乏对该任务的针对性思考，主要表现为：①基于语义分割的方法需要像素级精细标注，而灾后高分辨率遥感影像上损毁建筑物边界模糊，使得获取像素级标注样本变得异常困难，并且标注质量也无法得到保证；②基于场景分类的方法虽然只需对样本进行图片级标注，但是实际检测时通常采用固定大小的滑动窗口遍历影像，忽略了地物的尺度差异，解译结果往往较为粗糙；③基于目标识别的方法对样本的标注难度介于以上两者之间，但也只能定位损毁建筑物，不能保留地物的轮廓信息。

除此之外，还存在灾后高分辨率遥感影像上损毁建筑物边界模糊，不利于损毁建筑物精确定位，并且影像上其它地物如碎石堆、土堆等容易对损毁建筑物提取造成干扰的问题。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法，包括以下步骤：

S1、收集待提取损毁建筑物所在地灾前和灾后的影像并进行数据预处理；

S2、提取步骤S1预处理后的灾前影像的建筑物区域，并对其进行多尺度分割，得到多尺度分割结果；

S3、利用步骤S2得到的多尺度分割结果，基于深度孪生网络进行场景变化检测，得到各分割尺度下的损毁建筑物检测结果；

S4、对步骤S3得到的各分割尺度下的损毁建筑物检测结果进行自动融合，确定分割体的最终类别。

本发明具有以下有益效果：本发明采用了面向对象分割方法对灾前影像建筑物区域进行多尺度分割，并在不同尺度下分别检测损毁建筑物并融合各尺度的检测结果，充分考虑了不同建筑物的尺度差异，同时，该方法在无需建筑物矢量图的情况下能有效保留建筑物的轮廓信息。

优选地，步骤S1包括以下分步骤：

S11、收集待提取损毁建筑物所在地灾前和灾后的影像；

S12、选择灾前或灾后影像作为基准影像，另一幅作为待配准影像，手动均匀选择若干个同名像点作为控制点，选择合适的插值方法，完成灾前、灾后影像配准；

S13、选择配准后的灾前或灾后影像作为基准影像，另一幅作为待匹配影像，完成灾前、灾后影像直方图匹配。

该优选方案具有以下有益效果：降低了由于传感器拍摄角度差异、光照差异以及阴影、遮挡等客观因素导致不同时间获取的同一区域灾前、灾后影像间存在地物移位和伪变化对后续损毁建筑物检测造成干扰。

优选地，步骤S2包括以下分步骤：

S21、通过人工目视解译的方式勾画出各灾前影像对应的建筑物真值，并将影像有重叠的裁剪成512*512像素大小，作为语义分割模型样本库；

S22、采用步骤S21构建的语义分割模型样本库训练语义分割模型，并利用训练好的模型提取灾前影像中的建筑物，得到以二值图像表示的建筑物提取结果；

S23、利用建筑物提取结果对灾前影像进行掩膜处理，并对其进行多尺度分割，得到多尺度分割结果。

该优选方案具有以下有益效果：语义分割方法能够直接根据输入影像得到相应的像素级分类结果，并且提取效果普遍较其它方法更优，并且，通过掩膜处理可以避免非建筑物地物的变化对灾前、灾后建筑物影像块变化概率计算产生不必要的干扰。

优选地，步骤S3包括以下分步骤：

S31、基于步骤S23得到的多尺度分割结果，利用建筑物分割体分别从灾前、灾后影像中裁剪对应位置的影像块，然后通过目视判读的方式从中挑选完整建筑物样本对和损毁建筑物样本对来构建深度孪生网络样本库；

S32、利用深度孪生网络样本库中的样本对深度孪生网络模型进行训练；

S33、在不同分割尺度下，基于各建筑物分割体分别从灾前、灾后影像中裁剪对应位置的影像块，并输入深度孪生网络计算变化概率和未变化概率，将各个分割体的变化概率和未变化概率映射回分割体，分别得到各尺度下的损毁建筑物检测结果。

该优选方案具有以下有益效果：采用的基于孪生网络的场景变化检测方法对损毁建筑物样本的标注要求低，也降低了灾前、灾后影像的配准要求，并且该方法对不同时相影像间的亮度差异、相机拍摄角度差异等引起的伪变化具有一定鲁棒性。

优选地，步骤S4包括以下分步骤：

S41、分别统计各像素在所有尺度下对应变化概率最大值和未变化概率最大值，比较两者大小并将概率值大的类别作为该像素的最终类别，其表达式为：

其中

分别为分割尺度sj下建筑物像素i对应的变化概率和未变化概率，

为变化概率最大值，

为未变化概率最大值，ci为该像素的最终类别；

S42、以最小分割尺度中的分割体为基本单元，统计各分割体内各类别像素的频率，并将频数最大的类别作为分割体的最终类别；

S43、对分类结果中的建筑物孔洞进行孔洞填充。

该优选方案具有以下有益效果：顾及了各尺度检测结果，提升总体分类精度，同时保持检测结果的平滑度。

附图说明

图1是本发明基于多尺度场景变化检测的遥感影像损毁建筑物提取方法的流程示意图；

图2是本发明实施例中语义分割训练样本实例示意图；

图3是本发明实施例中步骤S2处理实例的处理过程示意图；

图4是本发明实施例中完整建筑物样本对和损毁建筑物样本示意图；

图5是本发明实施例中步骤S3处理实例的处理过程示意图；

图6是本发明实施例中步骤S4处理实例的处理过程示意图；

图7是本发明实施例中的多尺度分割示例示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参照图1，本发明提供了一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法，包括以下步骤：

S1、收集待提取损毁建筑物所在地灾前和灾后的影像并进行数据预处理；

本发明实施例中，步骤S1包括以下分步骤：

S11、收集待提取损毁建筑物所在地灾前和灾后的影像；

S12、借助ENVI Classic软件，采用Image to Image方式，选择灾前或灾后影像作为基准影像，另一幅作为待配准影像，手动均匀选择若干个同名像点作为控制点，选择合适的插值方法，完成灾前、灾后影像配准，并将匹配好的影像导出备用；

S13、借助ENVI软件中的Histogram Matching工具，选择配准后的灾前或灾后影像作为基准影像，另一幅作为待匹配影像，完成灾前、灾后影像直方图匹配。

S2、提取步骤S1预处理后的灾前影像的建筑物区域，并对其进行多尺度分割，得到多尺度分割结果；

本发明实施例中，步骤S2包括以下分步骤：

S21、通过人工目视解译的方式勾画出各灾前影像对应的建筑物真值，并将影像有重叠的裁剪成512*512像素大小，构建语义分割模型样本库；

S22、采用步骤S21构建的语义分割模型样本库训练语义分割模型，应用本实施例的语义分割训练样本实例请参照图2，并利用训练好的模型提取灾前影像中的建筑物，得到以二值图像表示的建筑物提取结果；

S23、利用建筑物提取结果对灾前影像进行掩膜处理，并借助eCognition软件中的多尺度分割方法对其进行多尺度分割，得到多尺度分割结果。

利用本实施例此步骤处理实例的处理过程图片请参照图3。

S3、利用步骤S2得到的多尺度分割结果，基于深度孪生网络进行场景变化检测，得到各分割尺度下的损毁建筑物检测结果；

本发明实施例中，步骤S3包括以下分步骤：

S31、基于步骤S23得到的多尺度分割结果，利用建筑物分割体分别从灾前、灾后影像中裁剪对应位置的影像块，然后通过目视判读的方式从中挑选完整建筑物样本对和损毁建筑物样本对来构建深度孪生网络模型样本库，应用本实施例的完整建筑物样本对和损毁建筑物样本对请参照图4；

S32、利用深度孪生网络模型样本库中的样本对深度孪生网络模型进行训练；

S33、在不同分割尺度下，基于各建筑物分割体分别从灾前、灾后影像中裁剪对应位置的影像块，并输入深度孪生网络计算变化概率和未变化概率，将各个分割体的变化概率和未变化概率映射回分割体，分别得到各尺度下的损毁建筑物检测结果。

利用本实施例此步骤处理实例的处理过程请参照图5。

S4、对步骤S3得到的各分割尺度下的损毁建筑物检测结果进行自动融合，确定分割体的最终类别。

本发明实施例中，步骤S4包括以下分步骤：

S41、分别统计各像素在所有尺度下对应变化概率最大值和未变化概率最大值，比较两者大小并将概率值大的类别作为该像素的最终类别，其表达式为：

其中

分别为分割尺度sj下建筑物像素i对应的变化概率和未变化概率，

为变化概率最大值，

为未变化概率最大值，ci为该像素的最终类别；

S42、以最小分割尺度中的分割体为基本单元，统计各分割体内各类别像素的频率，并将频数最大的类别作为分割体的最终类别；

S43、对分类结果中的建筑物孔洞进行孔洞填充。

利用本实施例此步骤处理实例的处理过程请参照图6。

本发明实施例中的多尺度分割示例请参照图7。

本领域的普通技术人员将会意识到，这里所描述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法，其特征在于，包括以下步骤：

S1、收集待提取损毁建筑物所在地灾前和灾后的影像并进行数据预处理；

S2、提取所述步骤S1预处理后的灾前影像的建筑物区域，并对其进行多尺度分割，得到多尺度分割结果；

S3、利用所述步骤S2得到的多尺度分割结果，基于深度孪生网络进行场景变化检测，得到各分割尺度下的损毁建筑物检测结果；

S4、对所述步骤S3得到的各分割尺度下的损毁建筑物检测结果进行自动融合，确定分割体的最终类别，包括以下分步骤：

S41、分别统计各像素在所有尺度下对应变化概率最大值和未变化概率最大值，比较两者大小并将概率值大的类别作为该像素的最终类别，其表达式为：

其中

分别为分割尺度s_j下建筑物像素i对应的变化概率和未变化概率，

为变化概率最大值，

为未变化概率最大值，c_i为该像素的最终类别；

S42、以最小分割尺度中的分割体为基本单元，统计各分割体内各类别像素的频率，并将频数最大的类别作为分割体的最终类别；

S43、对分类结果中的建筑物孔洞进行孔洞填充。

2.如权利要求1所述的一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法，其特征在于，所述步骤S1包括以下分步骤：

S11、收集待提取损毁建筑物所在地灾前和灾后的影像；

S12、选择灾前或灾后影像作为基准影像，另一幅作为待配准影像，手动均匀选择若干个同名像点作为控制点，采用插值方法完成灾前、灾后影像配准；

S13、选择配准后的灾前或灾后影像作为基准影像，另一幅作为待匹配影像，完成灾前、灾后影像直方图匹配。

3.如权利要求2所述的一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法，其特征在于，所述步骤S2包括以下分步骤：

S21、通过人工目视解译的方式勾画出各灾前影像对应的建筑物真值，并将影像有重叠的裁剪成512*512像素大小，作为语义分割模型样本库；

S22、采用所述步骤S21构建的语义分割模型样本库训练语义分割模型，并利用训练好的模型提取灾前影像中的建筑物，得到以二值图像表示的建筑物提取结果；

S23、利用建筑物提取结果对灾前影像进行掩膜处理，并对其进行多尺度分割，得到多尺度分割结果。

4.如权利要求3所述的一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法，其特征在于，所述步骤S3包括以下分步骤：

S31、基于所述步骤S23得到的多尺度分割结果，利用建筑物分割体分别从灾前、灾后影像中裁剪对应位置的影像块，然后通过目视判读的方式从中挑选完整建筑物样本对和损毁建筑物样本对来构建深度孪生网络样本库；

S32、利用深度孪生网络样本库中的样本对深度孪生网络模型进行训练；

S33、在不同分割尺度下，基于各建筑物分割体分别从灾前、灾后影像中裁剪对应位置的影像块，并输入深度孪生网络计算变化概率和未变化概率，将各个分割体的变化概率和未变化概率映射回分割体，分别得到各尺度下的损毁建筑物检测结果。

Images