CN104091369A - 一种无人机遥感影像建筑物三维损毁检测方法 - Google Patents

Abstract

一种无人机遥感影像建筑物三维损毁检测方法，包括生成灾前的DSM和灾后的DSM并配准，识别损毁建筑物疑似区域；根据灾前的DSM获取建筑物的矢量信息，进一步分割灾前建筑物区域和灾后建筑物区域；根据灾前建筑物区域分割结果、灾后建筑物区域分割结果进行特征提取，得到特征证据；根据证据理论原理，采用特征证据计算建筑物发生倒损的置信度，得到检测结果。本发明充分利用了多重叠影像生成的点云三维信息，同时结合灾前后的遥感影像房屋损毁特征，显著提高了建筑物损毁检测的精度。

Description

一种无人机遥感影像建筑物三维损毁检测方法

技术领域

本发明涉及遥感影像应用技术领域，尤其是涉及一种无人机遥感影像建筑物三维损毁检测方法。

背景技术

自然灾害发生后，如何快速的对灾害中的房屋损毁情况做出检测评价，具有重要的意义。它能够及时和准确的了解受灾的区域和灾害级别，以便快速做出相应的应急措施。无人机作为一种新型遥感监测平台，飞行操作智能化程度高，可按预定航线自主飞行、摄像，实时提供遥感监测数据和低空视频监控，具有机动性强、便捷、成本低等特点，其所获取的高分辨率重叠的遥感数据具有抗干扰能力强，成像范围大等特点，使之成为建筑物损毁检测有效的方式之一。

通常自然灾害发生后建筑物的倒损形式包括结构整体倒塌、整体沉降、部分倒塌、下部倒塌、中间层倒塌、墙体裂而不倒等。显而易见，对于建筑物整体沉降，下部倒塌等情况，倒损检测不仅需要二维信息的提取与分析，建筑物高度信息的检测也至关重要。目前利用遥感进行建筑物倒损检测的典型方法包括以下几种：1)利用单张灾后影像的建筑物损毁检测方法，其核心思想是通过对遥感影像解译分类，提取建筑物损毁信息。由传统的基于像元级别的提取方法，发展到现在主流的基于面向对象技术提取方法，同时结合影像的各种特征包括几何结构、形状、边缘、纹理、颜色等，对建筑物损毁信息进行提取；但该方法难以提取建筑物高度变化信息，即使能利用阴影等方式获得部分建筑物高度，但不具有普适性。2)利用两/多时相遥感影像的建筑物损毁信息提取方法，其核心思想是遥感变化检测，通过灾害前后遥感影像变化区域对比，提取建筑物损毁信息；这些方法主要是基于二维数据的变化检测，难以检测建筑物高度变化信息，对检测那些部分倒塌、整体沉降、下部倒塌或中间层倒塌等高度发生变化的建筑物具有先天缺陷。3)利用航空或卫星立体像对提取的DSM三维信息对建筑物进行损毁检测，通过三维信息的提取与比较分析检测建筑物高度的变化而获得损毁信息；因此需要迫切寻找一种数据易获取、检测效率高、检测结果相对精确且顾及到建筑物高度信息的变化检测方法。

发明内容

为克服现有技术缺陷，本发明提出了一种无人机遥感影像建筑物三维损毁检测方法。

本发明的技术方案提供的一种多重叠无人机遥感影像建筑物三维损毁检测方法，包括以下步骤，

步骤一、对灾前数据和灾后数据分别进行处理，生成灾前的DSM和灾后的DSM，DSM为数字地表模型；所用的灾前数据和灾后数据为多重叠无人机遥感影像数据；

步骤二，对步骤一所得灾前的DSM和灾后的DSM进行自动配准；

步骤三，对步骤二配准后的DSM，利用高程信息进行变化检测，识别损毁建筑物疑似区域；

步骤四，进一步分割灾前建筑物区域和灾后建筑物区域，包括根据步骤一所得灾前的DSM获取建筑物的矢量信息，并且进行以下处理，

基于灾前数据进行影像拼接，把步骤三中损毁建筑物疑似区域投影到所得拼接影像上，得到影像上的变化疑似区域，利用建筑物的矢量信息叠加在所得影像上的变化疑似区域上进行分割，得到灾前建筑物区域分割结果；

基于灾后数据进行影像拼接，把步骤三中损毁建筑物疑似区域投影到所得拼接影像上，得到影像上的变化疑似区域，利用建筑物的矢量信息叠加在所得影像上的变化疑似区域上进行分割，得到灾后建筑物区域分割结果；

步骤五，根据灾前建筑物区域分割结果、灾后建筑物区域分割结果进行特征提取，得到特征证据；

步骤六，根据证据理论原理，采用步骤五所得特征证据计算建筑物发生倒损的置信度，得到检测结果。

而且，步骤一中，对灾前数据和灾后数据分别进行处理时，处理方式包括利用先验信息对多重叠无人机遥感影像进行预处理，利用空三构网求出每张影像的外方位元素，密集匹配生成三维点云，构建底面格网，生成DSM。

而且，步骤四中，根据步骤一所得灾前的DSM获取建筑物的矢量信息，包括利用数学形态学滤波分离出非地面点，基于区域生长方式提取建筑物点，通过建筑物投影到地面的轮廓信息得到建筑物的矢量信息。

而且，步骤五中，所述特征证据包括面积特征证据和纹理特征证据。

而且，根据灾前建筑物区域分割结果、灾后建筑物区域分割结果进行面积特征提取，获得面积特征证据，实现方式如下，

分别计算灾前和灾后的第i个建筑物的面积S_iBefore、S_iAfter，以及面积差ΔS_i＝Si_Before-S_iAfter，

当ΔS_i小于或等于给定的面积差最小阈值MinΔS_i时，认为建筑物发生倒损的隶属度R_iΔS(Area)为0；

当ΔS_i大于或等于给定的面积差最大阈值MaxΔS_i时，认为建筑物发生倒损的隶属度R_iΔS(Area)为1；

当MinΔS_i<ΔS_i<MaxΔS_i，根据隶属函数确定建筑物发生倒损的隶属度 $R_{\mathrm{i\&Delta;S}}\left(\mathrm{Area}\right)=\frac{\mathrm{\&Delta;}{S}_i-\mathrm{Min\&Delta;S}}{\mathrm{Max\&Delta;S}-\mathrm{Min\&Delta;S}}.$

而且，根据灾后建筑物区域分割结果进行纹理特征提取，获得纹理特征证据，实现方式如下，

求取灾后的第i个建筑物的灰度共生矩阵中能量特征ASM_i，

当ASM_i大于或等于给定的最大阈值MaxASM_i时，认为建筑物发生倒损的隶属度R_iASM(ASM)为0，

当ASM_i小于或等于给定的最小阈值MinASM_i时，认为建筑物发生倒损的隶属度R_iASM(ASM)为1，

当MinASM_i<ASM_i<MaxASM_i时，根据隶属函数计算建筑物发生倒损的隶属度 $R_{\mathrm{iASM}}\left(\mathrm{ASM}\right)=\frac{\mathrm{MaxASM}-{\mathrm{ASM}}_i}{\mathrm{MaxASM}-\mathrm{MinASM}}.$

本发明充分利用了多重叠影像生成的点云三维信息，同时结合灾前后的遥感影像房屋损毁特征，显著提高了建筑物损毁检测的精度，特点是：

(1)损毁变化检测由二维扩展到三维环境中，利用影像生成的三维点云的高程信息进行三维变化检测，根据高度变化情况进行疑似区域检测。

(2)利用影像生成的DSM进行建筑物的分割提取，生成建筑物的矢量信息，利用矢量信息得到灾前和灾后影像上的建筑物区域。

(3)利用建筑物的高程、面积和纹理等多特征对建筑物进行变化检测，并运用证据理论对特征提取结果进行处理。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的分组示意图。

具体实施方式

本发明提供了一种基于三维的建筑物损毁变化检测的方法，通过重叠的无人机航拍影像生成三维点云，利用灾前三维点云信息提取建筑物的矢量信息，利用灾前和灾后建筑物的高程、面积和纹理作对比来进行变化检测，最终得到损毁建筑物。本发明技术方案可采用计算机软件技术实现自动运行流程。以下结合附图和实施例详细说明本发明技术方案。

如图1，实施例包括以下步骤：

步骤一、对灾前数据和灾后数据分别进行处理。

实施例基于灾前数据和灾后数据的多重叠无人机遥感影像分别进行以下步骤，生成灾前的DSM和灾后的DSM，一般可采用以下步骤：

(1)利用先验信息对多重叠无人机遥感影像进行预处理：

无人机航拍的相邻影像之间有一定的重叠度。由于航拍的数据量非常大，直接进行三维重建，一方面无法得到较好的重建效果，另外一方面会使得重建的计算量大，重建时间较长。因此，利用已有POS信息和航带先验信息对影像进行分组。由于实施例中无分机影像的航向重叠度是80％，旁向重叠度是35％，那么对于某张影像应该和同一航带的连续4张影像以及航带间的连续两张影像分为一组。如图2所示A点的影像在航带图中的分组，黑色矩形虚线框住部分为与A影像分在同一组的影像。

(2)在步骤(1)的基础上进行空三摄影测量，利用空三构网，求出每张影像的外方位元素，并进行光束法的整体平差。本步骤实现可采用现有技术，本发明不予赘述。

(3)根据影像分组，在步骤(2)的基础上利用现有技术中GPU加速的PMVS算法进行快速的密集匹配，生成密集的三维点云，所重建的点云作为三维高程数据。

(4)对步骤(3)中的三维点云底面进行网格化，构建底面格网，每个网格对应一个高程点，对网格中没有高程的点，进行插值形成DSM。DSM为数字地表模型。

步骤二，对步骤一所得灾前的DSM和灾后的DSM进行自动配准：由于由灾前和灾后重叠影像生成的点云也可换算为精确的大地坐标，因此可以进行比较精确的自动配准。自动配准实现可采用现有技术，本发明不予赘述。

步骤三，利用高程信息进行变化检测，识别损毁建筑物疑似区域：具体实施时可对步骤二配准后的DSM进行差值运算处理，当差值大于某个预设阈值时，认为发生了变化，最后得到DSM差值影像，对差值影像进行二值化和Canny的边缘检测，得到侯选变化区域。本领域技术人员可自行预设相应阈值。

步骤四，进一步分割灾前建筑物区域和灾后建筑物区域：

实施例对步骤一所得灾前的DSM分离出非地面点，采用基于面片拟合的区域生长方法提取建筑物点，最终获取建筑物的矢量信息。具体步骤如下:

a)利用数学形态学滤波分离出非地面点。主要思路是将地面之上的建筑物和植被腐蚀至地表，然后再进行膨胀恢复。具体方法是：移动一个固定大小的窗口(结构元素)，通过开运算检测出窗口内的最低点，如果此窗口内点的高程值与最低点高程之差在预设阈值范围内，则判断该点为地面点，否则加以剔除。阈值的大小通常由三维点云的精度确定，本领域技术人员可自行预设相应阈值。当该窗口在整个点云内完整地移动一遍就获得了最终的滤波结果，实现地面和非地面的分离。

b)基于规格网的区域生长方法提取建筑物点。具体流程如下：

①基于步骤一所得灾前的DSM，以第一个网格点做为增长的起始点，并对区域进行标记。

②将该网格点的高程和周围8-邻域的高程进行比较，若高程差小于某一个预设阈值，合并到同一区域，并对该区域进行标记。本领域技术人员可自行预设相应阈值。

③从新合并的格网点开始，反复②的操作，直到不能合并。

④返回①的操作，寻找新的网格点作为区域增长的起始点，重复②③操作，当所有的网格点搜索完毕，区域增长结束。

c)通过建筑物投影到地面的轮廓信息得到建筑物的矢量信息。具体实施时，可对每个建筑物进行编号，得到矢量和建筑物编号的对应关系。基于编号可以记录相应建筑物的位置。

并且基于灾前数据和灾后数据的多重叠无人机遥感影像分别进行以下步骤，

(1)对影像进行利用基于特征的影像拼接，具体流程如下：

a)特征提取：利用SIFT进行影像的特征提取。

b)影像配准：先进行粗配准，利用k-d树搜索匹配的特征点；然后进行精配准，粗配准往往出现错误的匹配点，因此利用RANSAC算法剔除错误的匹配点。通过影像的配准，可以得到影像之间的变换矩阵。

c)影像的拼接：通过b)得到的变换矩阵进行影像的拼接。

d)影像的融合：拼接后，利用双线性插值算法进行影像的融合。

SIFT特征提取、k-d树、RANSAC算法、双线性插值算法具体实现为现有技术，本发明不予赘述。

(2)把步骤三中候选变化区域投影到(1)所得拼接影像上，得到影像上的变化疑似区域。设投影矩阵P_3×4表示单视图几何的已知的内外方位元素，计算P_3×4矩阵：

$P=\left[\begin{array}{ccc}-f& 0& x_0\\ 0& f& y_0\\ 0& 0& 1\end{array}\right]R^T\left[\begin{array}{cccc}1& 0& 0& -X_s\\ 0& 1& 0& -Y_s\\ 0& 0& 1& -Z_s\end{array}\right]$ 式一

其中，P即投影矩阵P_3×4，f为影像的焦距，x₀和y₀为光轴距离光心在水平方向和垂直方向的偏心距。X_s、Y_s、Z_s为相机中心在世界坐标系中的坐标，R^T表示3×3的旋转矩阵。

投影公式为：

$\left[\begin{array}{c}\mathrm{xz}\\ \mathrm{yz}\\ z\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ 式二

利用式一和式二计算点云上的点到影像上的投影。x,y,z表示物点在相机坐标系下的坐标，X,Y,Z表示物点在世界坐标系下的坐标。

(3)矢量引导分割：利用建筑物的矢量信息叠加在(2)所得影像上的变化疑似区域上进行分割。

针对灾前影像，进行以上拼接、投影、分割处理后，得到灾前建筑物区域分割结果；针对灾后影像，进行以上拼接、投影、分割处理后，得到灾后建筑物区域分割结果。

步骤五，进行特征提取，得到特征证据。

(1)根据灾前建筑物区域分割结果、灾后建筑物区域分割结果进行面积特征提取获得面积特征证据，主要是得到建筑物面积大小。分别计算灾前和灾后的第i个建筑物的面积S_iBefore、S_iAfter，以及面积差ΔS_i＝S_iBefore-S_iAfter，

当ΔS_i小于或等于给定的面积差最小阈值MinΔS_i时，认为建筑物发生倒损的隶属度R_iΔS(Area)为0；

当ΔS_i大于或等于给定的面积差最大阈值MaxΔS_i时，认为建筑物发生倒损的隶属度R_iΔS(Area)为1；

当MinΔS_i<ΔS_i<MaxΔS_i，根据隶属函数确定建筑物发生倒损的隶属度 $R_{\mathrm{i\&Delta;S}}\left(\mathrm{Area}\right)=\frac{\mathrm{\&Delta;}{S}_i-\mathrm{Min\&Delta;S}}{\mathrm{Max\&Delta;S}-\mathrm{Min\&Delta;S}}.$

(2)根据灾后建筑物区域分割结果进行纹理特征提取获得纹理特征证据。利用灾后建筑物区域分割结果进行提取灾后分割区域内建筑物的纹理特征，本发明采用现有技术中的灰度共生矩阵中能量特征ASM来描述纹理特征，完整的、未损毁的建筑物ASM值较大，纹理杂乱的倒损建筑物ASM值较小。具体实施如下：

设大小为m×n的影像f(x,y)，影像灰度级别为Ng，灰度共生矩阵B为：

B(a,b)＝#{(x1,y1),(x2,y2)∈m×n|f(x1,y1)＝a,f(x2,y2)＝b}

其中，#{.}表示大括号中成立的像元对数。显然B为Ng×Ng的矩阵，B(a,b)为其中第a行第b列的元素，a的取值为0,1,2,…,Ng-1，b的取值为0,1,2,…,Ng-1，若影像f(x,y)中两个像素点(x1,y1)与(x2,y2)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距及角度的灰度共生矩阵B(a,b,d,θ)。此共生矩阵的角二阶矩(ASM)为：

$\mathrm{ASM}=\underset{a=0}{\overset{\mathrm{Ng}-1}{\mathrm{\&Sigma;}}}\underset{b=0}{\overset{\mathrm{Ng}-1}{\mathrm{\&Sigma;}}}B{(a,b)}^2$

求取灾后的第i个建筑物的灰度共生矩阵中能量特征ASM_i后，

当待检测建筑物ASM_i大于或等于给定的最大阈值MaxASM_i时，建筑物发生倒损的隶属度R_iASM(ASM)为0，

当ASM_i小于或等于给定的最小阈值MinASM_i时，认为建筑物发生倒损的隶属度R_iASM(ASM)为1，

当MinASM_i<ASM_i<MaxASM_i时，根据隶属函数计算建筑物发生倒损的隶属度 $R_{\mathrm{iASM}}\left(\mathrm{ASM}\right)=\frac{\mathrm{MaxASM}-{\mathrm{ASM}}_i}{\mathrm{MaxASM}-\mathrm{MinASM}}.$

具体实施时，本领域技术人员可自行根据情况设定相应阈值MinΔS_i、MaxΔS_i、MinASM_i、MaxASM_i。

步骤六，根据证据理论原理，将建筑物倒损各个特征证据通过统计专家分配置信度的方式给予概率，具体实施时本领域技术人员可根据具体情况预先设置证据概率。将检测出的面积和纹理特征进行组合来计算建筑物发生倒损的置信度。认为置信度处于置信区间的对象发生倒损，并入对象集B_s，置信度处于拒绝区间的建筑物对象没有发生倒损，并入对象集B_n。置信区间、拒绝区间可由技术人员根据实际情况预先给定划分。

建筑物倒损置信度公式如下式所示：

$P_{\mathrm{Judge}}=\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{R}_j\&CenterDot;{\mathrm{\&rho;}}_j}{n}$

其中，R_j为证据j的隶属度。ρ_j为证据j的预设置信度，如果没有检测到相应证据，则ρ_j取0；n为证据总个数，最终计算出建筑物发生倒损的置信度P_Judge。实施例中n＝2，R₁为R_iΔS(Area)，R₂为R_iASM(ASM)。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种无人机遥感影像建筑物三维损毁检测方法，其特征在于：包括以下步骤，

步骤一、对灾前数据和灾后数据分别进行处理，生成灾前的DSM和灾后的DSM，DSM为数字地表模型；所用的灾前数据和灾后数据为多重叠无人机遥感影像数据；

步骤二，对步骤一所得灾前的DSM和灾后的DSM进行自动配准；

步骤三，对步骤二配准后的DSM，利用高程信息进行变化检测，识别损毁建筑物疑似区域；

步骤四，进一步分割灾前建筑物区域和灾后建筑物区域，包括根据步骤一所得灾前的DSM获取建筑物的矢量信息，并且进行以下处理，

基于灾前数据进行影像拼接，把步骤三中损毁建筑物疑似区域投影到所得拼接影像上，得到影像上的变化疑似区域，利用建筑物的矢量信息叠加在所得影像上的变化疑似区域上进行分割，得到灾前建筑物区域分割结果；

基于灾后数据进行影像拼接，把步骤三中损毁建筑物疑似区域投影到所得拼接影像上，得到影像上的变化疑似区域，利用建筑物的矢量信息叠加在所得影像上的变化疑似区域上进行分割，得到灾后建筑物区域分割结果；

步骤五，根据灾前建筑物区域分割结果、灾后建筑物区域分割结果进行特征提取，得到特征证据；

步骤六，根据证据理论原理，采用步骤五所得特征证据计算建筑物发生倒损的置信度，得到检测结果。

2.根据权利要求1所述无人机遥感影像建筑物三维损毁检测方法，其特征在于：步骤一中，对灾前数据和灾后数据分别进行处理时，处理方式包括利用先验信息对多重叠无人机遥感影像进行预处理，利用空三构网求出每张影像的外方位元素，密集匹配生成三维点云，构建底面格网，生成DSM。

3.根据权利要求1所述无人机遥感影像建筑物三维损毁检测方法，其特征在于：步骤四中，根据步骤一所得灾前的DSM获取建筑物的矢量信息，包括利用数学形态学滤波分离出非地面点，基于区域生长方式提取建筑物点，通过建筑物投影到地面的轮廓信息得到建筑物的矢量信息。

4.根据权利要求1或2或3所述无人机遥感影像建筑物三维损毁检测方法，其特征在于：步骤五中，所述特征证据包括面积特征证据和纹理特征证据。

5.根据权利要求4所述无人机遥感影像建筑物三维损毁检测方法，其特征在于：根据灾前建筑物区域分割结果、灾后建筑物区域分割结果进行面积特征提取，获得面积特征证据，实现方式如下，

分别计算灾前和灾后的第i个建筑物的面积S_iBefore、S_iAfter，以及面积差ΔS_i＝S_iBefore-S_iAfter，

当ΔS_i小于或等于给定的面积差最小阈值MinΔS_i时，认为建筑物发生倒损的隶属度R_iΔS(Area)为0；

当ΔS_i大于或等于给定的面积差最大阈值MaxΔS_i时，认为建筑物发生倒损的隶属度R_iΔS(Area)为1；

当MinΔS_i<ΔS_i<MaxΔS_i，根据隶属函数确定建筑物发生倒损的隶属度

6.根据权利要求4所述无人机遥感影像建筑物三维损毁检测方法，其特征在于：根据灾后建筑物区域分割结果进行纹理特征提取，获得纹理特征证据，实现方式如下，

求取灾后的第i个建筑物的灰度共生矩阵中能量特征ASM_i，

当ASM_i大于或等于给定的最大阈值MaxASM_i时，认为建筑物发生倒损的隶属度R_iASM(ASM)为0，

当ASM_i小于或等于给定的最小阈值MinASM_i时，认为建筑物发生倒损的隶属度R_iASM(ASM)为1，

当MinASM_i<ASM_i<MaxASM_i时，根据隶属函数计算建筑物发生倒损的隶属度 $R_{\mathrm{iASM}}\left(\mathrm{ASM}\right)=\frac{\mathrm{MaxASM}-{\mathrm{ASM}}_i}{\mathrm{MaxASM}-\mathrm{MinASM}}.$