CN110580443A - 一种低空近实时建筑震害评估方法 - Google Patents

Abstract

发明提供一种低空近实时建筑震害评估方法。该评估方法包括相关数据准备、建筑图像分割和基于CNN模型进行震害评估等步骤。该评估方法期望为区域建筑震害的快速评估与应急救援提供参考。随着该图片分割方法在实际地震中的不断应用，将获得越来越多的建筑损伤图片，从而显著扩充用于训练CNN分类器的图片库，最终提升CNN分类器的预测精度与可靠性。

Description

一种低空近实时建筑震害评估方法

技术领域

本发明涉及土木与地震工程技术领域，特别涉及一种建筑震害评估方法。

背景技术

地震发生之后，为了辅助决策与应急救援，需要对整个区域的建筑震害情况进行快速评估。目前人工评估的方法通常需要耗费大量的时间以及人力和物力，不能在较短时间，评估大范围内的建筑震害情况，效率较低。而基于高空遥感的方法只能从较高的视角观察地面建筑的损伤情况，无法可靠把握建筑立面上的损伤情况，准确性较低。因此，亟需开发一种低空快速建筑震害评估方法。

发明内容

本发明的目的是提供一种低空近实时建筑震害评估方法，以解决现有技术中存在的问题。

为实现本发明目的而采用的技术方案是这样的，一种低空近实时建筑震害评估方法，包括以下步骤：

1)获取待评估区域的建筑相关数据。其中，所述建筑相关数据包括待评估区域建筑的震前3D模型、震前2D-GIS数据、震后原始航拍照片和震后原始航拍照片的相机参数数据。所述相机参数数据包括航拍照片的拍摄位置、相机朝向和相机视野角数据。

2)采用建筑3D模型作为位置参考，对震后原始航拍照片进行图像分割，提取照片中每栋建筑不同视角的航拍图像。

2.1)结合建筑3D模型，得到与真实航拍照片对应的虚拟场景图像。以建筑3D模型作为位置参考，生成对应相机场景中每栋建筑的轮廓范围。

2.2)根据每栋建筑的轮廓范围，生成每栋单体建筑对应的外轮廓多边形，形成遮罩。

2.3)根据遮罩，截取出原始航拍照片中落在所述遮罩内所有的像素，进而截取出原始航拍照片中单体建筑对应的航拍图像。

3)收集不同损伤程度的建筑图像，采用图像像素数据作为输入对CNN分类器进行训练。采用步骤2)分割得到的单体建筑航拍图像，利用训练好的CNN分类器，对单体建筑的损伤程度进行评估。

进一步，步骤2.1)中，采用坐标变换，利用建筑3D模型，渲染生成一个与真实场景对应的建筑虚拟场景。

进一步，根据拍摄照片的相机位置数据、相机朝向数据和相机视野角数据，对建筑3D模型进行坐标变换，生成一个与真实空间对应的虚拟建筑场景。具体流程为：通过相机参数数据，生成坐标变换所需的视矩阵和投影矩阵。采用视矩阵和投影矩阵将建筑3D模型的世界坐标变换成屏幕归一化坐标，得到建筑模型所有角点在对应场景屏幕空间的坐标位置，并生成建筑的外轮廓多边形。以所述外轮廓多边形为范围，抓取原始航拍照片中落在所述外轮廓多边形内部的像素数据，分离出对应建筑的航拍图像。

进一步，步骤2)中，还具有进行视锥体裁剪，筛选出落在拍摄视野范围内的建筑的相关步骤。

进一步，步骤2)中，还具有通过计算建筑遮挡率，筛选出可见比例较大的建筑图像的相关步骤。其中，采用建筑被遮挡的像素数量与不考虑遮挡时对应场景建筑像素总量的比例作为遮挡率。

进一步，步骤2)中，还具有设置距离限制阈值，抓取距离较近建筑图像的相关步骤。

进一步，步骤2)中，还具有通过获取相机至每栋建筑的方位角，识别所截取的建筑图像是建筑的哪个立面的相关步骤。

进一步，步骤3)中，CNN分类器包含多个卷积层以及全连接层。所述CNN分类器能输出建筑达到不同损伤程度的概率。

本发明的技术效果是毋庸置疑的：

A.基于CNN评估，能准确地对大量建筑的损伤程度进行评估，从而服务于震后快速评估与应急响应；

B.以建筑3D模型作为位置参考，能可靠地抓取每栋建筑的多视角航拍图片。能自动快速地从航拍照片中提取出每栋单体建筑的照片。并且能将截取的照片与建筑对应的GIS数据进行映射，从而能获取包含丰富语义信息的建筑多视角图像数据；

C.能从多张航拍照片中抓取建筑大量的多视角图片，并且获取每张抓取图片对应的建筑到相机距离、方位角、遮挡率以及图像的空间分辨率等数据。这些数据能用于评估所抓取建筑图片的质量，从而挑选出质量较高的建筑图片，服务于之后基于图像的建筑损伤评估；

D.建筑图像分割方法可以自动抓取航拍照片中建筑的图像。随着该图片分割方法在实际地震中的不断应用，将获得越来越多的建筑损伤图片，从而显著扩充用于训练CNN分类器的图片库，最终提升CNN分类器的预测精度与可靠性。

附图说明

图1为建筑震害评估框架的示意图；

图2为建筑图像分割的具体实现流程；

图3为建筑图像分割方法实现流程的示意图；

图4为坐标变换过程示意图；

图5为视锥体剪裁过程示意图；

图6为建筑与相机的相对位置关系示意图；

图7为建筑边界调整示意图；

图8为CNN网络架构示意图；

图9为建筑图像位置识别效果示意图；

图10为建筑图像分割的遮罩抓取示意图；

图11为震害预测结果与人工判断的对比结果。

具体实施方式

下面结合实施例对本发明作进一步说明，但不应将本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

实施例1：

本实施例结合深度学习的手段，基于低空无人机获取的大量建筑倾斜摄影图像进行建筑震害评估。本实施例公开一种低空近实时建筑震害评估方法，包括以下步骤：

1)获取待评估区域的建筑相关数据。其中，所述建筑相关数据包括待评估区域建筑的震前3D模型、震前2D-GIS(Geographic Information System，地理信息系统)数据、震后原始航拍照片和震后原始航拍照片的相机参数数据。所述相机参数数据包括航拍照片的拍摄位置、相机朝向和相机视野角数据。

2)采用建筑3D模型作为位置参考，进行区域建筑图像分割，获取区域中每栋建筑不同视角的航拍图像。

2.1)结合建筑3D模型，得到与真实航拍照片对应的虚拟场景图像。以建筑3D模型作为位置参考，生成对应相机场景中每栋建筑的轮廓范围。所述的坐标变换，是根据拍摄照片的相机位置数据、相机朝向数据和相机视野角数据，将建筑3D模型渲染生成一个与真实场景对应的建筑虚拟场景的过程。参见图4，通过相机参数数据，生成坐标变换所需的视矩阵和投影矩阵，将世界坐标变换成屏幕归一化坐标，得到建筑模型的所有角点在对应场景屏幕上空间的坐标位置，并生成建筑3D模型的外轮廓多边形。以该外轮廓多边形为参考范围，抓取原始航拍图像中落在该多边形内部的像素数据，即可分离出对应建筑的航拍图像信息。

考虑到区域中建筑数量较大，建筑3D模型较多，如果对所有建筑都采用以上模型变换过程计算量较大，并且不是所有建筑都落在所拍摄的视野范围内，因此需要进行视锥体裁剪，筛选出落在所拍摄的视野范围内的建筑。三维模型的视锥体剪裁过程如图5所示，相机的视野范围是一个楔形的空间，相机视野的范围受相机视野角限制。此外还需人为限定相机所能看到的最近和最远的范围，用近平面和远平面限定。因此相机的视野范围限定在6个平面之内，6个平面围成的空间叫做视锥体。视锥体的6个平面可以根据视矩阵、投影矩阵以及近平面和远平面的值计算得到。最后可以通过判断建筑的中心坐标是否落在所围成的6个平面之内，筛选出落在视野范围之内的建筑。除了视锥体剪裁，区域中部分建筑虽然在视锥体内，但是由于被其他建筑遮挡，影响建筑的可见性。因此通过OpenGL(OpenGraphics Library，开放图形库)等图形引擎计算出建筑被遮挡的像素数量与不考虑遮挡时建筑像素总量的比例(遮挡率)，筛选出某栋建筑可见比例较大的图像，从而保证建筑损伤评估的可靠性。

上述遮挡率是根据建筑3D模型相对位置关系计算得到的。但真实场景中由于植被等因素对建筑的遮挡，实际的遮挡情况可能和计算结果有一定出入。虽然基于建筑3D模型相对位置关系的遮挡率可能会和实际建筑遮挡率有一些出入，但是该方法还是能提供较为可靠的遮挡信息，为筛选出视野较好的图像数据提供参考。

参见图6，由于建筑3D模型包含每栋建筑详细的位置信息，每张拍摄的照片中也包含拍摄点相机的位置信息，因此，可以获得相机到每栋建筑中心点的方位向量，从而获取相机至画面中每栋建筑的距离以及相机至不同建筑中心点的方位角，因此在实际应用中，可以设置一定距离限制的阈值，抓取距离较近建筑的图像，保证所抓取图像的空间分辨率；另外通过获取相机至每栋建筑的方位角，即可确定所截取的建筑图像是建筑的哪个立面，从而极大地方便建筑损伤评估。

进一步地，对本实施例提出的建筑图像分割方法进行误差分析。建筑3D模型通过坐标变换，在屏幕空间中的建筑边界误差来源主要包括：(1)建筑3D模型本身的位置误差；(2)相机位置误差；(3)相机朝向误差；(4)相机视野角误差。如果采用定焦镜头，相机焦距将为常量。因此本发明实施例将不对焦距误差进行讨论。以上误差来源中，模型位置误差主要影响建筑3D模型的四维齐次坐标(v_world向量)；相机位置误差和相机朝向误差主要影响视矩阵。

建筑3D模型的世界坐标变换为屏幕空间坐标的过程如式(1)以及图4所示。

v_screen＝Projection·View·v_world (1)

式中，v_world为建筑3D模型角点在世界坐标空间的四维齐次坐标。View为4×4的视矩阵，该矩阵可以通过相机的位置、俯仰角、偏航角和横滚角这些数据进行确定。通过该矩阵，可以将模型的世界坐标变换到相对相机的相机坐标。Projection为4×4的投影矩阵，该矩阵可以通过相机的视野角数据进行确定。

其中，视矩阵的具体形式如式(2)所示：

式中，s为相机的侧向基向量，u为相机的向上基向量，f为相机的前向基向量，eye为相机的世界坐标位置。

通过将模型角点的世界坐标v_world与式(2)的视矩阵相乘，即可得到角点的相机坐标。假设相机位置存在误差Δeye，模型角点的世界坐标位置也存在误差Δv_world，此时采用含有相机位置误差的视矩阵对含有位置误差的角点进行视变换，结果如式(3)所示。式(3)显示，对视变换的结果进行调整，可以将相机位置误差Δeye从视矩阵View移出，由此可见相机的位置坐标误差Δeye可以与模型的世界坐标误差Δv_world统一进行考虑。

根据以上的讨论，可以将误差分为位置误差和相机朝向误差，如式(4)和式(5)所示：

v_screen±Δv_screen,i＝Projection·View·(v_world±Δv_world,i) (4)

v_screen±Δv_screen,j＝Projection·(View±ΔView_j)·v_world (5)

式中，Δv_world,i为位置误差，参数i分别指代世界坐标中x,y,z三个分量的位置误差。该误差为相机位置误差与模型位置误差的组合。Δv_screen,i为x,y,z三个分量世界坐标位置误差导致在屏幕空间的位置误差。ΔView_j为相机朝向误差，参数j分别指代俯仰角，偏航角和横滚角三个相机朝向参数误差导致的视矩阵误差。Δv_screen,j为相机朝向误差导致在屏幕空间的位置误差。

按照式(4)和式(5)可以分别计算6个误差因素导致的屏幕空间的位置误差Δv_screen,i与Δv_screen,j。由于6个误差因素相互独立，可以根据式(6)和式(7)综合考虑6个误差因素的屏幕空间x和y向位置误差。

式中，Δx_screen为屏幕空间中x方向位置误差，Δy_screen为y方向位置误差，Δx_screen,i为Δv_screen,i向量的x方向分量，Δy_screen,i为Δv_screen,i向量的y方向分量，Δx_screen,j为Δv_screen,j向量的x方向分量，Δy_screen,j为Δv_screen,j向量的y方向分量。

值得说明的是，根据式(4)和式(5)计算可以发现，模型角点的误差还跟角点与相机的相对位置有关。例如角点距离相机越远，相机朝向的引起的屏幕位置误差越大。因此，一栋建筑模型的多个角点按照上述方法，计算得到各角点在屏幕空间的误差各不相同。为了趋于保守，本实施例将一栋建筑模型内所有角点的屏幕空间位置误差Δx_screen,Δy_screen的最大值作为该栋建筑的屏幕空间位置误差。

建筑的屏幕空间位置误差确定之后，可以将建筑各个角点的屏幕坐标以模型的屏幕坐标中心，按照式(8)-(9)的比例因子放大或缩小，最终确定考虑6个误差因素的建筑在屏幕空间的最大范围和最小范围，如图7a所示。

式中，x_screen,max为一栋建筑所有角点在屏幕空间的x向坐标的最大值，x_screen,min为一栋建筑所有角点在屏幕空间的x向坐标的最小值，y_screen,max为一栋建筑所有角点在屏幕空间的y向坐标最大值，y_screen,min为一栋建筑所有角点在屏幕空间的y向坐标最大值与最小值。

值得说明的是，对于本实施例，主要目的是从图片中截取建筑图像，判断建筑损伤情况。通常，建筑左右边缘的图像对损伤评估不起决定性作用，因此，为了避免左右临近建筑由于x向的误差，也被截入图中，可以采用图7b所示的方式，在水平方向缩小截取范围。此外，建筑的底部破坏情况通常对建筑的损伤评估具有重要影响，为了确保建筑底部图像被截取，可以对建筑屏幕空间模型y向不进行缩放，而是将屏幕空间的模型位置向下移动Δy_screen，如图7b所示。

通过以上方法可以获得每栋建筑边界的绝对误差，但是相同的绝对误差对不同体量的建筑影响是不一样的。因此，可以采用式(10)-(11)的方法计算建筑边界在屏幕空间内x/y向的相对误差。建筑的相对误差小表示采用式(8)-(9)以及图7的方法进行建筑边界调整对建筑图像的影响较小。

2.2)根据每栋建筑的轮廓范围，生成每栋单体建筑对应的外轮廓多边形，形成遮罩。

2.3)将模拟得到的建筑场景图像与真实场景照片进行对应，并根据遮罩，截取出原始航拍照片中落在所述遮罩内的所有像素，进而截取出原始航拍照片中单体建筑对应的航拍图像。

3)收集不同损伤程度的建筑图像对CNN(Convolutional Neural Networks，卷积神经网络)分类器进行训练。基于每栋建筑对应的航拍图像数据，利用训练好的CNN分类器对建筑的损伤程度进行评估。然后基于建筑图像数据，评估建筑的损伤程度。

本实施例中，CNN分类器包含多个卷积层以及全连接层。所述CNN分类器能输出建筑达到不同损伤程度的概率。CNN分类器可以采用迁移学习的方法进行训练，借助于其他已经训练好的模型参数(如VGG16)，只对模型的末端几层参数进行训练，从而可以采用较少的训练图像数据，取得较好的训练结果。本实施例所采用的模型结构如图8所示。模型训练过程中，本实施例采用TensorFlow深度学习框架，为了避免优化过程的震荡，优化算法采用随机梯度下降方法(SGD)，其中learning rate＝1×10^-4,momentum＝0.9。为了避免出现过拟合，模型全连接层采用0.5的dropout系数。基于卷积神经网络的图像分类不需要预设复杂的图像特性参数，设置好网络结构后，通过反向传播，CNN能根据分类好的图像数据自动训练神经网络中的参数，具有较好的通用性与扩展性。

为了展示本发明所提出方法的效果，实施例对北川县城地震遗址66栋建筑物进行算例分析。图9中展示了基于本发明方法计算得到的建筑距相机距离，拍摄点到相应建筑中心点的朝向角与俯仰角，以及建筑被之前建筑遮挡的比例。通过采用本发明提出的方法，可以获得丰富的建筑拍摄信息，不但能知道画面中的不同位置的图像属于哪栋建筑，而且知道拍摄到的是建筑的哪个立面，并且也能将GIS数据中建筑的详细信息与相应的建筑图像进行对应。

进一步地，图10a-d展示了一栋建筑不同视角分割得到的图片。图中结果可以看出，由于无人机在该区域内往复飞行，所以每栋建筑都包含多个视角的照片。为了展示采用本发明图像分割方法的效果，图10e-h为不采用遮罩的图像分割结果。通过与图10a-d中的结果进行对比可以发现，采用遮罩能有效屏蔽目标建筑周围环境的影响。

采用训练好的CNN分类器对区域66栋建筑进行震害预测。与此同时，采用人工评估的方式对北川老县城66栋建筑进行震害预测，预测结果对比如图11所示。结果显示该评估方法具有较好的准确性，准确率达到了89.39％。由于本发明提出的建筑图像分割方法可以自动抓取航拍照片中建筑的图像，随着该图片分割方法在实际地震中的不断应用，将可以获得越来越多的建筑损伤图片，从而显著扩充CNN分类器的图片库，提高CNN分类器的预测精度与可靠性。

本实施例期望为区域建筑震害的快速评估与应急救援提供参考。

Claims (8)

1.一种低空近实时建筑震害评估方法，其特征在于，包括以下步骤：

1)获取待评估区域的建筑相关数据；其中，所述建筑相关数据包括待评估区域建筑的震前3D模型、震前2D-GIS数据、震后原始航拍照片和震后原始航拍照片的相机参数数据；所述相机参数数据包括航拍照片的拍摄位置、相机朝向和相机视野角数据；

2)采用建筑3D模型作为位置参考，对震后原始航拍照片进行图像分割，提取照片中每栋建筑不同视角的航拍图像；

2.1)结合建筑3D模型，得到与真实航拍照片对应的虚拟场景图像；以建筑3D模型作为位置参考，生成对应相机场景中每栋建筑的轮廓范围；

2.2)根据每栋建筑的轮廓范围，生成每栋单体建筑对应的外轮廓多边形，形成遮罩；

2.3)根据遮罩，截取出原始航拍照片中落在所述遮罩内所有的像素，进而截取出原始航拍照片中单体建筑对应的航拍图像；

3)收集不同损伤程度的建筑图像，采用图像像素数据作为输入对CNN分类器进行训练；采用步骤2)分割得到的单体建筑航拍图像，利用训练好的CNN分类器，对单体建筑的损伤程度进行评估。

2.根据权利要求1所述的一种低空近实时建筑震害评估方法，其特征在于：步骤2.1)中，采用坐标变换，利用建筑3D模型，渲染生成一个与真实场景对应的建筑虚拟场景。

3.根据权利要求2所述的一种低空近实时建筑震害评估方法，其特征在于：根据拍摄照片的相机位置数据、相机朝向数据和相机视野角数据，对建筑3D模型进行坐标变换，生成一个与真实空间对应的虚拟建筑场景；具体流程为：通过相机参数数据，生成坐标变换所需的视矩阵和投影矩阵；采用视矩阵和投影矩阵将建筑3D模型的世界坐标变换成屏幕归一化坐标，得到建筑模型所有角点在对应场景屏幕空间的坐标位置，并生成建筑的外轮廓多边形；以所述外轮廓多边形为范围，抓取原始航拍照片中落在所述外轮廓多边形内部的像素数据，分离出对应建筑的航拍图像。

4.根据权利要求1所述的一种低空近实时建筑震害评估方法，其特征在于：步骤2)中，还具有进行视锥体裁剪，筛选出落在拍摄视野范围内的建筑的相关步骤。

5.根据权利要求1所述的一种低空近实时建筑震害评估方法，其特征在于：步骤2)中，还具有通过计算建筑遮挡率，筛选出可见比例较大的建筑图像的相关步骤；其中，采用建筑被遮挡的像素数量与不考虑遮挡时对应场景建筑像素总量的比例作为遮挡率。

6.根据权利要求1所述的一种低空近实时建筑震害评估方法，其特征在于：步骤2)中，还具有设置距离限制阈值，抓取距离较近建筑图像的相关步骤。

7.根据权利要求1所述的一种低空近实时建筑震害评估方法，其特征在于：步骤2)中，还具有通过获取相机至每栋建筑的方位角，识别所截取的建筑图像是建筑的哪个立面的相关步骤。

8.根据权利要求1所述的一种低空近实时建筑震害评估方法，其特征在于：步骤3)中，CNN分类器包含多个卷积层以及全连接层；所述CNN分类器能输出建筑达到不同损伤程度的概率。