CN110796152A - 一种基于倾斜摄影的群体建筑物震害提取方法及系统 - Google Patents

Abstract

本发明公开了一种基于倾斜摄影的群体建筑物震害提取方法及系统，该提取方法包括步骤：S1、对地震灾后建筑物进行倾斜摄影，并对影像数据进行预处理获得基础影像；S2、基于基础影像生成实景三维模型；S3、选取最优纹理影像；S4、获取地物轮廓信息，基于最优纹理影像与地物轮廓信息，采用面向对象方法提取纹理影像上单体建筑物震害信息；S5、通过样本数据对卷积神经网络进行训练，得到群体建筑物震害信息提取模型；S6、基于群体建筑物震害信息提取模型提取灾区群体建筑物震害信息，并判定群体建筑物破坏等级。本发明通过卷积神经网络对群体建筑物震害信息进行提取，处理复杂度低，处理效率高。

Description

一种基于倾斜摄影的群体建筑物震害提取方法及系统

技术领域

本发明涉及地震灾害评估领域，具体涉及一种基于倾斜摄影的群体建筑物震害提取方法及系统。

背景技术

破坏性地震发生以后，迫切需要对灾害进行准确、快速的评估，为应急指挥、救援决策提供依据。以往的地震现场依靠人工实地走访调研和勘察虽然可以获取准确的灾情信息，但是投入巨大，耗费时间长，效率非常低下，尤其在地震发生后，灾区受灾严重、人员无法进入，难以适应高效快速的地震应急救援和灾情损失评估。在 20 世纪中叶，随着卫星和传感器的技术提升，遥感技术被应用到建筑物震害评估领域。特别是凭借拍摄面积大、多波段光谱数据丰富、视角开阔、时间和空间分辨率高等的特点，被迅速应用于地震灾后救援和灾情快速提取评估。它可以获取高分辨率灾前灾后多个时间段的遥感影像，实现多种灾情数据的集中和分析，为评估经济损失以及政府应急救援决策提供数据参考。然而，遥感影像只能获取建筑物顶部信息，无法获取建筑物侧面、空间位置和高度等信息。传统的正射影像只能从垂直视角进行分析，无法分析建筑物外墙及其结构破坏特征（如裂缝），往往将建筑物震害程度分为倒塌、未倒塌两类，或者基本完好、破坏、毁坏三类。由于无法获取建筑物外墙的结构震害信息，对轻微、中等、严重三个建筑物震害等级无法进行精确评估，造成遥感震害程度评估与地面调查评估不一致，这是二维遥感影像提取建筑物震害特征的局限性。

近年发展的倾斜摄影技术弥补了以往遥感平台只能获取建筑物顶部信息的局限，通过无人机搭载一种或多种传感器，同时从垂直、倾斜角度采集影像，获取全方位空间地物信息，获取建筑物多角度的影像信息，通过建模生成了高分辨率倾斜三维模型。目前，国外基于倾斜摄影技术建模的软件有法国Acute3D 公司生产的Smart3DCapture 软件、法国Astrium 公司的StreetFactory 软件等，通过软件一系列自动化操作，生成具有真实纹理的三维场景。现有的基于倾斜摄影的建筑物震害提取方法，都是通过倾斜摄影获取地震地区的影像信息，再对影像信息进行三维建模，基于目视判读、像素法提取、面向对象提取这三种方法进行建筑物震害提取。然而影像信息覆盖的范围巨大，同时对大量的建筑物进行震害提取处理复杂度高，处理效率低。

因此，如何实现高效的群体建筑物震害提取是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了基一种基于倾斜摄影的群体建筑物震害提取方法及系统。本发明仅对部分的影像信息进行分割与分类，在提取出相应的震害信息后，对卷积神经网络进行训练，以优化其它大量群体建筑物震害信息提取，大大降低了数据处理的复杂度，提升了处理效率，同时提高了震害信息的提取准确率。本发明针对影像信息的特点，构建同时包括震害信息提取通道、其他地物信息提取通道的卷积神经网络，能够全面提取建筑物影像中的信息数据，同时避免其他地物信息对震害信息提取的影响，造成的震害信息误提取，进一步提高了震害信息的提取精度。

为了实现以上目的，本发明采用以下技术方案：

一种基于倾斜摄影的群体建筑物震害提取方法，包括步骤：

S1、通过无人机搭载的摄像机对地震灾后建筑物进行倾斜摄影，并对影像数据基于影像中心像点进行矫正，并对校正后图像进行去噪滤波处理，获得基础影像；

S2、将所述基础影像导入自动化建模软件，自动化建模软件经过对所述基础影像进行进一步几何校正、联合平差处理，生成基于真实影像的超高密度点云，基于点云构建三维不规则三角网，生成白模；基于纹理自动贴面技术，生成基于真实影像纹理的高分辨率的实景三维模型；

S3、将所述三维模型打散，实现纹理与三维建筑白模分离，获取三维建筑物对应的细节纹理图像；利用金字塔模型瓦片坐标范围和单体建筑物空间位置选取最优纹理影像；

S4、运用边缘检测算法获取地物轮廓信息，基于所述最优纹理影像与地物轮廓信息，采用面向对象方法提取纹理影像上单体建筑物震害信息；

S5、构建卷积神经网络，选取有震害信息的建筑物顶面和侧面影像作为样本，构建三类分类样本：完好建筑物面、破坏建筑物面和其他地物背景，通过样本数据对卷积神经网络进行训练，得到群体建筑物震害信息提取模型；

S6、对待提取的群体建筑物顶面和侧面分别进行面向对象多尺度分割，基于所述群体建筑物震害信息提取模型提取灾区群体建筑物震害信息，并判定群体建筑物破坏等级。

进一步地，所述对影像数据基于影像中心像点进行矫正具体为：

S11、基于仿射变换，计算影像中心像点的偏移量；

S12、基于所述偏移量计算正确的影像中心像点；

S13、基于正确的影像中心像点及影像数据与中心像点的相对位置校正影像数据。

进一步地，所述卷积神经网络包括震害信息提取通道、其他地物信息提取通道，震害信息提取通道用于提取建筑物影像中的震害信息，其他地物信息提取通道用于提取建筑物影像中除建筑物外的其他地物信息；所述震害信息提取通道、其他地物信息提取通道包括独立的卷积层、池化层、全连接层，共享一个输入层、输出层，输出层的结果是震害信息提取通道、其他地物信息提取通道的输出结果的整合；所述卷积神经网络的损失函数为：

其中，是震害信息提取通道的损失函数，

是其他地物信息提取通道的损失函数。

进一步地，所述卷积神经网络输入的是需要进行震害信息提取的建筑物的顶面和侧面影像信息，输出的是标识有震害信息、其他地物信息的建筑物数据。

进一步地，所述步骤S5还包括：

对建筑物影像分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例操作均随机选取对应数值以保证生成影像的随机性。

本发明还提出一种基于倾斜摄影的群体建筑物震害提取系统，包括：

预处理模块，用于通过无人机搭载的摄像机对地震灾后建筑物进行倾斜摄影，并对影像数据基于影像中心像点进行矫正，并对校正后图像进行去噪滤波处理，获得基础影像；

建模模块，用于将所述基础影像导入自动化建模软件，自动化建模软件经过对所述基础影像进行进一步几何校正、联合平差处理，生成基于真实影像的超高密度点云，基于点云构建三维不规则三角网，生成白模；基于纹理自动贴面技术，生成基于真实影像纹理的高分辨率的实景三维模型；

最优纹理影像生成模块，用于将所述三维模型打散，实现纹理与三维建筑白模分离，获取三维建筑物对应的细节纹理图像；利用金字塔模型瓦片坐标范围和单体建筑物空间位置选取最优纹理影像；

单体建筑物处理模块，用于运用边缘检测算法获取地物轮廓信息，基于所述最优纹理影像与地物轮廓信息，采用面向对象方法提取纹理影像上单体建筑物震害信息；

训练模块，用于构建卷积神经网络，选取有震害信息的建筑物顶面和侧面影像作为样本，构建三类分类样本：完好建筑物面、破坏建筑物面和其他地物背景，通过样本数据对卷积神经网络进行训练，得到群体建筑物震害信息提取模型；

群体建筑物提取模块，用于对待提取的群体建筑物顶面和侧面分别进行面向对象多尺度分割，基于所述群体建筑物震害信息提取模型提取灾区群体建筑物震害信息，并判定群体建筑物破坏等级。

进一步地，所述对影像数据基于影像中心像点进行矫正包括：

第一计算模块，用于基于仿射变换，计算影像中心像点的偏移量；

第二计算模块，用于基于所述偏移量计算正确的影像中心像点；

校正模块，用于基于正确的影像中心像点及影像数据与中心像点的相对位置校正影像数据。

进一步地，所述卷积神经网络包括震害信息提取通道、其他地物信息提取通道，震害信息提取通道用于提取建筑物影像中的震害信息，其他地物信息提取通道用于提取建筑物影像中除建筑物外的其他地物信息；所述震害信息提取通道、其他地物信息提取通道包括独立的卷积层、池化层、全连接层，共享一个输入层、输出层，输出层的结果是震害信息提取通道、其他地物信息提取通道的输出结果的整合；所述卷积神经网络的损失函数为：

其中，

是震害信息提取通道的损失函数，

是其他地物信息提取通道的损失函数。

进一步地，所述卷积神经网络输入的是需要进行震害信息提取的建筑物的顶面和侧面影像信息，输出的是标识有震害信息、其他地物信息的建筑物数据。

进一步地，所述训练模块还包括：

对建筑物影像分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例操作均随机选取对应数值以保证生成影像的随机性。

与现有技术相比，本发明针对现有的震害提取需要对大量的影像信息进行依次分割与分类，造成处理复杂度高，处理效率低的问题，提出了基于卷积神经网络训练生成群体建筑物震害信息提取模型以批量提取影像信息中的震害信息。本发明仅对部分的影像信息进行分割与分类，在提取出相应的震害信息后，对卷积神经网络进行训练，以优化其它大量群体建筑物震害信息提取，大大降低了数据处理的复杂度，提升了处理效率。此外，传统的面向对象的震害提取方法的提取精度依赖于影像信息分割的精度，大量的影像信息分割造成震害提取的准确率低，而本发明通过卷积神经网络进行训练与提取，大大提高了震害信息的提取准确率。再者，本发明针对影像信息的特点，构建同时包括震害信息提取通道、其他地物信息提取通道的卷积神经网络，能够全面提取建筑物影像中的信息数据，同时避免其他地物信息对震害信息提取的影响，造成的震害信息误提取，进一步提高了震害信息的提取精度。

附图说明

图1是实施例一提供的一种基于倾斜摄影的群体建筑物震害提取方法流程图；

图2是实施例二提供的一种基于倾斜摄影的群体建筑物震害提取系统结构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

实施例一

如图1 所示，本实施例提出了一种基于倾斜摄影的群体建筑物震害提取方法，包括：

S1、通过无人机搭载的摄像机对地震灾后建筑物进行倾斜摄影，并对影像数据基于影像中心像点进行矫正，并对校正后图像进行去噪滤波处理，获得基础影像；

地震发生后，在尽可能短的时间内，通过无人机搭载摄像机对灾后建筑物进行倾斜摄影。在飞行平台搭载多台航摄像机，同时从垂直、倾斜角度采集影像，获取全方位空间地物信息。优选地，本发明采用五镜头倾斜摄影相机进行倾斜摄影。

由于受大气条件、地形起伏、太阳高度角及飞机运行状态等因素的影响，倾斜摄影拍摄的数据不可避免地存在着噪声和变形，这会很大程度上影响影像处理的精度。因此，本发明在对倾斜摄影数据进行三维建模前，需对获取到的影像数据进行影像矫正和去噪。

利用无人机搭载的摄像机对地震灾后建筑物进行倾斜摄影时，所获得的每一张影像数据都带有中心点坐标，记录无人机在拍摄该区域时的经纬度。为了处理影像数据的形变，本发明基于中心点坐标对影像数据进行校正。具体包括：

S11、基于仿射变换，计算影像中心像点的偏移量；

影像中心像点记录无人机在拍摄该区域时的经纬度，进行倾斜摄影时，无人机按预设航线轨道进行飞行。因此，影像中心像点的偏移量为中心点坐标相对于无人机航线轨迹的偏移。

S12、基于所述偏移量计算正确的影像中心像点；

计算出影像中心像点的偏移量，原始拍摄的影像数据中的中心点坐标与偏移量之和，就是正确的影像中心像点。

S13、基于正确的影像中心像点及影像数据与中心像点的相对位置校正影像数据。

本发明对影像数据基于影像中心像点进行矫正，首先对影像中心像点进行矫正，影像数据与中心像点的相对位置固定，因此在计算出正确的影像中心像点后，根据影像数据与中心像点的相对位置去其它各点数据进行校正，以此完成整个影像数据的校正。

经过中心点校正后的影像还存在着噪音影响，噪音会导致影像出现周期性条纹、斑点等，因此，本发明对校正后的影像数据结合中心点的经纬度、外方位元素使用卡尔曼滤波器方法来去除噪音，并使用图像处理软件MATLAB结合卡尔曼滤波器算法，滤除噪音对图像质量的影响，达到滤出噪音对图像质量的干扰。

S2、将所述基础影像导入自动化建模软件，自动化建模软件经过对所述基础影像进行进一步几何校正、联合平差处理，生成基于真实影像的超高密度点云，基于点云构建三维不规则三角网，生成白模；基于纹理自动贴面技术，生成基于真实影像纹理的高分辨率的实景三维模型；

对影像数据进行预处理后，将基础影像导入自动化建模软件进行三维建模，本发明自动化建模软件采用Acute3D 公司生产的Smart3DCapture 软件。自动建模软件在倾斜摄影影像建模的过程中，对基础影像进行进一步几何校正、联合平差处理。具体包括：利用地面控制点数据、基础影像数据、POS数据进行空中三角测量，得到每张基础影像的精确外方位元素；根据高精度的像元物方坐标，通过多基线、多特征匹配算法获得大量、可靠的同名连接点作为平差条件再进行同名点匹配。

对基础影像进行进一步几何校正、联合平差处理后，自动建模软件利用影像数据结合空中三角测量加密成果，运用影像密集匹配技术，生成基于真实影像的超高密度点云。将全部三维点云构建成不同层次细节（Level Of Details，LOD）的不规则三角形网（Triangulated Irregular Network，TIN）。通过瓦片分割将海量数据分割成多个LOD，不同层级的瓦片结点对应着不同细节层次的三维模型。然后通过优化、简化三角网等操作，使得三角网内部尺寸与影像分辨率匹配，同时降低较平坦测区的三角网密度，减少数据冗余，最后将得到的三维TIN 模型框架构建形成白模。倾斜摄影影像密集匹配后生成以不规则三角网表达的三维模型，通过自动搜索对应视角的纹理影像，映射到相应的三维模型上，完成纹理贴面，生成具有真实色彩、纹理且有细节层次LOD 的三维场景。

S3、将所述三维模型打散，实现纹理与三维建筑白模分离，获取三维建筑物对应的细节纹理图像；利用金字塔模型瓦片坐标范围和单体建筑物空间位置选取最优纹理影像；

本发明利用自动化建模软件得到三维模型后，将得到三维模型打散，实现纹理与三维建筑白模分离，获取三维建筑物对应的细节纹理图像。如上所述，自动化建模软件中三维模型是将纹理图像映射到不规则三角网表达的三维模型上生成的，因此，本发明对软件输出的三维模型打散，能够获取三维建筑物对应的细节纹理图像。

本发明将倾斜摄影获取的影像数据输入自动化建模软件得到三维模型，由于倾斜摄影技术获取同一地物的影像数量较多，同一地物纹理信息可能出现在多张影像上，即同一地物纹理信息可能出现在多个三维模型打散输出的细节纹理图像中。每张影像上纹理特征存在差异性，因此，本发明利用金字塔模型瓦片坐标范围和单体建筑物空间位置选取单体建筑物的最优纹理影像。瓦片节点以类似影像金字塔的方式进行建立，金字塔由上而下对应的模型精度越来越高，第 0 级为最精细数据，精细度随级别的增大而越低。当瓦片坐标范围和单体建筑物空间位置越匹配，该纹理影像越优。

S4、运用边缘检测算法获取地物轮廓信息，基于所述最优纹理影像与地物轮廓信息，采用面向对象方法提取纹理影像上单体建筑物震害信息；

本发明对各单体建筑物进行独立的震害信息提取，因此需要运用边缘检测算法获取地物轮廓信息，对各地物进行划分，获取单体建筑物信息。具体地，本发明运用 Canny 边缘检测算法获取地物轮廓信息，通过最优纹理影像与地物轮廓信息，确定单体建筑物。

本发明采用面向对象方法提取单体建筑物震害信息，其分析对象是由若干像元组成的影像对象。因此，面向对象方法首先对单体建筑物进行分割，得到面向对象的分析对象。同时考虑地物的光谱、形状、纹理、相邻关系等特征，实现对单体建筑物震害信息的提取。震害信息的提取包括提取外墙裂缝、墙皮脱落等震害特征。

S5、构建卷积神经网络，选取有震害信息的建筑物顶面和侧面影像作为样本，构建三类分类样本：完好建筑物面、破坏建筑物面和其他地物背景，通过样本数据对卷积神经网络进行训练，得到群体建筑物震害信息提取模型；

为了克服现有的对大量建筑物进行震害提取处理复杂度高、处理效率低的问题，本发明对部分单体建筑物通过面向对象方法进行震害提取，并通过构建卷积神经网络，对其余的群体建筑物进行震害信息提取。

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络。主要由输入层、卷积层、池化层、全连接层、输出层组成。输入层是需要进行震害信息提取的建筑物的顶面和侧面影像信息，对于计算机而言可将其理解为若干矩阵。卷积层是卷积神经网络的重要组成部分，通过输入层和卷积层之间的矩阵卷积运算，提取输入影像信息的特征。池化层通常设置在卷积层之后，对输入的影像信息的目标区域像素取平均值或最大值，即降采样处理，降低特征图像分辨率的同时避免出现过拟合。全连接层位于最后一个池化层和输出层之间，其中每一个神经元都与前一层的全部神经元相连接，并根据目标检测的需要，有针对性地将特征向量映射到输出层。输出层位于神经网络的最后，其作用是对权连接层映射过来的输入向量进行分类。卷积层与池化层可以根据需要重复多次，其中不同的卷积核负责提取多种特征，池化层提供平移不变性和降维。

建筑物影像信息除包括震害信息外，还可能包括其他地物信息。因此，本发明构建包括震害信息提取通道、其他地物信息提取通道的卷积神经网络，以全面提取建筑物影像中的信息数据，同时避免其他地物信息对震害信息提取的影响造成的震害信息误提取。本发明所构建的震害信息提取通道、其他地物信息提取通道相互独立，震害信息提取通道用于提取建筑物影像中的震害信息，其他地物信息提取通道用于提取建筑物影像中除建筑物外的其他地物信息。本发明所述的卷积神经网络可以采用VGG-16，在此不作限定。本发明震害信息提取通道、其他地物信息提取通道包括独立的卷积层、池化层、全连接层，共享一个输入层、输出层，输出层的结果是震害信息提取通道、其他地物信息提取通道的输出结果的整合。

本发明选取有震害信息的建筑物顶面和侧面影像作为样本，对构建的卷积神经网络进行训练。首先根据震害信息对样本数据进行分类，构建三类分类样本：完好建筑物面、破坏建筑物面和其他地物背景。完好建筑物面为没有震害的建筑物面，破坏建筑物面为有震害的建筑物面，破坏建筑物面上有相应的震害标识，其他地物背景上相应的地物标识。为了提高震害提取的精确性，本发明对建筑物影像分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例等操作均随机选取对应数值以保证生成影像的随机性。通过数据增强操作，提高样本量。

对于完好建筑物面，卷积神经网络的理想输出是震害信息提取通道未提取到任何震害信息，其他地物信息提取通道未提取到任何地物信息；对于破坏建筑物面，卷积神经网络的理想输出是震害信息提取通道提取到震害信息并标识，其他地物信息提取通道未提取到任何地物信息；对于其他地物背景，卷积神经网络的理想输出是震害信息提取通道未提取到任何震害信息，其他地物信息提取通道提取到地物信息并标识。

本发明将三类样本数据分别输入卷积神经网络，对卷积神经网络中的震害信息提取通道、其他地物信息提取通道进行训练。通过计算群体建筑物震害信息提取模型的损失函数对群体建筑物震害信息提取模型进行优化，训练生成群体建筑物震害信息提取模型。群体建筑物震害信息提取模型的损失函数是震害信息提取通道、其他地物信息提取通道的损失函数之和，具体为：

其中，

是震害信息提取通道的损失函数，

是其他地物信息提取通道的损失函数。

S6、对待提取的群体建筑物顶面和侧面分别进行面向对象多尺度分割，基于所述群体建筑物震害信息提取模型提取灾区群体建筑物震害信息，并判定群体建筑物破坏等级。

训练生成群体建筑物震害信息提取模型后，就可以对需要进行震害提取的建筑物进行震害提取。本发明通过倾斜摄影获取建筑物影像数据后，对影像数据进行预处理。接着对群体建筑物顶面和侧面分别进行面向对象多尺度分割，使用训练好的网络模型对群体建筑物各个面进行震害信息提取，输出包括震害信息的建筑物各面影像。

通过卷积神经网络提取模型提取灾区群体建筑物震害信息，处理效率高，能够同时处理大量的群体建筑物。在获取建筑物震害信息后，本发明能够根据外墙裂缝、墙皮脱落等震害特征，对建筑物进行精确的评估，能够准确区分轻微、中等、严重这三个震害等级。因此，本发明能够实现将建筑物的破坏等级从轻到重依次划分为：基本完好、轻微破坏、中等破坏、严重破坏、毁坏。例如，当墙体基本完好、个别墙体的抹灰层脱落时为基本完好等级，墙体轻微裂缝、部分墙体墙皮脱落时为轻微破坏等级，多数墙体出现轻微裂缝、部分墙体出现明显裂缝、个别墙体墙皮脱落、个别墙出现破坏时为中等破坏等级，多数墙体出现明显裂缝时为严重破坏等级，墙体严重破坏、部分倒塌时为毁坏等级。

实施例二

如图2所示，本实施例提出了一种基于倾斜摄影的群体建筑物震害提取系统，包括：

预处理模块，用于通过无人机搭载的摄像机对地震灾后建筑物进行倾斜摄影，并对影像数据基于影像中心像点进行矫正，并对校正后图像进行去噪滤波处理，获得基础影像；

地震发生后，在尽可能短的时间内，通过无人机搭载摄像机对灾后建筑物进行倾斜摄影。在飞行平台搭载多台航摄像机，同时从垂直、倾斜角度采集影像，获取全方位空间地物信息。优选地，本发明采用五镜头倾斜摄影相机进行倾斜摄影。

由于受大气条件、地形起伏、太阳高度角及飞机运行状态等因素的影响，倾斜摄影拍摄的数据不可避免地存在着噪声和变形，这会很大程度上影响影像处理的精度。因此，本发明在对倾斜摄影数据进行三维建模前，需对获取到的影像数据进行影像矫正和去噪。

利用无人机搭载的摄像机对地震灾后建筑物进行倾斜摄影时，所获得的每一张影像数据都带有中心点坐标，记录无人机在拍摄该区域时的经纬度。为了处理影像数据的形变，本发明基于中心点坐标对影像数据进行校正。具体包括：

第一计算模块，用于基于仿射变换，计算影像中心像点的偏移量；

影像中心像点记录无人机在拍摄该区域时的经纬度，进行倾斜摄影时，无人机按预设航线轨道进行飞行。因此，影像中心像点的偏移量为中心点坐标相对于无人机航线轨迹的偏移。

第二计算模块，用于基于所述偏移量计算正确的影像中心像点；

计算出影像中心像点的偏移量，原始拍摄的影像数据中的中心点坐标与偏移量之和，就是正确的影像中心像点。

校正模块，用于基于正确的影像中心像点及影像数据与中心像点的相对位置校正影像数据。

本发明对影像数据基于影像中心像点进行矫正，首先对影像中心像点进行矫正，影像数据与中心像点的相对位置固定，因此在计算出正确的影像中心像点后，根据影像数据与中心像点的相对位置去其它各点数据进行校正，以此完成整个影像数据的校正。

经过中心点校正后的影像还存在着噪音影响，噪音会导致影像出现周期性条纹、斑点等，因此，本发明对校正后的影像数据结合中心点的经纬度、外方位元素使用卡尔曼滤波器方法来去除噪音，并使用图像处理软件MATLAB结合卡尔曼滤波器算法，滤除噪音对图像质量的影响，达到滤出噪音对图像质量的干扰。

建模模块，用于将所述基础影像导入自动化建模软件，自动化建模软件经过对所述基础影像进行进一步几何校正、联合平差处理，生成基于真实影像的超高密度点云，基于点云构建三维不规则三角网，生成白模；基于纹理自动贴面技术，生成基于真实影像纹理的高分辨率的实景三维模型；

对影像数据进行预处理后，将基础影像导入自动化建模软件进行三维建模，本发明自动化建模软件采用Acute3D 公司生产的Smart3DCapture 软件。自动建模软件在倾斜摄影影像建模的过程中，对基础影像进行进一步几何校正、联合平差处理。具体包括：利用地面控制点数据、基础影像数据、POS数据进行空中三角测量，得到每张基础影像的精确外方位元素；根据高精度的像元物方坐标，通过多基线、多特征匹配算法获得大量、可靠的同名连接点作为平差条件再进行同名点匹配。

对基础影像进行进一步几何校正、联合平差处理后，自动建模软件利用影像数据结合空中三角测量加密成果，运用影像密集匹配技术，生成基于真实影像的超高密度点云。将全部三维点云构建成不同层次细节（Level Of Details，LOD）的不规则三角形网（Triangulated Irregular Network，TIN）。通过瓦片分割将海量数据分割成多个LOD，不同层级的瓦片结点对应着不同细节层次的三维模型。然后通过优化、简化三角网等操作，使得三角网内部尺寸与影像分辨率匹配，同时降低较平坦测区的三角网密度，减少数据冗余，最后将得到的三维TIN 模型框架构建形成白模。倾斜摄影影像密集匹配后生成以不规则三角网表达的三维模型，通过自动搜索对应视角的纹理影像，映射到相应的三维模型上，完成纹理贴面，生成具有真实色彩、纹理且有细节层次LOD 的三维场景。

最优纹理影像生成模块，用于将所述三维模型打散，实现纹理与三维建筑白模分离，获取三维建筑物对应的细节纹理图像；利用金字塔模型瓦片坐标范围和单体建筑物空间位置选取最优纹理影像；

本发明利用自动化建模软件得到三维模型后，将得到三维模型打散，实现纹理与三维建筑白模分离，获取三维建筑物对应的细节纹理图像。如上所述，自动化建模软件中三维模型是将纹理图像映射到不规则三角网表达的三维模型上生成的，因此，本发明对软件输出的三维模型打散，能够获取三维建筑物对应的细节纹理图像。

本发明将倾斜摄影获取的影像数据输入自动化建模软件得到三维模型，由于倾斜摄影技术获取同一地物的影像数量较多，同一地物纹理信息可能出现在多张影像上，即同一地物纹理信息可能出现在多个三维模型打散输出的细节纹理图像中。每张影像上纹理特征存在差异性，因此，本发明利用金字塔模型瓦片坐标范围和单体建筑物空间位置选取单体建筑物的最优纹理影像。瓦片节点以类似影像金字塔的方式进行建立，金字塔由上而下对应的模型精度越来越高，第 0 级为最精细数据，精细度随级别的增大而越低。当瓦片坐标范围和单体建筑物空间位置越匹配，该纹理影像越优。

单体建筑物处理模块，用于运用边缘检测算法获取地物轮廓信息，基于所述最优纹理影像与地物轮廓信息，采用面向对象方法提取纹理影像上单体建筑物震害信息；

本发明对各单体建筑物进行独立的震害信息提取，因此需要运用边缘检测算法获取地物轮廓信息，对各地物进行划分，获取单体建筑物信息。具体地，本发明运用 Canny 边缘检测算法获取地物轮廓信息，通过最优纹理影像与地物轮廓信息，确定单体建筑物。

本发明采用面向对象方法提取单体建筑物震害信息，其分析对象是由若干像元组成的影像对象。因此，面向对象方法首先对单体建筑物进行分割，得到面向对象的分析对象。同时考虑地物的光谱、形状、纹理、相邻关系等特征，实现对单体建筑物震害信息的提取。震害信息的提取包括提取外墙裂缝、墙皮脱落等震害特征。

训练模块，用于构建卷积神经网络，选取有震害信息的建筑物顶面和侧面影像作为样本，构建三类分类样本：完好建筑物面、破坏建筑物面和其他地物背景，通过样本数据对卷积神经网络进行训练，得到群体建筑物震害信息提取模型；

为了克服现有的对大量建筑物进行震害提取处理复杂度高、处理效率低的问题，本发明对部分单体建筑物通过面向对象方法进行震害提取，并通过构建卷积神经网络，对其余的群体建筑物进行震害信息提取。

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络。主要由输入层、卷积层、池化层、全连接层、输出层组成。输入层是需要进行震害信息提取的建筑物的顶面和侧面影像信息，对于计算机而言可将其理解为若干矩阵。卷积层是卷积神经网络的重要组成部分，通过输入层和卷积层之间的矩阵卷积运算，提取输入影像信息的特征。池化层通常设置在卷积层之后，对输入的影像信息的目标区域像素取平均值或最大值，即降采样处理，降低特征图像分辨率的同时避免出现过拟合。全连接层位于最后一个池化层和输出层之间，其中每一个神经元都与前一层的全部神经元相连接，并根据目标检测的需要，有针对性地将特征向量映射到输出层。输出层位于神经网络的最后，其作用是对权连接层映射过来的输入向量进行分类。卷积层与池化层可以根据需要重复多次，其中不同的卷积核负责提取多种特征，池化层提供平移不变性和降维。

建筑物影像信息除包括震害信息外，还可能包括其他地物信息。因此，本发明构建包括震害信息提取通道、其他地物信息提取通道的卷积神经网络，以全面提取建筑物影像中的信息数据，同时避免其他地物信息对震害信息提取的影响造成的震害信息误提取。本发明所构建的震害信息提取通道、其他地物信息提取通道相互独立，震害信息提取通道用于提取建筑物影像中的震害信息，其他地物信息提取通道用于提取建筑物影像中除建筑物外的其他地物信息。本发明所述的卷积神经网络可以采用VGG-16，在此不作限定。本发明震害信息提取通道、其他地物信息提取通道包括独立的卷积层、池化层、全连接层，共享一个输入层、输出层，输出层的结果是震害信息提取通道、其他地物信息提取通道的输出结果的整合。

本发明选取有震害信息的建筑物顶面和侧面影像作为样本，对构建的卷积神经网络进行训练。首先根据震害信息对样本数据进行分类，构建三类分类样本：完好建筑物面、破坏建筑物面和其他地物背景。完好建筑物面为没有震害的建筑物面，破坏建筑物面为有震害的建筑物面，破坏建筑物面上有相应的震害标识，其他地物背景上相应的地物标识。为了提高震害提取的精确性，本发明对建筑物影像分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例等操作均随机选取对应数值以保证生成影像的随机性。通过数据增强操作，提高样本量。

对于完好建筑物面，卷积神经网络的理想输出是震害信息提取通道未提取到任何震害信息，其他地物信息提取通道未提取到任何地物信息；对于破坏建筑物面，卷积神经网络的理想输出是震害信息提取通道提取到震害信息并标识，其他地物信息提取通道未提取到任何地物信息；对于其他地物背景，卷积神经网络的理想输出是震害信息提取通道未提取到任何震害信息，其他地物信息提取通道提取到地物信息并标识。

本发明将三类样本数据分别输入卷积神经网络，对卷积神经网络中的震害信息提取通道、其他地物信息提取通道进行训练。通过计算群体建筑物震害信息提取模型的损失函数对群体建筑物震害信息提取模型进行优化，训练生成群体建筑物震害信息提取模型。群体建筑物震害信息提取模型的损失函数是震害信息提取通道、其他地物信息提取通道的损失函数之和，具体为：

其中，

是震害信息提取通道的损失函数，

是其他地物信息提取通道的损失函数。

群体建筑物提取模块，用于对待提取的群体建筑物顶面和侧面分别进行面向对象多尺度分割，基于所述群体建筑物震害信息提取模型提取灾区群体建筑物震害信息，并判定群体建筑物破坏等级。

训练生成群体建筑物震害信息提取模型后，就可以对需要进行震害提取的建筑物进行震害提取。本发明通过倾斜摄影获取建筑物影像数据后，对影像数据进行预处理。接着对群体建筑物顶面和侧面分别进行面向对象多尺度分割，使用训练好的网络模型对群体建筑物各个面进行震害信息提取，输出包括震害信息的建筑物各面影像。

通过卷积神经网络提取模型提取灾区群体建筑物震害信息，处理效率高，能够同时处理大量的群体建筑物。在获取建筑物震害信息后，本发明能够根据外墙裂缝、墙皮脱落等震害特征，对建筑物进行精确的评估，能够准确区分轻微、中等、严重这三个震害等级。因此，本发明能够实现将建筑物的破坏等级从轻到重依次划分为：基本完好、轻微破坏、中等破坏、严重破坏、毁坏。例如，当墙体基本完好、个别墙体的抹灰层脱落时为基本完好等级，墙体轻微裂缝、部分墙体墙皮脱落时为轻微破坏等级，多数墙体出现轻微裂缝、部分墙体出现明显裂缝、个别墙体墙皮脱落、个别墙出现破坏时为中等破坏等级，多数墙体出现明显裂缝时为严重破坏等级，墙体严重破坏、部分倒塌时为毁坏等级。

由此可知，本发明提出的基于倾斜摄影的群体建筑物震害提取方法及系统，与现有技术相比，本发明针对现有的震害提取需要对大量的影像信息进行依次分割与分类，造成处理复杂度高，处理效率低的问题，提出了基于卷积神经网络训练生成群体建筑物震害信息提取模型以批量提取影像信息中的震害信息。本发明仅对部分的影像信息进行分割与分类，在提取出相应的震害信息后，对卷积神经网络进行训练，以优化其它大量群体建筑物震害信息提取，大大降低了数据处理的复杂度，提升了处理效率。此外，传统的面向对象的震害提取方法的提取精度依赖于影像信息分割的精度，大量的影像信息分割造成震害提取的准确率低，而本发明通过卷积神经网络进行训练与提取，大大提高了震害信息的提取准确率。再者，本发明针对影像信息的特点，构建同时包括震害信息提取通道、其他地物信息提取通道的卷积神经网络，能够全面提取建筑物影像中的信息数据，同时避免其他地物信息对震害信息提取的影响，造成的震害信息误提取，进一步提高了震害信息的提取精度。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于倾斜摄影的群体建筑物震害提取方法，其特征在于，包括步骤：

S1、通过无人机搭载的摄像机对地震灾后建筑物进行倾斜摄影，并对影像数据基于影像中心像点进行矫正，并对校正后图像进行去噪滤波处理，获得基础影像；

S2、将所述基础影像导入自动化建模软件，自动化建模软件经过对所述基础影像进行进一步几何校正、联合平差处理，生成基于真实影像的超高密度点云，基于点云构建三维不规则三角网，生成白模；基于纹理自动贴面技术，生成基于真实影像纹理的高分辨率的实景三维模型；

S3、将所述三维模型打散，实现纹理与三维建筑白模分离，获取三维建筑物对应的细节纹理图像；利用金字塔模型瓦片坐标范围和单体建筑物空间位置选取最优纹理影像；

S4、运用边缘检测算法获取地物轮廓信息，基于所述最优纹理影像与地物轮廓信息，采用面向对象方法提取纹理影像上单体建筑物震害信息；

S5、构建卷积神经网络，选取有震害信息的建筑物顶面和侧面影像作为样本，构建三类分类样本：完好建筑物面、破坏建筑物面和其他地物背景，通过样本数据对卷积神经网络进行训练，得到群体建筑物震害信息提取模型；

S6、对待提取的群体建筑物顶面和侧面分别进行面向对象多尺度分割，基于所述群体建筑物震害信息提取模型提取灾区群体建筑物震害信息，并判定群体建筑物破坏等级。

2.根据权利要求1所述的群体建筑物震害提取方法，其特征在于，所述对影像数据基于影像中心像点进行矫正具体为：

S11、基于仿射变换，计算影像中心像点的偏移量；

S12、基于所述偏移量计算正确的影像中心像点；

S13、基于正确的影像中心像点及影像数据与中心像点的相对位置校正影像数据。

3.根据权利要求1所述的群体建筑物震害提取方法，其特征在于，所述卷积神经网络包括震害信息提取通道、其他地物信息提取通道，震害信息提取通道用于提取建筑物影像中的震害信息，其他地物信息提取通道用于提取建筑物影像中除建筑物外的其他地物信息；所述震害信息提取通道、其他地物信息提取通道包括独立的卷积层、池化层、全连接层，共享一个输入层、输出层，输出层的结果是震害信息提取通道、其他地物信息提取通道的输出结果的整合；所述卷积神经网络的损失函数为：

其中，是震害信息提取通道的损失函数，

是其他地物信息提取通道的损失函数。

4.根据权利要求3所述的群体建筑物震害提取方法，其特征在于，所述卷积神经网络输入的是需要进行震害信息提取的建筑物的顶面和侧面影像信息，输出的是标识有震害信息、其他地物信息的建筑物数据。

5.根据权利要求1所述的群体建筑物震害提取方法，其特征在于，所述步骤S5还包括：

对建筑物影像分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例操作均随机选取对应数值以保证生成影像的随机性。

6.一种基于倾斜摄影的群体建筑物震害提取系统，其特征在于，包括：

预处理模块，用于通过无人机搭载的摄像机对地震灾后建筑物进行倾斜摄影，并对影像数据基于影像中心像点进行矫正，并对校正后图像进行去噪滤波处理，获得基础影像；

建模模块，用于将所述基础影像导入自动化建模软件，自动化建模软件经过对所述基础影像进行进一步几何校正、联合平差处理，生成基于真实影像的超高密度点云，基于点云构建三维不规则三角网，生成白模；基于纹理自动贴面技术，生成基于真实影像纹理的高分辨率的实景三维模型；

最优纹理影像生成模块，用于将所述三维模型打散，实现纹理与三维建筑白模分离，获取三维建筑物对应的细节纹理图像；利用金字塔模型瓦片坐标范围和单体建筑物空间位置选取最优纹理影像；

单体建筑物处理模块，用于运用边缘检测算法获取地物轮廓信息，基于所述最优纹理影像与地物轮廓信息，采用面向对象方法提取纹理影像上单体建筑物震害信息；

训练模块，用于构建卷积神经网络，选取有震害信息的建筑物顶面和侧面影像作为样本，构建三类分类样本：完好建筑物面、破坏建筑物面和其他地物背景，通过样本数据对卷积神经网络进行训练，得到群体建筑物震害信息提取模型；

群体建筑物提取模块，用于对待提取的群体建筑物顶面和侧面分别进行面向对象多尺度分割，基于所述群体建筑物震害信息提取模型提取灾区群体建筑物震害信息，并判定群体建筑物破坏等级。

7.根据权利要求6所述的群体建筑物震害提取系统，其特征在于，所述对影像数据基于影像中心像点进行矫正包括：

第一计算模块，用于基于仿射变换，计算影像中心像点的偏移量；

第二计算模块，用于基于所述偏移量计算正确的影像中心像点；

校正模块，用于基于正确的影像中心像点及影像数据与中心像点的相对位置校正影像数据。

8.根据权利要求6所述的群体建筑物震害提取系统，其特征在于，所述卷积神经网络包括震害信息提取通道、其他地物信息提取通道，震害信息提取通道用于提取建筑物影像中的震害信息，其他地物信息提取通道用于提取建筑物影像中除建筑物外的其他地物信息；所述震害信息提取通道、其他地物信息提取通道包括独立的卷积层、池化层、全连接层，共享一个输入层、输出层，输出层的结果是震害信息提取通道、其他地物信息提取通道的输出结果的整合；所述卷积神经网络的损失函数为：

其中，

是震害信息提取通道的损失函数，

是其他地物信息提取通道的损失函数。

9.根据权利要求8所述的群体建筑物震害提取系统，其特征在于，所述卷积神经网络输入的是需要进行震害信息提取的建筑物的顶面和侧面影像信息，输出的是标识有震害信息、其他地物信息的建筑物数据。

10.根据权利要求7所述的群体建筑物震害提取系统，其特征在于，所述训练模块还包括：

对建筑物影像分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例操作均随机选取对应数值以保证生成影像的随机性。

Images