CN114332616A - 基于正射影像和倾斜摄影数据的建筑物变化检测方法 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供一种基于正射影像和倾斜摄影数据的建筑物变化检测方法，所述方法包括：针对同一区域，获取不同时象的两期正射影像，通过建筑物提取和建筑物轮廓变化检测获得建筑物轮廓变化的栅格图斑，并进一步转换为矢量图斑；步骤S2、针对所述区域，获取与所述两期正射影像对应时期的倾斜摄影数据，通过建筑物高度变化检测获得建筑物高度变化矢量图斑；步骤S3、将建筑物轮廓变化矢量图斑与高度变化矢量图斑融合，得到整体的建筑物变化图斑。本发明通过深度学习算法，从遥感影像数据中自动提取建筑图斑，能够实现高精度自动识别建筑物，而且通过建筑物轮廓变化检测以及建筑物高度变化检测，可以判断出建筑的轮廓和高度是否发生变化，可快速判定当前疑似违章建筑，能够明显提高违建识别效率。

Description

基于正射影像和倾斜摄影数据的建筑物变化检测方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种正射影像和倾斜摄影数据的建筑物变化检测方法。

背景技术

近几年国家政策层面先后发布了针对城市管理中违建查处的若干指导意见，违建查处的工作在全国各地兴起，可以通过观察建筑物变化来判断建筑物是否属于违建。

目前的建筑物图像的检测方案一般是定期获取高分辨率卫星影像，一般采用传统的提取人造特征(hand-craft feature)识别违建的方法，但是建筑的人造特征提取方法过程复杂，而且准确度不高，使得后续在判断违建后，还需要人工进行确认，明显增加了难度，影响判断效率。

发明内容

鉴于上述问题，本发明的目的在于提供一种正射影像和倾斜摄影数据的建筑物变化检测方法，旨在解决现有提取人造特征准确度不高的技术问题。

本发明采用如下技术方案：

所述正射影像和倾斜摄影数据的建筑物变化检测方法，包括下述步骤：

步骤S1、针对同一区域，获取两期正射影像，通过建筑物提取和建筑物轮廓变化检测获得建筑物轮廓变化的栅格图斑，并进一步转换为矢量图斑；

步骤S2、针对所述区域，获取与所述两期正射影像对应时期的倾斜摄影数据，通过建筑物高度变化检测获得建筑物高度变化矢量图斑；

步骤S3、将建筑物轮廓变化矢量图斑与高度变化矢量图斑融合，得到整体的建筑物变化图斑。

进一步的，所述步骤S1具体过程如下：

S11、通过收集数据训练基于深度学习的建筑识别模型；

S12、获取同一区域的两期正射影像，将两期正射影像使用建筑识别模型预测正射影像影像中的建筑图，得到建筑物图斑；

S13、将建筑物图斑使用Tensor Polygonization生成简化的建筑轮廓矢量，根据两期建筑轮廓矢量变化得到建筑物轮廓变化矢量图斑。

进一步的，步骤S11中，所述收集数据包括收集所需的高分遥感数据，记录高分遥感数据拍摄时间、高度，对数据进行预处理，重采样至所需的分辨率。

进一步的，步骤S11中，所述建筑识别模型包括编码网络、解码网络和逐像素分类器。

进一步的，步骤S13中，生成简化的建筑轮廓矢量过程如下：

通过建筑识别模型生成建筑热力图，得到建筑矢量；

根据建筑形状特征原则，平滑建筑矢量，消除生成矢量中的锯齿；

根据建筑识别模型中生成的方向，识别建筑转角，标记转角位置；

删除转角之间的矢量，优化生成建筑轮廓矢量的位置。

进一步的，所述步骤S2具体过程如下：

S21、获取与两期正射影像对应时期的倾斜摄影数据，将倾斜摄影数据的三角网合并，形成单张大范围的倾斜摄影数据；

S22、使用建筑物图斑轮廓数据叠加至合并后的倾斜摄影数据中，其中倾斜摄影数据自带所有像素的高层信息，获取到倾斜摄影数据范围内的最高高层信息作为高层值，将所述高层值作为一个属性字段，写入当前建筑物图斑轮廓数据中；

S23、在获取到两个时期带高层值的建筑物轮廓数据后，根据范围坐标进行匹配后，进行高层值比对，获取高层发生变化的建筑物高度变化矢量图斑。

本发明的有益效果是：本发明通过深度学习算法，从海量数据中自动提取建筑，能够实现高精度自动识别建筑物，而且通过建筑物轮廓变化检测以及建筑物高度变化检测，可以判断出建筑的轮廓和高度是否发生变化，只要建筑的轮廓或高度发生了变化，即可判定当前建筑物违建，此方法判断准确，实现简单，能够明显提高违建识别效率。

附图说明

图1是本发明实施例提供的正射影像和倾斜摄影数据的建筑物变化检测方法的流程图；

图2是本发明实施例提供的建筑识别模型的示意图；

图3是本发明实施例提供的建筑识别模型增加方向示意图；

图4是本发明实施例提供的Tensor Polygonization矢量化过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的正射影像和倾斜摄影数据的建筑物变化检测方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

如图1所示，本实施例提供的正射影像和倾斜摄影数据的建筑物变化检测方法，包括下述步骤：

步骤S1、针对同一区域，获取两期正射影像，通过建筑物提取和建筑物轮廓变化检测获得建筑物轮廓变化的栅格图斑，并进一步转换为矢量图斑。

正射影像是具有正射投影性质的遥感影像。原始遥感影像因成像时受传感器内部状态变化、外部状态及地表状况的影响，均有程度不同的畸变和失镇。对遥感影像的几何处理，不仅提取空间信息，还可按正确的几何关系对影像灰度进行重新采样，形成新的正射影像。

对于建筑物而言，对于遥感拍摄的原始影像，通过几何处理得到建筑物的正射影像，具体的处理过程，不是本实施例重点所在，这里不赘述。

本步骤通过廓变化检测得到建筑物轮廓数据，最终通过两个时期正射影像建筑物轮廓数据，可以得到建筑物轮廓变化矢量图斑。具体过程如下：

S11、通过收集数据训练基于深度学习的建筑识别模型。

收集数据包括收集所需的高分遥感数据，记录其拍摄时间、高度。对数据进行预处理，重采样至所需的分辨率并导入；然后基于已有的建筑、道路数据，训练基于encoder-decoder的深度学习的建筑识别模型，该模型用于建筑提取。如图2所示，建筑识别模型主要由编码网络(Encoder Network)、解码网络(Decoder Network)和逐像素分类器(Pixel-wise Classification Layer)组成。

其中编码网络是将高维向量转换成低维向量，实现了对高维特征的低维提取。编码网络通过多次最大池化操作虽然可以捕捉更多的平移不变性特征，但同样会丢失更多特征图的边界信息等分割的重要依据。因此，在池化过程中同时记录最大池化索引信息，保存了最大特征值所在的位置，然后利用最大池化索引信息对输入特征图进行上采，使得边界信息得以保存。最大池化索引可以进一步优化边界轮廓描述的准确度，并且减少参数数量，可以端对端训练，进一步提高了识别的精确度。

解码网络利用编码器下采样时保存的相应特征层的最大池化索引信息将低分辨率的特征图映射到高空间分辨率的特征图，实现了低维向量到高维向量的重构。在解码过程中重复使用最大池化索引具有几个优点：优化边界轮廓描述；减少参数数量，可以端对端训练；上采样方式可以应用到任何编码—解码的网络中。

编码网络、解码网络通过一个波段注意力连接(Band Attention Connection)。从而使模型在解码时能够再次读入原始得高维数据，保证几何特征得不变。

在最后一层解码器输出高维特征表示向量，作为可训练分类器的输入。编码网络可以使用经典的Resnet，Inception或是Efficientnet。

具体实现时，本建筑识别模型基于pytorch实现，使用3台GPU GeForce RTX2080Ti的服务器进行训练，训练批量大小为64(batch_size)，学习率(learning rate)为1e-04,采用AdamW优化参数，使用交叉熵损失作为损失模型约束模型训练。训练过程如下：

1.训练数据大小为512*512，使用滑动窗口的方式从原始影像中获取，迭代行数为256，保证大多数建筑都独立存在在一张图像中。选取总数据的60％为训练数据，40％为验证数据。

2.训练采用了随机图像增强发来增加模型泛化性能，避免过拟合。使用包括反转、缩放、随机亮度、对比度等图像增强方式对图像进行随机增强。

3.模型训练使用了融合的损失函数。其中包括两种交叉熵(Cross Entropy)和骰子系数(Dice coefficient)。其中交叉熵用来保证模型对建筑物类别的准确识别，骰子系数用于约束建筑轮廓。

4.模型训练400个循环。初始学习率为1e-04，在10个循环后开始递减至1e-07。最终寻用在测试数据中精度最高的模型为结果模型。

S12、获取同一区域的两期正射影像，将两期正射影像使用建筑识别模型预测正射影像影像中的建筑图，得到建筑物图斑。

预测建筑物的轮廓是否发生变化，需要将比对建筑物两期的正射影像。然后直接输入至前述步骤训练的建筑识别模型，即可建筑物图斑。

S13、将建筑物图斑使用Tensor Polygonization生成简化的建筑轮廓矢量，根据两期建筑轮廓矢量变化得到建筑物轮廓变化矢量图斑。

深度学习图像分割通常以栅格格式输出分割结果，而地理信息系统的应用往往需要矢量输出。为了优化栅格图像矢量化的过程，本步骤通过Tensor Polygonization进行矢量化处理。如图3所示，首先在建筑识别模型中增加了一个方向输出，使其与地面真实轮廓相一致。用于预测每个当前目标的方向，从而提取平滑的矢量效果。矢量化过程参照图4所示，过程如下：

1.过建筑识别模型生成建筑热力图，得到建筑矢量；

2.根据建筑形状特征原则，平滑建筑矢量，消除生成矢量中的锯齿；

3.根据建筑识别模型中生成的方向，识别建筑转角，标记转角位置；

4.删除转角之间的矢量，优化生成建筑轮廓矢量的位置。。

本步骤的简化矢量生成方法(Tensor Polygonization)，基于建筑物轮廓多为直角或等角多边形的特点，提出了基于建筑方向的矢量化方法，从而大幅优化了从图像热图中生成建筑矢量的精度和数据量。

步骤S2、针对所述区域，获取与所述两期正射影像对应时期的倾斜摄影数据，通过建筑物高度变化检测获得建筑物高度变化矢量图斑。

S21、获取与两期正射影像对应时期的倾斜摄影数据，将倾斜摄影数据的三角网合并，形成单张大范围的倾斜摄影数据。

倾斜摄影数据与正射影像是相对的。针对一个建筑物的违建判断，本步骤需要获取与该建筑物两期正射影像同期的倾斜摄影数据。时期A和时期B的两期正射影像分别为正射影像A和正射影像B，同样获取到的同期倾斜摄影数据A和倾斜摄影数据B。

由于倾斜摄影数据是由多个分开的osgb数据组成，当出现一个建筑图斑横跨多个osgb数据的情况时，对于数据读取检索都存在效率损耗，所以本实施例将各osgb数据合并成一个大的osgb数据，提高检索时的数据读取效率。倾斜摄影osgb数据一般为连续的三角网格，多个osgb数据的合并需要将每个数据中的顶点以及索引做合并，保证合并后的osgb数据只有一个三角网和一张纹理。

本步骤将碎片化的原始OSGB倾斜摄影数据重新整合成一张大的范围的OSGB数据。在数据高层读取时，减少原始数据的遍历次数，减少数据吞吐次数。

S22、使用建筑物图斑轮廓数据叠加至合并后的倾斜摄影数据中，即正射影像A叠加至倾斜摄影数据A，射影像B叠加至倾斜摄影数据B，其中倾斜摄影数据自带所有像素的高层信息，获取到倾斜摄影数据范围内的最高高层信息作为高层值，将所述高层值作为一个属性字段，写入当前建筑物图斑轮廓数据中，通过高层提取即可得到建筑物的高层信息。

S23、在获取到两个时期带高层值的建筑物轮廓数据后，根据范围坐标进行匹配后，进行高层值比对，获取高层发生变化的建筑物高度变化矢量图斑。

在提取图斑的高层过程中，由于原始倾斜摄影数据均是碎片化存储，对于原始的倾斜摄影数据的预处理非常重要，本步骤中通过对倾斜摄影数据的数据重组，进一步提高倾斜摄影数据的高层信息读取效率。

步骤S3、将建筑物轮廓变化矢量图斑与高度变化矢量图斑融合，得到整体的建筑物变化图斑。

整体的建筑物变化图斑代表了建筑的轮廓和高度变化，通过建筑物变化图斑只要发现轮廓和高度两者任一发生变化，即可认定建筑物违建，通过这种方式能够快速且准确判断建筑是否违建，整个过程实现简单，只需训练建筑识别模型，同时获取同期的正射影像和倾斜摄影数据，通过数据处理和检测判断就能快速识别出建筑物的轮廓以及高度是否发生变化，此方法能够明显提高识别精确度和效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于正射影像和倾斜摄影数据的建筑物变化检测方法,其特征在于，所述方法包括下述步骤：

步骤S1、针对同一区域，获取两期正射影像，通过建筑物提取和建筑物轮廓变化检测获得建筑物轮廓变化的栅格图斑，并进一步转换为矢量图斑；

步骤S2、针对所述区域，获取与所述两期正射影像对应时期的倾斜摄影数据，通过建筑物高度变化检测获得建筑物高度变化矢量图斑；

步骤S3、将建筑物轮廓变化矢量图斑与高度变化矢量图斑融合，得到整体的建筑物变化图斑。

2.如权利要求1所述基于正射影像和倾斜摄影数据的建筑物变化检测方法,其特征在于，所述步骤S1具体过程如下：

S11、通过收集数据训练基于深度学习的建筑识别模型；

S12、获取同一区域的两期正射影像，将两期正射影像使用建筑识别模型预测正射影像影像中的建筑图，得到建筑物图斑；

S13、将建筑物图斑使用Tensor Polygonization生成简化的建筑轮廓矢量，根据两期建筑轮廓矢量变化得到建筑物轮廓变化矢量图斑。

3.如权利要求2所述基于正射影像和倾斜摄影数据的建筑物变化检测方法,其特征在于，步骤S11中，所述收集数据包括收集所需的高分遥感数据，记录高分遥感数据拍摄时间、高度，对数据进行预处理，重采样至所需的分辨率。

4.如权利要求3所述基于正射影像和倾斜摄影数据的建筑物变化检测方法,其特征在于，步骤S11中，所述建筑识别模型包括编码网络、解码网络和逐像素分类器。

5.如权利要求4所述基于正射影像和倾斜摄影数据的建筑物变化检测方法,其特征在于，步骤S13中，生成简化的建筑轮廓矢量过程如下：

通过建筑识别模型生成建筑热力图，得到建筑矢量；

根据建筑形状特征原则，平滑建筑矢量，消除生成矢量中的锯齿；

根据建筑识别模型中生成的方向，识别建筑转角，标记转角位置；

删除转角之间的矢量，优化生成建筑轮廓矢量的位置。

6.如权利要求5所述所述基于正射影像和倾斜摄影数据的建筑物变化检测方法,其特征在于，所述步骤S2具体过程如下：

S21、获取与两期正射影像对应时期的倾斜摄影数据，将倾斜摄影数据的三角网合并，形成单张大范围的倾斜摄影数据；

S22、使用建筑物图斑轮廓数据叠加至合并后的倾斜摄影数据中，其中倾斜摄影数据自带所有像素的高层信息，获取到倾斜摄影数据范围内的最高高层信息作为高层值，将所述高层值作为一个属性字段，写入当前建筑物图斑轮廓数据中；

S23、在获取到两个时期带高层值的建筑物轮廓数据后，根据范围坐标进行匹配后，进行高层值比对，获取高层发生变化的建筑物高度变化矢量图斑。

Images