CN113192204A - 单幅倾斜遥感图像中建筑物的三维重建方法 - Google Patents

Abstract

本发明的单幅倾斜遥感图像中建筑物的三维重建方法涉及遥感图像三维建模技术领域，目的是为了克服现有三维重建方法的输入条件复杂以及不满足重建尺度精度要求的问题，方法具体如下：步骤一、从遥感图像中截取至少一个正方形的待重建目标子图；一个待重建目标子图包括一个需三维重建的建筑物的图像，且建筑物的图像的形状中心与待重建目标子图的中心重合；步骤二、将待重建目标子图输入经过训练的单幅图像重建网络，获得三维模型的边界点与边界面；步骤三、根据三维模型的边界点与边界面，利用移动立方体算法生成网格结构的建筑物三维重建模型。

Description

单幅倾斜遥感图像中建筑物的三维重建方法

技术领域

本发明涉及遥感图像三维建模技术领域。

背景技术

利用遥感图像实现三维建筑物重建无论在民生还是国防领域都有十分广泛的应用需求。目前，仍有许多工作依赖于人工绘制模型或者使用无人机测绘的方法来完成，往往需要花费大量的时间与人力资源。

在遥感领域，许多研究者致力于探索如何利用遥感图像实现自动化的建筑物重建，根据不同的输入数据需求，可以粗略的对这些方法进行分类。

第一种最普遍的方法为使用立体匹配技术进行重建，该技术往往需要星载或机载的、满足一定交会角、重叠度以及基高比等条件的两幅或多幅遥感图像作为输入数据。

第二种被广泛使用的方法为从运动恢复结构(SFM，Structure From Motion)的方法，该方法使用多张序列图像实现特征提取与特征匹配，生成单个目标或场景的三维点云。

以上两种方法虽然能够完成重建任务，但多张图像的输入要求使其无法应用于遥感资源稀缺的地区，也不便于重建区域的更新。

第三种为利用单幅图像进行重建，现有方法往往只能提取建筑物的高度、轮廓、占地面积等信息，无法恢复完整模型。而为解决这一问题，则需要利用图中存在的例如阴影等信息，或者其他的如数字表面模型(DSM，Digital Surface Model)等数据作为辅助输入。复杂的输入条件导致这些单幅重建方法在应用上具有很大的限制，且不具有通用性。

在计算机视觉领域中，随着深度学习的快速发展，涌现出大量的利用单幅图像进行三维重建的方法，然而他们的共性问题为仅考虑重建结果形状的好坏，而忽略模型本身真实的大小，因此不满足于遥感重建中对重建尺度精度的要求。

因此，如何充分利用单幅图像中建筑物目标的全部特征，实现兼顾形状和尺度的建筑物重建，仍具有很大的研究空间。

发明内容

本发明的目的是为了克服现有三维重建方法的输入条件复杂以及不满足重建尺度精度要求的问题，提供了一种单幅倾斜遥感图像中建筑物的三维重建方法。

本发明的单幅倾斜遥感图像中建筑物的三维重建方法，方法具体如下：

步骤一、从遥感图像中截取至少一个正方形的待重建目标子图；一个待重建目标子图包括一个需三维重建的建筑物的图像，且建筑物的图像的形状中心与待重建目标子图的中心重合；

步骤二、将待重建目标子图输入经过训练的单幅图像重建网络，获得三维模型的边界点与边界面；

步骤三、根据三维模型的边界点与边界面，利用移动立方体算法生成网格结构的建筑物三维重建模型。

其中，还包括：

步骤四、将待重建目标子图与建筑物三维重建模型共同输入经过训练的模型尺度优化网络，获得尺度优化的建筑物三维重建模型。

其中，步骤二中，单幅图像重建网络包括Scale-ONet兼顾尺度的空间占用概率重建网络，Scale-ONet网络包括特征提取模块和特征解码模块；

特征提取模块，包括resnet18网络，用于从输入图像中提取256维的特征向量，并将特征向量输入至特征解码模块；输入图像包括待重建目标子图；

特征解码模块包括五个依次连接resnet解码块；该特征解码模块与特征提取模块连接，用于将特征向量和单位立方体空间内随机点的坐标值共同作为输入，根据特征向量得到随机点是否位于三维模型内部的概率，并根据位于三维模型内部的随机点得到三维模型的边界点与边界面；

随机点为从单位立方体空间内随机采样得到的n个点，其中n为正整数。

其中，步骤二中，获得经过训练的Scale-ONet网络的具体方法如下：

使用多组训练图像和训练图像对应的真实建筑物模型作为训练集，对Scale-ONet网络进行训练，建立从二维图像到三维模型的映射关系，映射关系表示为：

(I∝s)＝f_θ(c,x)

f_θ:R³→[0,1]

其中，x为从图像中提取的特征向量，c为单位立方体空间内随机点的坐标，x和c经过映射f_θ，生成单位概率空间I，单位概率空间I中随机点的值范围为[0,1]；

s为尺度因子，表达式为：

s＝λpr/p_tr_t

其中，λ为从特征提取模块提取到的尺度比例系数，p、p_t分别代表测试图像和训练图像的长或宽的像素数，r、r_t分别代表测试图像和训练图像的空间分辨率；测试图像为对Scale-ONet网络进行测试所采用的测试集中的图像。

其中，步骤二的具体步骤如下：

步骤二一、将待重建目标子图作为输入图像输入经过训练的Scale-ONet网络；

步骤二二、设定概率阈值τ，获得单位概率空间I中位于三维模型内部的随机点，得到三维模型的边界点与边界面；

位于三维模型内部的随机点为随机点的值大于概率阈值τ的随机点。

其中，步骤四中，模型尺度优化网络包括Optim-Net基于图像特征的模型尺度优化网络，Optim-Net网络包括第一特征提取模块、第二特征提取模块和全卷积层；

第一特征提取模块，包括Vgg16网络，用于从输入图像中提取1000维的特征向量；输入图像包括待重建目标子图；

第二特征提取模块，用于从输入模型中提取长、宽和高的值；输入模型包括网格结构的三维模型；

全卷积层，同时与第一特征提取模块和第二特征提取模块连接，用于将1000维的特征向量和长、宽和高的值合并为1003维的特征向量，并将1003维的特征向量经过五层卷积得到优化的长、宽和高的值；并利用优化的长、宽和高的值对网格结构的三维模型进行调整得到输出模型；输出模型包括建筑物三维重建模型。

其中，步骤四中、获得经过训练的模型尺度优化网络的具体方法如下：

利用训练集，对Optim-Net网络进行训练，建立的映射关系表示为：

(L_o,W_o,H_o)＝f_s(x,L_i,W_i,H_i)

其中，x为从输入图像提取的特征向量，L_i、W_i和H_i分别为输入模型的长、宽和高的值，L_o、W_o和H_o分别为输出模型的长、宽、高的值；f_s为映射函数。

本发明的有益效果是：

本发明针对遥感图像建筑物重建任务中多幅重建方法对输入要求复杂，单幅重建方法无法兼顾形状与尺度两方面问题，提出基于单幅图像重建网络的建筑物建模方法。该方法仅使用单幅倾斜遥感图像作为输入，利用特征提取网络，充分提取图像中的建筑物信息，通过解码网络建立从二维图像到三维概率空间的映射，最终生成具有完整结构的三维建筑物网格模型，即网格结构的建筑物三维重建模型。

使用该方法，能够准确快速的恢复单个建筑目标的结构信息，极大的减少人力与时间的浪费，有利于城市规划、灾后重建等多方面遥感应用。

经过实验分析，对空间分辨率不低于0.5m，建筑物最长不超过80m的图像进行重建，本方法能够获得形状准确度EMD<1，尺度准确度RMSE<2.65m的建筑物模型。同时，本方法对具有不同倾斜角度、不同空间分辨率、不同建筑物大小的图像具有很好的鲁棒性。

附图说明

图1为本发明的单幅倾斜遥感图像中建筑物的三维重建方法的流程图；

图2为Scale-ONet兼顾尺度的空间占用概率重建网络的结构示意图；

图3为Optim-Net基于图像特征的模型尺度优化网络的结构示意图；

图4为遥感图像一采用本发明的方法的实验测试结果示意图；其中，第一行(a)～(f)分别为从遥感图像一上截取得到的待重建目标子图、第二行为对应的背景信息去除后的待重建目标子图、第三行为对应的重建模型、第四行为对应的真实建筑物模型；

图5为遥感图像二采用本发明的方法的实验测试结果示意图；其中，第一行(a)～(f)分别为从遥感图像二上截取得到的待重建目标子图、第二行为对应的背景信息去除后的待重建目标子图、第三行为对应的重建模型、第四行为对应的真实建筑物模型。

具体实施方式

步骤1：在整幅遥感图像中，选取需要重建的建筑物目标，将每个建筑物作为单独的目标，从整幅图像中进行裁剪得到待重建目标子图。其中，建筑物的形状中心应为裁剪小图(待重建目标子图)的图像中心，裁剪小图应为正方形。然后将裁剪的小图去除背景信息，即只保留建筑物部分图像，其他部分设置为白色。

步骤2：训练单幅图像重建网络(可以采用兼顾尺度的空间占用概率重建网络Scale-ONet，或其他能够得到相同结果的网络模型)，获得最优化的网络参数模型，使用105组训练图像和对应的真实建筑物模型作为训练集，获得最优化的网络参数模型(使用测试集进行测试，直至达到最优化)，建立从二维图像到三维模型的映射关系，映射关系为：

(I∝s)＝f_θ(c,x)f_θ:R³→[0,1]

其中，x为从输入图像中提取的特征向量，c为概率空间中的点坐标，经过映射f_θ，生成单位概率空间I，空间中点值范围为[0,1]，即该点是否为模型内部的概率。概率空间 I根据尺度因子s调整大小。尺度因子s的表达式为：

s＝λpr/p_tr_t

其中，λ为从特征提取网络提取到的尺度比例系数，p,p_t分别代表测试和训练图像长 (或宽)的像素数，r,r_t分别代表测试和训练使用的遥感图像的空间分辨率。

Scale-ONet网络具体原理与结构如下：该网络共分为两个主要部分，分别为特征提取部分和特征解码部分。在特征提取部分，利用resnet18网络，从输入的建筑物图像中提取 512维的特征向量，然后经过全连接层，将特征向量的维度缩减为256。在特征解码部分，利用上述提取的特征，将单位立方体空间内的坐标值作为网络输入，经过五个resnet解码块，得到输入坐标位置是否为模型内部的概率。在该过程中，从单位立方体内随机采样共计n＝2048个点，获取这些点的概率，最终得到完整的概率占用空间。整个网络的损失函数为网络生成的概率占用空间和真实建筑物模型生成的概率占用空间计算二元交叉熵所得。最终，利用尺度因子s，调整重建所的模型的尺度。

步骤3：将步骤一中获得的重建目标图像输入步骤二训练好的网络，设定概率阈值τ，即概率空间I中，数值大于τ的点才会被判定为模型内部点，以此获得模型边界点与边界面。然后，利用移动立方体算法(Marching Cubes algorithm)，生成网格(Mesh)结构的三维模型。

其中，可以设定概率阈值τ＝0.95，即概率空间I中，数值大于0.95的点才会被判定为模型内部点，以此获得模型边界点与边界面。

步骤4：训练模型尺度优化网络(可以采用基于图像特征的模型尺度优化网络Optim-Net，或其他能够得到相同结果的网络模型)，使用与步骤二中相同(或另外设置新的训练集)的训练集，获得能够最优化调整模型尺度的网络参数模型。获得能够最优化调整模型尺度的网络参数模型。

模型尺度优化网络的映射关系为：

(L_o,W_o,H_o)＝f_s(x,L_i,W_i,H_i)

其中，x为从输入图像提取到的特征向量，(L_o,W_o,H_o),(L_i,W_i,H_i)分别为输出和输入模型的长宽高值。

Optim-Net网络具体原理与结构如下：首先利用Vgg16网络，对输入图像进行特征提取，得到1000维的特征向量。从Scale-ONet重建所得的模型中，获取长宽高信息，与该特征向量合并，得到1003维的特征向量。经过5层全卷积，得到优化后的长宽高值，利用该值对输入的模型进行调整，最终获得与真实重建建筑物尺度更为相近的建筑物模型。

通过上述模型尺度优化网络，缩小重建的模型与真实建筑物在尺度上的差异，生成准确尺度的三维建筑物网格模型。使用该方法，能够准确快速的恢复单个建筑目标的尺度信息。

步骤5：将步骤一中获得的建筑物目标图像(待重建目标子图)与步骤三中获得的对应的重建结果模型(网格结构的建筑物三维重建模型)，共同输入步骤四训练好的模型尺度优化网络，获得最终的重建结果模型。

Claims (7)

1.单幅倾斜遥感图像中建筑物的三维重建方法，其特征在于，所述方法具体如下：

步骤一、从遥感图像中截取至少一个正方形的待重建目标子图；所述一个待重建目标子图包括一个需三维重建的建筑物的图像，且所述建筑物的图像的形状中心与待重建目标子图的中心重合；

步骤二、将所述待重建目标子图输入经过训练的单幅图像重建网络，获得三维模型的边界点与边界面；

步骤三、根据所述三维模型的边界点与边界面，利用移动立方体算法生成网格结构的建筑物三维重建模型。

2.根据权利要求1所述的单幅倾斜遥感图像中建筑物的三维重建方法，其特征在于，还包括：

步骤四、将所述识别目标子图与所述建筑物三维重建模型共同输入经过训练的模型尺度优化网络，获得尺度优化的建筑物三维重建模型。

3.根据权利要求1或2所述的单幅倾斜遥感图像中建筑物的三维重建方法，其特征在于，步骤二中，单幅图像重建网络包括Scale-ONet网络，所述Scale-ONet网络包括特征提取模块和特征解码模块；

所述特征提取模块，包括resnet18网络，用于从输入图像中提取256维的特征向量，并将所述特征向量输入至特征解码模块；所述输入图像包括识别目标子图；

所述特征解码模块包括五个依次连接resnet解码块；该特征解码模块与所述特征提取模块连接，用于将所述特征向量和单位立方体空间内随机点的坐标值共同作为输入，根据所述特征向量得到所述随机点是否位于三维模型内部的概率，并根据位于所述三维模型内部的随机点得到所述三维模型的边界点与边界面；

所述随机点为从单位立方体空间内随机采样得到的n个点，其中n为正整数。

4.根据权利要求3所述的单幅倾斜遥感图像中建筑物的三维重建方法，其特征在于，步骤二中，获得经过训练的Scale-ONet网络的具体方法如下：

使用多组训练图像和所述训练图像对应的真实建筑物模型作为训练集，对Scale-ONet网络进行训练，建立从二维图像到三维模型的映射关系，所述映射关系表示为：

(I∝s)＝f_θ(c,x)

f_θ:R³→[0,1]

其中，x为从图像中提取的特征向量，c为单位立方体空间内随机点的坐标，x和c经过映射f_θ，生成单位概率空间I，单位概率空间I中随机点的值范围为[0,1]；

s为尺度因子，表达式为：

s＝λpr/p_tr_t

其中，λ为从特征提取模块提取到的尺度比例系数，p、p_t分别代表测试图像和训练图像的长或宽的像素数，r、r_t分别代表测试图像和训练图像的空间分辨率；所述测试图像为对Scale-ONet网络进行测试所采用的测试集中的图像。

5.根据权利要求4所述的单幅倾斜遥感图像中建筑物的三维重建方法，其特征在于，步骤二的具体步骤如下：

步骤二一、将待重建目标子图作为输入图像输入经过训练的Scale-ONet网络；

步骤二二、设定概率阈值τ，获得单位概率空间I中位于三维模型内部的随机点，得到所述三维模型的边界点与边界面；

所述位于三维模型内部的随机点为所述随机点的值大于概率阈值τ的随机点。

6.根据权利要求1或2所述的单幅倾斜遥感图像中建筑物的三维重建方法，其特征在于，步骤四中，模型尺度优化网络包括Optim-Net网络，所述Optim-Net网络包括第一特征提取模块、第二特征提取模块和全卷积层；

所述第一特征提取模块，包括Vgg16网络，用于从输入图像中提取1000维的特征向量；所述输入图像包括识别目标子图；

所述第二特征提取模块，用于从输入模型中提取长、宽和高的值；所述输入模型包括网格结构的三维模型；

所述全卷积层，同时与所述第一特征提取模块和所述第二特征提取模块连接，用于将所述1000维的特征向量和所述长、宽和高的值合并为1003维的特征向量，并将所述1003维的特征向量经过五层卷积得到优化的长、宽和高的值；并利用所述优化的长、宽和高的值对所述网格结构的三维模型进行调整得到输出模型；所述输出模型包括建筑物三维重建模型。

7.根据权利要求6所述的单幅倾斜遥感图像中建筑物的三维重建方法，其特征在于，步骤四中、获得经过训练的模型尺度优化网络的具体方法如下：

利用训练集，对Optim-Net网络进行训练，建立的映射关系表示为：

(L_o,W_o,H_o)＝f_s(x,L_i,W_i,H_i)

其中，x为从输入图像提取的特征向量，L_i、W_i和H_i分别为输入模型的长、宽和高的值，L_o、W_o和H_o分别为输出模型的长、宽、高的值；f_s为映射函数。

Images