CN113393577A - 一种倾斜摄影地形重建方法 - Google Patents

Abstract

本发明公开了倾斜摄影三维重建技术领域的一种倾斜摄影地形重建方法，步骤包括：S1，获取航拍的倾斜摄影图片，并通过泊松重建将倾斜摄影图片转换为具有三角网格的初始网络模型；S2，将影像信息和线特征结合到初始网络模型中，将初始网格模型引入影像一致性约束、正则化约束和线约束三种约束，并且列出能量函数；S3，将连续的能量函数离散化到每个网格顶点，得到网格顶点的梯度变化值，采用最速梯度下降法，采用最速梯度下降法使三角网格顶点移动来达到能量下降的目的，当能量函数降到最低并即将上升时，得到用于三维重建的网格精化模型。采用本方法网格的精度有所提高，并且使具有线特征的模型边缘区域的锐利特征得以保持，视觉效果更好。

Description

一种倾斜摄影地形重建方法

技术领域

本发明属于倾斜摄影三维重建技术领域，特别涉及一种倾斜摄影地形重建方法。

背景技术

随着无人机的飞速发展，航拍多角度倾斜影像已逐步成为三维重建的主要数据来源。在三维建模中，基于倾斜影像的被动式的多视立体方法具有重建成本低、速度快、非接触和无伤害等优势，适用于高精度大规模户外场景重建。地形重建过程，可以分为几何重建和纹理映射两部分。几何模型作为纹理映射的对象，几何模型的质量好坏很大程度上决定了纹理映射质量的好坏。主流的表面重建方法有泊松重建和Delaunay四面体表面重建方法两种。泊松重建计算速度快，但是在重建三维场景时，会使墙线等锐利区域变得过于平滑，Delaunay四面体表面重建方法能抵抗一定的噪声影响，但计算效率低。

网格精化技术是倾斜摄影地形重建的关键步骤，它将网格构建的初始网格变得更加真实准确，三角网格顶点准确的空间位置，也是纹理贴图正确的重要保障。专利《一种基于边缘特征自约束的表面网格模型构建方法》(公开号：CN109472802A)公开了一种基于边缘特征自约束的表面网格模型构建方法，其思路是将二维边缘拓扑信息作为三维表面模型构建的约束条件，进行基于局部降维的带约束网格模型构建。该算法首先以目标区域的边缘特征作为拓扑约束条件，获取带约束的三维点云；然后采用基于局部降维的带约束三角剖分算法，构建基于边缘特征自约束的表面网格模型，可以更精确的得到地形地貌的三维信息。

上述方法生成的网格模型仍然存在噪声大，精度不高，规则化特征不突出，网格三角面冗余等问题。

发明内容

本发明的目的在于，针对现有技术存在的上述问题，本发明给出了新的约束条件，构建出了更精细化的网格模型，基于该网络模型，提供一种倾斜摄影地形重建方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种倾斜摄影地形重建方法，包括以下步骤：

S1，获取航拍的倾斜摄影图片，并通过泊松重建将所述倾斜摄影图片转换为具有三角网格的初始网络模型；

S2，在所述初始网络模型的基础上，增加影像信息和线特征，过程是：将影像一致性约束、正则化约束和线约束三种约束引入至所述初始网格模型，三种约束同时作用于初始网络模型的三角网格顶点，并且列出能量函数；

S3，将连续的所述能量函数离散化作用到每个三角网格顶点，得到三角网格顶点的梯度变化值，采用最速梯度下降法使三角网格顶点移动来达到能量下降的目的，在采用最速梯度下降法进行迭代的过程中，所述能量值的变化规律为：开始能量值持续降低，直到达到最低值后，继续迭代能量值会上升；在迭代过程中，当能量值即将上升时，停止迭代，获取三角网格顶点的位置信息，并得到用于三维重建的网格精化模型。

作为本发明的优选方案，步骤S2中，所述能量函数表示为：

E(S)＝Eerror(S)+λEfair(S)+γEline(S)

其中，Eerror(S)表示影像一致性约束能量项，Efair(S)表示正则化约束能量项，Eline(S)表示线约束能量项，λ为正则化约束能量项的权重值，γ为线约束能量项的权重值。

作为本发明的优选方案，所述影像一致性约束能量项的计算公式为：

其中，

表示影像I_i通过表面S重投影到I_j的部分；

是重投影的定义域，h(I,J)(x)用于衡量两幅影像I,J在对应像素点x处的相似程度，r(x_i)为影像对I,J在像素x_i处的可靠性因子权重。

作为本发明的优选方案，所述相似程度计算公式为：

其中，h(I,J)(x)是衡量两幅影像I,J在对应像素点x处的影像一致性，i,j是匹配窗口内像素点的坐标，n是匹配窗口内像素点的个数，f(i,j)和t(i,j)是两张影像对应像素的像素值，μ_f和μ_t是匹配窗口内像素值的平均值，σ_f和σ_t是匹配窗口内像素值的标准差。

作为本发明的优选方案，所述正则化约束能量项用于将三角网格的表面进行平滑，计算公式为：

其中，p_i是三角网格的顶点，U(p_i)是三角网格的顶点p_i的距离因子，β₂是一阶拉普拉斯离散模拟的权重，β₁是二阶拉普拉斯离散模拟的权重，v为二阶拉普拉斯权重的倒数，n是p_i一邻域点个数。

作为本发明的优选方案，所述线约束能量项计算公式为：

其中，P_i是待调整的三角网格顶点坐标，P_i'是网格顶点P_i到其最近的三维线段的投影点坐标，对于网格表面的其它顶点，线约束能量设为0，{v}是三维线段附近待调整的网格顶点集合。

作为本发明的优选方案，采用所述线约束能量项进行线约束步骤包括：

S31，获取影像上的三维线段；

S32，选取所述三维线段附近的三角网格顶点，作为待调整的三角网格顶点；

S33，计算所述待调整的三角网格顶点的线约束能量项；

S34，沿着所述待调整的三角网格顶点到其对应最近的三维线段的投影点之间的垂线移动所述待调整的三角网格顶点，直到所述线约束能量项取值为最低值，继续迭代能量项值会上升。

作为本发明的优选方案，步骤S31获取影像上的三维线段的具体步骤包括：

S311，利用线段检测方法从影像上提取二维线特征；

S312，利用Line3D++方法计算相关影像上的线段对应关系，确定最相关的二维线段，并计算最相关的二维线段对应的三维空间线段；

S313，利用联合光束法对三维空间线段进行平差处理，得到优化后的三维线段。

作为本发明的优选方案，步骤S32，选取所述三维线段附近的三角网格顶点，作为待调整的三角网格顶点，选取待调整的三角网格顶点的条件包括：

(1)选取的三角网格顶点到三维线段的投影点位于三维线段两个端点之间；

(2)选取的三角网格顶点到三维线段的欧式距离小于阈值，所述阈值采用初始网络模型边长的平均值；

(3)选取的三角网格顶点不是同一三角形内的三个顶点。

基于相同的构思，本发明还提出了一种倾斜摄影地形重建系统，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。

与现有技术相比，本发明的有益效果：

在三维重建过程中，引入影像一致性约束项、正则化项、线约束项，其中影像一致性项是使模型的细节部分更加精确，正则化项是确保三角面形状规则以及表面平滑，线约束项使模型具有线特征的部分变得更加平直锐利。将三个能量项加权相加后离散化到每个三角网格顶点，并且列出能量函数。能量函数内三维线约束采用迭代变分精化的方法，上一次迭代的结果作为下一次迭代的初值，在迭代过程中当能量函数的能量值上升时，说明达到局部最优结果，使模型顶点逐渐向模型真实表面移动。使得网格的精度有所提高，并且使具有铁路线、墙线、雕塑细节等具有线特征的模型边缘区域的锐利特征得以保持，视觉效果更好。

附图说明：

图1为本发明一种倾斜摄影地形重建方法的流程图；

图2为本发明实施例1中的重投影示意图；

图3为本发明实施例1中的顶点一阶环邻域图；

图4为本发明实施例1中的线约束示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

一种倾斜摄影地形重建方法，流程图如图1所示，包括以下步骤：

S1，通过泊松重建得到三角网格作为初始网络模型；

S2，以初始网络模型为基础，结合所有的影像信息和线特征，求解过程是首先输入初始网格模型，然后引入影像一致性约束、正则化约束和线约束三个能量项，三种约束同时作用于网格顶点，分别计算网格顶点关于各约束能量项的顶点梯度变化值；

S3，将连续的能量函数离散化到每个网格顶点，得到网格顶点的梯度变化值，采用经典的最速梯度下降法，使顶点移动来达到能量下降的目的，能量函数降低即网格顶点移动到更精确的位置，在迭代过程中，能量值持续降低，一直达到最低值后，继续迭代能量值会上升。在迭代过程中当能量值上升时，说明达到局部最优结果，停止迭代，得到用于三维重建的网格精化模型。

本发明的改进点主要在步骤S2，首先，将网格表面能量记为E，能量函数由影像一致性项、正则化项、线约束项三部分构成，可以表示为E(S)＝Eerror(S)+λEfair(S)+γEline(S)，式中，Eerror(S)表示数据项，对应影像一致性项。Efair(S)表示平滑项，对应正则化项。Eline(S)表示附加能量项，对应线约束项。λ、γ为平滑项和附加能量项的权重值。影像一致性项是使模型的细节部分更加精确，正则化项是确保三角面形状规则以及表面平滑，线约束项使模型具有线特征的部分变得更加平直锐利，通过线约束的迭代能量函数的能量值最小时，网格点会越来越接近直线。

(1)影像一致性约束

影像一致性约束是衡量网格表面上的一个三维点投影到其可见的两张或多张影像上像素间的相似程度。将网格表面记为S，x是表面S上的点，利用重投影误差能量方程：

其中，

表示影像I_i通过表面S重投影到I_j的部分。

是重投影的定义域，如图2所示。h(I,J)(x)是衡量两幅影像I,J在对应像素点x处的影像一致性度量。r(x_i)为影像对I,J在像素x_i处的可靠性因子权重。采用零均值归一化互相关作为影像一致性计算测度，利用两个待匹配像素点邻域窗口内的像素，通过零均值归一化度量公式来计算两个待匹配像素之间的相似程度：

其中，h(I,J)(x)是衡量两幅影像I,J在对应像素点x处的影像一致性度量，其中i,j是匹配窗口内像素点的坐标，n是匹配窗口内像素点的个数，f(i,j)和t(i,j)是两张影像对应像素的像素值，μ_f和μ_t是匹配窗口内像素值的平均值，σ_f和σ_t是匹配窗口内像素值的标准差。

影像一致性能量是位于连续空间上的，为了最小化影像一致性能量函数并应用到网格模型中，需要将连续的能量函数离散化到每个网格顶点上。先寻找影像对，即如果两张影像拍摄到同一区域则加入影像对集合；遍历所有影像对，选择其中一张影像，遍历所有像素点，投影到三维网格模型中得到其三维点，然后再反投影到第二张影像上，从影像空间计算重投影误差后，根据重心坐标将此对应三维点的影像一致性能量添加到其三角面所在的三个顶点上，最终每个顶点的梯度改正值等于所有包含这个顶点的三角形在所有影像对I,J上投影的像素加权之和。由于影像一致性约束与两张影像匹配的准确度有关，在纹理少或者弱纹理的地方匹配误差较大。针对这种情况，在每个影像对I,J的对应像素点x处加入可靠性因子权重项：

其中

和

是像素x_i在影像I_i和影像

上像素窗口大小为7×7内计算的局部方差，ε²是一个常数，本文设为0.0015。可靠性因子越大，说明两张影像匹配越准确，影像一致性约束更加可靠，所占权重更大。

(2)正则化约束

由于噪声点的存在，重建的模型会产生凹凸不平的表面，墙面重建的结果并不理想，无法表现出其平整光滑的真实表面，因此引入正则化约束对网格表面进一步平滑，计算两个拉普拉斯平滑项，将归一化后的能量值加权加入每个顶点的梯度改正值。正则化约束项包含两部分：

其中p_i是网格的顶点，β₂是一阶拉普拉斯离散模拟的权重，β₁是二阶拉普拉斯离散模拟的权重。v为二阶拉普拉斯权重的倒数，n是p_i一邻域点个数。

1>.一阶拉普拉斯离散模拟

假设平面上存在一个噪声点，而周围点是正常点，则表面会出现异常凸起，对于网格模型的三维点，取其一阶环邻域的所有点坐标的平均值作为一阶拉普拉斯离散模拟的结果，异常凸起点会被踏平，达到平滑效果。即所谓的伞算子，如图3所示。

引入距离因子，距离中心点越远的邻域点应该具有较低的权重，因此采用邻域点到中心点的距离倒数加权求取平均位置：

其中p_i是中心点p的一阶环邻域的点坐标，w_i是中心点到邻域点的距离，w_i＝||p-p_i||^-1。顶点的更新策略为：p_i←p_i+U(p_i)。

2>.二阶拉普拉斯离散模拟

不同于一阶计算，二阶拉普拉斯离散模拟加入了二阶环邻域的点信息，对于一个平面特征，若表面上有噪声点，仅依靠一阶环邻域的点进行平滑可能会使得表面点错误凸起或者凹陷，引入二阶环邻域的点进行平滑可以减少噪声的影响，比一阶拉普拉斯离散模拟更加可靠，因此权重也较大：

其中U(p_i)是中心点p的一阶环邻域的一阶拉普拉斯离散模拟结果，同样引入距离因子加权计算平均值。此时顶点的更新策略为：

其中，

n_i是p_i的一邻域点个数，n_i,j是p_i的第j个邻点的一邻域点个数。

(3)三维线约束

首先用线段检测方法从影像上提取二维线特征，在得到了一系列三维线段后，对于每一条三维线段，选取其附近的网格点，确定了三维线段附近待调整的网格顶点集合，计算这些网格顶点到其对应最近的三维线段的投影点之间的坐标差值，通过最小化点到线的距离，调整处于三维线段附近的网格顶点，改善建筑物边缘锐利平直的视觉效果。

如图4所示，此图表示三维线约束过程，箭头表示点移动的方向，即沿着点到线段的垂线移动。在每次迭代精化的过程中，线附近的网格顶点通过最小化点到线的距离，调整后的网格点会越来越接近直线，而其余点在线约束调整时位置不变。

三维线约束能量项的计算步骤包括：

1>.三维线获取,利用LSD(线段检测)方法从影像上提取二维线特征，计算相关影像上的线段对应关系，确定最相关二维线段计算其对应的三维空间线段，最后利用联合光束法平差来优化三维线段。

2>.确定待调整的网格顶点，在得到了一系列三维线段后，调整处于三维线段附近的网格顶点{v}，改善建筑物边缘锐利平直的视觉效果。对于一条三维线段，选取其附近的网格点需满足以下三个条件：

(1)选取的网格顶点到三维线段的投影点应位于线段两个端点之间；

(2)选取的网格顶点到三维线段的欧式距离应该小于阈值，选择采用整个三角网格模型边长的平均值作为阈值；

(3)选取的网格顶点不能是同一三角形内的三个顶点。

3>.确定了三维线段附近待调整的网格顶点集合{v}后，计算这些网格顶点到其对应最近的三维线段的投影点之间的坐标差值，线约束能量函数如下：

其中P_i是待调整的网格顶点坐标，P_i'是该网格顶点到其最近的三维线段的投影点坐标。对于网格表面的其它顶点，线约束能量设为0，{v}是三维线段附近待调整的网格顶点集合。如图4所示，此图表示三维线约束过程，箭头表示点移动的方向，即沿着点到线段的垂线移动。在每次迭代精化的过程中，线附近的网格顶点通过最小化点到线的距离，调整后的网格点会越来越接近直线，而其余点在线约束调整时位置不变。

上诉步骤的执行顺序是本发明方法其中的一种实施例，并不限定只能按照该顺序执行，但是基于本发明的方法思路，虽然执行顺序改变，也在本发明的保护范围之内。

Claims (10)

1.一种倾斜摄影地形重建方法，其特征在于，包括以下步骤：

S1，获取航拍的倾斜摄影图片，并通过泊松重建将所述倾斜摄影图片转换为具有三角网格的初始网络模型；

S2，在所述初始网络模型的基础上，增加影像信息和线特征，过程是：将影像一致性约束、正则化约束和线约束三种约束引入至所述初始网格模型，三种约束同时作用于初始网络模型的三角网格顶点，并且列出能量函数；

S3，将连续的所述能量函数离散化作用到每个三角网格顶点，得到三角网格顶点的梯度变化值，采用最速梯度下降法使三角网格顶点移动来达到能量下降的目的，在采用最速梯度下降法进行迭代的过程中，所述能量值的变化规律为：开始能量值持续降低，直到达到最低值后，继续迭代能量值会上升；在迭代过程中，当能量值即将上升时，停止迭代，获取三角网格顶点的位置信息，并得到用于三维重建的网格精化模型。

2.如权利要求1所述的一种倾斜摄影地形重建方法，其特征在于，步骤S2中，所述能量函数表示为：

E(S)＝Eerror(S)+λEfair(S)+γEline(S)

其中，Eerror(S)表示影像一致性约束能量项，Efair(S)表示正则化约束能量项，Eline(S)表示线约束能量项，λ为正则化约束能量项的权重值，γ为线约束能量项的权重值。

3.如权利要求2所述的一种倾斜摄影地形重建方法，其特征在于，所述影像一致性约束能量项的计算公式为：

其中，

表示影像I_i通过表面S重投影到I_j的部分；

是重投影的定义域，h(I,J)(x)用于衡量两幅影像I,J在对应像素点x处的相似程度，r(x_i)为影像对I,J在像素x_i处的可靠性因子权重。

4.如权利要求3所述的一种倾斜摄影地形重建方法，其特征在于，所述相似程度计算公式为：

其中，h(I,J)(x)是衡量两幅影像I,J在对应像素点x处的影像一致性，i,j是匹配窗口内像素点的坐标，n是匹配窗口内像素点的个数，f(i,j)和t(i,j)是两张影像对应像素的像素值，μ_f和μ_t是匹配窗口内像素值的平均值，σ_f和σ_t是匹配窗口内像素值的标准差。

5.如权利要求2所述的一种倾斜摄影地形重建方法，其特征在于，所述正则化约束能量项用于将三角网格的表面进行平滑，计算公式为：

其中，p_i是三角网格的顶点，U(p_i)是三角网格的顶点p_i的距离因子，β₂是一阶拉普拉斯离散模拟的权重，β₁是二阶拉普拉斯离散模拟的权重，v为二阶拉普拉斯权重的倒数，n是p_i一邻域点个数。

6.如权利要求2所述的一种倾斜摄影地形重建方法，其特征在于，所述线约束能量项计算公式为：

其中，P_i是待调整的三角网格顶点坐标，P_i'是网格顶点P_i到其最近的三维线段的投影点坐标，对于网格表面的其它顶点，线约束能量设为0，{v}是三维线段附近待调整的网格顶点集合。

7.如权利要求6所述的一种倾斜摄影地形重建方法，其特征在于，采用所述线约束能量项进行线约束步骤包括：

S31，获取影像上的三维线段；

S32，选取所述三维线段附近的三角网格顶点，作为待调整的三角网格顶点；

S33，计算所述待调整的三角网格顶点的线约束能量项；

S34，沿着所述待调整的三角网格顶点到其对应最近的三维线段的投影点之间的垂线移动所述待调整的三角网格顶点，直到所述线约束能量项取值为最低值，继续迭代能量项值会上升。

8.如权利要求7所述的一种倾斜摄影地形重建方法，其特征在于，步骤S31获取影像上的三维线段的具体步骤包括：

S311，利用线段检测方法从影像上提取二维线特征；

S312，利用Line3D++方法计算相关影像上的线段对应关系，确定最相关的二维线段，并计算最相关的二维线段对应的三维空间线段；

S313，利用联合光束法对三维空间线段进行平差处理，得到优化后的三维线段。

9.如权利要求7所述的一种倾斜摄影地形重建方法，其特征在于，步骤S32，选取所述三维线段附近的三角网格顶点，作为待调整的三角网格顶点，选取待调整的三角网格顶点的条件包括：

(1)选取的三角网格顶点到三维线段的投影点位于三维线段两个端点之间；

(2)选取的三角网格顶点到三维线段的欧式距离小于阈值，所述阈值采用初始网络模型边长的平均值；

(3)选取的三角网格顶点不是同一三角形内的三个顶点。

10.一种倾斜摄影地形重建系统，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1-9所述任一项的方法。

Images