CN113689535B - 基于无人机影像的建筑物模型的生成方法和装置 - Google Patents

Abstract

本公开实施例提供一种基于无人机影像的建筑物模型的生成方法和装置，方法包括：获取无人机影像集；提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系，根据所述相对位置关系确定相邻无人机影像；提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对；确定所述同名点对的空间三维坐标，生成稀疏点云；对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射；对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型。以此方式，能够对城市建筑群的大场景进行三维重建并进行大区域网平差的精确解算。

Description

基于无人机影像的建筑物模型的生成方法和装置

技术领域

本公开的实施例一般涉及图像处理技术领域，并且更具体地，涉及基于无人机影像的建筑物模型的生成方法和装置。

背景技术

无人机能够连续获取重叠度大的高精度序列影像，但获取的影像会丢失深度信息。基于图像的三维重建，是指利用多幅数码相机图像全自动恢复出场景三维结构的方法与技术。近年来三维重建技术在视频、图像三维重建处理领域获得了巨大的成功，将其应用到无人机图像处理领域，对无人机图像进行全自动重建相关的应用，可以拓展无人机的应用范围，提高无人机的应用水平。

现有技术中的三维建模系统，只是针对少量照片进行建模，大场景建模仍存在问题。而针对城市建筑群的大场景建模时，在利用无序的数据集进行三维重建时，建模效率低，不能满足多行业需求。

发明内容

根据本公开的实施例，提供了一种基于无人机影像的建筑物模型的生成方案，能够利用无序的数据集对城市建筑群的大场景进行三维重建并进行大区域网平差的精确解算，从而提高了建模精度和建模效率，能够满足多行业需求。

在本公开的第一方面，提供了一种基于无人机影像的建筑物模型的生成方法，包括：

获取无人机影像集，所述无人机影像集中包括多张从不同视角采集到的目标区域建筑物的无人机影像；

提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系，根据所述相对位置关系确定相邻无人机影像；

提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对；

基于全局式的运动与结构的区域网平差方法，确定所述同名点对的空间三维坐标，生成稀疏点云；

对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射；

对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型。

在一些实施例中，所述提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系，包括：

基于SIFT算法对所述无人机影像进行处理，提取所述无人机影像上的多个兴趣点，将所述兴趣点的梯度最大的方向确定为所述兴趣点的特征描述向量，根据不同无人机影像上对应兴趣点的特征描述向量之间的距离确定对应的无人机影像相对位置关系。

在一些实施例中，所述方法还包括：

根据无人机影像间的相对位置关系确定对应的无人机影像的重叠度，响应于所述重叠度小于预设阈值，剔除所述对应的无人机影像。

在一些实施例中，所述提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对，包括：

对于重叠度大于预设阈值的两张无人机影像，其中一张作为基准影像，另外一张作为搜索影像，建立影像金字塔，在每层金字塔影像上，将两张无人机影像对应的局部区域内Hessian矩阵的行列式的值最大的点确定为特征点，为特征点分配方向值，生成特征向量，以特征点为中心取16×16的邻域作为采样窗口，将采样窗口的采样点与特征点的相对方向通过高斯加权后归入包含8个方向的梯度直方图，获得4×4×8的128维特征向量，利用哈希算法将所有的特征向量映射到哈希表，每个特征向量对应一个哈希特征码，利用映射函数将哈希特征码至6个桶组，每个桶组含2¹⁰只桶，从基准影像中选取一个特征点的特征向量为原特征向量，利用哈希表中的特征向量对基准影像和搜索影像进行匹配，确定对应无人机影像间的同名点对。

在一些实施例中，所述基于全局式的运动与结构的区域网平差方法，确定所述同名点对的空间三维坐标，生成稀疏点云，包括：

确定所述基准影像和所述搜索影像之间的本质矩阵；

对所述本质矩阵进行奇异值分解，确定相机的运动参数旋转矩阵和平移向量；

根据相机的运动参数旋转矩阵和平移向量确定同名像点对应的特征点的三维坐标。

在一些实施例中，所述对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射，包括：

根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的坐标确定面片坐标，生成稀疏点云模型对应的面片集合；

循环添加新邻域到所述面片集合中对所述面片集合进行更新，直到场景被所有可视的面全覆盖；

基于一致性约束条件，对更新后的面片集合中的面片进行剔除，生成稠密点云模型，对所述稠密点云进行纹理映射。

在一些实施例中，所述对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型，包括：

把稠密点云模型的曲面重构转化为求解泊松方程，通过构造泊松方程计算出梯度场和向量场，选取合适的等值得到最佳逼近原始点云数据的重构曲面，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差测度中加入三角形法向约束因子对重构后的曲面进行简化。

在本公开的第二方面，提供了一种基于无人机影像的建筑物模型的生成装置，包括：

无人机影像集获取模块，用于获取无人机影像集，所述无人机影像集中包括多张从不同视角采集到的目标区域建筑物的无人机影像；

相对位置关系确定模块，用于提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系；

同名点对确定模块，用于提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对；

稀疏点云生成模块，用于基于全局式的运动与结构的区域网平差方法，确定所述同名点对的空间三维坐标，生成稀疏点云；

稠密点云生成模块，用于对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射；

三维模型生成模块，用于对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型。

在本公开的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

通过本公开的基于无人机影像的建筑物模型的生成方法，能够利用无序的数据集进对城市建筑群的大场景进行三维重建并进行大区域网平差的精确解算，从而提高了建模精度和建模效率，能够满足多行业需求。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开实施例一的基于无人机影像的建筑物模型的生成方法的流程图；

图2示出了本公开实施例二的对稠密点云进行纹理映射的方法流程图；

图3示出了本公开实施例三的基于无人机影像的建筑物模型的生成装置的功能结构示意图；

图4示出了本公开实施例四的基于无人机影像的建筑物模型的生成设备的结构示意图；

图5示出了本公开实施例的像素对应平面的示意图；

图6示出了本公开实施例的像素对应平面在相机坐标系下的坐标示意图；

图7示出了本公开实施例的深度图融合的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本公开实施例的基于无人机影像的建筑物模型的生成方法，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建。

具体地，如图1所示，为本公开实施例一的基于无人机影像的建筑物模型的生成方法的流程图。从图1中可以看出，本实施例的方法，可以包括以下步骤：

S101：获取无人机影像集，所述无人机影像集中包括多张从不同视角采集到的目标区域建筑物的无人机影像。

在本实施例中，当利用无人机影像生成建筑物模型时，可以通过无人机预先从不同视角采集目标区域建筑的无人机影像，其中，目标区域建筑可以是单个的建筑，也可以是区域内的建筑群，并且，这些无人机影像可以是无序的。在采集目标区域建筑的无人机影像时，可以是通过多架无人机同时扫描目标地面区域获取到的无人机影像，这样可以不需要要预先规划无人机的飞行轨迹，或者，也可以是由一架无人机按照预先规划的飞行路径扫描目标地面区域以获取到的无人机影像。

S102：提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系，根据所述相对位置关系确定相邻无人机影像。

无人机角影像的倾角过大且无规律、航向重叠度有时过小、灰度不一致，使得影像匹配难度大、精度低的问题。因此，本实施例对获取到的无人机影像集中的目标区域建筑物的无人机影像进行处理，具体地，可以先提取所述无人机影像上的兴趣点。在本实施例中，可以基于SIFT算法对所述无人机影像进行处理，提取所述无人机影像上的多个兴趣点，将所述兴趣点的梯度最大的方向确定为所述兴趣点的特征描述向量，根据不同无人机影像上对应兴趣点的特征描述向量之间的距离确定对应的无人机影像相对位置关系，进而可以根据相对位置关系确定对应的无人机影像的重叠度。

作为本实施例的一个具体实施方式，在确定相邻无人机影像间的重叠度之后，还可以根据重叠度的预设阈值对重叠度小于预设阈值的无人机影像进行剔除。

S103：提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对。

在本实施例中，对于重叠度大于预设阈值的两张无人机影像，其中一张作为基准影像，另外一张作为搜索影像，建立影像金字塔，在每层金字塔影像上，将两张无人机影像对应的局部区域内Hessian矩阵的行列式的值最大的点确定为特征点，为特征点分配方向值，生成特征向量，以特征点为中心取16×16的邻域作为采样窗口，将采样窗口的采样点与特征点的相对方向通过高斯加权后归入包含8个方向的梯度直方图，获得4×4×8的128维特征向量，利用哈希算法将所有的特征向量映射到哈希表，每个特征向量对应一个哈希特征码，利用映射函数将哈希特征码至6个桶组，每个桶组含2¹⁰只桶，从基准影像中选取一个特征点的特征向量为原特征向量，利用哈希表中的特征向量对基准影像和搜索影像进行匹配，确定对应无人机影像间的同名点对。

具体地，采用SURF算法生成无人机影像的尺度空间金字塔，以在不同的尺度上寻找局部极值点，可以采用不同大小的滤波器来实现。SURF算子的特征点检测是通过Hessian矩阵进行的，使用Hessian矩阵的行列式同时来确定特征点的位置和尺度，当Hessian矩阵的行列式局部取最大时，检测出的像点作为特征点，而其实际是一个小区域，即斑状结构。Hessian矩阵是通过操作积分图像来加速卷积的，因此其在计算时间和准确性上体现了良好的性能，影像上任一点(x,y)在尺度σ时的Hessian矩阵H(x,y,σ)定义为：

式中：L_xx(x，y，σ)、L_xy(x，y，σ)、L_yy(x，y，σ)分别是影像在点(x,y)处与高斯二阶导数

的卷积。

其中，g(x，y，σ)表示影像上任一点(x,y)尺度可变高斯函数，即：

求解高斯函数二阶导数时，SURF使用方框滤波器来近似高斯二阶导数，其原因在于使用积分图像可以迅速计算出均值滤波的图像卷积，如下图所示描述的是SURF使用的9×9箱式滤波器在尺度为σ＝1.2在x方向和xy方向对二阶高斯导数的近似。将方框滤波器与图像卷积的结果表示为D_xx、D_xy、D_yy，那么Hessian矩阵的行列式可以表示为：

det(H)＝D_xxD_yy-(ωD_xy)²

其中，ω是用来平衡高斯核的近似时产生的能量差异，ω＝0.9。

在建立尺度空间后，通过计算3×3×3局部区域内各点Hessian矩阵的行列式值，将比邻近的26个点值都大的点作为特征点。检测出特征点后，在其周围选取一个以6σ为半径的圆形区域，在此区域内使用积分图像计算Harr小波在x，y轴方向上的响应，并赋以高斯权重系数，然后将圆形区域等分成6份，分别计算以圆心角为π/3的扇形窗口内x，y方向小波的响应矢量和，选择最大值所在的矢量方向作为为该特征点的主方向。在确定特征点的主方向后，选取特征点周围的一个正方形区域，将该区域划分成4×4的子区域，在每一个子区域内，计算5×5内部点的相对于主方向的水平、垂直方向的Haar小波响应值，记做dx，dy，并赋以相应的权值，然后将每个子区域的响应、响应的绝对值相加构成四维矢量V＝[∑dx，∑dy，∑|dx|，∑|dy|]。这样就形成了一个64维的向量，此向量就是描述该特征点的描述子特征向量。

在每个特征点处提取特征描述子，并为特征点分配方向值，生成特征向量。以特征点为中心取16×16的邻域作为采样窗口，将采样窗口的采样点与特征点的相对方向通过高斯加权后归入包含8个方向的梯度直方图，最后获得4×4×8的128维特征向量。将每个特征描述子归一化至0-120区间，便于后期海明距离的计算。

利用哈希算法将所有的特征向量映射到哈希表，每个特征向量对应一个哈希特征码；利用映射函数将哈希特征码至6个桶组，每个桶组含2¹⁰只桶。

在每只桶组里均会计算出对应的ID，进而每个桶里的特征具备了桶组ID的属性，作为特征点初次相似度量的参数；分别计算每个特征向量在6只桶组里的桶ID号，进而不同桶组里相同的桶ID具有相似的特性，所以桶ID号可以作为特征点初次匹配的相似度量参数。

从原图像中选取一个特征点的特征向量为原特征向量，利用哈希表中的特征向量对原图像和目标图像进行匹配，获取匹配的同名点。具体过程包括：

采用桶ID号作为初次匹配相似性度量，将原图像的原特征向量Hash0所在的桶组里检索目标图像的特征向量，检索到的特征向量为初始匹配特征向量Hashi，1≤i≤M,M为初始匹配特征向量的个数。

对初始匹配特征向量采用海明距离做第二次相似性度量，获得10个备选匹配特征向量。

对初始匹配特征向量Hashi和原特征向量Hash0进行异或运算，计算出两个特征哈希码的海明距离dHi，从中选出10个海明距离最好(即海明距离最小)的特征向量作为备选匹配特征向量：

海明距离：两个哈希码对应二进制(01串)取值不同的数量称为这两个哈希码的海明距离。例如：10101和00110从第一位开始依次有第一位、第四、第五位不同，则海明距离为3。计算方法中异或结果中含有几个1，则海明距离等于这个数值。

采用欧式距离对10个备选匹配特征向量做第三次相似性度量，获得2个最优备选匹配特征向量。计算10个备选匹配特征向量与原特征向量的欧式距离，选择距离最近的两个最近匹配特征向量。原图像中特征向量表示为R＝(r₁,r₂,…,r₁₂₈)，目标图像中特征向量表示为S＝(s₁,s₂,…,s₁₂₈)。

以上两个特征之间的欧式距离表示为：

计算两个最近匹配特征向量与原特征向量的欧式距离的比值，如果比值小于阈值T，则取欧式距离最小的点为该特征点的匹配点，否则，判断该特征点没有匹配点。

通过上述过程，可以确定对应无人机影像间的同名点对。

S104：基于全局式的运动与结构的区域网平差方法，确定所述同名点对的空间三维坐标，生成稀疏点云。

在本实施例中，在确定对应无人机影像间的同名点对后，可以进一步确定所述基准影像和所述搜索影像之间的本质矩阵；然后对所述本质矩阵进行奇异值分解，确定相机的运动参数旋转矩阵和平移向量；根据相机的运动参数旋转矩阵和平移向量确定同名像点对应的特征点的三维坐标。

具体地，全局式的运动与结构的区域网平差方法(SFM方法)可以在不知道相机参数和场景中的三维信息的情况下，通过迭代来就可求解出三维点云和相机矩阵。其原理为，从不同的角度观察三维空间的同一个点，就可以得到它的三维信息。SFM方法使用不同的匹配点对，求解投影矩阵的同时，也恢复出匹配点的三维信息。主要步骤有：

计算两幅影像之间的本质矩阵；对本质矩阵进行奇异值分解，获得相机的运动参数旋转矩阵R和平移向量t；计算空间离散点的三维坐标。

对于本质矩阵的求解，先求基本矩阵F，然后在根据公式E＝K^TFK求解本质矩阵E。

基本矩阵F满足公式：

x′^TFx＝0

其中，x′为搜索影像匹配点坐标，x为基准影像的匹配点坐标。

在得到本质矩阵E之后，对其进行奇异值分解，E＝UDV^T。由于受到精度和噪声的影响，得到的本质矩阵的奇异值不符合三个奇异值有两个值相等，另一个为0的本质矩阵，因此需要依据本质矩阵的性质来调整，使其符合要求，得到新的本质矩阵。

则转矩阵R和平移向量t为：

R＝UGV^T，

t＝VZV^T；

其中，

其中分解得到的平移向量t与实际的位置关系之间存在一个比例因子。

在求出相机的旋转矩阵R和平移向量t之后，可计算出两幅图像所对应的投影矩阵：

P_l＝K[I 0]

P_r＝K[R t]

设(ui，vi，1)^T为相机在目标的左侧拍摄的图像上第i个匹配点所对应的齐次坐标，Xi其所对应的三维空间点的齐次坐标，则有：

s为常量因子，消去s可得：

P_i3X_iu_i-P_i1X_i＝0

P_i3X_iu_i-P_i2X_i＝0

同理，设(ui’，vi’，1)^T为相机在目标的右侧拍摄的图像上第i个匹配点所对应的其次坐标，可得三维空间点坐标：

P_r3X_iu_i′-P_r1X_i＝0

P_r3X_iv_i′-P_r2X_i＝0

从而可得到：

上式转化为：

AX_i＝0

由于Xi是常量因子下定义的，添加约束使空间中点的三维坐标求解问题即转化为求解ATA最小特征值所对应的特征向量。对A进行奇异值分解：

A＝USV^T

向量V的最后一列即为所求的空间点的三维坐标值。

通过上述过程，可以得到基准影像和搜索影像中重叠区域内的同名像点对应的特征点的三维坐标。

在确定空间点的三维坐标后，可以确定该空间点距离相机传感器的距离，同时根据初始内参数可以确定该空间点对应的像点到相机传感器的距离，进而可以根据这两个距离之间的比值，确定该空间点在影像中的坐标，从而生成稀疏点云模型。

S105：对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射。

在生成稀疏点云模型后，还需要对其采取加密措施构建地形的稠密点云模型。本实施例采用基于深度图融合的大场景三维重建的方法，该方法主要有四个步骤：最优立体像对选择、深度图计算、深度图优化、深度图融合。

最优立体像对选择：

假设无人机影像集里有n张影像，对于第i张影像，计算它与第j张影像主光轴之间的夹角θ_ij(j＝1.....n)，然后对于5°＜θ_ij＜60°的影像，计算与影像i的距离d_ij，利用d_ij计算平均距离

移除距离

或者

的影像。如果满足要求的邻域影像个数小于k₁(k₁＝10)，这些影像都作为第i张影像的参考影像，否则计算d_ij*θ_ij，选择数值最大的前k₁张影像作为第i张影像的参考影像组成立体像对。

深度图计算：

对每一对满足条件的立体像对，利用随机算法进行初始化，对于输入影像上的每一个像素，期望找到一个平面f，使该像素和其在参考影像上的同名像点有最小的匹配误差，如图5所示。对于输入影像上的每一像素点p，估计其对应的三维平面，C_i和C_j分别是目标影像和对应的参考影像的相机中心。f₁，f₂，f₃是p的投影射线上的三个平面，很明显f₂是最好的平面。

本质上该平面f是三维场景表面的一个切面，可以用相机坐标系下的三维坐标X_i和它的法线n_i表示，如图6所示。假设平面用在相机C_i坐标系下的一个三维坐标X_i和它的法线n_i表示，C_i是i个输入影像，C_i-xyz是相机坐标系。对于数据集里的第i张输入影像I_i和其参考影像I_j，相机参数分别为{K_t，C_i，R_i}，{K_j，C_j，R_j}。首先随机给定影像I_i上的像素点P一个三维平面f。三维坐标X_i必须在P的投影射线上，随机选取一个投影深度λ(λ_min＜λ＜λ_max)，则X_i在C_i坐标系下的坐标为：

X_i＝λK_iP

P为像素点的齐次坐标。然后随机的给定平面f的法线n_i，其计算公式如下：

其中，θ为[0°，360°]范围内的一个随机角度，

为[0°，60°]范围内的一个角度，这些范围的设定基于一个简单的假设，即当一个面片的法线和相机C_i坐标系下的Z轴的夹角小于一个阈值时(假定阈值为60°)，它在影像I_i是可见的。

以上的随机初始化过程很容易得到三维场景中的每个平面的至少一个好的假设平面，因为随着影像分辨率的提高，每个场景平面内包含的像素点越来越多，可以利用的像素点越来越多。利用上面的方法得到影像I_i的深度图，I_i上每个像素点的深度可以映射到其参考影像I_j上，作为参考影像上对应像素的初始化深度，对于没有对应点的像素仍然使用随机方法给定初始值。利用这种方法我们可以更好的给定I_j上每个有映射的像素更好的假设平面，因为引入了立体像对I_i和I_j平面一致性限制。

深度图优化：

利用每个像素的估计平面f和影像间单应矩阵，可以计算每个像点对应的地面点，及其在参考影像上的同名匹配点。在以像素点P为中心的7x7的窗口内，利用单应矩阵计算窗口内每个像素在参考影像上的同名像点，然后利用归一化互相关算法计算匹配代价，这种匹配方法即归一化互相关匹配算法。

初始化之后，图像I_i中的每个像素都关联一个三维平面，然后逐个处理I_i中的像素，迭代2次对平面进行优化。在迭代中，从影像左上角到右下逐个传播，然后从右下角到左上角再进行传播。在每次迭代中每个像素都有两个操作，称为空间传播和随机分配。空间传播用于比较和传播相邻像素到当前像素的三维平面，假设f_p是当前像素邻域的平面，f是当前像素的平面，利用f_p和f分别计算匹配代价，如果f_p匹配代价优于f则将当前像素对应的平面更新为f_p。这种空间传播过程依赖于相邻像素很可能具有相似的三维空间平面，尤其是高分辨率图像。理论上，甚至一个好的猜测在第一次和第二次空间传播之后就足以传播这个平面到匹配窗口的其它像素。在空间传播之后，利用随机分配进一步减少匹配代价，在给定范围内随机选取每个像素的投影深度λ和法线角度θ和

计算匹配代价，匹配代价优于上次迭代结果的则进行随机分配，逐渐缩小深度和法线的随机范围，最终获取最优深度和法线。在空间传播和随机分配之后过程，删除深度图中不可靠点即匹配成本高于某个阈值的匹配点。

对于影像I_i中的每一个点p，利用相机参数和深度λ后向投影到三维空间中，公式如下：

X＝λR^TK^-1P+C_i

其中，P为齐次坐标，X为世界坐标系下的三维坐标。把X投影到它的邻域影像上，假设N(i)是在立体像对选择步骤中选取的I_i的邻域影像。假设N_k是N(i)中的第K张影像，d(X，N_k)是相机N_k在X点的深度，λ(X，N_k)是计算X在N_k上的投影像素，在N_k的深度图上获取的此像素的深度。如果λ(X，N_k)和d(X，N_k)足够接近，认为X在I_i和N_k上是一致的。如果X至少在K张邻域影像上是一致的，认为X是可靠的场景点，其在深度图中对应的像素被保留，否则移除该点。

经过以上优化大部分错误点被移除，每一张影像得到相对干净和正确的深度图。

深度图融合：

经过上述步骤，可以合并所有的深度图来表示整个场景，然而直接合并可能会带来很多冗余。为了减少冗余，利用邻域深度图测试进一步减少深度信息。如下图所描述，对于的深度图中的每一个像素，后向投影到世界坐标系下X，然后将X投影到C_i的邻域相机上。如果X相对邻域相机的深度小于X投影到邻域相机上计算的深度，例如图7中的N₁和N₂，认为X在邻域相机中的投影被遮挡，并从这个相邻的相机的深度图中移除该点。如果这两个深度值足够接近，如图7中的相机N₄，则称X在相邻相机的投影与X代表相同的点，这是一个冗余，仍然将其从相邻相机深度图中移除。最后，将所有深度图后向投影到三维空间中，并且合并成单个的点云。

对于C_i的深度图中的每一个像素，后向投影到世界坐标系下X，d(X，N_#)为X相对于相机N_#的深度，λ(X，N_#)为X投影到影像N_#上从N_#的深度图中获取的深度。

通过上述过程，生成建筑物模型的稠密点云，然后对生成的稠密点云进行纹理映射。

S106：对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型。

把稠密点云模型的曲面重构转化为求解泊松方程，通过构造泊松方程计算出梯度场和向量场，选取合适的等值得到最佳逼近原始点云数据的重构曲面，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差测度中加入三角形法向约束因子对重构后的曲面进行简化。

曲面简化采用一种新的边折叠网格模型简化算法，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差测度中加入三角形法向约束因子，既考虑简化模型的体积变化，又能够很好地反映网格局部曲面的几何变化。另外，从三角网格形状、相邻面是否重叠等多个因素进行简化约束，得到了很好的简化效果。

例如，以边作为被删除的基本几何元素，每折叠一条边，就会生成一个新点，并把所有与被删除边相连的点与该新点相连，保持模型曲面始终由三角网格组成。通过控制边折叠的次序和数目，就可以得到不同分辨率的简化模型。具体过程：采用半边数据结构存储三角形网格数据，为了加快查找折叠边的速度，使用堆排序算法把网格中的边按折叠误差量由小到大排序。在边界边的处理问题上，为了保证模型的边界特征，当边有一个顶点为边界点时，折叠后的新顶点坐标为边界点的坐标，当边的两个顶点都为边界点时，不对该边进行折叠。

网格模型中，三角形形状的好坏直接影响模型的质量。因此，在简化过程中，应尽量避免狭长三角形的出现。在进行边折叠操作时，有时会出现网格翻转的不一致现象。为了避免这种情况，必须进行一致性判断。一致性判断即是检测边折叠后是否会出现相邻面互相重叠的情况。

本公开实施例的基于无人机影像的建筑物模型的生成方法，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建。

如图2所示，为本公开实施例二的对稠密点云进行纹理映射的方法流程图。本实施例中的纹理映射，可以包括以下步骤：

S201：通过图像重建目标的表面三角面格网，包括三角面格网数据和对应的相片内外方位元素。

S202：重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像。

S203：三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考图像纹理贴片。

S204：纹理贴片自动排序生成纹理图像。对生成的纹理贴片按照其大小关系进行排序，生成包围面积最小的纹理图像，得到每个三角面的纹理映射坐标。

S205：加权融合生成纹理像素。利用OpenGL的渲染管线技术生成各个视点的深度图像，对三角面的角度、视点深度、重投影图像距离等信息进行加权，生成纹理图像像素。

S206：纹理图像的多分辨率分解融合。对生成的纹理图像进行多分辨率分解，将低尺度信息融合到高尺度纹理图像缝隙中，消除纹理贴片的边界，生成无缝的三维纹理数据。

本公开实施例的基于无人机影像的建筑物模型的生成方法，能够有效利用无序的数据集进行快速准确的平差解算实现大场景的三维重建。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。

如图3所示，为本公开实施例三的基于无人机影像的建筑物模型的生成装置的功能结构示意图。本实施例的基于无人机影像的建筑物模型的生成装置，包括：

无人机影像集获取模块301，用于获取无人机影像集，所述无人机影像集中包括多张从不同视角采集到的目标区域建筑物的无人机影像。

相对位置关系确定模块302，用于提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系。

同名点对确定模块303，用于提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对。

稀疏点云生成模块304，用于基于全局式的运动与结构的区域网平差方法，确定所述同名点对的空间三维坐标，生成稀疏点云。

稠密点云生成模块305，用于对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射。

三维模型生成模块306，用于对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图4示出了可以用来实施本公开的实施例的电子设备400的示意性框图。如图所示，设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的计算机程序指令或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序指令，来执行各种适当的动作和处理。在RAM 403中，还可以存储设备400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元401执行上文所描述的各个方法和处理，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 703并由CPU401执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，CPU401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (9)

1.一种基于无人机影像的建筑物模型的生成方法，其特征在于，包括：

获取无人机影像集，所述无人机影像集中包括多张从不同视角采集到的目标区域建筑物的无人机影像；

提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系，根据所述相对位置关系确定相邻无人机影像；

提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对；所述提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对，包括：

对于重叠度大于预设阈值的两张无人机影像，其中一张作为基准影像，另外一张作为搜索影像，建立影像金字塔，在每层金字塔影像上，将两张无人机影像对应的局部区域内Hessian矩阵的行列式的值最大的点确定为特征点，为特征点分配方向值，生成特征向量，以特征点为中心取16×16的邻域作为采样窗口，将采样窗口的采样点与特征点的相对方向通过高斯加权后归入包含8个方向的梯度直方图，获得4×4×8的128维特征向量，利用哈希算法将所有的特征向量映射到哈希表，每个特征向量对应一个哈希特征码，利用映射函数将哈希特征码映射至6个桶组，每个桶组含2¹⁰只桶，从基准影像中选取一个特征点的特征向量为原特征向量，利用哈希表中的特征向量对基准影像和搜索影像进行匹配，确定对应无人机影像间的同名点对；

基于全局式的运动与结构的区域网平差方法，确定所述同名点对的空间三维坐标，生成稀疏点云；

对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射；

对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型。

2.根据权利要求1所述的基于无人机影像的建筑物模型的生成方法，其特征在于，所述提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系，包括：

基于SIFT算法对所述无人机影像进行处理，提取所述无人机影像上的多个兴趣点，将所述兴趣点的梯度最大的方向确定为所述兴趣点的特征描述向量，根据不同无人机影像上对应兴趣点的特征描述向量之间的距离确定对应的无人机影像相对位置关系。

3.根据权利要求2所述的基于无人机影像的建筑物模型的生成方法，其特征在于，所述方法还包括：

根据无人机影像间的相对位置关系确定对应的无人机影像的重叠度，响应于所述重叠度小于预设阈值，剔除所述对应的无人机影像。

4.根据权利要求1所述的基于无人机影像的建筑物模型的生成方法，其特征在于，所述基于全局式的运动与结构的区域网平差方法，确定所述同名点对的空间三维坐标，生成稀疏点云，包括：

确定所述基准影像和所述搜索影像之间的本质矩阵；

对所述本质矩阵进行奇异值分解，确定相机的运动参数旋转矩阵和平移向量；

根据相机的运动参数旋转矩阵和平移向量确定同名像点对应的特征点的三维坐标。

5.根据权利要求4所述的基于无人机影像的建筑物模型的生成方法，其特征在于，所述对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射，包括：

根据所述基准影像和所述搜索影像的重叠区域内的同名像点对应的特征点的坐标确定面片坐标，生成稀疏点云模型对应的面片集合；

循环添加新邻域到所述面片集合中对所述面片集合进行更新，直到场景被所有可视的面全覆盖；

基于一致性约束条件，对更新后的面片集合中的面片进行剔除，生成稠密点云模型，对所述稠密点云进行纹理映射。

6.根据权利要求4所述的基于无人机影像的建筑物模型的生成方法，其特征在于，所述对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型，包括：

把稠密点云模型的曲面重构转化为求解泊松方程，通过构造泊松方程计算出梯度场和向量场，选取合适的等值得到最佳逼近原始点云数据的重构曲面，以体积变化的平方作为误差度量的边折叠网格简化算法，并在误差测度中加入三角形法向约束因子对重构后的曲面进行简化。

7.一种基于无人机影像的建筑物模型的生成装置，其特征在于，包括：

无人机影像集获取模块，用于获取无人机影像集，所述无人机影像集中包括多张从不同视角采集到的目标区域建筑物的无人机影像；

相对位置关系确定模块，用于提取所述无人机影像上的兴趣点，生成提取的兴趣点的特征描述向量，根据所述特征描述向量确定无人机影像间的相对位置关系；

同名点对确定模块，用于提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对；所述提取相邻无人机影像中的特征点，对特征点进行相似性度量，确定对应无人机影像间的同名点对，包括：

对于重叠度大于预设阈值的两张无人机影像，其中一张作为基准影像，另外一张作为搜索影像，建立影像金字塔，在每层金字塔影像上，将两张无人机影像对应的局部区域内Hessian矩阵的行列式的值最大的点确定为特征点，为特征点分配方向值，生成特征向量，以特征点为中心取16×16的邻域作为采样窗口，将采样窗口的采样点与特征点的相对方向通过高斯加权后归入包含8个方向的梯度直方图，获得4×4×8的128维特征向量，利用哈希算法将所有的特征向量映射到哈希表，每个特征向量对应一个哈希特征码，利用映射函数将哈希特征码映射至6个桶组，每个桶组含2¹⁰只桶，从基准影像中选取一个特征点的特征向量为原特征向量，利用哈希表中的特征向量对基准影像和搜索影像进行匹配，确定对应无人机影像间的同名点对；

稀疏点云生成模块，用于基于全局式的运动与结构的区域网平差方法，确定所述同名点对的空间三维坐标，生成稀疏点云；

稠密点云生成模块，用于对所述稀疏点云进行稠密化处理，生成稠密点云，对所述稠密点云进行纹理映射；

三维模型生成模块，用于对纹理映射后的稠密点云进行简化约束，生成所述目标区域建筑物的三维模型。

8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。

Images