CN115661363A - 利用无人机倾斜摄影的三维建筑物模型构建方法 - Google Patents

Abstract

本发明涉及三维重建技术领域，具体涉及利用无人机倾斜摄影的三维建筑物模型构建方法。该方法包括获取航线的航点的子短期重建向量；通过点云法向量分布区间得到法向量分布特征和特征可用度；通过短期重建向量和建筑轮廓傅里叶描述子进行第一次聚类获得航线类别，在同一航线类别通过特征可用度和法向量分布特征得到不同质量的航点类别，通过不同质量的航点类别赋予不同的质量损失评分，通过航线的航点信息及对应的质量损失评分训练神经网络，将待分析的航点通过神经网络给出质量损失评分，根据评分将航点图像在三维重建中剔除。本发明通过剔除质量较差的航点图像，保证三维模型构建过程中的数据质量，提高了三维重建的精度。

Description

利用无人机倾斜摄影的三维建筑物模型构建方法

技术领域

本发明涉及三维重建技术领域，具体涉及利用无人机倾斜摄影的三维建筑物模型构建方法。

背景技术

建筑物三维重建是获取建筑物三维结构信息的重要手段，在城市规划、灾害监测、通信设施建设和数字城市建设等领域具有非常广泛的应用。随着近年来航拍设备的技术迅速发展，其中某些航拍设备的制造、使用成本低、机动性强、可在多场景下使用。这些特点使利用航拍设备采集照片重建建筑物三维结构更加方便。目前，传统的利用航拍设备对室外建筑物进行倾斜摄影方法具体包括：通过在航拍设备上搭载摄像传感器，在航行轨迹中的各个航点中拍摄建筑物照片，并根据采集到的照片对室外建筑物进行建模。

发明人在实践中，发现上述现有技术存在以下缺陷：遇见建筑外立面玻璃较多的建筑物时，照片拍摄会出现反光造成不清晰、一些建筑阴影处欠曝过曝等问题，导致一些航点处所采集的照片质量损失较大，照片经过处理后的数据特征不准确，此类照片在建模过程中并没有被剔除，最终使三维重建模型的精度下降，严重情况甚至会使模型与实际建筑物差距较大。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种利用无人机倾斜摄影的三维建筑物模型构建方法，所采用的技术方案具体如下：

在历史数据库中获取航拍时每个航线上所有航点的航点照片；在建模过程中，提取每个航线上每个航点照片信息的可用信息量，根据每个航线上的所有可用信息量构建短期重建向量；

根据每个航线上每个航点照片上的点云法向量的角度分布获得法向量分布特征；根据每个航线上两两航点之间法向量分布特征的相似度得到每个航点的特征可用度；获得每个航线拍摄得到的不同建筑轮廓的傅里叶描述子；

根据每个航线之间的短期重建向量与傅里叶描述子进行第一次聚类，获得至少两个航线类别；

在航线类别内根据所有航线的航点特征可用度与点云法向量分布特征对航点进行第二次聚类，获得至少两个航点类别；以类内航点特征可用度均值对每个航点类别进行评分，获得每个航点类别中每个航点的质量损失评分；

根据航线中各个航点的子短期重建向量与特征可用度与质量损失评分训练神经网络模型；

将待分析航线上所有航点的子短期重建向量与特征可用度依次输入至神经网络模型中，获得每个航点的质量损失评分，根据质量损失评分判断是否剔除航点的航点照片，根据剩余的航点照片进行三维建筑模型构建。

进一步的，所述可用信息量包括：

根据历史数据库中每个航线中的每个航点照片在建筑三维重建过程中被采用的各向特征点数量及被添加点云的点云表面积，以特征点数量和点云表面积作为可用信息量。

进一步的，所述短期重建向量的获取方法包括：

基于建筑模型的顶视图将建筑模型划分至少两个角度区间得到第一角度区间；获取航点照片在各个第一角度区间的特征点描述子，得到航点照片中的所有特征点描述子在各个第一角度区间的特征点采用量，获得特征点采用量向量；

所述航点照片在模型重建后各个第一角度区间内有效的点云表面积构成点云表面积向量；

将特征点采用量和点云表面积向量合并获得所述航点照片的子短期重建向量，将一条航线上的所有航点的子短期重建向量合并，获得短期重建向量。

进一步的，所述法向量分布特征的获取步骤包括：

基于第一角度区间中的每个区间划分不少于两个角度区间得到第二角度区间，计算所述航点照片的所有点云法向量朝向在各个第二角度区间中的数量，将在各个第二角度区间中的数量作为点云在各个第二角度区间的法向量分布状态，所有点云法向量分布状态构成所述航点照片的法向量分布特征。

进一步的，所述航点照片的特征可用度获取的方法包括：

获得一条航线上目标航点与其他航点的法向量分布特征的相似度，以与目标航点照片的目标法向量分布特征最相似得到法向量分布特征和第K个相似的法向量分布特征，作为基准法向量分布特征；计算所述目标法向量分布特征与每个基准法向量分布特征的欧式距离，以平均欧式距离的倒数作为目标航点的特征可用度；

改变目标航点，获得每个航点的特征可用度。

进一步的，所述航线类别的获取方法包括：

获取历史数据库中不同航线拍摄得到的不同建筑轮廓的傅里叶描述子；将历史数据库中任意两航线的短期重建向量通过K-M算法进行匹配，计算匹配航线中的两个航点照片的子短期重建向量的余弦距离的平均值，将此平均值乘以对应两航线之间的傅里叶描述子的余弦距离，得到两两航线之间的第一差异距离；

根据差异距离使用OPTICS算法进行聚类，获得至少两个航线类别。

进一步的，所述第二次聚类的过程包括：

计算航线类别中各类内的两两航点之间的特征可用度差值绝对值与点云法向量分布特征之间的余弦距离，相乘得到航线类别中两两航点之间的第二差异距离，通过第二差异距离使用DBSCAN算法进行第二次聚类，获得至少两个航点类别。

进一步的，所述质量损失评分的获取方法包括：

计算每个航点类别的特征可用度均值，以各个航点类别的特征可用度均值在预设特征可用度范围内的航点类别作为评分参考航点类别；在评分参考航点类别内基于各类别航点特征可用度均值从大到小排名，根据评分参考航点类别的排名序号，赋予每个评分参考航点类别质量损失评分；排名序号与质量损失评分呈正比。

进一步的，所述根据质量损失评分判断是否剔除航点的航点照片的方法包括：

若待分析航线上航点的质量损失评分大于预设质量损失评分阈值，则将对应航点的航点图像删除。

进一步的，所述神经网络模型为TCN神经网络。

本发明具有如下有益效果：根据航线中各个航点的特征采用量和点云表面积构成了子短期重建向量，根据航点点云的法向量朝向不同的角度区间获得了航点的法向量分布特征，通过法向量的分布特征求出各个航点的特征可用度，根据航线的建筑轮廓的傅里叶描述子与航线短期重建向量将历史数据库中的不同航线聚类，得到三维重建过程比较相似的航线类别，再通过各航线类别内不同状态的法向量分布特征与特征可用度再次聚类，得到不同质量的航点类别。航点类别是在相似建筑重建过程的基础下进一步划分的类别，因此根据划分后的航点类别对应的特征可用度即可获得每个航点类别中的航点在重建过程中的质量，即通过特征可用度的排名将不同航点赋予质量损失评分，将各个航线的子短期重建向量与特征可用度依次与质量损失评分依次输入到神经网络中训练神经网络模型，后续待分析的航线数据输入到神经网络模型中，识别出质量损失评分并根据质量损失评分将对应的航点照片进行剔除，这样能够在不介入建筑的实体信息就能够通过神经网络分析出照片质量较差的航点，将未剔除的质量较好的航点照片数据进行三维重建，从而使得三维重建后的建筑模型更精确更接近建筑实体形状。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的利用无人机倾斜摄影的三维建筑物模型构建方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的利用无人机倾斜摄影的三维建筑物模型构建方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例提供了一种利用无人机倾斜摄影的三维建筑物模型构建方法的具体实施方法，该方法适用于无人机对普通建筑物进行倾斜摄影构建建筑物三维模型的过程中，由于外部光照原因，照片拍摄过程中容易玻璃反光、阴影处出现过曝或欠曝等问题，这类照片在建模过程中所贡献的数据会造成模型的精度下降，因此需要对拍摄照片质量较差的照片进行筛选剔除。

下面结合附图具体的说明本发明所提供的利用无人机倾斜摄影的三维建筑物模型构建方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的利用无人机倾斜摄影的三维建筑物模型构建方法流程图，该方法包括以下步骤：

步骤S1：在历史数据库中获取航拍时每个航线上所有航点的航点照片；在建模过程中，提取每个航线上每个航点照片信息的可用信息量，根据每个航线上的所有可用信息量构建短期重建向量。

本发明实施例中的航线指的是无人机在建筑物外倾斜摄影过程中的航行轨迹，航点指的是无人机航行过程中每次倾斜角度拍摄照片的不同位置。将建筑物三维重建过程中的每条航线中所有航点拍摄的航点照片数据均存储至历史数据库中，根据历史数据库进行后续的数据分析过程。

需要说明的是，历史数据库内的航线越多，后续神经网络的准确度效果越明显，本发明实施例中历史数据库中包含了30天内的多架无人机的航线数据，实施者在实施过程中历史数据库的构建可根据建模建筑物的多样性自行确定。

可用信息量能够表示无人机倾斜摄影过程中所采集的航点照片在三维重建过程中对最终三维重建的模型精度的影响是有利的或者是有害的，并且能够反应出航点照片的质量好坏。因此需要根据历史数据库中的数据分析建模过程中每个航线上的每个航点照片在建筑三维重建过程中被采用的各向特征点数量及被添加点云的点云表面积，以特征点数量和点云表面积作为可用信息量。

需要说明的是，对于航线中的任一航点，无人机都会拍摄一张包含建筑物的照片，这张航点照片在三维重建之前会检测特征点并生成特征点描述子，然后参与特征点匹配，对于在航线其它照片中能够匹配的特征点，通过ORB、SIFT算法进行计算描述，此类特征点获取方法为本领域技术人员公知的，不再赘述。在本发明实施过程中使用GMS，即一种基于运动统计的快速鲁棒特征匹配过滤算法，目的是能够有效将运动平滑约束转换为剔除错误匹配的统计量，提高建筑中的特征点匹配成功率。对于建筑三维重建后的点云，能够直接得知一张航点照片中有效的点云所代表的表面积。

进一步根据每个航线上的所有可用信息量构建短期重建向量，具体包括：

（1）在历史数据库中获取所有航线上的所有航点照片，对航点照片构建子短期重 建向量，构建此向量的目的是无人机绕建筑倾斜摄影时，会遇到炫光、反光等影响，因此需 要在建模过程中对航点照片对应的建筑各个方向的特征点数量和点云表面积进行统计，分 析航点照片的质量。航点照片的子短期重建向量由各向特征点采用量向量

与点云表面 积向量

两部分组成。

（2）基于建筑模型的顶视图将建筑模型划分至少两个角度区间得到第一角度区间。本实施例中无人机拍摄的建筑物是外凸的，即通过建筑物的横切面看，建筑没有大面积内凹的情况。从建筑物的顶视图来看，首先基于建筑模型的法向量方向，可以根据360°划分出至少两个子地理方位的第一角度区间，在本实施例中划分5个第一角度区间，需要说明的是，其中角度的计算基准是人工指定的，尽量以建筑物一个显著的面所朝向的方向为基准。本实施例假设建筑物有一个面与正北方向垂直，因此从正北方向为起始，顺时针计算和等比例划分，需要特别说明的是在实施过程中，划分不需要绝对等比例，实施者可以根据建筑结构特性调整划分的第一角度区间个数，以及各第一角度区间的角度比例。划分第一角度区间的目的是为后续各个航点照片的特征分析更精确。

（3）航点照片的特征点对应建筑的某一个方位，即某一个第一角度区间，基于此第 一角度区间，

即为各个第一角度区间的特征点数量组成的向量。由于无人机航线中各个 航点距建筑的距离不定，因此特征点数量随着建筑在图像中的尺度不定，为了便于数据分 析需要对

中的每一个元素进行极差标准化处理。经过极差标准化处理后，对于航线中每 个航点照片的各向特征点采用量向量

包含了5个元素，每个元素代表航点照片中在对应 第一角度区间中的特征点数量，每个元素的数值范围是0到1。

（4）点云表面积是重建过程中对应建筑的外观描述，一个第一角度区间中对应一 个点云表面积数值，基于此第一角度区间，

即为各个第一角度区间的有效的点云表面积 数值组成的向量。由于无人机航线中各个航点距建筑的距离不定，因此点云表面积随着建 筑在图像中的大小不定，为了便于数据分析需要对

中的每一个元素进行极差标准化处 理。经过极差标准化处理后，对于航线中每个航点照片的有效的点云表面积向量

包含了 5个元素，每个元素代表航点照片中在对应第一角度区间中的点云有效表面积大小，每个元 素的数值范围是0到1。

将特征点采用量向量和点云表面积向量合并获得航点照片的子短期重建向量。至 此，对于历史数据库中的任一航线的航点照片，都可以获得一个子短期重建向量

，此航点照片的短期重建向量分别包含了建筑5个第一角度区间的各向特征 采用分量和点云表面积分量共10个分量。通过所述航点照片的子短期重建向量能够体现各 个航点对建筑三维重建时的特征贡献情况，例如一个画面中的纹理较为丰富，但存在反光 区域，则此航点照片的子短期重建向量中的点云表面积较大，但特征点很少。因此航点照片 的子短期重建向量能够准确地描述照片中一个不符合朗伯体的对象的特征参与三维重建 过程的情况，例如一些过曝区域、欠曝区域、眩光区域、镜面反射区域。一条航线上的所有航 点的子短期重建向量组合成一个航线的短期重建向量。

步骤S2：根据每个航线上每个航点照片上的点云法向量的角度分布获得法向量分布特征；根据每个航线上两两航点之间法向量分布特征的相似度得到每个航点的特征可用度；获得每个航线拍摄得到的不同建筑轮廓的傅里叶描述子。

在无人机倾斜摄影过程中，无人机距离建筑物较近时，无人机拍摄反射体或者高光区域会导致所重建的纹理特征丢失，甚至导致点云重建求解过程中出现破面或者凹陷凸起，因此需要计算航点照片特征可用度，目的是为了在重建过程中通过航点照片特征可用度与航点的短期重建向量相结合更好的描述一些航点照片状态并对一些航点剔除不参与重建。航点特征可用度的计算方法：

（1）获取目标航点照片的所有点云法向量，将点云法向量约束到仅限于与地面平 行的二维空间中，这样也能够符合建筑设计时放样的特征，可以忽略建筑自身曲线、阶梯 状、异形元素的影响。对于第一角度区间中的每个区间再细分为两个子区间，本实施例中细 分之后得到了10个子区间，将其称之为第二角度区间，对于任一第二角度区间，以每一第一 区间的中心朝向为基准，计算点云法向量的分布情况，例如：0°-90°的地理第一角度区间， 继续划分出两个子区间，即0°-45°和45°-90°两个第二角度区间。对于目标航点照片，统计 其点云法向量的方位朝向所落入各个第二角度区间中的数量，并归一化到0-1内。最终，对 于目标航点照片，可以得到点云法向量分布特征

，

至

表示目 标航点照片的点云法向量在各个第二角度区间的分布状态。法向量的计算以及将三维向量 投影到一个平面的方法是公知的，不再赘述。

（2）根据每个航线上两两航点之间法向量分布特征的相似度得到每个航点的特征 可用度，某个航点与其他航点的法向量分布特征相似度越大，则说明该航点可用信息越多， 即特征可用度越大。具体获取方法包括：因为法向量分布特征是一个10维向量，向量的各分 量代表此航点照片在三维重建后对应法向量方向的占比，如果某航点照片在拍摄时有较大 的异常，则可以在近邻关系中发现。计算航点照片法向量分布特征与航拍同建筑的所有航 线的所有航点照片的法向量分布特征的余弦相似度，根据余弦相似度的大小排序，找到与 目标航点照片法向量分布特征最相似的法向量分布特征

与第K个相似的法向量分 布特征

，选取第K个法向量分布特征的作用是为了避免最相似的法向量分布特征

的法向量分布状态不是典型的。本发明实施例中，K值设为5，K的确定方式是通过 不断地测试调优得到的。需要说明的是，实施者在实施过程中可以根据实际场景自行调节K 值。得到基准法向量分布特征

、

后，计算目标法向量分布特征与每个基 准法向量分布特征的欧式距离，以平均欧式距离的倒数作为目标航点的特征可用度，即特 征可用度的表达式为：

式中，

表示两向量之间的欧式距离，目标航点照片的特征可用度

由目标航 点照片法向量分布特征分别与两个航点基准法向量分布特征的欧式距离的平均值的倒数 计算所得。如果目标航点照片法向量分布特征与基准法向量分布特征差异越大，此时欧式 距离数值越大，则最终目标航点照片特征特用度

值越小，意味着此航点照片的纹理存在 异常。

对于历史数据库中的所有航线，三维重建后首先对建筑的顶视图做横截面，即可得到建筑的轮廓，获得所有航线对应的建筑轮廓的傅里叶描述子M，傅里叶描述子的计算方法属于公开技术，不再赘述，对于上下都过于异形的建筑，本发明不考虑。

步骤S3：根据每个航线之间的短期重建向量与傅里叶描述子进行第一次聚类，获得至少两个航线类别。

基于历史数据库中的所有航线数据，进行第一次聚类，目的是得到相似建筑构型的相似重建过程。具体获取航线类别的方法包括：获取历史数据库中不同航线拍摄得到的不同建筑轮廓的傅里叶描述子；将历史数据库中任意两航线的短期重建向量通过K-M算法进行匹配，计算匹配航线中的两个航点照片的子短期重建向量的余弦距离的平均值，将此平均值乘以对应两航线之间的傅里叶描述子的余弦距离，得到两两航线之间的第一差异距离，即第一差异距离的表达式为：

为历史数据库中不同航线的重建过程状态的第一差异距离，

表示任意两个不同的航线，

函数是一种在两个航线中去比较和搜索不同航点 的差异的方法：具体地，使用K-M配对算法，对于两个航线中的任意两个航点，计算两个航点 之间的余弦距离

，

分别表示两航线中的任意航点的 子短期重建向量，基于此余弦距离通过K-M做最小余弦距离的匹配后，对匹配对计算平均余 弦距离，即为

函数的结果输出；具体含义是在两个航线中，在其中一个航线中 的任一航点，匹配到另一航线中短期重建向量最为相似的航点，此时平均余弦距离最小，平 均余弦距离能够表示两个航线的短期重建向量的相似程度；

函数的值越小， 则两个航线的三维重建过程越为相似。

为任意两个不同航线的 建筑轮廓傅里叶描述子的余弦距离。当任意两航线的第一差异距离越小，则意味着两个航 线所拍摄的建筑越相似，三维重建过程也越相似。

根据第一差异距离使用OPTICS算法进行聚类，获得至少两个航线类别。

OPTICS算法是一种基于密度聚类的算法，本发明实施例中设置OPTICS聚类算法的 参数：邻域半径

，邻域最小点数

，特别说明的是在发明方案实施过程 中，实施者可根据实际情况自行设定算法参数。输入OPTICS的样本为历史数据库中所有的 航线，样本之间的距离度量方式是上述计算的不同航线之间重建过程状态的距离函数所求 得的第一差异距离。OPTCIS聚类算法是一种现有公开技术，具体计算过程不再赘述。至此， 通过求出历史数据库中不同航线之间的重建过程状态的距离函数与使用OPTICS聚类算法 得到了多个不同的簇。每个簇内的航线所重建过程都比较相似，同时也意味着建筑构型相 似。此次聚类得到的结果称为航线类别。

步骤S4：在航线类别内根据所以航线的航点特征可用度与点云法向量分布特征对航点进行第二次聚类，获得至少两个航点类别；以类内航点特征可用度均值对每个航点类别进行评分，获得每个航点类别中每个航点的质量损失评分。

对于任意一个航线类别，进行第二次聚类，以其中一个航线类别为例，其余航线类别的计算过程相同。在航线类别内根据所有航线的航点特征可用度与点云法向量分布特征对航点进行第二次聚类，获得至少两个航点类别，具体包括：

计算航线类别中各类内的两两航点之间的特征可用度差值绝对值与点云法向量分布特征之间的余弦距离，相乘得到航线类别中两两航点之间的第二差异距离，即第二差异距离表达式为：

表示同一个航线类别中两个不同航点照片特征的距离函数，

表示任 意两个不同的航点，

表示两个航点之间的特征可用度的差值绝对值，

表示两个航点法向量分布特征的余弦距离。

对于同一个航线类别中，其航线拍摄的建筑构型相似，当进行两个重建过程的比 较时，航点法向量分布特征余弦距离越小，则可认为重建的建筑部分的形态上比较接近，然 而当特征可用度差异较大时，则可认为在重建质量上差异较大，有可能是拍照时遇到了非 朗伯体的区域。因此

可以辅助表达一种航线的重建过程与另一个航线的重建 过程的建筑情况相似度较大但质量差异较大的现象。

通过第二差异距离使用DBSCAN聚类算法进行聚类，本实施例中将DBSCAN聚类算法的参数设置为搜索半径Eps为0.25，邻域最小值MinPts为11，需要说明的是，实施者在实施过程中可根据实际情况调节聚类参数。至此，在同一类的航线类别中计算不同航点照片特征的距离函数通过DBSCAN聚类算法得到了不同航点照片质量的簇类。

第二次聚类得到了相似航线中不同航点照片质量的簇，第二次聚类结果称为航点类别。对于同一航线类别中的所有航点类别，以类内航点特征可用度均值对每个航点类别进行评分，获得每个航点类别中每个航点的质量损失评分，具体包括：

（1）计算每个航点类别的航点可用度均值，以每个航点类别的特征可用度均值在预设特征可用度范围内的航点类别作为评分参考航点类别。本发明实施例中，预设特征可用度范围设置方法为：计算每个航点类别的航点可用度均值，将所有航点类别按照各类的航点可用度均值从大到小进行排序，假设同一航线类别中共有N类航点类别，按照各类航点可用度均值进行排序后，选取N类中，排名不超过N/2的所有航点类别作为评分参考航点类别，即预设特征可用度范围为航点可用度均值排名中的后一半区间。本发明实施例认为评分参考航点类别中的航点都为照片质量较差的类别，这些较差的类别中的航点照片会对建筑三维重建的质量有所影响，剩余航点类别认为是照片质量较好的类别。至此，将同一航线类别中的不同航点类别分为了航点照片质量较好和较差的两个子类。特别说明的是，实施者在实施过程中可根据重建场景自行定义质量较好和较差两个子类的排名占比。

（2）第N/2的航点类别中的各个航点都赋予0分的质量损失评分，对于排名为第N的航点类别中的所有航点都赋予为1分的质量损失评分，剩余排名在N/2到N的航点类别，分别按照顺序等差赋予各个航点类别中所有航点0到1之间的质量损失评分。

质量损失接近1的航点，可以认为此航点提供的照片信息已经严重影响了建筑三维重建模型的精度与质量。对于航点类别质量较好的子类，都赋予各类别中所有航点0分的质量损失评分。在所有航线类别中，都进行第二次聚类，得到不同质量的航点类别，通过类内特征可用度均值的排名最终得到历史数据库中所有航点的质量损失评分。

步骤S5：根据航线中各个航点的子短期重建向量与特征可用度与质量损失评分训练神经网络模型；将待分析航线上所有航点的子短期重建向量与特征可用度依次输入至神经网络模型中，获得每个航点的质量损失评分，根据质量损失评分判断是否剔除航点的航点照片。

优选的，神经网络为TCN神经网络，即将历史数据库中的每条航线的所有航点的子短期重建向量和特征可用度与航点对应的质量损失评分按照航线的航点顺序输入到TCN神经网络中进行训练，构建了一个高维的多通道输入的TCN神经网络模型，TCN训练过程中的损失函数为MSE均方误差损失函数，TCN为现有公开技术，具体训练步骤不再赘述。TCN可用根据历史数据库中的航线的三维重建记录的子短期重建向量和特征可用度来识别待分析的航点在相似建筑构型下，待分析航点照片是否会有质量损失，并给出待分析航点的质量损失评分。

根据质量损失评分判断是否剔除航点的航点照片，具体包括：若待分析航线上航点的质量损失评分大于预设质量损失评分阈值，则将对应航点的航点图像剔除。

本实施例中，将质量损失评分阈值设置为0.3，当质量损失评分高于此阈值时，自动剔除此航点图像信息，从而减少对三维重建结果精度的影响，特别说明的是，实施者在实施过程中，质量损失评分阈值可根据应用场景自行选取。

至此，在不介入建筑物实体信息的情况下，可以通过TCN神经网络模型对航点照片给出质量损失评分，低于质量损失评分阈值的航点照片剔除不参与三维重建，根据剩余的航点照片进行三维建筑模型重建，从而提高了三维重建的精度。

综上所述，本发明实施例提供了一种利用无人机倾斜摄影的三维建筑物模型构建方法，此方法能够在无人机对建筑物进行倾斜摄影得到照片后，建立三维重建所需航线数据的历史数据库，经过对航线中各个航点照片的数据分析，最终给出不同航点照片的质量损失评分，并训练神经网络模型。将带分析的航线的航点数据输入到神经网络模型中，得到待分析航点的质量损失评分，根据质量损失评分判断剔除的航点图像，将剩余的航点图像进行三维建筑模型重建，这样能够在不介入建筑物的实体信息下，提高三维重建模型重建的精度。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，该方法包括以下步骤：

在历史数据库中获取航拍时每个航线上所有航点的航点照片；在建模过程中，提取每个航线上每个航点照片信息的可用信息量，根据每个航线上的所有可用信息量构建短期重建向量；

根据每个航线上每个航点照片上的点云法向量的角度分布获得法向量分布特征；根据每个航线上两两航点之间法向量分布特征的相似度得到每个航点的特征可用度；获得每个航线拍摄得到的不同建筑轮廓的傅里叶描述子；

根据每个航线之间的短期重建向量与傅里叶描述子进行第一次聚类，获得至少两个航线类别；

在航线类别内根据所有航线的航点特征可用度与点云法向量分布特征对航点进行第二次聚类，获得至少两个航点类别；以类内航点特征可用度均值对每个航点类别进行评分，获得每个航点类别中每个航点的质量损失评分；

根据航线中各个航点的子短期重建向量与特征可用度与质量损失评分训练神经网络模型；

将待分析航线上所有航点的子短期重建向量与特征可用度依次输入至神经网络模型中，获得每个航点的质量损失评分，根据质量损失评分判断是否剔除航点的航点照片，根据剩余的航点照片进行三维建筑模型构建。

2.根据权利要求1所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述可用信息量包括：

根据历史数据库中每个航线中的每个航点照片在建筑三维重建过程中被采用的各向特征点数量及被添加点云的点云表面积，以特征点数量和点云表面积作为可用信息量。

3.根据权利要求2所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述短期重建向量的获取方法包括：

基于建筑模型的顶视图将建筑模型划分至少两个角度区间得到第一角度区间；获取航点照片在各个第一角度区间的特征点描述子，得到航点照片中的所有特征点描述子在各个第一角度区间的特征点采用量，获得特征点采用量向量；

所述航点照片在模型重建后各个第一角度区间内有效的点云表面积构成点云表面积向量；

将特征点采用量和点云表面积向量合并获得所述航点照片的子短期重建向量，将一条航线上的所有航点的子短期重建向量合并，获得短期重建向量。

4.根据权利要求3所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述法向量分布特征的获取步骤包括：

基于第一角度区间中的每个区间划分不少于两个角度区间得到第二角度区间，计算所述航点照片的所有点云法向量朝向在各个第二角度区间中的数量，将在各个第二角度区间中的数量作为点云在各个第二角度区间的法向量分布状态，所有点云法向量分布状态构成所述航点照片的法向量分布特征。

5.根据权利要求1所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述航点照片的特征可用度获取的方法包括：

获得一条航线上目标航点与其他航点的法向量分布特征的相似度，以与目标航点照片的目标法向量分布特征最相似得到法向量分布特征和第K个相似的法向量分布特征，作为基准法向量分布特征；计算所述目标法向量分布特征与每个基准法向量分布特征的欧式距离，以平均欧式距离的倒数作为目标航点的特征可用度；

改变目标航点，获得每个航点的特征可用度。

6.根据权利要求1所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述两个航线类别的获取方法包括：

获取历史数据库中不同航线拍摄得到的不同建筑轮廓的傅里叶描述子；将历史数据库中任意两航线的短期重建向量通过K-M算法进行匹配，计算匹配航线中的两个航点照片的子短期重建向量的余弦距离的平均值，将此平均值乘以对应两航线之间的傅里叶描述子的余弦距离，得到两两航线之间的第一差异距离；

根据差异距离使用OPTICS算法进行聚类，获得至少两个航线类别。

7.根据权利要求1所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述第二次聚类的过程包括：

计算航线类别中各类内的两两航点之间的特征可用度差值绝对值与点云法向量分布特征之间的余弦距离，相乘得到航线类别中两两航点之间的第二差异距离，通过第二差异距离使用DBSCAN算法进行第二次聚类，获得至少两个航点类别。

8.根据权利要求1所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述质量损失评分的获取方法包括：

计算每个航点类别的特征可用度均值，以各个航点类别的特征可用度均值在预设特征可用度范围内的航点类别作为评分参考航点类别；在评分参考航点类别内基于各类别航点特征可用度均值从大到小排名，根据评分参考航点类别的排名序号，赋予每个评分参考航点类别质量损失评分；排名序号与质量损失评分呈正比。

9.根据权利要求1所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述根据质量损失评分判断是否剔除航点的航点照片的方法包括：

若待分析航线上航点的质量损失评分大于预设质量损失评分阈值，则将对应航点的航点图像删除。

10.根据权利要求1所述的利用无人机倾斜摄影的三维建筑物模型构建方法，其特征在于，所述神经网络模型为TCN神经网络。

Images