CN117710603B - 一种直线几何结构约束下无人机图像三维建筑物建模方法 - Google Patents

Abstract

本发明涉及一种直线几何结构约束下无人机图像三维建筑物建模方法，利用无人机图像生成三维建筑物原始模型；提取三维建筑物原始模型中点云数据，并对三维建筑物原始模型点云进行边缘和轮廓的特征提取，生成三维建筑物原始模型的尖锐边缘特征点云；使用多种约束下的三维直线特征提取算法对三维建筑物原始模型点云尖锐边缘特征进行三维直线提取，生成三维直线；使用三维直线对三维建筑物原始模型点云进行线约束，完成三维建筑模型的优化，并利用无人机图像为三维建筑物模型进行纹理映射，通过将图像数据与三维直线特征结合，实现对建筑物模型更精准的优化。本发明综合了无人机图像处理和三维几何特征提取方法，使三维模型边缘更符合建筑物边缘特征。

Description

一种直线几何结构约束下无人机图像三维建筑物建模方法

技术领域

本发明涉及无人机图像实景三维建筑物模型技术领域，具体涉及一种直线几何结构约束下无人机图像三维建筑物建模方法。

背景技术

无人机摄影测量可以获得超高分辨率图像和高精度数字曲面模型，广泛应用于大尺度和实景城市建筑建模。大规模实景三维建筑模型的可用性显著增加，提供了丰富的几何信息和高分辨率纹理。然而，由于光照条件、遮挡和航空图像中的弱纹理等因素，建模结果会受到现实场景中结构不准确和不一致等问题的影响。这些问题会导致诸如扭曲的建筑角、不规则和纹理模糊等问题。建筑物边缘的形状直接影响其外观。提高边缘线条的质量可以增强建筑的整体外观和真实感。并且只有通过边缘线还原才能满足三维建筑模型的真实性和进一步的应用分析需求。在建筑物边缘线的恢复方法中，特征线起着至关重要的作用，而三维直线作为特征线的组成部分尤为重要。

三维直线提取方法大致可分为基于图像、特征点、平面特征、深度学习这4类方法。基于图像的方法主要需要借助于图像处理，进行三维结构点检测，利用多视点立体地进行三维结构检测，多视图立体地从不同角度获取目标物体的多幅图像，然后利用数学推理等手段重建场景，这类方法容易受到图像质量的影响，提取直线的优劣很大程度上取决于设备拍摄图像质量的好坏。基于特征点的方法的重点是无需借助图像处理，直接的利用点云数据进行三维直线的提取，这类方法提取的特征点对于噪声相当的敏感，容易导致遗漏或误识别。基于平面特征的方法主要是提取三维模型中的平面特征，由于在三维模型中平面结构较为稳定，并且平面结构中往往伴随着直线结构，这对于提取直线有极大的帮助，这一类用于识别点云中的三维直线的技术是基于平面特征的，平面结构往往伴随着三维直线结构，因此，先提取平面结构，再在此基础上进行直线提取是一种可行的方法，这类方法更适合处理较大的平面，而对小平面的处理效果较差。基于深度学习的方法主要是利用训练样本的方式来提取线段，这类方法在样本有限的情况下，只能提取与标记样本一致的轮廓线，但现实世界的场景非常复杂，有限的人工标记样本不足以识别不同的轮廓或边缘点。

公开号为CN116958453A的发明专利公开了一种基于神经辐射场的三维模型重建方法、设备和介质，该发明提供了一种基于神经辐射场的三维模型重建方法，但该方法要求采集多视角的RGB图像和处理目标的位姿信息，这需要相对复杂的数据采集设备和步骤，这对于某些场景和应用来说是不切实际的，并且如果训练数据不足或不代表实际场景的多样性，会导致模型的泛化性能较差；公开号为CN110544297A的发明专利公开了一种单幅图像的三维模型重建方法，该发明针对单幅深度图像进行三维模型重建，这对于某些场景和应用来说是一个便利的特性，无需多个视角的图像，但该发明引入了神经网络和注意力机制，需要大量的计算资源和训练数据，这对于一些资源有限的环境来说是一个挑战，并且对输入深度图像的质量和多样性有一定的依赖性，对于特定场景的泛化性能受到影响；公开号为CN117036598A的发明专利申请公开了一种基于烘焙的三维场景模型优化方法，该发明通过采用烘焙软件对导入的模型的纹理图像进行烘焙，可以实现对纹理的优化，去除冗余贴图，降低模型体积，提高模型的轻量化，但该方法的有效性在摄影数据可获得的情况下更为显著，如果摄影数据不可用，会影响建模的准确性，并且烘焙过程需要较长时间，特别是在处理大型复杂模型时，这导致耗费较长的优化时间；公开号为CN116863101A的发明专利申请公开了一种基于自适应网格细分的重建模型几何与纹理优化方法，该发明采用自适应性细分策略对重建模型进行细分，有助于更好地恢复模型的高频几何细节，提升了模型在重建误差较大场景下的鲁棒性和健壮性，但该方法的有效性受到输入彩色图像、深度图像和掩码图像的质量和多样性的限制，对于特定场景和数据质量不佳的情况表现不佳；公开号为CN111667565A的发明专利公开了一种基于优化的特征保持的三维网格模型简化方法和系统，该发明通过差分进化优化算法，寻找最优的边分裂操作序列和边折叠操作序列组合方式，使得简化后的三维网格模型与原始模型之间的近似误差最小，但该方法的有效性受到输入三维网格模型的质量和特征的影响，对于不同类型的模型表现不一致；公开号为CN114896679A的发明专利公开了一种建筑物的三维模型优化方法、智能终端及存储介质，该发明采用多视立体卫星影像重建建筑物三维模型，有助于提高建筑物模型的精度和真实感，但该方法更适用于中小规模建筑物，对于大规模建筑物的优化需要额外的处理和考虑。

发明内容

本发明的目的在于，提供一种直线几何结构约束下无人机图像三维建筑物建模方法，利用无人机图像和三维建筑物模型尖锐边缘特征提取三维直线数据，并利用三维直线数据对三维建筑物模型进行优化，最后利用无人机图像为三维建筑物模型进行纹理映射，以提升建筑物建模的精度和真实感。

为实现上述目的，本发明采取的技术方案如下。

一种直线几何结构约束下无人机图像三维建筑物建模方法，包括如下步骤：

步骤S1，利用无人机图像生成实景三维建筑物原始模型数据；

步骤S2，提取通过对无人机图像数据进行处理后的三维建筑物原始模型中的点云数据，并对所述三维建筑物原始模型中的点云数据进行边缘和轮廓的特征提取，生成所述三维建筑物原始模型的尖锐边缘特征点云，包括屋顶边缘、外墙角、建筑物侧面等结构点云；提取三维建筑物原始模型的尖锐边缘特征点云的方式包括体素网格滤波、最近邻搜索树领域搜索；

所述体素网格滤波，用于对输入的点云数据进行降采样；

所述最近邻搜索树领域搜索，用于提取三维建筑物模型点云表面法线，利用所述表面法线计算各个点云的曲率值，并根据曲率值判断三维建筑物点云表面的尖锐边缘特征，以此来实现特征提取，得到最终的三维建筑物原始模型尖锐边缘特征；

步骤S3，利用基于距离和角度约束下的RANSAC算法，通过对图像数据进行处理，对三维建筑物原始模型尖锐边缘特征进行三维直线提取；基于距离和角度约束下的RANSAC算法包括RANSAC算法、距离约束算法、角度约束算法；

所述RANSAC算法，用于在三维点云中搜索最佳直线；

所述距离约束算法，用于改进RANSAC算法，在利用RANSAC算法搜索最佳直线时添加点云距离约束条件，剔除识别到的直线中点云之间距离大于阈值的直线；

所述角度约束算法，用于改进RANSAC算法，将位于同一方向上的三维直线进行合并，在每次迭代中，计算每个检测到的直线的方向向量，并将每个方向的直线存储在一个无序映射中，以方向向量作为键；并且从存储的每个方向的直线中提取出最长的直线，从而提高三维直线拟合的准确性；

步骤S4，使用提取出来的各个方向上最长的直线替换三维建筑物原始点云，并利用线约束生成无纹理的三维建筑物模型；

步骤S5，利用无人机图像对生成的无纹理的三维建筑物模型进行纹理映射。

进一步地，所述步骤S1中，利用无人机图像生成实景三维建筑物原始模型数据的具体方法为：

步骤S101，对无人机图像进行处理，对齐图像同时添加POS数据并进行空间三角测量获取密集点云数据；

步骤S102，利用密集点云数据进行匹配生成网格并利用图像生成纹理，得到三维建筑物原始模型。

进一步地，步骤S2中，所述体素网格滤波包括六个阶段，第一阶段从三维建筑物原始模型中获取原始点云数据，并将原始点云数据表示为大量离散的三维点，每个点包含坐标信息属性；第二阶段为体素化阶段，将三维空间划分为若干小立方体，形成体素网格，同时将原始点云中的点根据其坐标分配到相应的体素中；第三个阶段为滤波半径定义阶段，确定体素滤波的半径，即用于滤波操作的体素邻域的大小；第四个阶段为邻域操作阶段，针对每个体素，定义一个包含其邻域内点的子集，对邻域内的点执行滤波操作；第五个阶段为点云更新阶段，根据滤波操作的结果更新每个体素中心的值，代表对应体素区域的特征；第六个阶段为输出结果阶段，获得经过体素滤波处理后的点云数据。

进一步地，步骤S2中，所述最近邻搜索树领域搜索包括七个阶段，第一阶段为数据输入阶段，输入体素滤波处理后的点云数据，其中每个点包含三维坐标信息；第二个阶段为树的构建阶段，在选定的维度上找到中位数，将点云数据分成两半，形成当前节点的左子树和右子树，递归地对左右子树进行相同的分割操作，构建最近邻搜索树；第三个阶段为领域搜索阶段，对于每个查询点，通过最近邻搜索树进行领域搜索，通过迭代地沿树搜索路径，找到与查询点最近的一组邻域内的点，用于计算表面曲率；第四个阶段为局部邻域定义阶段，定义用于计算表面曲率的局部邻域，通常以查询点为中心，包含一定数量或半径范围内的点；第五个阶段为计算法向量阶段，在局部邻域内，使用点云数据拟合法平面或法线；第六个阶段为计算曲率阶段，基于计算得到的法向量进一步计算表面曲率；第七个阶段为输出结果阶段，获得每个查询点处的表面曲率信息，并根据信息提取尖锐边缘特征，获得三维建筑物原始模型的尖锐边缘特征点云。

进一步地，步骤S3中，利用基于距离和角度约束下的RANSAC算法，通过对图像数据 进行处理，对三维建筑物原始模型尖锐边缘特征进行三维直线提取的具体方法为：给定抽 样次数，然后从三维建筑物原始模型的尖锐边缘特征点云中随机抽取两个最小子集，记为 点和点，并计算直线AB的参数L；执行邻域搜索检测距离阈值范 围中所有提取尖锐边缘特征后的点云个数，获得内点数据组成点云数据集合，选择内点 数量最多的集合形成直线模型；然后根据距离约束算法对抽取出来的每组最小子集进行判 断，计算形成直线模型对应的点和点之间的距离，剔除距离大 于欧式距离阈值的直线模型；然后通过角度约束算法判断直线模型中直线的相似性，对 直线模型中的直线进行分类拟合，筛选出最终的符合条件的三维直线数据集，并从三维直 线数据集中计算每一个方向中的最长的三维直线。

进一步地，所述RANSAC算法随机在图像数据通过了所述的尖锐边缘特征提取之后 的点云数据中选择两个点和，并计算此直线AB的参数L；然后，开始 计算直线和直线外的点的空间距离，对于每个点，计算它到拟合直线的距离，使用点到直线 的距离作为衡量标准，距离小于给定的阈值的点被认为是内点，计算内点的数量，重复上述 步骤，直到达到指定的迭代次数或找到满足要求的模型，选择具有最大内点数量的模型作 为最终拟合结果。

进一步地，所述距离约束算法用于改进RANSAC算法，通过对于空间直线上的点和点之间的距离与欧式距离阈值的对比判断，用于排除距离 过大的点对，当直线上两点间的距离大于欧式距离阈值时，不输出此直线模型，以此来 减少误差；直线上两点间的距离的计算公式表示为：

。

进一步地，所述角度约束算法用于改进RANSAC算法包括三个阶段，第一阶段为计 算每组三维直线的方向向量，假设一组三维直线，每一条直线由两个点表示，分别为和 ；每条直线都有一个方向向量，表示指向的方向；第二个阶段为创建无序映射，创 建一个无序映射，使用方向向量作为键，其中每个方向向量对应一个直线列表；第 三个阶段为计算夹角余弦相似性，在每次迭代中，当找到一条新的直线并计算其方向向 量时，遍历现有的方向向量并计算它们之间的相似性，并使用夹角余弦相似性来度 量相似性；如果相似性高于阈值，则直线被视为与直线有相似的方向，因此将直线 合并到中，否则，如果相似性低于阈值，则将直线视为具有新的方向，创建一个新的 方向向量，并将直线添加到一个新的直线列表中，最终得到包含各个方向的三维 直线数据集，最后从三维直线数据集中计算每一个方向中的最长的三维直线。

进一步地，步骤S4中，利用线约束生成无纹理的三维建筑物模型时，通过能量函数量化模型与线约束的一致性，并通过最小化能量函数来优化模型，能量函数的计算 公式如下：

；

其中，是用于保持模型光滑性的正则化项，是用于线约束的正 则化项；

；

其中，、和分别表示对、和的二阶偏导数，描述了模型表面 在三维空间中的位置，其中是表面上的点的坐标，表示一个正则化参数；

线约束的正则化项通过测量线条与生成模型之间的距离来定义：

；

其中，是线约束的数量，是线约束的权重，是模型中对应线约束的点到线 约束的最短距离；

通过不断更新模型参数来逐步降低能量函数的值，最小的能量函数的值对应的 模型参数为最优参数，对应得到符合线约束的无纹理的三维建筑物模型。

本发明的有益技术效果在于：

（1）本发明构建了一种直线几何结构约束下无人机图像三维建筑物建模方法，是能够从图像到点云再到直线最后到模型的点线面的三维模型优化方法，采用体素滤波和最近邻搜索树领域搜索相结合，通过对无人机图像数据处理之后的三维建筑物原始模型点云中提取尖锐边缘特征点云，并利用基于距离和角度双重约束下的RANSAC算法提取所述尖锐边缘特征点中的直线特征，有效解决了点云数据冗余度高、密度分布不均匀、非线性误差大、数据量大问题，从图像角度避免了复杂的改进过程。

（2）为了消除三维建筑物原始模型歪曲、不规则的影响，将提取到的直线点云特征对原始模型点云进行替换，并利用线约束进行三维重建，提高模型结构的完整性，并利用无人机图像数据对无纹理的三维建筑物模型进行纹理映射；本发明的三维建筑模型优化策略在三维模型优化方面获得了较好的优化结果，能满足包含地物遮挡、重叠纹理和弱纹理建筑物模型优化需求，能够提升建筑物建模的精度和真实感。

附图说明

图1为本发明实施例中直线几何结构约束下无人机图像三维建筑物建模方法的流程图；

图2为本发明实施例中利用无人机图像生成实景三维建筑物原始模型的流程图；

图3为本发明实施例中利用无人机图像处理后的三维建筑物原始模型中点云数据进行点云尖锐特征提取的结构示意图；

图4为本发明实施例中三维直线提取的结构示意图；

图5为本发明实施例中三维模型优化的结构示意图；

图6为本发明实施例中三维建筑物原始模型；

图7为图6中A处的放大示意图；

图8为本发明实施例中优化后三维建筑物模型结果示意图；

图9为图8中B处的放大示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。除非另作定义，此处使用的技术术语或者科学术语应当为本申请所述领域内具有一般技能的人士所理解的通常意义。

如图1所示，一种直线几何结构约束下无人机图像三维建筑物建模方法，包括如下步骤：

步骤S1：利用无人机图像生成实景三维建筑物原始模型数据；具体方法为：

步骤S101：对无人机图像进行处理，对齐图像同时添加POS数据并进行空间三角测量获取密集点云数据；

步骤S102，利用密集点云数据进行匹配生成网格并利用图像生成纹理，得到三维建筑物原始模型；

步骤S2，提取通过步骤S1中对无人机图像数据进行处理后获取的三维建筑物原始模型中的点云数据，并对所述三维建筑物原始模型中的点云数据进行边缘和轮廓的特征提取，生成所述三维建筑物原始模型的尖锐边缘特征点云；如图3所示，提取三维建筑物原始模型的尖锐边缘特征点云的方式包括体素网格滤波、最近邻搜索树领域搜索。将点云数据划分为三维立方体，形成体素网格。体素大小由用户定义或根据数据特性选择，体素化公式为：

；

其中，是坐标处的体素的值，是点云中坐标为的点，是体素大小。并将每个点根据其坐标分配到相应的体素中，确定体素滤波的 半径，即用于滤波操作的体素邻域的大小；半径的确定与点到相邻点之间的距离相关，可 以根据相邻点的距离信息来调整体素滤波的半径，以确保在不同密度和分布的区域都能获 得良好的平滑效果。对于每个体素，定义一个包含其邻域内点的子集。针对邻域内的点执行 滤波操作，例如计算平均值或中值。滤波操作公式：

；

其中，是对邻域应用滤波函数后坐标处的体素的滤波值，是位于坐标处的体素的邻域，是 对位于坐标处的体素的邻域应用滤波函数的结果，并将滤波后的结果赋给相同坐 标处的体素。滤波函数是根据滤波操作的结果更新每个体素中心的值，最后获得经过体素 滤波处理后的点云数据。然后将体素滤波处理后的点云数据构建成最近邻搜索树（K- dimension tree）数据结构，最近邻搜索树属于二叉树，二叉树的每个节点表示一个体素， 节点的划分轴选择是基于点云数据的不同维度，构建最近邻搜索树的过程是递归的，通过 选择划分轴将点云数据分割成两个子集，对于每个查询点，通过最近邻搜索树进行领域搜 索，通过迭代地沿树搜索路径，找到与查询点最近的一组邻域内的点，然后定义用于计算表 面曲率的局部邻域，给定领域半径，并且通常以查询点为中心，计算出在半径范围内的点， 在局部邻域内，使用点云数据拟合法平面或法线，并使用最小二乘法计算法向量。基于计算 得到的法向量，进一步计算表面曲率。表面曲率的计算公式为：

；

其中，为法向量，表示法向量的最小值。

所述体素网格滤波，用于对目标对象进行降采样。在本发明实施例中，所述体素网 格滤波包括六个阶段，第一阶段从通过对无人机图像数据进行处理后的三维建筑物原始模 型中获取原始点云数据，并将原始点云数据表示为大量离散的三维点，每个点包含坐标信 息属性；第二阶段为体素化阶段，将三维空间划分为若干小立方体，形成体素网格，同时将 原始点云中的点根据其坐标分配到相应的体素中；第三个阶段为滤波半径定义阶段，确定 体素滤波的半径，即用于滤波操作的体素邻域的大小；第四个阶段为邻域操作阶段，针对每 个体素，定义一个包含其邻域内点的子集，对邻域内的点执行滤波操作；第五个阶段为点云 更新阶段，根据滤波操作的结果更新每个体素中心的值，代表对应体素区域的特 征；第六个阶段为输出结果阶段，获得经过体素滤波处理后的点云数据。

所述最近邻搜索树领域搜索包括七个阶段，第一阶段为数据输入阶段，输入体素滤波处理后的点云数据，其中每个点包含三维坐标信息，第二个阶段为树的构建阶段，在选定的维度上找到坐标中位数，将点云数据分成两半，形成当前节点的左子树和右子树，递归地对左子树和右子树进行相同的分割操作，构建最近邻搜索树（K-dimension tree，K-d树）；第三个阶段为领域搜索阶段，对于每个查询点，通过最近邻搜索树进行领域搜索，通过迭代地沿树搜索路径，找到与查询点最近的一组邻域内的点，这些点将用于计算表面曲率；第四个阶段为局部邻域定义阶段，定义用于计算表面曲率的局部邻域，给定领域半径，并且通常以查询点为中心，计算出在半径范围内的点；第五个阶段为计算法向量阶段，在局部邻域内，使用点云数据拟合法平面或法线；第六个阶段为计算曲率阶段，基于计算得到的法向量，进一步计算表面曲率；第七个阶段为输出结果阶段，获得每个查询点处的表面曲率信息，设定一个阈值来判断曲率是否超过阈值，超过阈值的点可以被认为是尖锐边缘特征，在这个过程中，曲率越大，表示表面变化越剧烈，可能是尖锐边缘，获得三维建筑物原始模型的尖锐边缘特征点云，尖锐边缘特征包括屋顶边缘、外墙角、建筑物侧面等结构点云；

步骤S3，如图4所示，利用基于距离和角度约束下的RANSAC算法，对三维建筑物原 始模型尖锐边缘特征进行三维直线提取。首先RANSAC算法随机在图像数据通过了所述的尖 锐边缘特征提取之后的点云数据中选择两个最小子集，即随机抽取两个点和，并计算此直线AB的参数L。参数L可以表示为：

；

式中，表示每个点云的x轴上的坐标，表示每个点云的y轴上的坐标，表示每 个点云的z轴上的坐标；

然后，开始计算直线和直线外的点的空间距离。假设此点为，在本实 施例中即为计算空间直线AB外某一点到直线AB的距离。空间距离的计算公式 为：

；

同时空间距离和给定的距离阈值比较，执行邻域搜索检测距离阈值范围中 所有提取尖锐边缘特征后的点云个数，将距离内的点云认定为内点，集合内点数据得 到对应的点云数据集合记为。当内点数量大于点云数据集合给定的内点数量时输出此 直线模型。点云数据集合表示为：

；

式中，表示点云数据集合中坐标为的点，记作，表示 非负整数集，代表点云数据集合中点的数量。

所述距离约束算法用于改进RANSAC算法，在初步生成直线模型时，增加对于空间 直线上的点和点之间的距离与欧式距离阈值的对比判断，用 于排除距离过大的点对，当距离时，不输出此直线模型，以此来减少误差。直线上两点 的距离可表示为：

；

所述角度约束算法用于改进RANSAC算法包括三个阶段，第一阶段为计算每组三维 直线的方向向量，假设一组三维直线，每一条直线由两个点表示，分别为和。每一条 直线都有一个方向向量，表示指向的方向。方向向量可表示为：

；

其中，和分别表示直线的两个端点，表示为模长。

第二个阶段为创建无序映射，创建一个无序映射(使用方向向量作为键)，其中 每个方向向量对应一个直线列表。可表示为：

；

第三个阶段为计算夹角余弦相似性，在每次迭代中，当找到一条新的直线并计 算其方向向量时，遍历现有的方向向量并计算它们之间的相似性。并使用夹角余弦 相似性来度量相似性。相似性可表示为：

；

如果相似性高于某个给定的阈值(可以表示为)，则直线被视为与直线有相 似的方向，因此它应该合并到中，否则，如果相似性低于阈值，则将直线视为具有新 的方向，创建一个新的方向向量作为新的键，并将直线添加到一个新的直线列表 中，最终将得到包含各个方向的三维直线数据集，最后从三维直线数据集中计算每一个方 向中的最长的三维直线。

步骤S4：使用提取出来的每一个方向中的最长的三维直线替换三维建筑物原始点 云，并利用线约束生成无纹理的三维建筑物模型，即在模型重建的过程中利用三维直线对 于模型进行约束使得模型沿着直线方向建模。如图5所示，利用提取的三维直线数据集对于 三维建筑物原始模型点云进行替换。在优化中，引入线约束概念，通常涉及到定义一个能量 函数。该函数量化了模型与线约束的一致性，通过最小化这个能量函数来优化模型，能 量函数的计算公式如下：

；

其中是用于保持模型光滑性的正则化项，是用于线约束的正则 化项：

；

其中、和分别表示对、和的二阶偏导数，描述了模型表面 在三维空间中的位置，其中是表面上的点的坐标。这个函数的导数（一阶和二阶偏 导数）用于度量表面的变化和曲率，进而在正则化项中引入平滑性的惩罚。表示一个正则 化参数。

线约束的正则化项通过测量线条与生成模型之间的距离来定义：

；

其中是线约束的数量，是线约束的权重，用于调整线约束对整体优化目标的 相对影响，即通过调整参数来调整约束范围，是模型中对应线约束的点到线约束的最短 距离。

优化目标是找到模型的最优参数，使得总能量最小，通过不断更新模型参数来逐步降低能量函数的值，最终得到符合线约束的无纹理的三维建筑物模型。

步骤S5；利用无人机图像对生成的无纹理的三维建筑物模型进行纹理映射。

本发明实施例使用优化好的三维建筑物模型以及步骤S3中获取的三维直线数据集进行准确性测试，将测试结果与真实标签进行精度评估，评估指标公式如下：

；

；

；

；

其中，为去除噪声的比率，为原始模型的偏差度，为完成优化模型的偏 差度，为最终模型优化程度；表示在提取三维直线时所包含的点云数量；表示在 边缘检测中所包含的点云数量；表示原始模型的投影线上的一个 点；表示优化模型的投影线上的一个点；表示直线的斜率、表 示直线与y轴的截距、表示直线与x轴的截距；相邻两平面的交线为理想线，理想线的方程 为。和越大越好，和越小越好。

选取去除噪声的比率、提取的三维直线数量（本方法提取的三维直线数量对应步骤S3提取得到的最长的三维直线的总数量）、原始模型的偏差度、完成优化模 型的偏差度、最终模型优化程度，这五个具有代表性的三维直线提取数据以及模型 优化程度数据。选用例如传统的RANSAC算法和最小二乘算法，与本发明实施例所述的基于 距离和角度约束下的RANSAC算法进行对比分析，采用3个不同的三维建筑物模型进行对比 试验，得到的三维直线提取数据。同时为了准确评估模型优化结果，选择了建筑物模型相邻 平面的交线作为理想线，并将理想线和模型投影到xy平面上，以计算、和三个指 标，同时对三个软件：三维城市模型生成中心软件（ContextCapture Center Master），照相 机位姿和三维模型生成软件（Agisoft Metashape），无人机图像处理软件（Pix4Dmapper）生 成的三维建筑物模型进行优化，在三种软件中所使用的图像数据为同一组无人机图像。得 到的三维直线提取和模型优化结果详见表1和表2。在表1中，数据对比中可以发现RANSAC算 法和最小二乘算法提取了几乎全部的三维线段，其中包括三个点甚至是两个点的组成的三 维线段，导致这一原因的结果是两种算法对于判断点云之间是否是符合条件的线段没有加 以约束，进而将点云数据中的点云几乎全部的进行提取而不进行过滤。从提取到的三维线 段这组数据可以发现改进后的算法能够提取出更加精准的线段，而另外两种算法它们都存 在着数据量大等相同缺点。而本发明所改进的算法能够良好的排除噪声的干扰。最高达到 76.7%的噪声去除率。有效的提取出完整的边缘轮廓中的三维线段。这对于后续的实景三维 模型修复有着极大的帮助。

表1三种算法提取三维直线结果统计：

表2基于本发明实施例所述的方法对三种软件生成三维模型优化结果统计：

其中，模型1有树木遮挡，模型2为重叠纹理模型，模型3为弱纹理模型。本发明实施例所述的方法在对利用无人机图像进行三维建筑物模型优化中得到高度的优化结果，本发明实施例所述的方法能有效减弱三维建筑物模型的歪曲、边缘凹凸不平的结果，能够满足传统三维建筑物模型优化的需要，从图像的角度避免了复杂的改进过程。

从图6、图7、图8、图9的建模结果可以看出，本发明实施例所述的在直线几何结构约束下无人机图像三维建筑物建模方法对模型优化具有较高的精度，图6为本发明实施例测试模型中的模型3的三维建筑物原始模型结果，图7为图6中三维建筑物原始模型A处（方框框出部分）的细节示意图，图8为图6对应的优化后的三维建筑物模型，图9为图8中优化后的三维建筑物模型B处（方框框出部分）的细节结果示意图。可见，本发明能够精确快速的实现实景三维建筑物模型优化，在提取性能上表现最优。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种直线几何结构约束下无人机图像三维建筑物建模方法，其特征在于，包括如下步骤：

步骤S1，利用无人机图像生成实景三维建筑物原始模型数据；

步骤S2，提取通过对无人机图像数据进行处理后的三维建筑物原始模型中的点云数据，并对所述三维建筑物原始模型中的点云数据进行边缘和轮廓的特征提取，生成所述三维建筑物原始模型的尖锐边缘特征点云；提取三维建筑物原始模型的尖锐边缘特征点云的方式包括体素网格滤波、最近邻搜索树领域搜索；

所述体素网格滤波，用于对输入的点云数据进行降采样；

所述最近邻搜索树领域搜索，用于提取三维建筑物模型点云表面法线，利用所述表面法线计算各个点云的曲率值，并根据曲率值判断三维建筑物点云表面的尖锐边缘特征，以此来实现特征提取，得到最终的三维建筑物原始模型尖锐边缘特征；

步骤S3，利用基于距离和角度约束下的RANSAC算法，通过对图像数据进行处理，对三维建筑物原始模型尖锐边缘特征进行三维直线提取；基于距离和角度约束下的RANSAC算法包括RANSAC算法、距离约束算法、角度约束算法；

所述RANSAC算法，用于在三维点云中搜索最佳直线；

所述距离约束算法，用于改进RANSAC算法，在利用RANSAC算法搜索最佳直线时添加点云距离约束条件，剔除识别到的直线中点云之间距离大于阈值的直线；

所述角度约束算法，用于改进RANSAC算法，将位于同一方向上的三维直线进行合并，在每次迭代中，计算每个检测到的直线的方向向量，并将每个方向的直线存储在一个无序映射中，以方向向量作为键；并且从存储的每个方向的直线中提取出最长的直线，从而提高三维直线拟合的准确性；

步骤S4，使用提取出来的各个方向上最长的直线替换三维建筑物原始点云，并利用线约束生成无纹理的三维建筑物模型；

步骤S5，利用无人机图像对生成的无纹理的三维建筑物模型进行纹理映射。

2.根据权利要求1所述的直线几何结构约束下无人机图像三维建筑物建模方法，其特征在于，步骤S1中，利用无人机图像生成实景三维建筑物原始模型数据的具体方法为：

步骤S101，对无人机图像进行处理，对齐图像同时添加POS数据并进行空间三角测量获取密集点云数据；

步骤S102，利用密集点云数据进行匹配生成网格并利用图像生成纹理，得到三维建筑物原始模型。

3.根据权利要求1所述的直线几何结构约束下无人机图像三维建筑物建模方法，其特征在于，步骤S2中，所述体素网格滤波包括六个阶段，第一阶段从三维建筑物原始模型中获取原始点云数据，并将原始点云数据表示为大量离散的三维点，每个点包含坐标信息属性；第二阶段为体素化阶段，将三维空间划分为若干小立方体，形成体素网格，同时将原始点云中的点根据其坐标分配到相应的体素中；第三个阶段为滤波半径定义阶段，确定体素滤波的半径，即用于滤波操作的体素邻域的大小；第四个阶段为邻域操作阶段，针对每个体素，定义一个包含其邻域内点的子集，对邻域内的点执行滤波操作；第五个阶段为点云更新阶段，根据滤波操作的结果更新每个体素中心的值，代表对应体素区域的特征；第六个阶段为输出结果阶段，获得经过体素滤波处理后的点云数据。

4.根据权利要求3所述的直线几何结构约束下无人机图像三维建筑物建模方法，其特征在于，步骤S2中，所述最近邻搜索树领域搜索包括七个阶段，第一阶段为数据输入阶段，输入体素滤波处理后的点云数据，其中每个点包含三维坐标信息；第二个阶段为树的构建阶段，在选定的维度上找到中位数，将点云数据分成两半，形成当前节点的左子树和右子树，递归地对左右子树进行相同的分割操作，构建最近邻搜索树；第三个阶段为领域搜索阶段，对于每个查询点，通过最近邻搜索树进行领域搜索，通过迭代地沿树搜索路径，找到与查询点最近的一组邻域内的点，用于计算表面曲率；第四个阶段为局部邻域定义阶段，定义用于计算表面曲率的局部邻域，通常以查询点为中心，包含一定数量或半径范围内的点；第五个阶段为计算法向量阶段，在局部邻域内，使用点云数据拟合法平面或法线；第六个阶段为计算曲率阶段，基于计算得到的法向量计算表面曲率；第七个阶段为输出结果阶段，获得每个查询点处的表面曲率信息，并根据信息提取尖锐边缘特征，获得三维建筑物原始模型的尖锐边缘特征点云。

5.根据权利要求1所述的直线几何结构约束下无人机图像三维建筑物建模方法，其特征在于，步骤S3中，利用基于距离和角度约束下的RANSAC算法，通过对图像数据进行处理，对三维建筑物原始模型尖锐边缘特征进行三维直线提取的具体方法为：给定抽样次数，然后从三维建筑物原始模型的尖锐边缘特征点云中随机抽取两个最小子集，记为点和点/>，并计算直线AB的参数L；执行邻域搜索检测距离阈值/>范围中所有提取尖锐边缘特征后的点云个数，获得内点数据组成点云数据集合/>，选择内点数量最多的集合形成直线模型；然后根据距离约束算法对抽取出来的每组最小子集进行判断，计算形成直线模型对应的点/>和点/>之间的距离/>，剔除距离/>大于欧式距离阈值/>的直线模型；然后通过角度约束算法判断直线模型中直线的相似性，对直线模型中的直线进行分类拟合，筛选出最终的符合条件的三维直线数据集，并从三维直线数据集中计算每一个方向中的最长的三维直线。

6.根据权利要求5所述的直线几何结构约束下无人机图像三维建筑物建模方法，其特征在于，所述距离约束算法具体为，通过对于空间直线上的点和点/>之间的距离/>与欧式距离阈值/>的对比判断，用于排除距离过大的点对，当直线上两点间的距离/>大于欧式距离阈值/>时，不输出此直线模型，以此来减少误差；直线上两点间的距离/>的计算公式表示为：

。

7.根据权利要求5所述的直线几何结构约束下无人机图像三维建筑物建模方法，其特征在于，所述角度约束算法包括三个阶段，第一阶段为计算每组三维直线的方向向量，假设一组三维直线，每一条直线由两个点表示，分别为和/>；每条直线/>都有一个方向向量，表示/>指向/>的方向；第二个阶段为创建无序映射，创建一个无序映射/>，使用方向向量作为键，其中每个方向向量/>对应一个直线列表/>；第三个阶段为计算夹角余弦相似性，在每次迭代中，当找到一条新的直线/>并计算其方向向量/>时，遍历现有的方向向量并计算它们之间的相似性，并使用夹角余弦相似性来度量相似性；如果相似性高于阈值，则直线/>被视为与直线/>有相似的方向，因此将直线/>合并到/>中，否则，如果相似性低于阈值/>，则将直线/>视为具有新的方向，创建一个新的方向向量/>，并将直线/>添加到一个新的直线列表/>中，最终得到包含各个方向的三维直线数据集，最后从三维直线数据集中计算每一个方向中的最长的三维直线。

8.根据权利要求1所述的直线几何结构约束下无人机图像三维建筑物建模方法，其特征在于，步骤S4中，利用线约束生成无纹理的三维建筑物模型时，通过能量函数量化模型与线约束的一致性，并通过最小化能量函数/>来优化模型，能量函数/>的计算公式如下：

；

其中，是用于保持模型光滑性的正则化项，/>是用于线约束的正则化项；

；

其中，、/>和/>分别表示/>对/>、/>和/>的二阶偏导数，/>描述了模型表面在三维空间中的位置，其中/>是表面上的点的坐标，/>表示一个正则化参数；

线约束的正则化项通过测量线条与生成模型之间的距离来定义：

；

其中，是线约束的数量，/>是线约束的权重，/>是模型中对应线约束的点到线约束的最短距离；

通过不断更新模型参数来逐步降低能量函数的值，最小的能量函数的值对应的模型参数为最优参数，对应得到符合线约束的无纹理的三维建筑物模型。