CN107657660A - 一种基于等距正视摄影测量约束的无人机视觉快速三维重建方法 - Google Patents

Abstract

一种基于等距正视摄影测量约束的无人机视觉快速三维重建方法。首先使用地形粗略的DEM信息进行地形建模与拍摄方式规划，加上等距正视的摄影约束，最后使用具有约束的视频序列和规划信息进行快速精确的三维重建。使用快速关键帧选择方法进行关键帧的选择，包含关键帧的粗定位和精确验证。同时使用有规划的匹配方法进行匹配，从而大量减少无效的匹配运算，提升重建的整体精度。最终依次使用稀疏点云重建、点云生长和表面重建的方法进行场景的三维表达。本发明具有成本低、场景信息获取精确、重建效率大大提升、重建详细程度提升等特点，适合于野外自然环境下快速精确的地形三维表达，有力推动了低空摄影测量和计算机视觉在室外环境下的应用。

Description

一种基于等距正视摄影测量约束的无人机视觉快速三维重建 方法

技术领域

本发明涉及摄影测量和三维重建领域，具体涉及摄影约束条件下基于无人机视觉的三维重建。

背景技术

当前，机器人在室外或者野外应用中，对于一个场景的动态覆盖是重要的，目标是实现一个全面的、动态更新的点云加纹理的模型。可以应用于野外的林业、珍稀动植物资源保护上；对边境安防、森林防火、油田或者海上平台油气设施、电力设施监测都有价值。

现在对于野外覆盖常用卫星，无人机等。对卫星来说，存在分辨率不足的问题，对于航空影像来说，当前往往是竖直向下或某个固定角度的拍摄方式，所以对于山体的覆盖是有一定的损失的。而对于较精确的雷达激光扫描重建，既有造价昂贵的缺点，又不能图像化的展示三维模型。因此，迫切需要一种廉价、精确、快速的野外场景覆盖与三维重建的方法。

发明内容

本发明目的是针对现有室外场景三维重建技术没有充分利用野外场景的粗略DEM信息和无人机的飞行规划的问题，提出了一种基于等距正视摄影测量约束的快速三维重建方法，该方法首先使用野外场景DEM信息进行无人机视频获取方式的规划，之后利用规划信息和飞行记录进行快速精确三维重建。

本发明采用的技术方案是：

一种基于等距正视摄影测量约束的无人机视觉快速三维重建方法，所述方法包括：

步骤1、利用场景粗略的DEM信息进行地形建模。

步骤2、在步骤1建模的二维平面上对无人机路径进行之字形规划，之后使用等距正视的约束进行三维的扩展，获取三维地形的等距正视视觉覆盖规划路径，使用无人机安装可控云台相机进行拍摄，进而获取分辨率一致的，精确、详细的视频序列。所述的正视是指相机中心点与投影中心点的连线是投影中心点位置处曲面的法线方向；等距亦即等高是指遍历过程中相机位置与投影中心点的距离是一个定值。

步骤3、使用步骤2获取的有规划的视频序列进行快速、精确的三维重建，首先进行关键帧的选择，即使用无人机的规划信息和飞行记录进行粗略的关键帧定位。

步骤4、之后按发生概率从大到小的顺序对步骤3定位的初始关键帧进行检测，包括图像模糊、特征点匹配较少、匹配比例较少、图像退化现象；对于符合各个条件的，则确定为关键帧；如果至少有一项不符合条件，则寻找附近的视频帧进行验证，直至找到合适的关键帧。

步骤5、使用步骤4确定的无人机记录的关键帧的图像位置进行图像间匹配的规划，确定图像之间的匹配关系，避免无效的匹配计算。由于规划的方式，将匹配选取分为行内选取和行间选取，避免行内匹配较密而行间匹配较疏的情况，提升重建的有效性。

步骤6、使用步骤5选取的关键帧和匹配规划进行匹配和三维重建，获取场景精确的三维表达。

步骤7、对于一个兴趣区域，一次规划后可多次进行遍历飞行，即重复步骤2至步骤6，用以监测不同时刻的场景状态，完成动态建模。

本发明提出了一个能精确、快速进行场景三维重建的方法，并且可以多次进行操作，动态建模。视频获取时使用等距正视两个约束，从而获取精确的、分辨率一致的场景视频序列。三维重建时使用规划信息和飞行记录进行快速关键帧选择和匹配方式的规划，减少关键帧选取和匹配时大量无效的与匹配误差较大的匹配计算，提升重建的效率。使用发生概率的概念将各个限制条件进行排序，优先判断出现概率较大的情况，用以减少无效的判断流程。且一次规划后可对地形进行动态建模，可分时段多次飞行获取视频，最后进行更新重建或者显示实时重建效果。

本发明的优点和有益效果：

第一，本发明中使用了粗略的地形DEM信息进行地形建模与视频获取方式的规划，提出了等距正视的视频获取方式，能获取最精确的场景视频信息，并且有助于之后的三维重建过程。

第二，本发明中利用飞行规划信息和无人机记录信息进行关键帧的粗略定位，大量减少关键帧的选择时间，并且使用发生概率的概念进行进一步的效率提升。

第三，本发明中利用规划方法和记录信息进行匹配方式的规划，降低无效匹配的运算时间，提升三维重建效率。

第四，本发明的规划方法可实现环境动态建模，一次规划后可多次在不同时间段进行重复，无需重复规划测定。

附图说明

图1是本发明的结构框图。

图2是具体实施例的实验区域实景图。

图3是具体实施例的拟合表面。

图4是具体实施例兴趣区域的无人机规划路径点。

图5是四行匹配连接示意图。

图6是具体实施例的点云重建结果展示。

图7是具体实施例的表面重建结果展示。

图8是具体实施例的实验结果对比图。

具体实施方式

实施例

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更清楚明确的界定。

本发明实例按照如图1所示步骤，进行规划飞行拍摄，之后进行重建。

步骤1、选取典型的拥有起伏地形的环境，如图2所示，首先获取所选区域的DEM信息，本实例中使用全站仪进行测量获取，较大地形可直接对DEM信息进行购买获取。

步骤2、对DEM信息进行平滑建模处理，依次进行插值和曲面拟合，获取可进行平滑规划的粗略地形模型，如图3。

步骤3、对地形模型进行遍历拍摄的规划，首先在二维平面上对无人机路径进行之字形规划，之后使用等距正视的约束将规划扩展至三维空间，进行3D之字形规划，仅选取兴趣区域作为试验区域，如图4，获取飞行路径点和云台指示方向。

步骤4、使用无人机安装可控的云台相机，按照规划的路径点和拍摄方向进行视频序列的获取。

步骤5、根据无人机的规划信息和飞行记录信息进行快速关键帧选择，首先使用这些辅助信息进行关键帧的粗略定位选择，之后按照限制条件出现的概率从大到小依次进行精确验证，包括图像模糊、特征点匹配数量、特征点匹配比例、图像退化现象，对于图像模糊，使用已有的图像模糊判定方法设定阈值进行判断；对于特征点匹配数量和比例是使用设定的阈值，大于则为符合，否则为不符合；对于图像退化现象，如果存在图像退化想象，如两帧之间相机仅仅是绕光轴旋转的情况就是图像退化现象，则判定为不符合条件，判定依据也使用已有的退化现象判据来进行判断，这四个条件全部符合则确定为关键帧，有一条不符合则选取定位点相邻的其它帧来验证，直至符合以上所有约束条件，则选取为关键帧。

步骤6、同样根据辅助信息进行匹配方式的规划，现有技术中的一般方法是用距离最近的几个关键帧之间匹配，没有考虑地面的投影问题。而本发明的规划方法可同时考虑地面投影的重叠问题，提升了匹配的有效性。并且我们分为行内和行间进行分别匹配规划，如图5的四行匹配连接示意图的结果，避免了行内匹配较多，而行间匹配很少的情况(如果仅仅按照距离最近进行匹配，有行内的距离小于行间的距离，会导致行内匹配过多而行间匹配过少的情况)。

步骤7、使用关键帧与其匹配方式进行特征点的匹配，最后依次进行点云重建和表面重建，点云重建结果如图6，表面重建结果如图7，重建中各个步骤的数据对比如图8。

步骤8、在一次规划之后，隔一段时间需要更新场景时，可按照之前的规划采集方法进行重复操作，可方便获取最新场景建模结果。

综上,本发明提供一种完整的基于有规划无人机视频的三维重建技术方案。使用地形粗略DEM信息进行规划，使用规划信息和飞行记录进行快速的三维重建。同时提升野外地形三维重建的效率和效果。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种基于等距正视摄影测量约束的无人机视觉快速三维重建方法，其特征在于，所述方法包括：

步骤1、利用场景粗略的DEM信息进行地形建模；

步骤2、在步骤1建模的二维平面上对无人机路径进行之字形规划，之后使用等距正视的约束进行三维的扩展，获取三维地形的等距正视视觉覆盖规划路径，进而获取精确、详细的视频序列；

步骤3、使用步骤2获取的有规划的视频序列进行快速、精确的三维重建，首先进行关键帧的选择，使用无人机的规划信息和飞行记录进行粗略的关键帧定位；

步骤4、按发生概率从大到小对步骤3定位的关键帧进行检测，包括图像模糊、特征点匹配较少、匹配比例较少、图像退化现象；对于符合各个条件的，则确定为关键帧；如果至少有一项不符合条件，则寻找附近的视频帧进行验证，直至找到合适的关键帧；

步骤5、使用步骤4确定的无人机记录的关键帧的图像位置进行图像间匹配的规划，确定图像之间的匹配关系，避免无效的匹配计算；由于规划的方式，将匹配选取分为行内选取和行间选取，避免行内匹配较密而行间匹配较疏的情况，提升重建的有效性；

步骤6、使用步骤5选取的关键帧和匹配规划进行匹配和三维重建，获取场景精确的三维表达。

2.根据权利要求1所述的基于等距正视摄影测量约束的无人机视觉快速三维重建方法，其特征在于，该方法还包括：

步骤7、对于一个兴趣区域，一次规划后可以多次进行遍历飞行，即重复步骤2至步骤6，用以监测不同时刻的场景状态，完成动态建模。

3.根据权利要求1所述的基于等距正视摄影测量约束的无人机视觉快速三维重建方法，其特征在于，步骤2中，所述的正视是指相机中心点与投影中心点的连线是投影中心点位置处曲面的法线方向，等距亦即等高是指遍历过程中相机位置与投影中心点的距离是一个定值。