CN112085845B - 基于无人机影像的室外场景快速三维重建装置 - Google Patents

Abstract

本发明公开了一种基于无人机影像的室外场景快速三维重建装置，包括无人机模块、稀疏点云构建模块和三维场景构建模块。无人机模块包括无人机和无人机地面站，无人机上携带相机和通信装置；稀疏点云构建模块通过OpenMP多线程处理机制，提取每个网格区域中的特征点，对相邻的图像进行特征匹配；三维场景构建模块，将各个深度图融合，得到各个图像簇的稠密点云；采用基于多视图几何算法进行网格重建，合并各个簇的重建结果，得到整个场景的三维结构。本发明装置使用并行网格式特征提取，极大的提高了重建速度；通过点云分块与网格分块，减轻内存压力，加快了重建速度。

Description

基于无人机影像的室外场景快速三维重建装置

技术领域

本发明涉及无人机技术领域和三维重建领域，具体涉及一种基于无人机影像的室外场景快速三维重建装置。

背景技术

当前，无人机在室外或者野外应用中，对一个场景实现快速的、全面的三维重建，在野外的林业资源保护、火灾和地震的灾后抢救、边境安防、油田或者海上平台油气设施、电力设施监测等领域都有十分重要的应用价值。

对于野外场景的三维重建需求，如果基于卫星平台来实现，存在分辨率不足的问题，无法清晰构建出野外的三维场景。对于较精确的雷达激光扫描重建，既有造价昂贵的缺点，又十分笨重，在野外环境中进行三维重建十分不方便。传统的基于图像的三维重建方法大多存在运行时间长、时效性差、对设备要求高等缺点，无法满足抢险救灾、军事侦察、边境安防等快速重建的需求。针对这种需求下的快速甚至实时地三维重建，传统的方法并不能很好地解决这一问题。具体来说，传统的基于图像的三维重建方法存在如下三个方面的问题：(1)该类方法对于输入的图像数据质量要求很高，并且对于野外大场景的三维重建效果较差；(2)该类方法使用无人机进行三维重建的过程中，一般是先利用无人机全部拍摄完场景后，返回后，再对拍摄的图像进行处理，对拍摄的场景进行三维重建，不具备时效性；(3)无人机拍摄的图片分辨率很高，数据量大，传统的重建方法十分耗时，不能达到快速重建甚至实时重建的要求。

因此，发明一种基于无人机影像的室外场景快速三维重建装置是十分有必要的，并且具备精确、廉价、快速等特点的野外场景三维重建装置可以应用到很多领域，具有重要的应用价值。

发明内容

本发明目的是公开一种基于无人机影像的室外场景快速三维重建装置。该装置。通过无人机拍摄野外场景的图像，实时的将图片进行回传，在接收后，快速的进行三维重建，达到快速重建野外场景的目的。

本发明公开了一种基于无人机影像的室外场景快速三维重建装置，包括无人机模块、稀疏点云构建模块和三维场景构建模块；无人机模块的输出作为稀疏点云构建模块的输入，稀疏点云构建模块的输出作为三维场景构建模块的输入；

所述的无人机模块，包括无人机和无人机地面站，无人机上携带相机和通信装置，无人机地面站用于对航拍区域进行划分，并对无人机的飞行路径进行之字形规划，无人机拍摄的正射影像完全覆盖所需拍摄的场景，无人机所携带的相机用于拍摄需重建场景的单目视觉图像序列，无人机通信装置用于实时将所拍摄图片与实时动态载波相位差分信息回传给无人机地面站；无人机地面站用于接收无人机拍摄的图片，并采用OpenMP多线程处理机制，对图片进行尺度缩放，提取图片中的GPS信息；无人机地面站还用于根据图片中的GPS信息，确定图片的邻接关系，对图片进行排序，并将图片按照每10张作为一个簇，将所有图片簇发送给稀疏点云构建模块；

所述的稀疏点云构建模块，用于接收由无人机地面站发送的所有图片簇，并利用该图片簇构建稀疏点云；稀疏点云构建模块包括特征提取子模块、均匀化处理子模块、特征匹配子模块、相机三维空间姿态和场景三维坐标获取子模块、稀疏点云获取子模块、点云去噪分块子模块；特征提取子模块的输出作为均匀化处理子模块的输入，均匀化处理子模块的输出作为特征匹配子模块的输入，特征匹配子模块的输出作为相机三维空间姿态和场景三维坐标获取子模块的输入，相机三维空间姿态和场景三维坐标获取子模块的输出作为稀疏点云获取子模块的输入，稀疏点云获取子模块的输出作为点云去噪分块子模块的输入；

所述的三维场景构建模块，用于接收稀疏点云构建模块发送的稀疏点云，并根据该稀疏点云构建整个场景的三维结构；三维场景构建模块包括图像模板生成子模块、深度图融合子模块、网格重建与优化子模块、纹理贴图子模块、重建合并子模块；图像模板生成子模块的输出作为深度图融合子模块的输入、深度图融合子模块的输出作为网格重建与优化子模块的输入、网格重建与优化子模块的输出作为纹理贴图子模块的输入、纹理贴图子模块的输出作为重建合并子模块的输入。

稀疏点云构建模块所包含的特征提取子模块，用于通过OpenMP多线程处理机制，并行地对每个簇中的图片进行网格式区域划分，提取每个网格区域中的特征点，并对特征点进行描述；

稀疏点云构建模块所包含的均匀化处理子模块，用于对图像每个网格区域中的特征点进行均匀化处理，即分别计算相邻特征点之间的欧式距离,如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，全部保留；

稀疏点云构建模块所包含的特征匹配子模块，用于利用图像的中GPS信息作为先验信息，只对相邻的图像进行特征匹配，在匹配的过程中，对于误匹配的情况，采用随机抽样一致(Random Sample Consensus,RANSAC)算法来剔除误匹配的点；

稀疏点云构建模块所包含的相机三维空间姿态和场景三维坐标获取子模块，用于根据匹配的特征点，通过全局式运动恢复结构(Structure From Motion，SFM)获取相邻图片之间的对应关系，初步获取相机在三维空间中的姿态和场景三维坐标；

稀疏点云构建模块所包含的稀疏点云获取子模块，用于根据图像中的GPS信息，利用光束法平差来优化相机姿态参数，得到各个图像簇的稀疏点云；

稀疏点云构建模块所包含的点云去噪分块子模块，用于对各个簇的稀疏点云进行去噪，并对稀疏点云进行分块，将一整块大的点云数据切割成诸多小块，并将稀疏点云构建模块处理得到的稀疏点云深度图，发送给三维场景构建模块。

三维场景构建模块所包含的图像模板生成子模块，用于采用边缘检测方法生成图像模板，通过图像模板来约束感兴趣区域；

三维场景构建模块所包含的深度图融合子模块，用于基于深度图融合的方法，将各个稀疏点云深度图融合，得到各个图像簇的稠密点云；

三维场景构建模块所包含的网格重建与优化子模块，用于在网格重建时，首先进行网格分块，再采用基于多视图几何算法进行网格重建，并对重建后的网格进行优化，以提高网格质量，增强三维重建细节；

三维场景构建模块所包含的纹理贴图子模块，用于对网格重建后的模型进行纹理贴图，附上纹理信息，复原真实的三维模型；

三维场景构建模块所包含的重建合并子模块，用于合并各个簇的重建结果，得到整个场景的三维结构。

所述的无人机模块，无人机所搭载的相机需要带有实时动态载波相位差分功能，无人机在拍摄场景时,同时记录拍摄点位的GPS信息。

所述的特征提取子模块，将每个簇中的图片均匀的划分成10*10的网格区域；采用OpenMP多线程处理机制，并行提取网格中的特征点，并对特征点进行描述；所述的稀疏点云构建模块，其提取特征点的具体过程为：构造图像金字塔；提取FAST角点；利用灰度质心法，计算旋转角度；计算旋转后的BRIEF描述子；对每个簇中的图片进行提取特征点。

所述的均匀化处理子模块，其计算图像每个网格区域中特征点之间的欧式距离，网格区域中两个特征点的坐标分别为M点(x1，y1)，N点(x2，y2)，那么这两特征点之间的欧式距离是：

如果MN值小于10个像素，则删除其中任意一个特征点，如果MN值大于或等于10个像素，则全部保留这两个特征点，从而将图像每个网格区域中的特征点均匀化，确保整幅图片特征点更均匀。

所述的特征匹配子模块，采用快速层级哈希匹配方法对相邻图像之间进行特征匹配，利用局部敏感哈希将一个图像上的特征点映射成为一个哈希编码，在利用特征计算两幅图像之间匹配的时候，对于第一幅图像上的某个特征点，搜索第二幅图像上和该特征点哈希编码的欧式距离小于某个阈值的特征点，然后根据特征描述符的相似性和比率测试确定最终的匹配。

所述的特征匹配子模块，其所用的随机抽样一致算法，其具体步骤包括：

S1，首先从数据集中随机选出一组局内点，其数目要保证能够求解出模型的所有参数，计算出相应的模型参数；S2，用得到的模型去测试其他所有的数据点，如果某点的误差在设定的误差阈值之内，就判定其为局内点，否则为局外点，只保留目前为止局内点数目最多的模型，并将其记录为最佳模型；S3，重复执行S1和S2两步骤达到预设的迭代次数后，使用最佳模型对应的局内点来最终求解模型参数，使用最小二乘法优化算法进行求解；S4，最后通过估计局内点与模型的错误率进行模型评估，根据评估结果剔除误匹配的点。

所述的相机三维空间姿态和场景三维坐标获取子模块，在得到图像中特征点的匹配关系后，根据匹配的特征点，通过全局式运动恢复结构方法(Structure From Motion，SFM)获取相邻图片之间的对应关系，依次建立局部图像和全局图像的相对旋转和平移矩阵，从而估算相机位姿和场景三维坐标。

所述的稀疏点云获取子模块，使用光束法平差依次对相机位姿和场景点云进行优化，具体包括：优化全局平移矩阵T和观测点；优化全局旋转矩阵R、全局平移矩阵T和观测点；优化相机内外参数、全局旋转矩阵R、全局平移矩阵T和观测点；分别根据角度误差和像素残差进行两次外点剔除，并最终对所有参数进行一次全局光束法平差操作，进而得到各个图像簇的稀疏点云。

所述的点云去噪分块子模块，对稀疏点云进行去噪，通过计算点云的平均点距d，当三维点云的k邻近最小点距大于10倍d时，则认为该点为噪声点，并从稀疏点中剔除该点；将各个簇的稀疏点云根据点云数量平均分成五块，在后续对点云的操作中，分别对各点云块进行操作。

所述的深度图融合子模块，基于深度图融合的方法，首先将每张图像进行对应，即通过旋转、平移坐标变换对两张图像进行匹配，这些对应信息从全局式运动恢复结构方法结果得到，然后再根据同一个空间点在各个深度图中对应的深度信息来共同估计该空间点的三维位置；在深度图融合后，进行三维点云精简处理，进而保证稠密点云的精确性。

所述的深度图融合子模块，基于深度图融合的方法，将各个深度图融合，得到各个图像簇的稠密点云，该过程具体包括：在稀疏点云的基础上，使用三角网法构网，内插生成初始深度图、初始法线图以及置信度图；采用边缘检测方法生成图像模板，利用图像模板约束感兴趣区域，避免物体检测的遗漏；在初始的深度图信息的基础上，利用基于归一化互相关值(Normalized Cross Correlation，NCC)的随机传播深度图进行检测优化；对于当前像素位置，如果其邻近像素的归一化互相关值代价更好，则使用邻近像素的深度值代替当前深度值，并重新计算其法线和置信度；在稀疏点云整体深度值范围内，等间隔获得深度值，法向量指向相机位置，计算其对应的置信度，如果该置信度小于当前置信度，则使用该深度值代替当前深度值，以缩小最优深度查找范围；在当前深度值给定范围内随机估算深度信息，如果随机估算的置信度小于当前置信度时，则使用随意估算的深度信息作为当前深度信息；对优化后的深度图进行滤波：移除置信度太大即可靠性低的深度值；移除小连通域；为保证深度图内连续性，计算空白部分周边平均深度，填补深度图中空白部分；当每张图像的深度图计算完成后，对深度图进行融合，如果图像数量多，在深度图融合前进行二维点云精简，即对每张深度图进行规则格网精简；根据每张图像的深度图融合结果，生成完整的深度图：深度图融合后生成的三维点云，根据可用内存计算其支持处理的三维点云最大点数n，如果深度图融合后生成的三维点云点数大于n,则进行三维点云精简处理；使用稀疏点云对稠密点云进行补全；通过判断稀疏三维点周围是否存在稠密点，决定该稀疏点是否补足到稠密点云中；由于在计算深度图的时候，采用了图像模板约束感兴趣区域，这就导致稠密点云中会出现一些区域不存在三维点，这就需要使用稀疏点云对稠密点云进行补全；通过判断稀疏三维点周围是否存在稠密点，决定该稀疏点是否补足到稠密点云中；通过以上步骤，进而得到各个图像簇的稠密点云。

所述的网格重建与优化子模块，在网格分块阶段，首先通过获取实时内存使用率确定可用内存的大小；然后建立内存大小与图像块尺寸之间的对应关系；最后通过预估像素分辨率，将图像块的大小转换到网格局部坐标系下网格块的大小。

所述的纹理贴图子模块，对网格重建后的模型进行纹理贴图，附上纹理信息，首先根据网格中三角形在每幅图像的信息，找出每个三角形的最优图像；然后对纹理块之间的接缝进行颜色调整，减小接缝处的色差；最后合并纹理块，生成一张纹理图像；建立纹理图像中纹理像素和网格模型顶点之间的映射关系，进而对网格重建后的模型进行纹理贴图，复原真实的三维模型。

所述的重建合并子模块，根据各所述稠密点云对应的位移及所述旋转坐标变换，对各个图像簇对应的稠密点云进行融合，在融合的过程中剔除一些重叠的点云，进而得到整个场景的三维信息。

本发明装置的有益效果包括：

(1)本发明装置能够实现准实时三维重建，能够依据无人机图像快速生成目标区域的三维地理环境，相较于其他传统测绘方法，时效性强，非常适合机动侦察、灾害评估和区域监控等领域应用。

(2)本发明装置具有三维重建高清晰特点，无人机飞行高度可控、图像分辨率可调，均可通过该装置实现，其图像分辨率可以达到厘米级，对于局部区域的信息获取非常重要。

(3)本发明装置具有轻量级特点，其对基础算力要求并不高，完全可以基于野外机动处理单元实现，并且非常适合基于GPU等并行处理模块进行优化，具有非常好的拓展前景。

附图说明

为了更加清楚地介绍本发明具体实施方案，下面对具体实施例中所使用的附图进行简要的介绍。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1是本发明提出的一种基于无人机影像的室外场景快速三维重建装置的实施流程图；

图2是本发明装置的无人机拍摄场景时的飞行路径示意图；

图3是本发明装置的无人机航拍传输及三维重建系统的整体架构图；

图4是本发明装置对航拍图像进行分簇的示意图；

图5是本发明装置对航拍图像进行网格式提取特征点的示意图；

图6是本发明装置处理稀疏点云到稠密点云的流程图；

图7是本发明装置的网格分块示意图；

图8是本发明装置所实施的三维重建方法的结果示意图。

具体实施方式

为了更好的了解本发明内容，这里给出一个实施例。

实施例：一种基于无人机影像的室外场景快速三维重建装置

图1给出了一种基于无人机影像的室外场景快速三维重建装置的实施流程图。本实施例公开了一种基于无人机影像的室外场景快速三维重建装置，包括无人机模块、稀疏点云构建模块和三维场景构建模块；

所述的无人机模块，包括无人机和无人机地面站，无人机上携带相机和通信装置，无人机地面站用于对航拍区域进行划分，并对无人机的飞行路径进行之字形规划，无人机拍摄的正射影像完全覆盖所需拍摄的场景，无人机所携带的相机用于拍摄需重建场景的单目视觉图像序列，无人机通信装置用于实时将所拍摄图片与实时动态载波相位差分信息回传给无人机地面站；无人机地面站接收无人机拍摄的图片后，采用OpenMP多线程处理机制，对图片进行尺度缩放，并提取图片中的GPS信息；无人机地面站根据图片中的GPS信息，确定图片的邻接关系，对图片进行排序，并将图片按照每10张作为一个簇，将所有图片簇发送给稀疏点云构建模块；

所述的稀疏点云构建模块，对接收到的由无人机地面站发送的所有图片簇，通过OpenMP多线程处理机制，并行地对每个簇中的图片进行网格式区域划分，提取每个网格区域中的ORB特征点，并对特征点进行描述；对图像每个网格区域中的特征点进行均匀化处理，即分别计算相邻特征点之间的欧式距离,如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，全部保留。利用图像的中GPS信息作为先验信息，只对相邻的图像进行特征匹配；在匹配的过程中，对于误匹配的情况，采用随机抽样一致(Random Sample Consensus,RANSAC)算法来剔除误匹配的点。根据匹配的特征点，通过全局式运动恢复结构(Structure From Motion，SFM)获取相邻图片之间的对应关系，初步获取相机在三维空间中的姿态和场景三维坐标。根据图像中的GPS信息，利用光束法平差来优化相机姿态参数，得到各个图像簇的稀疏点云。对各个簇的稀疏点云进行去噪，并对稀疏点云进行分块，将一整块大的点云数据切割成诸多小块。采用边缘检测方法生成图像模板，通过图像模板来约束感兴趣区域。稀疏点云构建模块处理得到的稀疏点云深度图，发送给三维场景构建模块。

所述的三维场景构建模块，基于深度图融合的方法，将各个深度图融合，得到各个图像簇的稠密点云。在网格重建时，首先进行网格分块，再采用基于多视图几何算法进行网格重建，并对重建后的网格进行优化，以提高网格质量，增强三维重建细节。对网格重建后的模型进行纹理贴图，附上纹理信息，复原真实的三维模型。最后，合并各个簇的重建结果，得到整个场景的三维结构。

下面对各个模块进行详细阐述。

所述的无人机模块，首先确定无人机拍摄野外场景的具体范围，并对无人机的飞行路径进行规划，这里选用之字形往返式的规划路径方式。图2是本发明装置的无人机拍摄场景时的飞行路径示意图。如图2所示，这种方式对于无人机的飞行具有简单、便捷的特点，飞行路线大多都是直线，转弯的次数较少，消耗的能量也较少，并且可以完全覆盖所需要拍摄的场景。

所述的无人机模块，无人机所搭载的相机需要带有实时动态载波相位差分功能，无人机在拍摄场景时,同时记录拍摄点位的GPS信息。

图3为无人机航拍传输及三维重建系统的整体架构图。在无人机拍摄图像后，需要将图像以及相应的实时动态载波相位差分信息实时回传给地面站。

地面站在接收到无人机拍摄的图片后，需要对图片进行降采样，并提取图片中的GPS信息。这里采用OpenMP多线程处理机制，通过并行运行，提高处理速度。

根据图片中的GPS信息，确定图片的邻接关系，将图片按顺序进行排列，这种有序的图片序列可以为后续的特征匹配节省很多时间。图片按顺序排列好之后，将图片按照每10张分成一个簇，后续就是对图像簇进行操作，各个图像簇之间采用并行处理，提高处理效率。

所述的稀疏点云构建模块，将每个簇中的图片均匀的划分成10*10的网格区域。采用OpenMP多线程处理机制，并行提取网格中的特征点，并对特征点进行描述。图4是本发明装置的对航拍图像进行分簇的示意图。

所述的稀疏点云构建模块，其提取特征点的具体过程如下：

构造图像金字塔；提取FAST角点；利用灰度质心法，计算旋转角度；计算旋转后的BRIEF描述子；对每个簇中的图片进行提取特征点。

由于图像特征点具有区分性好，对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性等优点，因此这里通过提取特征点完成后续三维重建。同时，特征提取的速度很快，满足实时性要求，因此本发明装置使用特征提取算子对图像集进行特征提取。图5是本发明装置对航拍图像进行网格式提取特征点的示意图。

所述的稀疏点云构建模块，其计算图像每个网格区域中特征点之间的欧式距离，网格区域中两个特征点的坐标分别为M点(x1，y1)，N点(x2，y2)，那么这两特征点之间的欧式距离是：

如果MN值小于10个像素，则删除其中任意一个特征点，如果MN值大于或等于10个像素，则全部保留这两个特征点，从而将图像每个网格区域中的特征点均匀化，确保整幅图片特征点更均匀。

所述的稀疏点云构建模块，采用快速层级哈希匹配方法对相邻图像之间进行特征匹配，利用局部敏感哈希将一个图像上的特征点映射成为一个哈希编码，在利用特征计算两幅图像之间匹配的时候，对于第一幅图像上的某个特征点，搜索第二幅图像上和该特征点哈希编码的欧式距离小于某个阈值的特征点，然后根据特征描述符的相似性和比率测试确定最终的匹配。

所述的稀疏点云构建模块，提取了图像的特征点之后，需要对图像进特征匹配。在接收图像后已经根据GPS信息对图像顺序进行了排序，在特征匹配阶段，只需要对各个图像簇中相邻的两幅图像进行特征匹配，对于n张输入图像，能够将匹配阶段的时间复杂度从O(n²)降低到O(n)。只对相邻的图片进行特征匹配，大大减少了匹配时间。

对于特征匹配，包括多种两两图像之间的匹配算法可供选择。对于基于标量的特征描述符，有暴力匹配、近似最近邻匹配、层级哈希匹配和快速层级哈希匹配四种方式。对于二进制描述符，主要为暴力匹配。暴力匹配对参考图像中的每个特征点，在另一幅待匹配图上计算所有特征点和该点欧式距离，再利用距离比等条件进行剔除，最终得到匹配集。该方法时间复杂度较高，搜索效率较低。近似最近邻匹配的方法针对大数据集时它的效果要好于暴力匹配。层级哈希匹配和快速层级哈希匹配主要是利用局部敏感哈希将一个图像上的特征点映射成为一个哈希编码，在利用特征计算两幅图像之间的匹配的时候，对于第一幅图像上的某个特征点，搜索第二幅图像上和该特征点哈希编码的汉明距离小于某个阈值的特征点，然后根据特征描述符的相似性和比率测试确定最终的匹配。其中快速层级哈希匹配在速度上更快，利用预先计算好的散列区域，提升了匹配速度。这里采用快速层级哈希匹配方法对相邻图像之间进行特征匹配。

在匹配的过程中，会存在一些误匹配的情况，这对后期的三维重建会产生很大的影响，所以这里需要剔除匹配错误的特征点，这里采用随机抽样一致算法(RANSAC)来剔除误匹配的点。RANSAC算法可以从一组包含“外点”的观测数据集中，通过迭代方式估计数学模型的参数，进而剔除误匹配的点。

所述的稀疏点云构建模块，其所用的随机抽样一致算法，其具体步骤包括：首先从数据集中随机选出一组局内点，其数目要保证能够求解出模型的所有参数，计算出相应的模型参数。用得到的模型去测试其他所有的数据点，如果某点的误差在设定的误差阈值之内，就判定其为局内点，否则为局外点，只保留目前为止局内点数目最多的模型，并将其记录为最佳模型。重复执行步骤S61和步骤S62一定次数后，即达到预设的迭代次数后，使用最佳模型对应的局内点来最终求解模型参数，使用最小二乘法优化算法进行求解。最后通过估计局内点与模型的错误率进行模型评估，根据评估结果剔除误匹配的点。

所述的稀疏点云构建模块，在得到图像中特征点的匹配关系后，根据匹配的特征点，通过全局式运动恢复结构方法(Structure From Motion，SFM)获取相邻图片之间的对应关系，依次建立局部图像和全局图像的相对旋转和平移矩阵，从而估算相机位姿和场景三维坐标。

所述的稀疏点云构建模块，在计算相对旋转矩阵时，利用五点法求解本质矩阵E，然后对E矩阵进行SVD分解，选择一组最优解作为两图像之间的相对旋转矩阵。

E矩阵的SVD分解如下：

E＝U∑V^T，

其中U，V为正交矩阵，∑为奇异值矩阵。

无人机拍摄的图像中包含有GPS信息，利用图像和GPS间的约束，使用光束法平差对相机的姿态位置进行优化调整，得到准确的相机位姿以及场景路标点，使用全局式运动恢复结构方法来输出各个图像簇的稀疏点云。

所述的稀疏点云构建模块，使用光束法平差依次对相机位姿和场景点云进行优化，具体包括：优化全局平移矩阵T和观测点；优化全局旋转矩阵R、全局平移矩阵T和观测点；优化相机内外参数、全局旋转矩阵R、全局平移矩阵T和观测点。分别根据角度误差和像素残差进行两次外点剔除，并最终对所有参数进行一次全局光束法平差操作，进而得到各个图像簇的稀疏点云。

所述的稀疏点云构建模块，对稀疏点云进行去噪，通过计算点云的平均点距d，当三维点云的k邻近最小点距大于10倍d时，则认为该点为噪声点，并从稀疏点中剔除该点。k的典型取值为6。

将各个簇的稀疏点云根据点云数量平均分成五块，在后续对点云的操作中，分别对各点云块进行操作。该操作可减少内存压力，提高处理速度。

所述的三维场景构建模块，对于重建的场景中会包含房屋、道路以及一些人造建筑，为了避免这些物体检测的遗漏，采用边缘检测方法生成图像模板，确定这些物体的轮廓，进而约束感兴趣区域。在计算图像深度时，防止约束区域中物体的遗漏，提升重建精度。

所述的三维场景构建模块，计算出每张图像的深度图之后，采用基于深度图融合的方法，将这些深度图融合，得到各个图像簇的稠密点云。

所述的三维场景构建模块，基于深度图融合的方法，首先将每张图像进行对应，即通过旋转、平移等坐标变换对两张图像进行匹配，这些对应信息从全局式运动恢复结构方法结果得到，然后再根据同一个空间点在各个深度图中对应的深度信息来共同估计该空间点的三维位置；在深度图融合后，进行三维点云精简处理，进而保证稠密点云的精确性。

图6是本发明装置处理稀疏点云到稠密点云的流程图。

所述的三维场景构建模块，基于深度图融合的方法，将各个深度图融合，得到各个图像簇的稠密点云，该过程具体包括：在稀疏点云的基础上，使用三角网法构网，内插生成初始深度图、初始法线图以及置信度图；采用边缘检测方法生成图像模板，利用图像模板约束感兴趣区域，避免物体检测的遗漏。在初始的深度图信息的基础上，利用基于归一化互相关值(Normalized Cross Correlation，NCC)的随机传播深度图进行检测优化。对于当前像素位置，如果其邻近像素的归一化互相关值代价更好，则使用邻近像素的深度值代替当前深度值，并重新计算其法线和置信度；在稀疏点云整体深度值范围内，等间隔获得深度值，法向量指向相机位置，计算其对应的置信度，如果该置信度小于当前置信度，则使用该深度值代替当前深度值，以缩小最优深度查找范围；在当前深度值给定范围内随机估算深度信息，如果随机估算的置信度小于当前置信度时，则使用随意估算的深度信息作为当前深度信息；对优化后的深度图进行滤波：移除置信度太大即可靠性低的深度值；移除小连通域；为保证深度图内连续性，计算空白部分周边平均深度，填补深度图中空白部分；当每张图像的深度图计算完成后，对深度图进行融合，如果图像数量多，在深度图融合前进行二维点云精简，即对每张深度图进行规则格网精简。根据每张图像的深度图融合结果，生成完整的深度图：深度图融合后生成的三维点云，根据可用内存计算其支持处理的三维点云最大点数n，如果深度图融合后生成的三维点云点数大于n,则进行三维点云精简处理。使用稀疏点云对稠密点云进行补全。通过判断稀疏三维点周围是否存在稠密点，决定该稀疏点是否补足到稠密点云中。由于在计算深度图的时候，采用了图像模板约束感兴趣区域，这就导致稠密点云中会出现一些区域不存在三维点，这就需要使用稀疏点云对稠密点云进行补全。通过判断稀疏三维点周围是否存在稠密点，决定该稀疏点是否补足到稠密点云中。通过以上步骤，进而得到各个图像簇的稠密点云。

所述的三维场景构建模块，在网格分块阶段，首先通过获取实时内存使用率确定可用内存的大小；然后建立内存大小与图像块尺寸之间的对应关系；最后通过预估像素分辨率，将图像块的大小转换到网格局部坐标系下网格块的大小。图7是本发明提出的网格分块示意图。

在网格重建部分，采用基于多视图几何算法进行网格重建，并对重建后的网格进行优化，以提高网格质量，增强三维重建细节。其中需要进行网格剖分，将网格中三个顶点不能同时投影到一幅图像上的三角形，剖分成多个小三角形，并判断三角形三个顶点是否能同时投影到一幅图像，如果不能，就将其移除，从而解决网格空洞问题。

所述的三维场景构建模块，对网格重建后的模型进行纹理贴图，附上纹理信息，首先根据网格中三角形在每幅图像的信息，找出每个三角形的最优图像；然后对纹理块之间的接缝进行颜色调整，减小接缝处的色差；最后合并纹理块，生成一张纹理图像；建立纹理图像中纹理像素和网格模型顶点之间的映射关系，进而对网格重建后的模型进行纹理贴图，复原真实的三维模型。

所述的三维场景构建模块，根据各所述稠密点云对应的位移及所述旋转坐标变换，对各个图像簇对应的稠密点云进行融合，在融合的过程中剔除一些重叠的点云，进而得到整个场景的三维信息。三维重建的结果如图8所示。

综上，本发明提供一种基于无人机影像的室外场景快速三维重建装置。通过对无人机飞行路径的规划，在航拍图像的过程中，进行实时的回传，并对其进行快速的三维重建，提升了野外场景三维重建的效率和效果。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于无人机影像的室外场景快速三维重建装置，其特征在于，包括无人机模块、稀疏点云构建模块和三维场景构建模块，无人机模块的输出作为稀疏点云构建模块的输入，稀疏点云构建模块的输出作为三维场景构建模块的输入；

所述的无人机模块，包括无人机和无人机地面站，无人机上携带相机和通信装置，无人机地面站用于对航拍区域进行划分，并对无人机的飞行路径进行之字形规划，无人机拍摄的正射影像完全覆盖所需拍摄的场景，无人机所携带的相机用于拍摄需重建场景的单目视觉图像序列，无人机通信装置用于实时将所拍摄图片与实时动态载波相位差分信息回传给无人机地面站；无人机地面站用于接收无人机拍摄的图片，并采用OpenMP多线程处理机制，对图片进行尺度缩放，提取图片中的GPS信息；无人机地面站还用于根据图片中的GPS信息，确定图片的邻接关系，对图片进行排序，并将图片按照每10张作为一个簇，将所有图片簇发送给稀疏点云构建模块；

所述的稀疏点云构建模块，用于接收由无人机地面站发送的所有图片簇，并利用该图片簇构建稀疏点云；稀疏点云构建模块包括特征提取子模块、均匀化处理子模块、特征匹配子模块、相机三维空间姿态和场景三维坐标获取子模块、稀疏点云获取子模块、点云去噪分块子模块；特征提取子模块的输出作为均匀化处理子模块的输入，均匀化处理子模块的输出作为特征匹配子模块的输入，特征匹配子模块的输出作为相机三维空间姿态和场景三维坐标获取子模块的输入，相机三维空间姿态和场景三维坐标获取子模块的输出作为稀疏点云获取子模块的输入，稀疏点云获取子模块的输出作为点云去噪分块子模块的输入；

所述的三维场景构建模块，用于接收稀疏点云构建模块发送的稀疏点云，并根据该稀疏点云构建整个场景的三维结构；三维场景构建模块包括图像模板生成子模块、深度图融合子模块、网格重建与优化子模块、纹理贴图子模块、重建合并子模块；图像模板生成子模块的输出作为深度图融合子模块的输入、深度图融合子模块的输出作为网格重建与优化子模块的输入、网格重建与优化子模块的输出作为纹理贴图子模块的输入、纹理贴图子模块的输出作为重建合并子模块的输入；

所述的稀疏点云构建模块所包含的特征提取子模块，用于通过OpenMP多线程处理机制，并行地对每个簇中的图片进行网格式区域划分，提取每个网格区域中的特征点，并对特征点进行描述；

所述的稀疏点云构建模块所包含的均匀化处理子模块，用于对图像每个网格区域中的特征点进行均匀化处理，即分别计算相邻特征点之间的欧式距离,如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，全部保留；

所述的稀疏点云构建模块所包含的特征匹配子模块，用于利用图像的中GPS信息作为先验信息，只对相邻的图像进行特征匹配，在匹配的过程中，对于误匹配的情况，采用随机抽样一致(Random Sample Consensus,RANSAC)算法来剔除误匹配的点；

所述的稀疏点云构建模块所包含的相机三维空间姿态和场景三维坐标获取子模块，用于根据匹配的特征点，通过全局式运动恢复结构(Structure From Motion，SFM)获取相邻图片之间的对应关系，初步获取相机在三维空间中的姿态和场景三维坐标；

所述的稀疏点云构建模块所包含的稀疏点云获取子模块，用于根据图像中的GPS信息，利用光束法平差来优化相机姿态参数，得到各个图像簇的稀疏点云；

所述的稀疏点云构建模块所包含的点云去噪分块子模块，用于对各个簇的稀疏点云进行去噪，并对稀疏点云进行分块，将一整块大的点云数据切割成诸多小块，并将稀疏点云构建模块处理得到的稀疏点云深度图，发送给三维场景构建模块；

所述的三维场景构建模块所包含的图像模板生成子模块，用于采用边缘检测方法生成图像模板，通过图像模板来约束感兴趣区域；

所述的三维场景构建模块所包含的深度图融合子模块，用于基于深度图融合的方法，将各个稀疏点云深度图融合，得到各个图像簇的稠密点云；

所述的三维场景构建模块所包含的网格重建与优化子模块，用于在网格重建时，首先进行网格分块，再采用基于多视图几何算法进行网格重建，并对重建后的网格进行优化，以提高网格质量，增强三维重建细节；

所述的三维场景构建模块所包含的纹理贴图子模块，用于对网格重建后的模型进行纹理贴图，附上纹理信息，复原真实的三维模型；

所述的三维场景构建模块所包含的重建合并子模块，用于合并各个簇的重建结果，得到整个场景的三维结构；

所述的深度图融合子模块，基于深度图融合的方法，首先将每张图像进行对应，即通过旋转、平移坐标变换对两张图像进行匹配，这些对应信息从全局式运动恢复结构方法结果得到，然后再根据同一个空间点在各个深度图中对应的深度信息来共同估计该空间点的三维位置；在深度图融合后，进行三维点云精简处理，进而保证稠密点云的精确性；

所述的深度图融合子模块，基于深度图融合的方法，将各个深度图融合，得到各个图像簇的稠密点云，该过程具体包括：在稀疏点云的基础上，使用三角网法构网，内插生成初始深度图、初始法线图以及置信度图；采用边缘检测方法生成图像模板，利用图像模板约束感兴趣区域，避免物体检测的遗漏；在初始的深度图信息的基础上，利用基于归一化互相关值(Normalized Cross Correlation，NCC)的随机传播深度图进行检测优化；对于当前像素位置，如果其邻近像素的归一化互相关值代价更好，则使用邻近像素的深度值代替当前深度值，并重新计算其法线和置信度；在稀疏点云整体深度值范围内，等间隔获得深度值，法向量指向相机位置，计算其对应的置信度，如果该置信度小于当前置信度，则使用该深度值代替当前深度值，以缩小最优深度查找范围；在当前深度值给定范围内随机估算深度信息，如果随机估算的置信度小于当前置信度时，则使用随意估算的深度信息作为当前深度信息；对优化后的深度图进行滤波：移除置信度太大即可靠性低的深度值；移除小连通域；为保证深度图内连续性，计算空白部分周边平均深度，填补深度图中空白部分；当每张图像的深度图计算完成后，对深度图进行融合，如果图像数量多，在深度图融合前进行二维点云精简，即对每张深度图进行规则格网精简；根据每张图像的深度图融合结果，生成完整的深度图：深度图融合后生成的三维点云，根据可用内存计算其支持处理的三维点云最大点数n，如果深度图融合后生成的三维点云点数大于n,则进行三维点云精简处理；使用稀疏点云对稠密点云进行补全；通过判断稀疏三维点周围是否存在稠密点，决定该稀疏点是否补足到稠密点云中；由于在计算深度图的时候，采用了图像模板约束感兴趣区域，这就导致稠密点云中会出现一些区域不存在三维点，这就需要使用稀疏点云对稠密点云进行补全；通过判断稀疏三维点周围是否存在稠密点，决定该稀疏点是否补足到稠密点云中；通过以上步骤，进而得到各个图像簇的稠密点云。

2.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的无人机模块，无人机所搭载的相机需要带有实时动态载波相位差分功能，无人机在拍摄场景时,同时记录拍摄点位的GPS信息。

3.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的特征提取子模块，将每个簇中的图片均匀的划分成10*10的网格区域；采用OpenMP多线程处理机制，并行提取网格中的特征点，并对特征点进行描述；所述的稀疏点云构建模块，其提取特征点的具体过程为：构造图像金字塔；提取FAST角点；利用灰度质心法，计算旋转角度；计算旋转后的BRIEF描述子；对每个簇中的图片进行提取特征点。

4.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的均匀化处理子模块，其计算图像每个网格区域中特征点之间的欧式距离，网格区域中两个特征点的坐标分别为M点(x1，y1)，N点(x2，y2)，那么这两特征点之间的欧式距离是：

如果MN值小于10个像素，则删除其中任意一个特征点，如果MN值大于或等于10个像素，则全部保留这两个特征点，从而将图像每个网格区域中的特征点均匀化，确保整幅图片特征点更均匀。

5.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的特征匹配子模块，采用快速层级哈希匹配方法对相邻图像之间进行特征匹配，利用局部敏感哈希将一个图像上的特征点映射成为一个哈希编码，在利用特征计算两幅图像之间匹配的时候，对于第一幅图像上的某个特征点，搜索第二幅图像上和该特征点哈希编码的欧式距离小于某个阈值的特征点，然后根据特征描述符的相似性和比率测试确定最终的匹配。

6.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的特征匹配子模块，其所用的随机抽样一致算法，其具体步骤包括：

S1，首先从数据集中随机选出一组局内点，其数目要保证能够求解出模型的所有参数，计算出相应的模型参数；S2，用得到的模型去测试其他所有的数据点，如果某点的误差在设定的误差阈值之内，就判定其为局内点，否则为局外点，只保留目前为止局内点数目最多的模型，并将其记录为最佳模型；S3，重复执行S1和S2两步骤达到预设的迭代次数后，使用最佳模型对应的局内点来最终求解模型参数，使用最小二乘法优化算法进行求解；S4，最后通过估计局内点与模型的错误率进行模型评估，根据评估结果剔除误匹配的点。

7.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的相机三维空间姿态和场景三维坐标获取子模块，在得到图像中特征点的匹配关系后，根据匹配的特征点，通过全局式运动恢复结构方法(Structure From Motion，SFM)获取相邻图片之间的对应关系，依次建立局部图像和全局图像的相对旋转和平移矩阵，从而估算相机位姿和场景三维坐标。

8.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的稀疏点云获取子模块，使用光束法平差依次对相机位姿和场景点云进行优化，具体包括：优化全局平移矩阵T和观测点；优化全局旋转矩阵R、全局平移矩阵T和观测点；优化相机内外参数、全局旋转矩阵R、全局平移矩阵T和观测点；分别根据角度误差和像素残差进行两次外点剔除，并最终对所有参数进行一次全局光束法平差操作，进而得到各个图像簇的稀疏点云。

9.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的点云去噪分块子模块，对稀疏点云进行去噪，通过计算点云的平均点距d，当三维点云的k邻近最小点距大于10倍d时，则认为该点为噪声点，并从稀疏点中剔除该点；将各个簇的稀疏点云根据点云数量平均分成五块，在后续对点云的操作中，分别对各点云块进行操作。

10.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的网格重建与优化子模块，在网格分块阶段，首先通过获取实时内存使用率确定可用内存的大小；然后建立内存大小与图像块尺寸之间的对应关系；最后通过预估像素分辨率，将图像块的大小转换到网格局部坐标系下网格块的大小。

11.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的纹理贴图子模块，对网格重建后的模型进行纹理贴图，附上纹理信息，首先根据网格中三角形在每幅图像的信息，找出每个三角形的最优图像；然后对纹理块之间的接缝进行颜色调整，减小接缝处的色差；最后合并纹理块，生成一张纹理图像；建立纹理图像中纹理像素和网格模型顶点之间的映射关系，进而对网格重建后的模型进行纹理贴图，复原真实的三维模型。

12.如权利要求1所述的基于无人机影像的室外场景快速三维重建装置，其特征在于，所述的重建合并子模块，根据各所述稠密点云对应的位移及所述旋转坐标变换，对各个图像簇对应的稠密点云进行融合，在融合的过程中剔除一些重叠的点云，进而得到整个场景的三维信息。

Images