CN105678754A - 一种无人机实时地图重建方法 - Google Patents

Abstract

本发明提出一种无人机实时地图重建方法，应用无人机实时地获得其周围环境的三维地图以及实现对自身的定位。该方法中，无人飞行器在未知空域飞行，在自身位置不确定的条件下，通过对环境信息的探测和比较，对环境的特征信息的提取和匹配，来获取自身的定位以及进行三维地图的构建，还包括地理信息的融合和图像拼接技术。本发明可应用于战场需求(如无人机自主飞行、攻击)；火灾/地震/洪水等灾害应急救援；无人机治安管理监控等。本方法与现有方法相比，无论是位置漂移量、角度漂移量还是绝对误差都处于中上水平，本方法获取环境较多信息，而且与全稠密的方法相比，本方法的实验精度依然能够达到使用标准，而且能够直接在CPU上运行，实时性好。

Description

一种无人机实时地图重建方法

技术领域

本发明涉及计算机图像处理与地图测绘领域，具体为一种无人机实时地图重建方法，应用无人机实时地获得其周围环境的三维地图以及实现对自身的定位。

背景技术

传统的测绘技术将地面的特征点和界线通过测量手段(比如利用遥感、激光、超声波等)获得反映地面现状的图形和位置信息。传统的测绘技术对于传感器要求较高，虽然其测绘精度高，但是高成本和从信息采集到得出结果所需的时间长制约了传统测绘在一些场合(例如对时效性要求比较高)的应用。

基于计算机视觉的SLAM(SimultaneousLocalizationandMapping)，即同时定位与地图构建，由于其重要的理论与应用价值，一直以来都是学者研究的热点。但目前视觉SLAM的三维地图重建，还存在着运行速度较慢，达不到实时进行地图重建要求的问题。

发明内容

为解决现有技术存在的问题，本发明提出了一种无人机实时地图重建方法，在保证其鲁棒性(即重建精度)、在对传感器依赖比较少的前提下，最大限度利用获取到的图像信息，并通过高效的信息处理实现了实时三维环境重建。

本发明利用无人飞行器搭载相机，通过对其采集到的数据信息进行处理以实时地获取自身姿态和三维环境的地图。本文涉及：①基于视觉的SLAM、SFM(struct-from-motion)即运动中建图：无人飞行器在未知空域飞行，在自身位置不确定的条件下，通过对环境信息的探测和比较，对环境的特征信息的提取和匹配，来获取自身的定位以及进行三维地图的构建；②地理信息的融合：包括融入GPS信息；③图像拼接技术：基于特征点和直接图像对齐；本发明将可以应用于以下场合：战场需求(如无人机自主飞行、攻击)；火灾/地震/洪水等灾害应急救援；无人机治安管理监控等。

本发明的技术方案为：

所述一种无人机实时地图重建方法，其特征在于：包括以下步骤：

步骤1：对相机获取的第一帧图像进行如下处理：

步骤1.1：对第一帧图像进行去畸变处理，得到去畸变后的第一帧图像；

步骤1.2：对去畸变后的第一帧图像进行深度初始化：根据设定的灰度梯度阈值，筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点，并赋予所筛选出的像素点随机深度值；

步骤1.3：根据相机参数将步骤1.2中赋予深度值的像素点反投影回三维环境，得到初始化后的地图；

步骤1.4：将去畸变后的第一帧图像设置为关键帧；

步骤2：对相机实时获得的第i帧图像进行如下处理，i＝2,3,4……：

步骤2.1：对第i帧图像进行去畸变处理，得到去畸变后的第i帧图像；

步骤2.2：以当前关键帧为基准，进行去畸变后的第i帧图像与基准的图像对齐操作，得到第i帧到当前关键帧的位姿变化；

步骤2.3：根据当前关键帧对应的相机姿态，以及步骤2.2得到的第i帧到当前关键帧的位姿变化，得到第i帧对应的相机姿态和相机在局部坐标下的位置；

步骤2.4：根据设定的灰度梯度阈值，筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点，并根据相机参数和步骤2.3得到的第i帧对应的相机姿态，将筛选出的像素点反投影回三维环境，得到所筛选出的像素点深度值；并将所筛选出的带有深度值的像素点加入地图中；

步骤2.5：若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值，则用第i帧代替当前关键帧作为新的关键帧。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：

提取并存储每一个关键帧图像中的特征点；

若步骤2.2中图像对齐操作无法实现，则进行失败重建：

提取去畸变后的当前帧图像的特征点，将当前帧的特征点与存储的每一个关键帧图像中的特征点进行匹配，寻找成功匹配特征点个数最多的关键帧，若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40％，则以当前帧作为第一帧，返回步骤1；否则以该关键帧作为为基准，进行去畸变后的当前帧图像与基准的图像对齐操作，得到当前帧到当前关键帧的位姿变化；

根据基准对应的相机姿态，以及当前帧到当前关键帧的位姿变化，得到当前帧对应的相机姿态；

根据设定的灰度梯度阈值，筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯度阈值的像素点，并根据相机参数和当前帧对应的相机姿态，将筛选出的像素点反投影回三维环境，得到所筛选出的像素点深度值；并将所筛选出的带有深度值的像素点加入地图中；而后继续按照步骤2进行。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：采用快速角点检测方法提取特征点。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：步骤2.4中，将所筛选出的带有深度值的像素点加入地图的过程中，若某一像素点反投影后，在地图中对应的三维点的邻域内，已存在有地图三维点，则将该像素点反投影后在地图中对应的三维点，以及三维点邻域内的已存在的地图三维点去除，并将该像素点反投影后在地图中对应的三维点，与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：步骤2.5中，若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值，且第i帧与当前关键帧的帧数差不小于15帧，则用第i帧代替当前关键帧作为新的关键帧。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：步骤2.2中的图像对齐操作采用以下过程：

先设定第i帧到当前关键帧的位姿变化的初始值；根据第i帧到当前关键帧的位姿变化，将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境，再从三维环境投影到去畸变后的第i帧图像上，得到投影点；并在去畸变后的第i帧图像上找到，当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点；计算投影点与对应点的光度值残差和；迭代变化第i帧到当前关键帧的位姿变化，使光度值残差和最小。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：采用第i-1帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：步骤2.4中，得到所筛选出的像素点深度值后；采用图优化方法对第i帧对应的相机在局部坐标下的位置，以及所筛选出的带有深度值的像素点位置进行优化，将优化后的带有深度值的像素点加入地图中。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：在无人机实时地图重建过程中，通过卫星定位信号获得每一帧时刻下，无人机在世界坐标系下的轨迹信息X_n，n表示的是第n帧；并在无人机实时地图重建过程中，得到每一帧对应的相机在局部坐标系下的位置x_n；通过优化函数

$\underset{\mathrm{\δ}}{\mathrm{argmin}}\underset{n=1}{\overset{N}{\Σ}}{\left(T\right(x_n,\mathrm{\δ})-X_n)}^2$

得到优化函数取最小值对应的变换矩阵δ，其中N为无人机实时地图重建过程中的总帧数，T(x_n,δ)表示从局部坐标系到世界坐标系的投影转换函数，δ为从局部坐标系到世界坐标系的变换矩阵；根据得到的变换矩阵δ对应的投影转换函数，将重建得到的地图转换到世界坐标系下。

进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：当卫星定位信号频率小于帧频时，对于每一个卫星定位信号采集时刻t_n，得到无人机在世界坐标系下的轨迹信息X_n；并用采集时刻t_n前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻t_n下相机在局部坐标系下的位置x_n；通过优化函数

$\underset{\mathrm{\δ}}{\mathrm{argmin}}\underset{n=1}{\overset{N}{\Σ}}{\left(T\right(x_n,\mathrm{\δ})-X_n)}^2$

得到优化函数取最小值对应的变换矩阵δ，其中N为卫星定位信号的总采集点数，T(x_n,δ)表示从局部坐标系到世界坐标系的投影转换函数，δ为从局部坐标系到世界坐标系的变换矩阵；根据得到的变换矩阵δ对应的投影转换函数，将重建得到的地图转换到世界坐标系下。

有益效果

本发明提出的方法与诸多现有方法相比，无论是位置漂移量、角度漂移量还是绝对误差都处于中上水平，本方法获取环境较多信息，而且与全稠密的方法相比，本方法的实验精度依然能够达到使用标准，而且能够直接在CPU上运行，不用要求GPU，实时性好。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1：三角化投影确定像素深度示意图；

图2：直接图像对齐方法示意图；

图3：失败重建示意图；

图4：图优化方法示意图；

图5：拟合卫星导航数据示意图；

图6：相机获取的一帧原始图像；

图7：实时重建的三维点云图；

图8：使用无人机实时重建的地图；

图9：拼接后的地图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本实施例中的无人机实时地图重建方法包括以下步骤：

步骤1：对相机获取的第一帧图像进行如下处理：

步骤1.1：用事先获取的标定数据对第一帧图像进行去畸变处理，得到去畸变后的第一帧图像，用于后续处理。

步骤1.2：对去畸变后的第一帧图像进行深度初始化：根据设定的灰度梯度阈值，筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点，并赋予所筛选出的像素点随机深度值；这样的随机处理并不会影响后面的重建精度，因为通过几十帧的处理后，深度地图会逐渐趋近于一个准确的模型。

步骤1.3：根据相机参数将步骤1.2中赋予深度值的像素点反投影回三维环境，得到初始化后的地图；

步骤1.4：将去畸变后的第一帧图像设置为关键帧；提取并存储关键帧中的特征点。对于特征点检测的方法有：①SIFT、②SURF、③fast-corner(快速角点检测：通过高斯过滤，再角点检测)等，由于本发明旨在应用于实时生成环境三维地图，程序注重实时性，而前两种虽然精度高、效果好，但是其所需要的时间很长，不适合实时运行的情形，因此本步骤以及后续步骤中都采用fast-corner来检测特征点。

步骤2：对相机实时获得的第i帧图像进行如下处理，i＝2,3,4……：

步骤2.1：对第i帧图像进行去畸变处理，得到去畸变后的第i帧图像。

步骤2.2：当第i帧图像数据加载进来后，系统以当前关键帧为基准(即跟踪基础)，进行去畸变后的第i帧图像与基准的图像对齐操作，得到第i帧到当前关键帧的位姿变化。

由于帧率较高，相邻帧的差别(时间、空间)不是很大，在此假设在两帧这么小的时间间隔内，同一个像素的光度值不发生改变(变化很小，忽略不计)。本文直接通过比较两幅图像的光度值，通过最小化光度误差获得两帧间的位姿变化，即完成图像对齐操作：

先设定第i帧到当前关键帧的位姿变化的初始值。

根据第i帧到当前关键帧的位姿变化，将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境，再从三维环境投影到去畸变后的第i帧图像上，得到投影点；并在去畸变后的第i帧图像上找到，当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点；计算投影点与对应点的光度值残差和；迭代变化第i帧到当前关键帧的位姿变化，使光度值残差和最小。

由于帧率较高，导致了两帧间的位姿变化量在一个小区域内是近似不变的，因此可以采用第i-1帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。

利用相机的参数矩阵将像素点反投影到三维环境中是为了通过三角化，算出当前帧(即第i帧)与当前关键帧的姿态变化，即SE(3)变换：SE(3)是一个4×4的矩阵，表示位置和姿态变化(在相机投影方程中又称为外参矩阵)：

这个矩阵主要分为两大部分，其中从a₀₀到a₂₂为SO(3)，表示三维空间中姿态(角度)的变化，从T₀到T₂表示位置的变化，即(x,y,z)的变化量。SIM3由SE(3)加上Scale参数组成，SO(3)*s即可将SE(3)变成SIM3：

s表示Scale参数，用于仿射变换。

步骤2.3：根据当前关键帧对应的相机姿态，以及步骤2.2得到的第i帧到当前关键帧的位姿变化，得到第i帧对应的相机姿态和相机在局部坐标下的位置。

步骤2.4：根据设定的灰度梯度阈值，筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点，并根据相机参数和步骤2.3得到的第i帧对应的相机姿态，将筛选出的像素点反投影回三维环境，得到所筛选出的像素点深度值；并将所筛选出的带有深度值的像素点加入地图中。

由于目前整套系统前后依赖性强，为了减小来自传感器的误差对最终结果的影响，矫正每一步的位姿，这里采用图优化方法对第i帧对应的相机在局部坐标下的位置，以及所筛选出的带有深度值的像素点位置进行优化，将优化后的带有深度值的像素点加入地图中。公知的图优化方法公式为：

$\underset{x_k}{\mathrm{argmin}}{\mathrm{\Σe}}_k{(x_k,z_k)}^T{\mathrm{\Ω}}_k{e}_k(x_k,z_k)$

x_k表示前面定义的节点(也可以理解为状态)，Z_k表示边(也可以理解为约束)，e_k表示这些节点满足约束的状态(如果没有噪声及e_k＝0)，Ω_k表示引入的信息矩阵，及约束的置信度，如果误差大则它对应的置信度就小。定义完变量之后，我们要做的就是使整个误差函数降到最小，以达到全局最优的目的。在本方法中我们将地图点的三维位置和无人机的位姿定义为节点，将从图像到地图点的投影关系和相邻两帧之间的SE(3)的变化定义为边，信息矩阵包含两方面：地图点的被关键帧观测次数和图像中点的灰度梯度。

此外在步骤2.4中，将所筛选出的带有深度值的像素点加入地图的过程中，若某一像素点反投影后，在地图中对应的三维点的邻域(设定的某一小值)内，已存在有地图三维点，则将该像素点反投影后在地图中对应的三维点，以及三维点邻域内的已存在的地图三维点去除，并将该像素点反投影后在地图中对应的三维点，与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。

步骤2.5：若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值，则用第i帧代替当前关键帧作为新的关键帧。本实施例，为了提高运算速率，降低存储的数据量，这里要求若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值，且第i帧与当前关键帧的帧数差不小于15帧，则用第i帧代替当前关键帧作为新的关键帧。

关键帧的设立是由于其具有的位姿相对于前一个关键帧变化较大，其探测到的三维环境信息相比较于之前的关键帧有较大不同，因此将其设为一个标尺，用于扩展全局地图和检测后续的帧是否有较大的位姿变化。

在跟踪过程中，如果产生“丢帧”现象(可能的原因有：相机移动过快，导致当前帧与当前的关键帧的“差距”过大，无法在当前的关键帧上进行跟踪，如果这时不进行处理将导致前后创建的两个地图间没有一个紧密的“联系”，让之前的所有工作失去意义)，所以判断若步骤2.2中图像对齐操作无法实现，则进行失败重建：

提取去畸变后的当前帧图像的特征点，将当前帧的特征点与存储的每一个关键帧图像中的特征点进行匹配，寻找成功匹配特征点个数最多的关键帧，若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40％，则以当前帧作为第一帧，返回步骤1；否则以该关键帧作为为基准，进行去畸变后的当前帧图像与基准的图像对齐操作，得到当前帧到当前关键帧的位姿变化；

根据基准对应的相机姿态，以及当前帧到当前关键帧的位姿变化，得到当前帧对应的相机姿态；

根据设定的灰度梯度阈值，筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯度阈值的像素点，并根据相机参数和当前帧对应的相机姿态，将筛选出的像素点反投影回三维环境，得到所筛选出的像素点深度值；并将所筛选出的带有深度值的像素点加入地图中；而后继续按照步骤2进行。

由于上述重建出来的三维环境是基于局部坐标系下的，与真实三维环境在统一的尺度上不匹配，为了能够更好的应用重建地图，所以下面基于卫星定位信号进行拟合，将重建出来的三维环境在统一的尺度下匹配到真实三维环境中。

在无人机实时地图重建过程中，通过卫星定位信号获得每一帧时刻下，无人机在世界坐标系下的轨迹信息X_n，n表示的是第n帧；并在无人机实时地图重建过程中，得到每一帧对应的相机在局部坐标系下的位置x_n；通过优化函数

$\underset{\mathrm{\δ}}{\mathrm{argmin}}\underset{n=1}{\overset{N}{\Σ}}{\left(T\right(x_n,\mathrm{\δ})-X_n)}^2$

得到优化函数取最小值对应的变换矩阵δ，其中N为无人机实时地图重建过程中的总帧数，T(x_n,δ)表示从局部坐标系到世界坐标系的投影转换函数，δ为从局部坐标系到世界坐标系的变换矩阵；根据得到的变换矩阵δ对应的投影转换函数，将重建得到的地图转换到世界坐标系下。

另外，卫星定位信号频率往往小于帧频，而且卫星定位信号的采集时刻与图像采集时刻不严格对齐，此时，对于每一个卫星定位信号采集时刻t_n，得到无人机在世界坐标系下的轨迹信息X_n；并用采集时刻t_n前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻t_n下相机在局部坐标系下的位置x_n；通过优化函数

$\underset{\mathrm{\δ}}{\mathrm{argmin}}\underset{n=1}{\overset{N}{\Σ}}{\left(T\right(x_n,\mathrm{\δ})-X_n)}^2$

得到优化函数取最小值对应的变换矩阵δ，其中N为卫星定位信号的总采集点数，T(x_n,δ)表示从局部坐标系到世界坐标系的投影转换函数，δ为从局部坐标系到世界坐标系的变换矩阵；根据得到的变换矩阵δ对应的投影转换函数，将重建得到的地图转换到世界坐标系下。

下面给出重建的结果，包括实时和离线数据的测试结果，并与当前一些主流的视觉SLAM方法作比较，来评价系统性能。以下所有的测试都在mint17(基于Ubuntu14.04,64bit)上进行,8GRAM,不用GPU，主频3.50GHz。

表1：RGB-D基准测试结果比较

表2：绝对跟踪误差测试结果比较(单位cm)

	本专利方法	[3]	[4]	[5]	[6]
						fr2-xyz	1.46	3.78	24.29	1.21	2.7
Sim	0.36	2.31	-	0.14	-
						Sim-desk	0.05	1.54	-	0.26	-
fr2-desk	4.53	13.51	X	1.78	9.6

注:[1]方法为：DenseRGB-DOdometry；[2]方法为：PTAM(keypoint-based)；[3]方法为：semi-densemono-VO；[4]方法为：keypoint-basedmono-SLAM；[5]方法为：DirectRGB-DSLAM；[6]方法为：keypoint-basedRGB-DSLAM；—表示没有查到该方法的数据，X表示追踪失败(TrackingLost)；用作比较的数据来自ComputerVisionGroup；通过比较可以发现：本专利的方法无论是位置漂移量、角度漂移量还是绝对误差都处于中上水平，相比较其他的方法，我们的方法获取环境较多信息，同时与全稠密的方法，我们实验精度依然能够达到使用标准，而且能够直接在CPU上运行，不用要求GPU。

此外本方法也在无人机上验证了实时地图构建，如图8和图9所示。本系统中无人机上搭载了一台高清摄像机，通过高清图传将图像传输到地面的电脑，利用电脑运行的本系统软件能够实时计算得到大地的稀疏点云，利用解算的飞机位姿、点云、特征点将拍摄的图像实时拼接得到二维地图。通过本实验能够证明本发明方法能够在以实时重建地图。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种无人机实时地图重建方法，其特征在于：包括以下步骤：

步骤1：对相机获取的第一帧图像进行如下处理：

步骤1.1：对第一帧图像进行去畸变处理，得到去畸变后的第一帧图像；

步骤1.2：对去畸变后的第一帧图像进行深度初始化：根据设定的灰度梯度阈值，筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点，并赋予所筛选出的像素点随机深度值；

步骤1.3：根据相机参数将步骤1.2中赋予深度值的像素点反投影回三维环境，得到初始化后的地图；

步骤1.4：将去畸变后的第一帧图像设置为关键帧；

步骤2：对相机实时获得的第i帧图像进行如下处理，i＝2,3,4……：

步骤2.1：对第i帧图像进行去畸变处理，得到去畸变后的第i帧图像；

步骤2.2：以当前关键帧为基准，进行去畸变后的第i帧图像与基准的图像对齐操作，得到第i帧到当前关键帧的位姿变化；

步骤2.3：根据当前关键帧对应的相机姿态，以及步骤2.2得到的第i帧到当前关键帧的位姿变化，得到第i帧对应的相机姿态和相机在局部坐标下的位置；

步骤2.4：根据设定的灰度梯度阈值，筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点，并根据相机参数和步骤2.3得到的第i帧对应的相机姿态，将筛选出的像素点反投影回三维环境，得到所筛选出的像素点深度值；并将所筛选出的带有深度值的像素点加入地图中；

步骤2.5：若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值，则用第i帧代替当前关键帧作为新的关键帧。

2.根据权利要求1所述一种无人机实时地图重建方法，其特征在于：

提取并存储每一个关键帧图像中的特征点；

若步骤2.2中图像对齐操作无法实现，则进行失败重建：

提取去畸变后的当前帧图像的特征点，将当前帧的特征点与存储的每一个关键帧图像中的特征点进行匹配，寻找成功匹配特征点个数最多的关键帧，若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40％，则以当前帧作为第一帧，返回步骤1；否则以该关键帧作为为基准，进行去畸变后的当前帧图像与基准的图像对齐操作，得到当前帧到当前关键帧的位姿变化；

根据基准对应的相机姿态，以及当前帧到当前关键帧的位姿变化，得到当前帧对应的相机姿态；

根据设定的灰度梯度阈值，筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯度阈值的像素点，并根据相机参数和当前帧对应的相机姿态，将筛选出的像素点反投影回三维环境，得到所筛选出的像素点深度值；并将所筛选出的带有深度值的像素点加入地图中；而后继续按照步骤2进行。

3.根据权利要求2所述一种无人机实时地图重建方法，其特征在于：采用快速角点检测方法提取特征点。

4.根据权利要求1所述一种无人机实时地图重建方法，其特征在于：步骤2.4中，将所筛选出的带有深度值的像素点加入地图的过程中，若某一像素点反投影后，在地图中对应的三维点的邻域内，已存在有地图三维点，则将该像素点反投影后在地图中对应的三维点，以及三维点邻域内的已存在的地图三维点去除，并将该像素点反投影后在地图中对应的三维点，与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。

5.根据权利要求1所述一种无人机实时地图重建方法，其特征在于：步骤2.5中，若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值，且第i帧与当前关键帧的帧数差不小于15帧，则用第i帧代替当前关键帧作为新的关键帧。

6.根据权利要求1所述一种无人机实时地图重建方法，其特征在于：步骤2.2中的图像对齐操作采用以下过程：

先设定第i帧到当前关键帧的位姿变化的初始值；根据第i帧到当前关键帧的位姿变化，将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境，再从三维环境投影到去畸变后的第i帧图像上，得到投影点；并在去畸变后的第i帧图像上找到，当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点；计算投影点与对应点的光度值残差和；迭代变化第i帧到当前关键帧的位姿变化，使光度值残差和最小。

7.根据权利要求6所述一种无人机实时地图重建方法，其特征在于：采用第i-1帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。

8.根据权利要求1所述一种无人机实时地图重建方法，其特征在于：步骤2.4中，得到所筛选出的像素点深度值后；采用图优化方法对第i帧对应的相机在局部坐标下的位置，以及所筛选出的带有深度值的像素点位置进行优化，将优化后的带有深度值的像素点加入地图中。

9.根据权利要求1或8所述一种无人机实时地图重建方法，其特征在于：在无人机实时地图重建过程中，通过卫星定位信号获得每一帧时刻下，无人机在世界坐标系下的轨迹信息X_n，n表示的是第n帧；并在无人机实时地图重建过程中，得到每一帧对应的相机在局部坐标系下的位置x_n；通过优化函数

$\underset{\mathrm{\δ}}{\arg min}\underset{n=1}{\overset{N}{\Σ}}{\left(T\right(x_n,\mathrm{\δ})-X_n)}^2$

得到优化函数取最小值对应的变换矩阵δ，其中N为无人机实时地图重建过程中的总帧数，T(x_n,δ)表示从局部坐标系到世界坐标系的投影转换函数，δ为从局部坐标系到世界坐标系的变换矩阵；根据得到的变换矩阵δ对应的投影转换函数，将重建得到的地图转换到世界坐标系下。

10.根据权利要求1或8所述一种无人机实时地图重建方法，其特征在于：当卫星定位信号频率小于帧频时，对于每一个卫星定位信号采集时刻t_n，得到无人机在世界坐标系下的轨迹信息X_n；并用采集时刻t_n前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻t_n下相机在局部坐标系下的位置x_n；通过优化函数

$\underset{\mathrm{\δ}}{\arg min}\underset{n=1}{\overset{N}{\Σ}}{\left(T\right(x_n,\mathrm{\δ})-X_n)}^2$

得到优化函数取最小值对应的变换矩阵δ，其中N为卫星定位信号的总采集点数，T(x_n,δ)表示从局部坐标系到世界坐标系的投影转换函数，δ为从局部坐标系到世界坐标系的变换矩阵；根据得到的变换矩阵δ对应的投影转换函数，将重建得到的地图转换到世界坐标系下。