CN115507842A - 一种基于面元的轻量化无人机地图构建方法 - Google Patents

Abstract

本发明公开了一种基于面元的轻量化无人机地图构建方法，涉及无人机和地图构建领域。本发明包括以下步骤：对传感器获得的深度图像进行超像素提取，计算得到超像素的法向量，使用SLAM方法估计摄像机位姿，利用超像素信息和关键帧信息，进行面元提取工作，在位姿图中搜索局部一致关键帧，提取局部地图，融合局部面元，建立全局地图，融合面元。本发明减少了无人机地图的计算资源，可将其部署在计算和存储资源有限的无人机上；设置了一致性准则，保障了面元融合的精度，降低了面元地图的累积误差。

Description

一种基于面元的轻量化无人机地图构建方法

技术领域

本发明涉及无人机和地图构建领域，尤其涉及一种基于面元的轻量化无人机地图构建方法。

背景技术

无人机在进行任务飞行时，需要建立周围环境的地图并规划生成可执行轨迹。目前在线维护无人机地图需要机载计算机具有较强的处理能力，而且在室内等无GPS的场景下，无人机定位较差，在累积误差存在的情况下无人机地图的维护也存在较大的难度。现有技术的方法对内存占用较大，建立的全局地图一致性较差，可能存在较大累积误差。综上所述，现有的地图构建算法存在一定局限性，影响了无人机任务飞行的效率和准确性。

发明内容

为了解决上述问题，本发明提供了一种基于面元的轻量化无人机地图构建方法，该方法引入面元构建地图，减少了地图的占用空间，提高了系统效率，设置了一致性原则，提高了地图构建精度。

为了实现上述目的，本发明采用的技术方案为：

一种基于面元的轻量化无人机地图构建方法，包括以下步骤：

步骤1，通过传感器获取深度图像和RGB图像，对深度图像进行超像素提取，计算得到超像素的法向量；

步骤2，使用SLAM方法估计摄像机位姿；

步骤3，利用超像素信息和关键帧信息，进行面元提取；

步骤4，在位姿图中搜索局部一致关键帧，提取局部地图，融合局部面元；

步骤5，建立全局地图，融合面元，完成地图构建。

进一步地，步骤1中，对深度图像进行超像素提取，计算得到超像素的法向量的具体方式为：

步骤1.1，定义输入的第i张深度图像为D_i，利用聚类方法在图像上进行规则网格的划分；

步骤1.2，在每一个网格上，初始化聚类中心C_i＝[x_i,y_i,d_i,r_i]^T，其中[x_i,y_i]^T是聚类像素的平均位置，定义为聚类中心位置；d_i是平均深度值，定义为像素[x_i,y_i]^T的深度值；r_i定义为超像素的半径；对于在没有有效深度估计的像素初始化的聚类中心，d_i初始化为空；

聚类中心[x_i,y_i]^T和平均深度d_i通过最小化具有半径δ的回归损失函数E_d来更新：

其中，u为半径范围内像素点的集合，L_δ为像素点到聚类中心的距离，u_d为像素点深度，d_i是聚类中心平均深度值；

步骤1.3，通过相机成像函数u＝π(p)将像素坐标系下的点u:＝[u,v]^T转为相机坐标系下的点p＝[x,y,z]^T；

步骤1.4，根据超像素范围内点的三维信息，计算超像素的法向量。

进一步地，步骤2的具体方式为：

使用SLAM方法估计摄像机位姿T_i，得到与第i张RGB图像I_i相对应的关键帧F的旋转矩阵R_i和平移向量t_i。

进一步地，步骤3的具体方式为：

定义单个面元：S＝[S_p,S_n,S_r,S_t,S_i]^T，

其中，位置

为对应深度图像超像素中心对应的三维坐标；法线

为对应超像素的法向量；半径

为超像素的三维半径；更新时间

为临时检测异常值或动态对象的最新标记时间；附加关键帧索引

为表面元对应最后一个关键帧。

进一步地，步骤4的具体方式为：

当某一特征同时存在于两帧关键帧时，定义其为关键帧的共享特征，两帧关键帧的共享特征数目记为g；

当某一特征同时存在于两面元时，定义其为面元的共享特征，两面元的共享特征数目记为h；

如果当前关键帧与某一历史关键帧之间的关键帧共享特征数目大于阈值G_δ，则这些关键帧是局部一致的；

通过对位姿图中历史关键帧进行广度优先搜索，找到局部一致的关键帧；

当检测到局部一致关键帧时，如果其中面元之间的共享特征数目大于阈值H_δ，则继续使用以前的面元，从而减少地图的增长，更新面元的关键帧信息；

将包含局部一致关键帧的面元提取为局部地图；

若面元Sⁿ与面元S^l有相似的深度和法线的对应关系，即：

和

则将面元Sⁿ与局部面元S^l进行融合，融合的方法与步骤1.2中网格更新的方法相同，即，将面元作为网格按照步骤1.2的方式进行更新；更新面元的关键帧信息；

其中，

和

分别为面元Sⁿ与S^l的深度值，b为关键帧之间的基线距离，f为相机焦距，σ为面元半径，

和

分别为面元Sⁿ与S^l的法向量。

进一步地，步骤5的具体方式为：

检测到回环并优化位姿图后，认为回环之间的局部一致关键帧是全局一致的；

将所有面元都使用T_i转换为全局框架，并移动到全局地图中，并建立面元中心像素坐标到全局坐标的索引；

若初始面元Sⁿ与面元S^l有相似的深度和法线的对应关系，即：

和

则将面元Sⁿ与局部面元S^l进行融合，融合的方法与步骤1.2中网格更新的方法相同，即，将面元作为网格按照步骤1.2的方式进行更新；更新面元的关键帧信息；

其中，

和

分别为面元Sⁿ与S^l的深度值，b为关键帧之间的基线距离，f为相机焦距，σ为面元半径，

和

分别为面元Sⁿ与S^l的法向量。

与现有方法相比，本发明的有益效果在于：

1、本发明减少了无人机地图的计算资源，可将其部署在计算和存储资源有限的无人机上，具有高效率的特点。

2、本发明设置了一致性准则，保障了面元融合的精度，降低了面元地图的累积误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明的流程图。

具体实施方法

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

一种基于面元的轻量化无人机地图构建方法，如图1所示，包括：

S1：对传感器获得的深度图像进行超像素提取，计算得到超像素的法向量；

S2：使用SLAM方法估计摄像机位姿；

S3：利用超像素信息和关键帧信息，进行面元提取工作；

S4：在位姿图中搜索局部一致关键帧，提取局部地图，融合局部面元；

S5：建立全局地图，融合面元。

对于步骤S1，对传感器获得的深度图像进行超像素提取，计算得到超像素的法向量，包括：

S11：定义输入的第i张深度图像为D_i，对于深度图像，利用聚类算法在图像上进行规则网格的划分；

S12：在每一个网络上，初始化聚类中心C_i＝[x_i,y_i,d_i,r_i]^T，其中[x_i,y_i]^T是聚类像素的平均位置，定义为聚类中心位置；d_i是平均深度值，定义为像素[x_i,y_i]^T的深度值；r_i定义为超像素的半径。对于在没有有效深度估计的像素初始化的聚类中心，d_i初始化为NaN；

S13：聚类中心[x_i,y_i]^T和平均深度d_i通过最小化具有半径δ的回归损失函数来更新：

其中，u为半径范围内像素点的集合，L_δ为像素点到聚类中心的距离,u_d为像素点深度,d_i是聚类中心平均深度值；

S14：通过相机成像函数u＝π(p)将像素坐标系下的点u:＝[u,v]^T转为相机坐标系下的点p＝[x,y,z]^T；

S15：根据超像素范围内点的三维信息，计算超像素的法向量。

对于步骤S2，使用SLAM方法估计摄像机位姿，包括：

S21：使用SLAM方法估计摄像机位姿T_i，得到与第i张RGB图像I_i相对应的关键帧F的旋转矩阵R_i和平移向量t_i。

对于步骤S3，利用超像素信息和关键帧信息，进行面元提取工作，包括：

定义单个面元：S＝[S_p,S_n,S_r,S_t,S_i]^T，

其中：位置

为对应深度图像超像素中心对应的三维坐标；法线

为对应超像素的法向量；半径

为超像素的三维半径；更新时间

为临时检测异常值或动态对象的最新标记时间；附加关键帧索引

为表面元对应最后一个关键帧。

对于步骤S4，在位姿图中搜索局部一致关键帧，提取局部地图，融合局部面元，包括：

S41：当某一特征同时存在于两帧关键帧时，定义其为关键帧共享特征，两帧关键帧的共享特征数目记为g；

S42：当某一特征同时存在于两面元时，定义其为面元共享特征，两面元的共享特征数目记为h；

S43：如果当前关键帧与某一历史关键帧之间的关键帧共享公共特征数目大于G_δ，则这些关键帧是局部一致的；

S44：通过对位姿图中历史关键帧进行广度优先搜索，找到局部一致的关键帧；

S45：当检测到局部一致关键帧，如果其中面元之间的共享公共特征数目大于H_δ，可以继续使用以前的面元，从而减少地图的增长，更新面元的关键帧信息；

S46：将包含这些关键帧的面元提取为局部地图；

S47：若面元Sⁿ与面元S^l有相似的深度和法线的对应关系：

和

则将面元Sⁿ与局部面元S^l进行融合，融合的方法与网格更新的方法相同，更新面元的关键帧信息。

其中，

和

分别为面元Sⁿ与S^l的深度值，b为关键帧之间的基线距离，f为相机焦距，σ为面元半径，

和

分别为面元Sⁿ与S^l的法向量。

对于步骤S5，建立全局地图，融合全局面元，包括：

S51：检测到回环并优化位姿图后，认为回环之间的局部一致关键帧是全局一致的；

S52：将所有面元都使用T_i转换为全局框架，并移动到全局地图中，并建立面元中心像素坐标到全局坐标的索引；

S53：若初始面元Sⁿ与面元S^l有相似的深度和法线的对应关系：

和

则将面元Sⁿ与局部面元S^l进行融合，融合的方法与网格更新的方法相同，更新面元的关键帧信息。

其中，

和

分别为面元Sⁿ与S^l的深度值，b为关键帧之间的基线距离，f为相机焦距，σ为面元半径，

和

分别为面元Sⁿ与S^l的法向量。

总之，本发明减少了无人机地图的计算资源，可将其部署在计算和存储资源有限的无人机上；设置了一致性准则，保障了面元融合的精度，降低了面元地图的累积误差。

Claims (6)

1.一种基于面元的轻量化无人机地图构建方法，其特征在于，包括以下步骤：

步骤1，通过传感器获取深度图像和RGB图像，对深度图像进行超像素提取，计算得到超像素的法向量；

步骤2，使用SLAM方法估计摄像机位姿；

步骤3，利用超像素信息和关键帧信息，进行面元提取；

步骤4，在位姿图中搜索局部一致关键帧，提取局部地图，融合局部面元；

步骤5，建立全局地图，融合面元，完成地图构建。

2.如权利要求1所述的一种基于面元的轻量化无人机地图构建方法，其特征在于，步骤1中，对深度图像进行超像素提取，计算得到超像素的法向量的具体方式为：

步骤1.1，定义输入的第i张深度图像为D_i，利用聚类方法在图像上进行规则网格的划分；

步骤1.2，在每一个网格上，初始化聚类中心C_i＝[x_i，y_i，d_i，r_i]^T，其中[x_i，y_i]^T是聚类像素的平均位置，定义为聚类中心位置；d_i是平均深度值，定义为像素[x_i，y_i]^T的深度值；r_i定义为超像素的半径；对于在没有有效深度估计的像素初始化的聚类中心，d_i初始化为空；

聚类中心[x_i，y_i]^T和平均深度d_i通过最小化具有半径δ的回归损失函数E_d来更新：

其中，u为半径范围内像素点的集合，L_δ为像素点到聚类中心的距离，u_d为像素点深度，d_i是聚类中心平均深度值；

步骤1.3，通过相机成像函数u＝π(p)将像素坐标系下的点u：＝[u，v]^T转为相机坐标系下的点p＝[x，y，z]^T；

步骤1.4，根据超像素范围内点的三维信息，计算超像素的法向量。

3.如权利要求2所述的一种基于面元的轻量化无人机地图构建方法，其特征在于，步骤2的具体方式为：

使用SLAM方法估计摄像机位姿T_i，得到与第i张RGB图像I_i相对应的关键帧F的旋转矩阵R_i和平移向量t_i。

4.如权利要求3所述的一种基于面元的轻量化无人机地图构建方法，其特征在于，步骤3的具体方式为：

定义单个面元：S＝[S_p，S_n，S_r，S_t，S_i]^T，

其中，位置

为对应深度图像超像素中心对应的三维坐标；法线

为对应超像素的法向量；半径

为超像素的三维半径；更新时间

为临时检测异常值或动态对象的最新标记时间；附加关键帧索引

为表面元对应最后一个关键帧。

5.如权利要求4所述的一种基于面元的轻量化无人机地图构建方法，其特征在于，步骤4的具体方式为：

当某一特征同时存在于两帧关键帧时，定义其为关键帧的共享特征，两帧关键帧的共享特征数目记为g；

当某一特征同时存在于两面元时，定义其为面元的共享特征，两面元的共享特征数目记为h；

如果当前关键帧与某一历史关键帧之间的关键帧共享特征数目大于阈值G_δ，则这些关键帧是局部一致的；

通过对位姿图中历史关键帧进行广度优先搜索，找到局部一致的关键帧；

当检测到局部一致关键帧时，如果其中面元之间的共享特征数目大于阈值H_δ，则继续使用以前的面元，从而减少地图的增长，更新面元的关键帧信息；

将包含局部一致关键帧的面元提取为局部地图；

若面元Sⁿ与面元S^l有相似的深度和法线的对应关系，即：

和

则将面元Sⁿ与局部面元S^l进行融合，融合的方法与步骤1.2中网格更新的方法相同，即，将面元作为网格按照步骤1.2的方式进行更新；更新面元的关键帧信息；

其中，

和

分别为面元Sⁿ与S^l的深度值，b为关键帧之间的基线距离，f为相机焦距，σ为面元半径，

和

分别为面元Sⁿ与S^l的法向量。

6.如权利要求5所述的一种基于面元的轻量化无人机地图构建方法，其特征在于，步骤5的具体方式为：

检测到回环并优化位姿图后，认为回环之间的局部一致关键帧是全局一致的；

将所有面元都使用T_i转换为全局框架，并移动到全局地图中，并建立面元中心像素坐标到全局坐标的索引；

若初始面元Sⁿ与面元S^l有相似的深度和法线的对应关系，即：

和

则将面元Sⁿ与局部面元S^l进行融合，融合的方法与步骤1.2中网格更新的方法相同，即，将面元作为网格按照步骤1.2的方式进行更新；更新面元的关键帧信息；

其中，

和

分别为面元Sⁿ与S^l的深度值，b为关键帧之间的基线距离，f为相机焦距，σ为面元半径，

和

分别为面元Sⁿ与S^l的法向量。

Images