CN111413691A - 一种采用分布式结构的语义定位和建图的方法 - Google Patents

Abstract

本发明公开了一种采用分布式结构的语义定位和建图的方法，本发明进行环境图像的获取，通过卷积神经网络EfficientNet进行物体识别，并对识别的每块区域进行特征点重分配，再计算出每帧图像间的联系；根据机器人运动速度，动态范围变化等约束筛选所需关键帧；通过ROS系统自定义的topic，将端侧提取完的关键帧及其信息，传输到主机侧；主机接受上传的消息后，投影得到稠密三维点云图，再解算octomap，再通过topic将octomap传回端侧设备，以供终端设备控制各模块完成指定任务。本发明既提高了图像匹配率，又克服了终端设备算力低难以完成纯视觉的机器人定位和地图解算任务，并降低了硬件平台的成本。

Description

一种采用分布式结构的语义定位和建图的方法

技术领域

本发明属于移动机器人导航领域，涉及一种采用分布式结构的语义定位和建图的方法。

背景技术

根据当前发展趋势可以看出定位和建图技术是移动机器人和自动驾驶是否能够自主导航的一个决定性技术。这个技术特点是通过移动机器人搭载一个或多个传感器，在位置环境下移动，构建环境地图，并对自身进行定位。目前不论是室内还是室外，机器人的需求越来越大，故其中的定位和建图技术也越为重要。

目前市场不论是百度系，谷歌系还是momenta公司的自动驾驶汽车，其内部的定位和建图系统都是以激光雷达作为传感器，但是多线激光价格昂贵；而单线激光雷达探测范围受限，且其建立的地图缺乏语义信息。

广义的理解，在单车智能技术路线的基础上，未来整个自动驾驶的技术体系将是“车端”、“云端”、“路端”同步升级发展。5G+AI是解锁高等级自动驾驶技术的关键所在。纵观全球主流科技公司以及整车厂，自动驾驶L3商业化技术已经成熟，L4/5加速发展进入验证试点阶段。

并且为了保证越来越多的自动驾驶汽车安全上路，就越需要更加完善的具有先验信息的地图，这些地图不单单像百度地图，谷歌地图那样，而要记录更为具体的道路细节，这不单要求了自动驾驶系统的实时性，高效性，还要求了自动驾驶系统有多机协同的功能，以保证每辆车运行中建立的地图能够在所有车辆中通用。

而单纯用摄像头来完成定位并且建立可导航的地图对硬件平台的算力要求较大，如果将来需要完成多智能体协同的工作，那么目前市场上大部分的硬件平台的算力都难以满足其要求。

发明内容

本发明针对现有技术的不足，提出一种采用分布式结构的语义定位和建图的方法。

本发明一种采用分布式结构的语义定位和建图的方法，包含以下步骤：

步骤1、获取图像并进行识别区域框定

通过机器人上搭载的深度摄像头进行环境图像的获取，将每一幅图像传入物体识别神经网络EfficientNet，然后进行物体识别，将识别到的区域作为系统提取特征点和描述子的范围，不断进行相邻帧的ORB特征点和描述子的计算和匹配，以此获得表征机器人相对位置的旋转矩阵和平移矩阵，并且记录每一帧的特征点信息以及和邻近帧的关系，以保证后续关键帧提取的准确性。

步骤2、提取关键帧

根据对机器人运动速度，动态范围变化，以及环境信息等约束条件对此前处理并保存完的每一帧数据进行筛选，来提取所需的关键帧，以此来减小系统运行内存和加快运行速度。

步骤3、端侧信息上传

通过ROS系统自定义的topic，将在端侧的低算力设备上对提取完的关键帧，以及关键帧中存在的essential graph，地图点，特征点和描述子等信息传输到主机侧进行后续的大量计算。

步骤4、主机侧信息处理

接受端侧上传的关键帧信息后，主机将关键帧中的所有地图点和关键帧中记录的当前机器人位姿数据建立约束，进行Bundle Adjustment优化，并对每一关键帧中的所有像素点进行三维坐标的空间投影，得到稠密三维点云图，然后根据八叉树体元素占据的概率公式和阈值设定将稠密的三维点云图转变为八叉树地图。

步骤5、主机测信息传输

将步骤4处理得到的八叉树地图，再通过ROS系统建立的自定义的topic传输回端侧设备，以供终端设备对机器人的各模块进行控制来完成指定任务。

本发明相当于现有技术的有益效果为：

1、提出了在定位和建图系统提取特征点之前，利用识别神经网络进行系统特征点提取区域的有效划分，以提高整个系统的鲁棒性。

2、目前市场上大部分的移动机器人的主要传感器都采用的是64线的激光雷达，但是成本昂贵，本发明提出用摄像头来代替激光雷达作为主要传感器，来大幅降低机器人的制作成本。

3、提出了分布式结构将定位和建图系统进行切分，将算力需求高的部分通过分布式结构放置在主机侧上运行，来加速系统运行速率，使系统能够实时运行。

4、提出分布式结构可以将内存需求较大的内容放置主机测存储，以此提升系统大范围，长时间运行的性能。

5、该方法提供了多智能体协作对某一环境进行地图构建的可能，给未来车联网的实施提供一种新方法。

附图说明

图1为本发明一种采用分布式结构的机器人定位和建图系统及方法的基本流程图；

图2为本发明中通过EfficientNet进行特征点重分配的效果图；

图3为本发明中分布式结构框架图；

图4为本发明中Bundle Adjustment优化的框图；

图5(A)为本发明中三维稠密点云图；

图5(B)为本发明中解算的八叉树地图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

表1为系统平台参数。用于实施的硬件环境是Jetson TX2和CPU Intel(R)Core(TM)CPU i5-9400@2.90GHz，，本发明在Linux16.04系统下进行，实验手段包括数据集测试和实地测试，实地测试使用kineticV2进行数据采集，在实验楼道以及楼顶阳台完成不同场景不同光照条件的性能评估。

参数	实施条件
		系统硬件平台	Jetson TX2,Inter i5-9400
视觉传感器	kineticV2
		运行环境	Ubuntu 16.04
编程语言	C++
		测试环境	实验楼(30*20m<sup>2</sup>)

表1

如图1、图3所示，本发明提出一种采用分布式结构的语义定位和建图的方法，包括机器人定位和关键帧提取，分布式结构下的信息传输，三维点云地图和八叉树地图的生成及优化三部分。以下对这三部分中核心步骤进行详细说明。

具体步骤如下：

1、机器人定位和关键帧提取：

A)如图2所示，用移动机器人上搭载的摄像头来不断的读取图像并传送到终端设备Jetson TX2上进行图像处理，将每一幅图像传入训练好的物体识别神经网络EfficientNet(该神经网络将纹理相对较多的物体作为输入进行训练)，然后进行物体识别，将识别到的区域作为系统提取特征点和描述子的范围，并且将重复区域进行合并，然后通过识别到的区域按照面积比重分配每个区域中需要提取的特征点数上限(有规律的分配特征点以提高其鲁棒性)，最后将分割好的区域进行八层金字塔图像变换，用ORB算子提取每一帧图像的特征点，进行特征点匹配，每个特征点的三维坐标计算和描述子计算，并将这些信息按每一帧图像进行保存。

B)根据相邻帧之间的匹配情况，计算出表征机器人相对运动的旋转矩阵和平移矩阵，并建立特征点的三维坐标和机器人运动的变换矩阵之间的约束条件，通过BundleAdjustment对地图点坐标和变换矩阵进行优化，如图4所示。

C)根据对机器人运动速度，动态范围变化，以及环境信息等约束条件对此前处理并保存完的每一帧数据进行筛选，来提取所需的关键帧，以此来减小系统运行内存和加快运行速度。

2、分布式结构下的信息传输：

A)在终端设备Jetson TX2完成步骤1的工作后，通过端侧的ROS系统建立自定义的topic，将处理完的每一帧图像数据，包括特征点信息，地图点三维坐标，描述子和机器人当前位姿，单向传输给主机侧设备。

B)如果终端设备在特征点匹配过程中出现跟踪丢失，需要重定位的情况。通过分布式结构上传需要进行重定位的标志，并且终止端侧设备系统运行，等待主机下放进一步的信息。

3、八叉树地图的生成及优化：

A)接受端侧设备上传的关键帧信息后，提取每一关键帧的所有像素点的三维坐标，将这些点都投影到三维空间中，形成点云图，并可以控制点云的密度来控制点云图生成的速度和存储大小

B)先设定八叉树的最大递归深度，再根据三维点云图找出场景的最大尺寸，并以此尺寸建立第一个立方体。然后依序将体元素丢入能被包含且没有子节点的立方体，若没有达到最大递归深度，就进行细分八等份，再将该立方体所装的单位元元素全部分担给八个子立方体然后一直重复此步骤，直到达到最大递归深度。并根据公式：

计算体元素占据的概率，再根据公式：

将概率转换到实数空间上，再根据设定的阈值确定此体元素是否被占据。

C)如图5(A)、如图5(B)所示，主机端除了进行三维点云地图和八叉树地图的构建外，同步进行当前帧和之前关键帧的描述子匹配的任务，来实现回环检测功能，以此大大减少终端设备上的任务，保证终端设备可以在大范围环境下，长时间的实时运行。

D)主机端将处理好的八叉树地图再次通过ROS系统中自定义的topic，传输回终端设备。并且如果检测到有回环情况，及时维护八叉树地图，并立刻重新传输八叉树地图给终端设备。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润色，这些改进和润色也应视为本发明保护范围内。

Claims (1)

1.一种采用分布式结构的语义定位和建图的方法，其特征在于：

步骤1、获取图像并进行识别区域框定

通过机器人上搭载的深度摄像头进行环境图像的获取，将每一幅图像传入物体识别神经网络EfficientNet，然后进行物体识别，将识别到的区域作为系统提取特征点和描述子的范围，不断进行相邻帧的ORB特征点和描述子的计算和匹配，以此获得表征机器人相对位置的旋转矩阵和平移矩阵，并且记录每一帧的特征点信息以及和邻近帧的关系，以保证后续关键帧提取的准确性；

步骤2、提取关键帧

根据对机器人运动速度，动态范围变化，以及环境信息的约束条件对此前处理并保存完的每一帧数据进行筛选，来提取所需的关键帧，以此来减小系统运行内存和加快运行速度；

步骤3、端侧信息上传

通过ROS系统自定义的topic，将在端侧的低算力设备上对提取完的关键帧，以及关键帧中存在的essential graph，地图点，特征点和描述子等信息传输到主机侧进行后续的大量计算；

步骤4、主机侧信息处理

接受端侧上传的关键帧信息后，主机将关键帧中的所有地图点和关键帧中记录的当前机器人位姿数据建立约束，进行Bundle Adjustment优化，并对每一关键帧中的所有像素点进行三维坐标的空间投影，得到稠密三维点云图，然后根据八叉树体元素占据的概率公式和阈值设定将稠密的三维点云图转变为八叉树地图；

步骤5、主机测信息传输

将步骤4处理得到的八叉树地图，再通过ROS系统建立的自定义的topic传输回端侧设备，以供终端设备对机器人的各模块进行控制来完成指定任务。

Images