CN113066152B - 一种agv地图构建方法和系统 - Google Patents

Abstract

本发明涉及一种AGV地图构建方法和系统。该方法AGV地图构建方法，通过采用视觉里程计根据提取得到的双目相机拍摄图像的特征点，确定各特征点间的对应关系，并根据这一对应关系确定环境中AGV小车行驶路径的第一空间点坐标；然后，采用回环检测模型以所述拍摄图像为输入确定环境中AGV小车行驶路径的第二空间点坐标后，根据第一空间点坐标和第二空间点坐标确定AGV小车的位姿信息；最后，根据位姿信息构建AGV地图。本发明通过将视觉SLAM中的回环检测模块与深度学习网络进行结合，在能够增加识别精度的同时，满足视觉SLAM系统实时性的要求。

Description

一种AGV地图构建方法和系统

技术领域

本发明涉及地图构建技术领域，特别是涉及一种AGV地图构建方法和系统。

背景技术

ORB-SLAM是由RaulMur-Artal，J.M.M.Montiel和JuanD.Tardos于2015年发表在IEEE Transactions on Robotics的技术。此系统在稀疏VSLAM领域具有里程碑意义，系统十分完善，可应用于多种场景，对于运动杂波具有较强的鲁棒性。具有追踪、建图、重定位和回环检测等功能，其标志性的使用3个线程，分别为特征点追踪线程、局部重投影误差优化线程和基于位姿图的全局优化线程。对于选择重建点和关键帧具有良好鲁棒性，可生成增量地图。

但是其存在以下缺陷：在运行之前必须加载一个很大的ORB字典文件，以供回环检测，词袋采用特征聚合思维，首先以高聚合特征进行比对然后层层深入，因此检测精度较差，由于字典文件较大，所以速度比较慢。

2014年Engel等提出的一种直接(无特征)单目SLAM算法LSD-SLAM，提出了地图梯度与直接法的关系，以及像素梯度与极线方向在稠密重建中的角度关系，可以构建出半稠密的地图；在CPU上实现了实时半稠密场景的重建，具有回环检测功能；文中还使用一些技巧保证追踪的实时性与稳定性。

该技术的缺陷为：由于LSD是直接法，因此对相机内参和曝光非常敏感，而外界光线的变化是不可控的，因此会影响检测效果；同样依赖于特征点的方法进行回环检测，与ORB-SLAM有相同的问题，运行前需要加载一个很大的字典文件，占用较大的运行资源。

发明内容

为克服现有技术中存在的上述缺陷，本发明提供了一种AGV地图构建方法和系统。

为实现上述目的，本发明提供了如下方案：

一种AGV地图构建方法，包括：

采用双目相机获取拍摄图像；所述双目相机搭载在AGV小车上；所述拍摄图像为以所述AGV小车为起点设定范围内的环境图像；

提取所述拍摄图像中的特征点；

采用视觉里程计根据所述特征点确定所述拍摄图像中各特征点间的对应关系，并根据所述对应关系确定环境中AGV小车行驶路径的第一空间点坐标；

获取回环检测模型；所述回环检测模型为训练好的VGG-19的深度学习网络；

以所述拍摄图像为输入，采用所述回环检测模型确定环境中所述AGV小车行驶路径的第二空间点坐标；

根据所述第一空间点坐标和所述第二空间点坐标确定所述AGV小车的位姿信息；所述位姿信息包括：AGV小车的位置坐标和AGV小车的角度变换信息；

根据所述位姿信息构建AGV地图。

优选地，所述获取回环检测模型，之前还包括：

获取训练样本对和VGG-19的深度学习网络；所述训练样本对为当前时刻图像和历史时刻图像间的特征比对结果；

采用所述训练样本对训练所述VGG-19的深度学习网络，得到训练好的VGG-19的深度学习网络；所述训练好的VGG-19的深度学习网络即为所述回环检测模型。

优选地，所述根据所述第一空间点坐标和所述第二空间点坐标确定所述AGV小车的位姿信息，具体包括：

依据三角测距原理构建观测方程；

采用所述观测方程，根据所述第一空间点坐标和所述第二空间点坐标确定第三空间坐标点；

采用最小二乘法，根据所述第一空间点坐标和所述第三空间坐标点确定所述位姿信息。

优选地，所述训练好的VGG-19的深度学习网络的全连接层包括：一个7*7*512的卷积层和两个1*14096的卷积层。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的AGV地图构建方法，通过采用视觉里程计根据提取得到的双目相机拍摄图像的特征点，确定各特征点间的对应关系，并根据这一对应关系确定环境中AGV小车行驶路径的第一空间点坐标；然后，采用回环检测模型以所述拍摄图像为输入确定环境中AGV小车行驶路径的第二空间点坐标后，根据第一空间点坐标和第二空间点坐标确定AGV小车的位姿信息；最后，根据位姿信息构建AGV地图。本发明通过将视觉SLAM中的回环检测模块与深度学习网络进行结合，在能够增加识别精度的同时，满足视觉SLAM系统实时性的要求。

此外，对应于上述提供的AGV地图构建方法，本发明还提供了一种AGV地图构建系统，该系统包括：

图像获取模块，用于采用双目相机获取拍摄图像；所述双目相机搭载在AGV小车上；所述拍摄图像为以所述AGV小车为起点设定范围内的环境图像；

特征点提取模块，用于提取所述拍摄图像中的特征点；

第一空间点坐标确定模块，用于采用视觉里程计根据所述特征点确定所述拍摄图像中各特征点间的对应关系，并根据所述对应关系确定环境中AGV小车行驶路径的第一空间点坐标；

回环检测模型获取模块，用于获取回环检测模型；所述回环检测模型为训练好的VGG-19的深度学习网络；

第二空间点坐标确定模块，用于以所述拍摄图像为输入，采用所述回环检测模型确定环境中所述AGV小车行驶路径的第二空间点坐标；

位姿信息确定模块，用于根据所述第一空间点坐标和所述第二空间点坐标确定所述AGV小车的位姿信息；所述位姿信息包括：AGV小车的位置坐标和AGV小车的角度变换信息；

AGV地图构建模块，用于根据所述位姿信息构建AGV地图。

优选地，还包括：

获取模块，用于获取训练样本对和VGG-19的深度学习网络；所述训练样本对为当前时刻图像和历史时刻图像间的特征比对结果；

训练模块，用于采用所述训练样本对训练所述VGG-19的深度学习网络，得到训练好的VGG-19的深度学习网络；所述训练好的VGG-19的深度学习网络即为所述回环检测模型。

优选地，所述位姿信息确定模块具体包括：

观测方程构建单元，用于依据三角测距原理构建观测方程；

第三空间坐标点确定单元，用于采用所述观测方程，根据所述第一空间点坐标和所述第二空间点坐标确定第三空间坐标点；

位姿信息确定模块单元，用于采用最小二乘法，根据所述第一空间点坐标和所述第三空间坐标点确定所述位姿信息。

优选地，还包括：

人机交互界面，用于实时显示所述AGV地图。

因本发明提供的AGV地图构建系统达到的技术效果与上述提供的AGV地图构建方法的技术效果相同，因此，在此不再进行赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的AGV地图构建方法的流程图；

图2为本发明实施例提供的依据视觉里程计确定的第一空间点坐标得到的位置漂移图；

图3为本发明实施例提供的采用AGV地图构建方法确定AGV小车的运动轨迹流程图；其中，图3(a)为AGV小车实际运动轨迹图；图3(b)为AGV小车位置漂移后的运动轨迹图；图3(c)为AGV小车回环纠偏后的运动轨迹图；

图4为本发明提供的AGV地图构建系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现在关于智能无人化的应用越来越广泛，而其中AGV的使用十分有必要，在各种工业场景中，很多高危或环境恶劣的工作条件下，不适宜由人工进行作业，AGV成了很好的解决办法。而疫情期间所需要的无人消杀更是提出了新的需求。作为其中核心技术的SLAM，视觉SLAM以它安装简单、价格低廉，采集信息丰富等特点越来越成为大家所热衷的技术方向。因此，本发明对于视觉SLAM的进一步应用有着十分突出的作用。

本发明的目的是提供一种AGV地图构建方法和系统，以提高AGV地图的构建效率和精确度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的AGV地图构建方法，包括：

步骤100：采用双目相机获取拍摄图像。双目相机搭载在AGV小车上。拍摄图像为以AGV小车为起点设定范围内的环境图像。

期中，采用双目相机获取图像主要是因为相机的成像过程中多有不同程度的镜头畸变，采用双目相机可以对相机进行标定以消除这些畸变，生成相机的相关调整参数文件，称为相机内参，这个过程叫做相机标定。相机标定后，搭载该相机进行图片采集，双目相机的采集结果为一系列带有时间信息的照片。并在步骤100获取朴舍图像之后，还可以对照片进行读取和剪切等预处理，以剔除噪音。

步骤101：提取拍摄图像中的特征点。

步骤102：采用视觉里程计根据特征点确定拍摄图像中各特征点间的对应关系，并根据对应关系确定环境中AGV小车行驶路径的第一空间点坐标。

期中，视觉里程计(Visual Odometry，VO)的任务是估算相邻图像间相机的运动，以及局部地图的样子。同一时刻双目相机获取的图像应该有两张(左右两个摄像头分别采集)，通过特征点的提取和匹配，以是否为同一空间点为判断依据确定两个图像中特征点的一一对应关系。通过双目相机的视差原理进行测距，可以知道图像中每个特征点的深度信息，从而获取周围环境与小车的位置关系。然后通过连续的图像变化，找出同一空间点的视角变化，就可以获取小车变换的位姿信息(位置坐标和角度变换)，位姿信息一般表示成矩阵、向量等传入后端进行全局优化。因此VO又称为前端(Front End)。

步骤103：获取回环检测模型。回环检测模型为训练好的VGG-19的深度学习网络。

该步骤中，回环检测(Loop Closure Detection)是介于前端视觉里程计和后端优化之间的重要环节，主要解决在系统运行过程中，视觉里程计因为误差积累导致的位置估计漂移问题，如图2所示。因为在视觉里程计中只会考虑相邻帧间的关联，当在任意两帧间出现运动估计误差以后会再积累到下一个时刻，这样就会导致系统在后续地图构建和全局路径轨迹中无法给出全局一致的结果。本发明采用回环检测模型通过识别出相机曾到达过的统一场景这一事实，给出了远距离的帧间约束，然后传入后端优化模块，后端优化通过对前端提供的信息进行纠正，这样就可以构建出全局一致的地图与轨迹，如图3所示。

步骤104：以拍摄图像为输入，采用回环检测模型确定环境中AGV小车行驶路径的第二空间点坐标。

步骤105：根据第一空间点坐标和第二空间点坐标确定AGV小车的位姿信息。位姿信息包括：AGV小车的位置坐标和AGV小车的角度变换信息。该步骤具体为：

依据三角测距原理构建观测方程。因该观测方程是现有技术，在此不再对其进行详细介绍。

采用观测方程，根据第一空间点坐标和第二空间点坐标确定第三空间坐标点。

采用最小二乘法，根据第一空间点坐标和第三空间坐标点确定位姿信息。

步骤106：根据位姿信息构建AGV地图。该AGV地图为根据估计的轨迹(即位姿信息)，建立的与任务要求对应的地图。

优选地，上述获取回环检测模型是基于VGG-19的深度学习网络训练后得到的。其训练过程为：

获取训练样本对和VGG-19的深度学习网络。训练样本对为当前时刻图像和历史时刻图像间的特征比对结果。

采用训练样本对训练VGG-19的深度学习网络，得到训练好的VGG-19的深度学习网络。训练好的VGG-19的深度学习网络即为回环检测模型。

由于视觉里程计所计算出的小车位姿存在误差，对于自身轨迹的计算同样会有误差并且累积，为了减小误差，因此后端接受不同时刻视觉里程计测量的相机位姿，以及回环检测的信息，构造观测方程，求出以观测数据(计算得到的空间点坐标)和观测方程(由上状态空间点坐标与小车运动矩阵计算推测的空间点坐标)做差的平方和范数构造的最小二乘解，即为全局意义的优化，得到的最小二乘解就是最终的位姿信息，通过一系列优化得到的位姿信息形成全局一致的轨迹和地图。由于接在VO之后，又称为后端(Back End)。

进一步，本发明将VGG-19的深度学习网络应用在回环检测部分，提高识别准确性的同时又可以将运行的资源占用控制在一定范围内。

VGG-19一共拥有5个卷积层模块、5个下采样层和3个全连接层，具体的网络模型结构如表1所示。其中输入数据为224*224大小的RGB三通道图像，表1中的特征维度由滤波器数目和局部感知域尺寸两者的乘积决定，以CONV1层为例，这一层有64个滤波器，局部感知域的尺寸是224*224。其中，CONV1至CONV5为卷积层，POOL1至POOL5为下采样层，在每个卷积层后面都会接一个下采样层，FC6至FC8为全连接层。

表1 VGG-19网络模型架构

原有的VGG-19主要用于分类，而应用于视觉SLAM的回环检测部分，主要通过对现有图像特征与原有关键帧特征的比对，特征一致时则认为当前位置曾经经过，需要进行远端纠偏。因此，对于VGG-19网络最后的全连接层需要进行重构，改进的VGG-19分类算法以图像作为输入，进行训练或测试，假设神经网络的输入为X＝{x1，x2，x3……xi}，输出为Y(Y1、Y2、Y3、Y4……Ym)，输入X和输出Y是存在某种对应关系的，训练是指向网络输入足够多的X和Y样本，利用输入输出的对应关系，网络会在训练过程中自动调整神经网络神经元的权值和链接权使其可适当拟合输入X和输出Y的非线性映射关系。测试则是指验证该神经网络对该问题的拟合程度。训练结束后，将最后的全连接层分别变成一个7*7*512和两个1*1*4096的卷积层进行测试，以满足不同尺寸图像的输入。

基于回环检测模型的这一设置，当视觉SLAM的运行平台在TX2等硬件平台上运行程序时，由于这些硬件平台多使用低功耗的ARM框架，普通开发的PC机为X86框架，不同框架运行所需的环境配置也不相同，因此需要搭建ARM框架下的运行环境。网络也要进行轻量化处理，由于VGG-19网络的大部分参数都在最后的全连接层，因此将全连接层改变后，减小了网络复杂程度，使其可以移植到TX2开发板上运行。

此外，对应于上述提供的AGV地图构建方法，本发明还提供了一种AGV地图构建系统，如图4所示，该系统包括：图像获取模块1、特征点提取模块2、第一空间点坐标确定模块3、回环检测模型获取模块4、第二空间点坐标确定模块5、位姿信息确定模块6和AGV地图构建模块7。

其中，图像获取模块1用于采用双目相机获取拍摄图像。双目相机搭载在AGV小车上。拍摄图像为以AGV小车为起点设定范围内的环境图像。

特征点提取模块2用于提取拍摄图像中的特征点。

第一空间点坐标确定模块3用于采用视觉里程计根据特征点确定拍摄图像中各特征点间的对应关系，并根据对应关系确定环境中AGV小车行驶路径的第一空间点坐标。

回环检测模型获取模块4用于获取回环检测模型。回环检测模型为训练好的VGG-19的深度学习网络。

第二空间点坐标确定模块5用于以拍摄图像为输入，采用回环检测模型确定环境中AGV小车行驶路径的第二空间点坐标。

位姿信息确定模块6用于根据第一空间点坐标和第二空间点坐标确定AGV小车的位姿信息。位姿信息包括：AGV小车的位置坐标和AGV小车的角度变换信息。

AGV地图构建模块7用于根据位姿信息构建AGV地图。

作为本发明的一优选实施例，本发明提供的AGV地图构建系统还包括：获取模块和训练模块。

其中，获取模块用于获取训练样本对和VGG-19的深度学习网络。训练样本对为当前时刻图像和历史时刻图像间的特征比对结果。

训练模块用于采用训练样本对训练VGG-19的深度学习网络，得到训练好的VGG-19的深度学习网络。训练好的VGG-19的深度学习网络即为回环检测模型。

作为本发明的另一优选实施例，上述位姿信息确定模块6具体包括：观测方程构建单元、第三空间坐标点确定单元和位姿信息确定模块单元。

其中，观测方程构建单元用于依据三角测距原理构建观测方程。

第三空间坐标点确定单元用于采用观测方程，根据第一空间点坐标和第二空间点坐标确定第三空间坐标点。

位姿信息确定模块单元用于采用最小二乘法，根据第一空间点坐标和第三空间坐标点确定位姿信息。

作为本发明的又一优选实施例，本发明提供的AGV地图构建系统还包括：人机交互界面。

人机交互界面用于实时显示AGV地图。

该人机交互界面还与远端PC机上的Ubuntu以及TX2中Ubuntu系统进行主从配置，经SSH登录后，使用PC机中的RVIZ软件，可以实时显示实时建图效果和AGV的运行轨迹。通过键盘控制AGV进行建图，建图完成后可以对地图进行保存，以供下次调用。

本发明提供的AGV地图构建方法和系统，其实现了视觉SLAM中回环检测模块与深度学习的结合，并在VGG-19的基础上，重构最后的全连接层，以改进的VGG-19网络识别的特征信息进行回环检测识别代替传统的词袋法，增加了识别精度，并且满足视觉SLAM系统实时性的要求。此外，该方案可以在TX2等硬件平台进行实时建图与定位，为之后导航等多元化的需求打下了基础。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种AGV地图构建方法，其特征在于，包括：

采用双目相机获取拍摄图像；所述双目相机搭载在AGV小车上；所述拍摄图像为以所述AGV小车为起点设定范围内的环境图像；

提取所述拍摄图像中的特征点；

采用视觉里程计根据所述特征点确定所述拍摄图像中各特征点间的对应关系，并根据所述对应关系确定环境中AGV小车行驶路径的第一空间点坐标；

获取回环检测模型；所述回环检测模型为训练好的VGG-19的深度学习网络；

以所述拍摄图像为输入，采用所述回环检测模型确定环境中所述AGV小车行驶路径的第二空间点坐标；

根据所述第一空间点坐标和所述第二空间点坐标确定所述AGV小车的位姿信息；所述位姿信息包括：AGV小车的位置坐标和AGV小车的角度变换信息；

根据所述位姿信息构建AGV地图；

其中，所述根据所述第一空间点坐标和所述第二空间点坐标确定所述AGV小车的位姿信息，具体包括：

依据三角测距原理构建观测方程；

采用所述观测方程，根据所述第一空间点坐标和所述第二空间点坐标确定第三空间坐标点；

采用最小二乘法，根据所述第一空间点坐标和所述第三空间坐标点确定所述位姿信息。

2.根据权利要求1所述的AGV地图构建方法，其特征在于，所述获取回环检测模型，之前还包括：

获取训练样本对和VGG-19的深度学习网络；所述训练样本对为当前时刻图像和历史时刻图像间的特征比对结果；

采用所述训练样本对训练所述VGG-19的深度学习网络，得到训练好的VGG-19的深度学习网络；所述训练好的VGG-19的深度学习网络即为所述回环检测模型。

3.根据权利要求1所述的AGV地图构建方法，其特征在于，所述训练好的VGG-19的深度学习网络的全连接层包括：一个7*7*512的卷积层和两个1*14096的卷积层。

4.一种AGV地图构建系统，其特征在于，包括：

图像获取模块，用于采用双目相机获取拍摄图像；所述双目相机搭载在AGV小车上；所述拍摄图像为以所述AGV小车为起点设定范围内的环境图像；

特征点提取模块，用于提取所述拍摄图像中的特征点；

第一空间点坐标确定模块，用于采用视觉里程计根据所述特征点确定所述拍摄图像中各特征点间的对应关系，并根据所述对应关系确定环境中AGV小车行驶路径的第一空间点坐标；

回环检测模型获取模块，用于获取回环检测模型；所述回环检测模型为训练好的VGG-19的深度学习网络；

第二空间点坐标确定模块，用于以所述拍摄图像为输入，采用所述回环检测模型确定环境中所述AGV小车行驶路径的第二空间点坐标；

位姿信息确定模块，用于根据所述第一空间点坐标和所述第二空间点坐标确定所述AGV小车的位姿信息；所述位姿信息包括：AGV小车的位置坐标和AGV小车的角度变换信息；

AGV地图构建模块，用于根据所述位姿信息构建AGV地图；

其中，所述位姿信息确定模块具体包括：

观测方程构建单元，用于依据三角测距原理构建观测方程；

第三空间坐标点确定单元，用于采用所述观测方程，根据所述第一空间点坐标和所述第二空间点坐标确定第三空间坐标点；

位姿信息确定模块单元，用于采用最小二乘法，根据所述第一空间点坐标和所述第三空间坐标点确定所述位姿信息。

5.根据权利要求4所述的AGV地图构建系统，其特征在于，还包括：

获取模块，用于获取训练样本对和VGG-19的深度学习网络；所述训练样本对为当前时刻图像和历史时刻图像间的特征比对结果；

训练模块，用于采用所述训练样本对训练所述VGG-19的深度学习网络，得到训练好的VGG-19的深度学习网络；所述训练好的VGG-19的深度学习网络即为所述回环检测模型。

6.根据权利要求4所述的AGV地图构建系统，其特征在于，还包括：

人机交互界面，用于实时显示所述AGV地图。

Images