CN111582123A - 一种基于信标识别与视觉slam的agv定位方法 - Google Patents

Abstract

本发明公开了一种基于信标识别与视觉SLAM的AGV定位方法，包含以下步骤：步骤Ⅰ、在AGV实际工作场景中铺设人工信标，通过引入QR码信标提升SLAM定位精度、减小移动过程中产生的累计误差；步骤Ⅱ、训练神经网络模型，用于QR码信标识别；步骤Ⅲ、使用AGV上的双目相机采集图像，将采集图像进行预处理；步骤Ⅳ、将经过预处理的图片提取ORB特征，计算其描述子与相邻帧特征点描述子的最短汉明距离；当距离小于一定阈值，则视为该投影点和特征点匹配，得到一组3D‑2D点对，获取若干ORB特征点3D‑2D点对，用于后续位姿解算和优化；步骤Ⅴ、对步骤Ⅳ所得图像使用步骤Ⅱ训练得到的神经网络模型进行QR码信标检测。

Description

一种基于信标识别与视觉SLAM的AGV定位方法

技术领域

本发明涉及视觉SLAM领域，尤其涉及一种基于信标识别与视觉SLAM的AGV定位方法。

背景技术

自动导引运输车（automated guided vehicle，AGV）俗称搬运机器人，出现于20世纪50年代，是一种自动化、无人驾驶的智能化搬运设备。由于它高效、安全，能够有效地解放劳动生产力，减轻工人的劳动强度，提高了自动化生产水平。AGV实质上是指装备有自动导引装置，能够沿着预定的路径运行并完成作业要求的运输车。AGV系统主体是一辆车，可以根据其现场作业的要求，扩展安装滚筒、机械手、大平台等设备。AGV系统能实现无人驾驶，可以在很多人类不适合工作的地方甚至是人类无法工作的环境中，代替人类工作，并且具有抗疲劳、定位准、不惧危险等优势，故在很多领域得到了广泛的应用。

在车间实际生产的整个过程中，仅有5％的时间是用于加工和制造，95％的时间用于储存、装卸、等待加工和输送。随着人工成本的增加，越来越多的企业采用AGV代替人工。将AGV应用于自动化生产中，可以实现数据采集、物料运输、作物筛选等工作的自动化作业，大大提高工作效率。因此，AGV的应用逐渐受到关注。

AGV的导引控制是AGV系统的核心。传统AGV主要使用磁导航方式，需要预先铺设磁带、磁钉，其灵活性差，因而近年来无线导引方式成为AGV领域研究重点。无线导引方式通过自然环境信息实现定位，其中视觉SLAM(同步定位与地图构建)作为一种新兴的AGV定位方法，具有成本低、灵活性好、精度高、可扩展性强等优点，已成为研究人员的研究重点。例如日本大阪大学 (Osaka University) 的智能机器人研究室（Seifert R. W., Kay M. G.,Wilson J. R. Evaluation of AGV routing strategies using hierarchicalsimulation[J]. International Journal of Production Research. 1998, 36(7):1961-1976）对视觉导航进行了深入研究，并开发出基于单目视觉导航的移动机器人，该小车可通过旋转其视觉传感器对周围的环境进行广泛性探测，并由旋转编码器和电位计来获取移动机器人的定位信息、行驶距离和转角。尽管该方法可以实现地图重用、回环检测以及重新定位的功能，但是由于其闭环路径较长等问题，导致在检测到闭环前累计误差逐渐增大，无法满足工业应用场景的需求。为提升SLAM定位精度、减小累积误差，本方法引入QR（Quick Response）码信标进行辅助定位，采用SSD（Single Shot Multi Box Detector）卷积神经网络模型（Liu W , Anguelov D , Erhan D , et al. SSD: Single ShotMultiBox Detector[J]. 2016.）识别QR码信标，在工作场景中的转角等关键位置的地面铺设人工信标。相比于自然特征点，QR码信标更易识别，准确度更高，其先验的位置信息可以有效提升精度，可将定位误差缩小在5CM以内，满足了车间应用场景的需求。此外本方法还使用了图优化方法，通过基于深度学习方法的QR码识别维护关键帧更新地图。

发明内容

本发明的目的是提供一种基于信标识别与视觉SLAM的AGV定位方法。

本发明至少通过如下技术方案之一实现。

一种基于信标识别与视觉SLAM的AGV定位方法，所述方法包含以下步骤：

步骤Ⅰ、在AGV实际工作场景中铺设人工信标，所述人工信标为QR码信标；

步骤Ⅱ、训练SSD卷积神经网络模型，用于QR码信标识别；

步骤Ⅲ、使用AGV上的双目相机采集图像，将采集的图像进行预处理；

步骤Ⅳ、将经过预处理的图片提取ORB特征，使用异或运算计算ORB特征描述子与相邻帧特征点描述子的最短汉明距离；当距离小于设定阈值，则视为该投影点和特征点匹配，得到一组3D-2D点对，获取若干ORB特征点3D-2D点对，用于后续位姿解算和优化；

步骤Ⅴ、对步骤Ⅳ所得图像进行QR码信标识别并优化位姿及地图。

进一步地，步骤Ⅱ包括以下步骤：

步骤a、让AGV在步骤Ⅰ中的工作场景中模拟工作，并采集在此过程中含有QR码的图片作为SSD卷积神经网络模型的素材；将采集到的图片经过预处理后通过标注软件labelImg进行人工标注，使用矩形工具将图片中QR码的位置标识出来，labelImg生成相应的位置信息和类别代码，完成数据集的制作；

步骤b、将步骤a制作的数据集随机取出A％作为训练集剩下的1-A％作为测试集；将训练集输入SSD卷积神经网络模型进行训练;在训练过程中，使用L2正则化使神经元权重衰减，达到防止过拟合的效果；SSD卷积神经网络模型对于训练数据的预测误差率是通过预测训练集的错误样本除以训练集样本总数计算，得到训练集误差曲线，SSD卷积神经网络模型对于验证数据的误差率是通过预测测试集的错误样本除以测试集样本总数计算，得到测试集误差曲线；

步骤c、将步骤b得到的训练集误差曲线与测试集误差曲线进行分析，当训练集和测试集的误差均达到百分之五，停止训练，把训练得到的模型参数保存下来；

步骤d、把步骤c得到的模型参数赋予原始的SSD卷积神经网络模型，得到已训练模型，并且把测试素材经过预处理后得到若干个测试对象，将若干个测试对象分别输入已训练模型得到输出结果，最后取若干种结果的平均值，输出QR码的检测结果。

进一步地，步骤a所述的图片预处理包括透视变换与中值滤波。

进一步地，步骤d所述的测试素材预处理包括将图片以一定的角度顺时针连续翻转，剪裁中央区域的图片信息，形成若干个测试对象。

进一步地，步骤Ⅲ所述的预处理包括对采集的图像进行图像降噪与轮廓提取。

进一步地，步骤Ⅳ是利用基于快速定位（Oriented FAST）特征检测和旋转BRIEF（Rotated BRIEF）描述子的ORB算法进行特征提取与匹配。

进一步地，步骤Ⅴ具体包括以下步骤：

步骤S1、使用步骤Ⅱ的已训练模型进行QR码信标检测，得到QR码定位点相对坐标后，需要通过QR码信标中所包含的坐标信息得到定位点世界坐标；

步骤S2、位姿初值求解；

若未识别到信标，则基于Ransac（Random Sample Consensus）和EPnP（EPnP: Anaccurate O(n) solution to the PnP problem）算法，使用3D-2D特征点对计算当前帧位姿初值，再使用图优化进行局部位姿优化，维护关键帧和地图点；

若识别到信标，根据QR码信标中所包含的坐标信息查询到定位点世界坐标以及通过双目相机计算出的定位点相对坐标；如果由QR码信标识别到的ID号对应的定位点世界坐标与双目相机计算出的相对坐标两者相匹配，则直接使用最小二乘法优化求得当前帧位姿并将当前帧位姿作为解算位姿；若由QR码信标识别到的ID号对应的定位点世界坐标与双目相机计算出的相对坐标两者不相匹配，则通过特征点匹配解算位姿；

步骤S3、局部位姿优化与全局地图优化；根据图优化，以顶点表示优化对象，用边表示目标函数，将优化问题用图模型表述为非线性最小二乘问题；若当前帧未识别到人工信标，则在维护关键帧和地图点后结束此次循环，等待下一帧输入；若当前帧识别到QR码信标，则需继续进行全局图优化；在全局优化的图模型中，以关键帧、地图点以及信标定位点作为顶点，连接其中有投影关系的顶点；以重投影误差和位姿变换误差作为优化边，优化关键帧位姿和地图点空间坐标。

进一步地，步骤S2中，若未识别到信标，位姿初值求解包括以下步骤：

步骤21、通过PnP(Perspective-n-point)求解位姿初值，求解方法包括直接线性变换(DLT) 、3对匹配点法（P3P）、EPnP（EPnP: An accurate O(n) solution to the PnPproblem）、UPnP及非线性优化方法；

步骤22、根据控制点坐标求得各特征点在相机坐标系下的坐标，由此获得点云在两个坐标系下的对应坐标；

步骤 23、通过最小二乘优化变换误差和，求得当前帧的位姿。

进一步地，步骤S2中，若识别到信标，通过双目相机计算定位点的相对坐标包括以下步骤：

步骤24、通过PnP求解位姿初值，求解方法包括直接线性变换(DLT) 、3对匹配点法（P3P）、EPnP、UPnP及非线性优化方法；

步骤25、根据控制点坐标求得各特征点在相机坐标系下的坐标，由此获得点云在两个坐标系下的对应坐标，对两个坐标系下对应坐标进行坐标系变换得到定位点相对坐标。

与现有的技术相比，本发明的有益效如下：

本发明可以在识别到QR码信标后消除当前累计误差从而实现在闭环检测前较大幅度缩小累计误差，更加适合AGV的车间应用场景；本发明使用了用RANSAC（Random SampleConsensus）算法进行优化，减小误匹配点的影响；本发明使用了SSD卷积神经网络进行信标识别，在保证实时性的前提下提高了信标识别的精度。

附图说明

图1是本实施例一种基于信标识别与视觉SLAM的AGV定位方法的流程图；

图2是实施例信标识别流程图；

图3是本实施例所使用的QR码信标图。

具体实施方式

下面通过一个具体实施例并结合参考附图来阐明本发明的目的和功能。

如图1所示，一种基于信标识别与视觉SLAM的AGV定位方法，包括以下步骤：

步骤S1、在AGV实际工作场景中铺设人工信标，铺设在AGV工作环境中的一些关键位置，如转角等。所述人工信标为QR（Quick Response）码信标，通过引入QR（Quick Response）码信标提升SLAM定位精度、减小移动过程中产生的累计误差； QR码信标如图2所示，其中包括定位块1；

步骤S2、训练用于QR码信标识别的SSD（Single Shot Multi Box Detector）卷积神经网络模型。

如图2所示步骤S2、训练用于QR码信标识别的神经网络模型，包括以下步骤：

步骤S21、让AGV在步骤S1中的工作场景中模拟工作，并采集在此过程中的QR码图像作为SSD卷积神经网络模型的素材。将收集到的图片通过标注软件labelImg进行人工标注，使用矩形工具将图片中QR码的位置标识出来，labelImg生成相应的位置信息和类别代码，完成数据集的制作。

步骤S22、将步骤S21制作的数据集随机取出95％作为训练集剩下的5％作为测试集；将训练集输入SSD卷积神经网络模型进行训练，在训练过程中，使用L2正则化使神经元权重衰减，达到防止过拟合的效果；SSD卷积神经网络模型对于训练数据的预测误差率是通过预测训练集的错误样本除以训练集样本总数计算，得到训练集的误差曲线，同时以同样方法在测试集（测试集由数据集中除训练集之外的部分构成）上计算模型对于验证数据的误差率，得到测试集的误差曲线

步骤S23、将步骤S22得到的进行分析，当训练误差和测试集误差达到百分之五时，停止训练模型，把训练得到的模型参数保存下来。

步骤S24、把步骤S23得到的模型参数赋予原始模型，得到已训练模型，并且把测试素材经过预处理后得到若干个测试对象，将若干个测试对象分别输入已训练模型得到输出结果，最后取若干种结果的平均值，输出QR码的检测结果。其中预处理包括图片以45度角顺时针连续翻转，剪裁中央区域的图片信息，形成多个测试对象。

步骤S3、使用AGV上的双目相机采集图像，将采集图像进行预处理，采用的预处理方法为图像降噪与轮廓提取；

步骤S4、将预处理后的图像提取ORB（ORB：An Efficient Alternative to SIFTorSURF）特征，使用异或运算法计算ORB特征描述子与相邻帧特征点描述子的最短汉明距离。当距离小于2，则视为该投影点和特征点匹配，得到一组3D-2D点对。重复几次获取若干ORB特征点及3D-2D点对，用于后续位姿解算和优化；

具体是利用基于Oriented FAST（快速定位）特征检测和Rotated BRIEF（旋转BRIEF）描述子的ORB算法进行特征提取与匹配。

步骤S5、信标识别并优化位姿及地图。判断当前视野中是否识别到QR码信标的存在，并根据识别结果局部位姿进行修正。

关于步骤S5，还包括以下步骤：

步骤S51、使用步骤S2训练得到的神经网络模型进行QR码信标检测，得到QR码定位点相对坐标后，需要通过QR码信标中所包含的坐标信息得到定位点世界坐标。

如图3所示，QR码整体轮廓呈为正方形，定位块1位于正方形的三个角，定位块本身不包含信息，其主要用于确定QR码在图像中的具体位置。右下角是4×4的标识码，标识码用于识别信标的ID号，并通过ID号与信标数据对照从而获得该信标所对应的世界坐标。

步骤S52、位姿初值求解。

若未识别到信标，则基于Ransac（Random Sample Consensus）和EPnP（EPnP: Anaccurate O(n) solution to the PnP problem）算法，使用3D-2D特征点对PnP（Perspective-n-point）计算当前帧位姿初值，利用当前帧位姿初值通过图优化进行局部位姿优化，维护关键帧和地图点。若识别到信标，根据QR码信标中所包含的坐标信息查询到定位点世界坐标以及通过双目相机计算出的定位点相对坐标；如果由QR码信标识别到的ID号对应的定位点世界坐标与双目相机计算出的相对坐标两者相匹配，则直接使用最小二乘法优化求得当前帧位姿并将当前帧位姿作为解算位姿；若由QR码信标识别到的ID号对应的定位点世界坐标与双目相机计算出的相对坐标两者不相匹配，则通过特征点匹配解算位姿。

若未识别到信标，位姿初值求解包括以下步骤：

步骤S521、通过PnP(Perspective-n-point)求解位姿初值，求解方法包括直接线性变换(DLT) 、3对匹配点法（P3P）、EPnP（EPnP: An accurate O(n) solution to the PnPproblem）、UPnP及非线性优化方法；

步骤S522、在步骤S4得到的3D-2D点对中随机选取4个作为控制点，通过高斯牛顿法最小化坐标误差，用优化结果根据投影关系计算点云的对应坐标

步骤S523、通过最小二乘优化变换误差和，求得当前帧的位姿。

若识别到信标，由双目相机计算出的定位点相对坐标，包括以下步骤：

步骤S524、通过PnP(Perspective-n-point)求解位姿初值，求解方法包括直接线性变换(DLT) 、3对匹配点法（P3P）、EPnP（EPnP: An accurate O(n) solution to the PnPproblem）、UPnP及非线性优化方法；

步骤S525、在步骤S4得到的3D-2D点对中随机选取4个作为控制点，通过高斯牛顿法最小化坐标误差，用优化结果根据投影关系计算点云的对应坐标。

步骤S53、局部位姿优化与全局地图优化。根据图优化，以顶点表示优化对象，用边表示目标函数，将优化问题用图模型表述为非线性最小二乘问题。若当前帧未识别到人工信标，则在维护关键帧和地图点后结束此次循环，等待下一帧输入。若当前帧识别到QR码信标，则需继续进行全局图优化。在全局优化的图模型中，以关键帧、地图点以及信标定位点作为顶点，连接其中有投影关系的顶点；以重投影误差和位姿变换误差作为优化边，优化关键帧位姿和地图点空间坐标。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：所述方法包含以下步骤：

步骤Ⅰ、在AGV实际工作场景中铺设人工信标，所述人工信标为QR码信标；

步骤Ⅱ、训练SSD卷积神经网络模型，用于QR码信标识别；

步骤Ⅲ、使用AGV上的双目相机采集图像，将采集的图像进行预处理；

步骤Ⅳ、将经过预处理的图片提取ORB特征，使用异或运算计算ORB特征描述子与相邻帧特征点描述子的最短汉明距离；当距离小于设定阈值，则视为该投影点和特征点匹配，得到一组3D-2D点对，获取若干ORB特征点3D-2D点对，用于后续位姿解算和优化；

步骤Ⅴ、对步骤Ⅳ所得图像进行QR码信标识别并优化位姿及地图。

2.根据权利要求1所述的一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：步骤Ⅱ包括以下步骤：

步骤a、让AGV在步骤Ⅰ中的工作场景中模拟工作，并采集在此过程中含有QR码的图片作为SSD卷积神经网络模型的素材；将采集到的图片经过预处理后通过标注软件labelImg进行人工标注，使用矩形工具将图片中QR码的位置标识出来，labelImg生成相应的位置信息和类别代码，完成数据集的制作；

步骤b、将步骤a制作的数据集随机取出A％作为训练集剩下的1-A％作为测试集；将训练集输入SSD卷积神经网络模型进行训练;在训练过程中，使用L2正则化使神经元权重衰减，达到防止过拟合的效果；SSD卷积神经网络模型对于训练数据的预测误差率是通过预测训练集的错误样本除以训练集样本总数计算，得到训练集误差曲线，SSD卷积神经网络模型对于验证数据的误差率是通过预测测试集的错误样本除以测试集样本总数计算，得到测试集误差曲线；

步骤c、将步骤b得到的训练集误差曲线与测试集误差曲线进行分析，当训练集和测试集的误差均达到百分之五，停止训练，把训练得到的模型参数保存下来；

步骤d、把步骤c得到的模型参数赋予原始的SSD卷积神经网络模型，得到已训练模型，并且把测试素材经过预处理后得到若干个测试对象，将若干个测试对象分别输入已训练模型得到输出结果，最后取若干种结果的平均值，输出QR码的检测结果。

3.根据权利要求2所述的一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：步骤a所述的图片预处理包括透视变换与中值滤波。

4.根据权利要求2所述的一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：步骤d所述的测试素材预处理包括将图片以一定的角度顺时针连续翻转，剪裁中央区域的图片信息，形成若干个测试对象。

5.根据权利要求1所述的一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：步骤Ⅲ所述的预处理包括对采集的图像进行图像降噪与轮廓提取。

6.根据权利要求1所述的一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：步骤Ⅳ是利用基于快速定位（Oriented FAST）特征检测和旋转BRIEF（Rotated BRIEF）描述子的ORB算法进行特征提取与匹配。

7.根据权利要求1所述的一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：步骤Ⅴ具体包括以下步骤：

步骤S1、使用步骤Ⅱ的已训练模型进行QR码信标检测，得到QR码定位点相对坐标后，需要通过QR码信标中所包含的坐标信息得到定位点世界坐标；

步骤S2、位姿初值求解；

若未识别到信标，则基于Ransac（Random Sample Consensus）和EPnP（EPnP: Anaccurate O(n) solution to the PnP problem）算法，使用3D-2D特征点对计算当前帧位姿初值，再使用图优化进行局部位姿优化，维护关键帧和地图点；

若识别到信标，根据QR码信标中所包含的坐标信息查询到定位点世界坐标以及通过双目相机计算出的定位点相对坐标；如果由QR码信标识别到的ID号对应的定位点世界坐标与双目相机计算出的相对坐标两者相匹配，则直接使用最小二乘法优化求得当前帧位姿并将当前帧位姿作为解算位姿；若由QR码信标识别到的ID号对应的定位点世界坐标与双目相机计算出的相对坐标两者不相匹配，则通过特征点匹配解算位姿；

步骤S3、局部位姿优化与全局地图优化；根据图优化，以顶点表示优化对象，用边表示目标函数，将优化问题用图模型表述为非线性最小二乘问题；若当前帧未识别到人工信标，则在维护关键帧和地图点后结束此次循环，等待下一帧输入；若当前帧识别到QR码信标，则需继续进行全局图优化；在全局优化的图模型中，以关键帧、地图点以及信标定位点作为顶点，连接其中有投影关系的顶点；以重投影误差和位姿变换误差作为优化边，优化关键帧位姿和地图点空间坐标。

8.根据权利要求7所述的一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：步骤S2中，若未识别到信标，位姿初值求解包括以下步骤：

步骤21、通过PnP(Perspective-n-point)求解位姿初值，求解方法包括直接线性变换(DLT) 、3对匹配点法（P3P）、EPnP（EPnP: An accurate O(n) solution to the PnPproblem）、UPnP及非线性优化方法；

步骤22、根据控制点坐标求得各特征点在相机坐标系下的坐标，由此获得点云在两个坐标系下的对应坐标；

步骤 23、通过最小二乘优化变换误差和，求得当前帧的位姿。

9.根据权利要求7所述的一种基于信标识别与视觉SLAM的AGV定位方法，其特征在于：步骤S2中，若识别到信标，通过双目相机计算定位点的相对坐标包括以下步骤：

步骤24、通过PnP求解位姿初值，求解方法包括直接线性变换(DLT) 、3对匹配点法（P3P）、EPnP、UPnP及非线性优化方法；

步骤25、根据控制点坐标求得各特征点在相机坐标系下的坐标，由此获得点云在两个坐标系下的对应坐标，对两个坐标系下对应坐标进行坐标系变换得到定位点相对坐标。

Images