CN111540013B - 一种基于多相机视觉slam的室内AGV小车定位方法 - Google Patents

Abstract

本发明提供一种基于多相机视觉slam的室内AGV小车定位方法，包括以下步骤：建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中；利用多相机slam算法进行定位和地图建立，利用地图对自身位姿进行估计，在算法中使用多关键帧融合不同相机的图片；在小车行径中容易特征点丢失的位置布置人工信标，通过人工信标获得机器人位姿，并将获得的位姿和多相机slam获得的位姿通过卡尔曼滤波融合，获得AGV小车最终的位姿。本发明基于视觉slam技术通过采用多个相机感知环境，减少特征缺失情况，配合人工信标的方法，提高定位精度和鲁棒性。

Description

一种基于多相机视觉slam的室内AGV小车定位方法

技术领域

本发明属于视觉定位技术领域，具体涉及一种基于多相机视觉slam的室内AGV小车定位方法。

背景技术

室内定位是机器人定位研究的热点。室内由于建筑物遮挡的原因，没有GPS信号，无法使用GPS定位。为了克服没有GPS信号的问题，往往会采用有源信标(蓝牙，wifi等)，但安装这类信标工程量大且不易安装。为了简化信标的安装，利用普通的信标，通过计算机视觉技术识别信标进行定位，但此方法对信标的安置要求较为严格，易受到观察方向的影响，且容易受光线等环境因素影响。

近年来随着视觉slam技术的发展，越来越多的室内AGV小车采用此类方法进行定位。常用的定位方法有单目、双目和立体相机slam的方法，此类方法只需一个相机，无需其他设备配合，降低了定位成本，但AGV小车工作环境纹理较少，特征点不明显，往往容易特征点丢失而导致定位失败。

一种AGV小车的定位装置及定位方法(公开号：CN108267139A)公开了一种包括AGV小车行走轨迹设定装置以及分别设置在AGV小车上的微控制器和光流传感器；AGV小车行走轨迹设定装置通过无线通信模块连接AGV小车上的微控制器；AGV小车上的光流传感器和其上的微控制器连接，AGV小车上的微控制器连接AGV小车的行走控制机构，用于根据AGV小车行走轨迹得出AGV小车需要行走的位移量，并且用于对光流传感器检测的AGV小车实际位移量和AGV小车需要行走的位移量进行比较，根据比较结果调节AGV小车左右轮的行走速度的方案。该发明可以提高AGV小车的行径精度，从而提高AGV小车的分拣效率。但方案采用kinect仪，行走轨迹设定装置通过WIFI通信模块或蓝牙模块连接微控制器，需要安装有源信标，安装这类信标工程量大且不易安装，且易受到干扰，无法适用于室内障碍物干扰环境。

专利一种用于AGV小车的全局引导系统及其方法(公开号：CN109213156A)公开了一种包括覆盖整个工作区域的多个摄像头，按照每个摄像头覆盖的观察区域大小均匀布置在AGV工作区域的上空，该多个摄像头与系统中央处理器之间通讯连接，系统中央处理器再通过显示器将小车的位置以坐标的形式展现，本发明还公开了一种用于AGV小车全局引导系统的引导方法，通过将AGV小车在屏幕中的平面坐标和摄像头的恒定高度相结合，从而计算出AGV小车的世界坐标传输于系统中；采用本技术方案，通过摄像头视频中的小车的屏幕位置来映射到真实场景中的位置，以实现AGV的引导工作。该发明中采用多个摄像头覆盖安装在工作区域，通过映射引导，虽然能够实现正确路径引导，但在工作区域安装多个摄像头受环境限制，安装连接成本高，不适用于实际使用。

发明内容

本发明的目的是提供一种基于多相机视觉slam的室内AGV小车定位方法，基于视觉slam技术通过采用多个相机感知环境，减少特征缺失情况，配合人工信标的方法，提高定位精度和鲁棒性。

本发明提供了如下的技术方案：

一种基于多相机视觉slam的室内AGV小车定位方法，包括以下步骤：

建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中；

利用多相机slam算法进行定位和地图建立，利用地图对自身位姿进行估计，在算法中使用多关键帧融合不同相机的图片；

在小车行径中容易特征点丢失的位置布置人工信标，通过人工信标获得机器人位姿，并将获得的位姿和多相机slam获得的位姿通过卡尔曼滤波融合，获得AGV小车最终的位姿。

优选的，所述多关键帧为一个关键帧上包含了多个相机同时获取的图像的关键帧。

优选的，多相机slam算法包括：

位姿跟踪线程，对多个相机的图像进行ORB特征提取，进行初始姿态估或重定位，同时跟踪局部地图，最后判断插入新的多关键帧；

局部地图构建线程，利用插入的多关键帧，剔除最近地图点，然后从多相机中三角化生成地图点并进行多相机的局部BA优化，最后进行多关键帧剔除；

闭环检测线程，进行闭环矫正和全局BA优化。

优选的，当新的相机图片采集后，位姿跟踪线程立即从图片中提取ORB特征点，用于随后在多关键帧中识别和匹配特征点，然后，使用最近两帧的相对位姿来预测AGV小车的当前位姿，局部地图点投影到多相机系统中，与从当前帧提取的特征点匹配，在经过基于多相机模型的初始位姿优化后，假定的位姿中仍保留足够的匹配，跟踪线程就开始在局部地图中搜索更多匹配，以及决定是否插入新的多关键帧并把新的多关键帧传输到局部地图构建线程；如果初始位姿估计失败，则使用EPnP和RANSAC算法执行多关键帧的重定位。

优选的，每次位姿跟踪线程将一个新的多关键帧传到局部地图构建线程，一些最近创建但不满足特定条件的地图点就从地图中删除；然后，最新插入的相邻多关键帧间三角化生成新的地图点，其中相邻多关键帧由共视图决定；最后，执行局部BA优化以调整局部地图中的多关键帧位姿以及地图点，并判断多关键帧是否冗余并从地图中删除。

优选的，利用多相机slam方法进行定位，记录下容易定位失败的位置，为特征点容易丢失的位置，在这些位置布置人工信标。

优选的，利用多相机slam算法获得机器人的位姿，如果AGV小车工作时未观察到人工信标，则直接将多相机slam算法输出的位姿作为定位结果；当相机观察到人工信标时，利用人工信标估计机器人位姿，将多相机slam算法输出的位姿和人工信标估计的位姿使用卡尔曼滤波融合，将融合后的位姿作为AGV小车的最终位姿。

本发明的有益效果是：小车定位通过采用多相机来扩大感知范围，增加鲁棒性，减少特征缺失情况增加观察到的特征点数，同时，在关键处增加人工信标，通过人工信标来矫正偏差，提高定位精度和稳定性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明多相机slam算法流程图；

图2是本发明人工信标使用流程图。

具体实施方式

如图1所示，一种基于多相机视觉slam的室内AGV小车定位方法，本方案采用两个双目相机，两个双目相机可以多角度放置，分别观察一侧的情况。首先建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中。整个算法分为3部分，分别为位姿跟踪线程、局部地图构建线程和闭环检测线程。在算法中使用多关键帧(一个关键帧上包含了多个相机同时获取的图像)方法来融合不同相机的图片。当新的相机图片采集后，跟踪线程立即从图片中提取ORB特征点，用于随后在多关键帧中识别和匹配特征点。然后，使用最近两帧的相对位姿来预测AGV小车的当前位姿。局部地图点投影到多相机系统中，与从当前帧提取的特征点匹配。在经过基于多相机模型的初始位姿优化后，假定的位姿中仍保留足够的匹配，跟踪线程就开始在局部地图中搜索更多匹配，以及决定是否插入新的多关键帧并把新的多关键帧传输到建图线程。如果初始位姿估计失败，则使用EPnP和RANSAC算法执行多关键帧的重定位。

每次跟踪线程将一个新的多关键帧MKF传到建图线程，一些最近创建但不满足特定条件的地图点就从地图中删除。然后，最新插入的相邻多关键帧间三角化生成新的地图点，其中相邻多关键帧由共视图决定。与单相机视觉SLAM中不同的是，特征点不仅在同个相机的图像间进行三角化，而且在不同相机获取的图像之间也执行地图重建。随后，执行局部BA优化以调整局部地图中的多关键帧位姿以及地图点。此外，建图线程还判断多关键帧是否冗余并从地图中删除。

如图2所示，虽然利用了多相机来感知环境，但在纹理非常稀少的地方还是容易丢失特征点，导致AGV小车定位失败。在此，采用人工信标的方法来弥补。首先，在只利用多相机slam方法下，在工厂环境中进行定位，记录下容易定位失败的位置，称为关键处，在这些位置布置人工信标。由于多相机大视角的特点，AGV小车能够非常容易的观察到人工信标，从而矫正自身位姿。当摄像头捕捉到人工信标时，通过人工信标获得机器人位姿，并将获得的位姿和多相机slam获得的位姿通过卡尔曼滤波融合，获得AGV小车最终的位姿。只在关键处增加人工信标，极大的减少了人工信标的使用量，降低了安装人工信标的工程量。如图1和图2所示，本发明AGV小车定位方法可采用2个双目摄像头、控制电脑、AGV小车和若干人工信标。将两个双目摄像头成一定角度固定在AGV小车上。首先分别对两个摄像头进行标定，标定完成后建立多相机模型，将场景点投影到多相机系统坐标系，并计算出多相机坐标系和小车坐标系之间的关系。完成初步的准备工作后将AGV小车放入工作环境，此时可以利用多相机slam系统进行定位和建图。启动AGV小车和多相机slam算法，让AGV小车绕着工作区域行驶。在AGV小车行进的过程中利用多相机slam算法进行地图建立，完成地图建立后下次AGV小车即可利用地图对自身位姿进行估计。

完成建图后，重新启动小车，让小车绕着工作路线前进，根据当前两个相机拍摄到的照片进行ORB特征提取，进行重定位。此时，记录AGV小车前进途中容易特征点丢失的位置，记为关键处，反复多次实验，确定所有的关键处。完成实验后，在所有的关键处附近贴上人工信标，帮助AGV小车定位。

完成以上准备以后AGV小车可以正式开始投入工作。整个定位流程为利用多相机slam获得机器人的位姿，如果AGV小车工作时未观察到人工信标，则直接将多相机slam输出的位姿作为定位结果；当相机观察到人工信标时，利用人工信标估计机器人位姿，将多相机slam输出的位姿和人工信标估计的位姿使用卡尔曼滤波融合，将融合后的位姿作为AGV小车的最终位姿。通过融合多相机slam和人工信标法极大的增加了算法的精度和鲁棒性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，包括以下步骤：

建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中；

利用多相机slam算法进行定位和地图建立，利用地图对自身位姿进行估计，在算法中使用多关键帧融合不同相机的图片；

在小车行径中容易特征点丢失的位置布置人工信标，通过人工信标获得机器人位姿，并将获得的位姿和多相机slam获得的位姿通过卡尔曼滤波融合，获得AGV小车最终的位姿，

其中，所述多关键帧为一个关键帧上包含了多个相机同时获取的图像的关键帧；

所述多相机slam算法包括：

位姿跟踪线程，对多个相机的图像进行ORB特征提取，进行初始姿态估或重定位，同时跟踪局部地图，最后判断插入新的多关键帧；

当新的相机图片采集后，所述位姿跟踪线程立即从图片中提取ORB特征点，用于随后在多关键帧中识别和匹配特征点，然后，使用最近两帧的相对位姿来预测AGV小车的当前位姿；

利用多相机slam方法进行定位，记录下容易定位失败的位置，为特征点容易丢失的位置，在这些位置布置所述人工信标。

2.根据权利要求1所述的一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，所述多相机slam算法还包括：

局部地图构建线程，利用插入的多关键帧，剔除最近地图点，然后从多相机中三角化生成地图点并进行多相机的局部BA优化，最后进行多关键帧剔除；

闭环检测线程，进行闭环矫正和全局BA优化。

3.根据权利要求2所述的一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，局部地图点投影到多相机系统中，与从当前帧提取的特征点匹配，在经过基于多相机模型的初始位姿优化后，假定的位姿中仍保留足够的匹配，跟踪线程就开始在局部地图中搜索更多匹配，以及决定是否插入新的多关键帧并把新的多关键帧传输到局部地图构建线程；如果初始位姿估计失败，则使用EPnP和RANSAC算法执行多关键帧的重定位。

4.根据权利要求1所述的一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，利用多相机slam算法获得机器人的位姿，如果AGV小车工作时未观察到人工信标，则直接将多相机slam算法输出的位姿作为定位结果；当相机观察到人工信标时，利用人工信标估计机器人位姿，将多相机slam算法输出的位姿和人工信标估计的位姿使用卡尔曼滤波融合，将融合后的位姿作为AGV小车的最终位姿。