CN110070615A

CN110070615A - 一种基于多相机协同的全景视觉slam方法

Info

Publication number: CN110070615A
Application number: CN201910294596.3A
Authority: CN
Inventors: 杨毅; 王冬生; 唐笛; 邓汉秋; 王美玲; 付梦印
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2019-04-12
Filing date: 2019-04-12
Publication date: 2019-07-30
Anticipated expiration: 2039-04-12
Also published as: CN110070615B

Abstract

本发明公开了一种基于多相机协同的SLAM方法，通过多个相互补充视野的相机实现对探测环境360度范围的观测，每个相机独立采集与分析数据，同时，在构建地图和运动跟踪过程中，有效相机协同完成具有尺度信息的共享地图点生成和联合位姿估计的任务，可以利用多相机的成像与结构特点协同完成全景SLAM系统的地图构建与高精定位任务，解决现有纯视觉SLAM系统存在的感知视野受限，弱纹理环境定位精度差，地图尺度信息缺失，抗光照和遮挡能力差等问题，同时，多个相机相互独立，任一相机出现问题都不会影响系统的正常工作，使得系统对物体遮挡、阳光直射以及镜头损坏等情况都有一定的鲁棒性，为无人平台自主导航提供技术保障。

Description

一种基于多相机协同的全景视觉SLAM方法

技术领域

本发明属于计算机视觉定位技术领域，具体涉及一种基于多相机协同的全景视觉SLAM方法。

背景技术

随着人工智能技术的飞速发展，无人驾驶、虚拟现实、人脸识别等领域的研究成为了当前的热点。其中，无人驾驶在一些地图已知的城市环境中已取得车道级的定位效果，但在环境未知的非结构化道路上行驶，并且不能应用诸如GPS、北斗、伽利略等有信号源定位传感器的情况下，如何实现自主的地图构建与精确定位是该领域的研究难点之一。

同时定位与地图创建(Simultaneous Localization and Mapping,SLAM)是指无人平台在未知环境中利用无信号源传感器如，相机、Lidar、里程计、惯性传感器和有信号源传感器GPS、北斗，实现无人平台对环境进行感知并同时构建高精度地图与定位本体位姿的方法。SLAM是实现自主导航和环境探索的前提和基础。目前SLAM技术的研究在室内结构化简单环境下已经取得了突出的成果，而在室外非结构化环境存在阳光直射、树叶遮挡、路面颠簸、纹理缺失等环境因素，这些因素给非结构化环境中SLAM方法的研究带来了巨大的挑战。目前室外越野环境下定位与地图创建的方法主要采用激光雷达、INS和DGPS等传感器实现，但其存在成本高、功耗大、对环境描述不全面等缺点。

视觉传感器具有成本低、能耗小、重量轻、环境表达能力强、观测范围远等优点，因而视觉SLAM逐步成为当前定位系统研究的主流，在地面无人平台导航领域得到了越来越广泛的应用。基于视觉的SLAM系统是指把机器人置于未知环境中，机器人在移动过程中根据相机视频信息进行位姿估计并利用地图数据进行位姿优化，同时创建增量式地图的一类方法，经过多年的研究发展，其在鲁棒性和实时性上都取得了巨大的进步。根据视觉传感器的数量和类型又可以将视觉SLAM分为单目SLAM、双目SLAM、RGBD-SLAM和全景SLAM。通过调查和研究发现，基于单目相机的SLAM系统由于其可观测区域有限，极易受到环境光照和纹理的影响并且缺乏尺度信息，因此，在复杂多变的非结构化环境中不能够有效地开展定位和建图工作；双目SLAM是指将两个相机相隔一定距离进行刚性连接，利用预先标定好的相机外参辅助三角测距算法，可以有效地对空间任意一点的三维坐标进行测量，虽然该系统能够提供尺度信息但仍存在观测视野范围小、易受光照和遮挡影响等问题；RGBD-SLAM是利用结构光进行深度的直接测量，其只能测量距离较近的物体，在室外非结构化环境应用受限。以上三种视觉SLAM方法均存在观测视野受限，弱纹理环境适应性差，导致系统在非结构化环境中存在鲁棒性差和精度低等问题。全景SLAM是指能够感知机器人周围360度视场范围的系统，其可以很好的应对弱纹理环境，根据组成结构又可分为基于单鱼眼镜头的全景SLAM系统，基于折反射镜的全景SLAM系统，这些系统都存在空间描述分辨率低，抗干扰能力不强(阳光直射与镜头遮挡)以及缺乏尺度等问题。

因此，如何设计一种精确鲁棒的全景SLAM系统，解决现有技术中环境感知视野受限、尺度缺失、弱纹理环境定位能力弱、抗光照与遮挡能力差等问题，具有极高研究意义与价值。

发明内容

有鉴于此，本发明的目的是提供一种基于多相机协同的全景视觉SLAM方法，可以解决现有纯视觉SLAM系统存在的感知视野受限，弱纹理环境定位精度差，地图尺度信息缺失，抗光照和遮挡能力差等问题，为无人平台在非结构环境下的自主导航提供强有力的技术保障。

一种基于多相机协同的全景视觉SLAM方法，采用由搭载在同一运动平台上至少2个相机实现全景视觉测量，所有相机观测视野覆盖360度环境信息并要求相邻相机的观测视野具有一定的重叠区域；所述SLAM方法包括如下步骤：

步骤S1、确定相机的数量和基线长度；并标定相机的内部参数和外部参数；

步骤S2、同步采集所有相机的视频数据，并提取各幅图像的特征点；

步骤S3、基于所有相机在同一个时刻采集的各幅图像进行特征点匹配；再基于匹配的特征点，利用三角测量方法初始化相机间视场重叠区域内的局部地图点；最后，初始化SLAM系统的全局坐标系；

步骤S4、结合相机所在的运动平台的运动模型，估计SLAM系统在全局坐标系的当前位姿；针对每台相机获得的当前帧图像，与所有相机的上一帧图像进行特征点匹配，获得特征点的匹配点对；将每台相机获得的当前帧图像的特征点与当前局部地图点进行匹配，获得特征点与地图点的匹配点对；首次执行步骤4时，当前局部地图点即为初始的局部地图点；以估计的SLAM系统当前位姿作为初始值，获得特征点的匹配点对的投影误差以及特征点与地图点的匹配点对的重投影误差，得到两个误差项，使用非线性集束优化两个误差项，获取SLAM系统当前准确的位姿；

步骤S5、判断所有相机当前获取的所有图像构成的当前帧是否为关键视频帧，如果是，将其插入到关键帧序列中；利用关键帧序列中当前关键帧与设定数量的历史关键帧(生成地图点来更新当前局部地图点，进而更新全局地图点；

步骤S6、不断重复执行步骤S4和S5，则得到不断更新的位姿和全局地图；在执行步骤S4和S5过程中，每次插入关键帧后，基于当前关键帧和历史关键帧使用机器学习的方法进行全局的闭环检测；如果确定为闭环，则利用Sim3算法和基于因子图的非线性优化方法对地图和关键帧对应的位姿，即全局位姿环进行优化。

较佳的，所有相机重叠区域视场角总和取值范围为72到180之间。

较佳的，相机内部参数标定方法采用Scaramuzza提出的泰勒多项式相机成像模型。

较佳的，所述基线长度的计算方法为：

其中，θ为任一空间点与两相机光心连线的夹角，Z为深度范围，α为相机水平视场角，ψ为两个相机轴线方向的夹角，b为基线长度。

较佳的，所述特征点提取方法采用自适应阈值FAST-BRIEF方法。

较佳的，运动平台的运动估计模型采用卡尔曼滤波器进行滤波处理，再估计当前位姿。

较佳的，当同时满足如下条件时，判断为关键帧：

1.)距离系统初始化或SLAM系统重定位超过15帧；

2.)局部地图线程空闲，并距离上一次关键帧插入过程超过10帧；

3.)当前帧跟踪到最近关键帧的地图点小于90％；

4.)当前跟踪地图点未在最近的关键帧中的数量超过100个；

5.)当前相前运动位移大于10个基线长度。

较佳的，利用当前关键帧对应的所有相机在同一时刻的相机视场重叠区域生成带有尺度信息的地图点，用于来更新当前局部地图点，进而更新全局地图点。

较佳的，在执行步骤S4和S5过程中，每次插入关键帧后，基于当前关键帧和历史关键帧，使用机器学习的方法进行全局的闭环检测；如果确定为闭环，则利用Sim3算法和基于因子图的非线性优化方法对地图和关键帧对应的位姿，即全局位姿环进行优化。

较佳的，所述的闭环检测方法采用基于卷积神经网络实现弱监督学习图像检索的NetVLAD算法。

本发明具有如下有益效果：

本发明提出一种基于多相机协同的SLAM方法，通过多个相互补充视野的相机实现对探测环境360度范围的观测，每个相机独立采集与分析数据，同时，在构建地图和运动跟踪过程中，所有有效相机协同完成具有尺度信息的共享地图点生成和联合位姿估计的任务，可以利用多相机的成像与结构特点协同完成全景SLAM系统的地图构建与高精定位任务，解决现有纯视觉SLAM系统存在的感知视野受限，弱纹理环境定位精度差，地图尺度信息缺失，抗光照和遮挡能力差等问题，同时，多个相机相互独立，任一相机出现问题都不会影响系统的正常工作，使得系统对物体遮挡、阳光直射以及镜头损坏等情况都有一定的鲁棒性，为无人平台自主导航提供技术保障，同时多线程编程技术的应用能够极大提高算法的运行效率，使得系统可以高效鲁棒地工作。

附图说明

图1、本发明SLAM系统的硬件结构示意图；

图2、本发明多相机系统分布示意图；

图3、本发明非平行相机结构下参数关系示意图；

图4、本发明SLAM方法流程图；

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明涉及一种基于多相机协同的全景的SLAM方法，多相机系统的硬件由N(N>＝2)个带有硬件触发功能的相机搭载在同一运动平台上构成，N个相机观测视野覆盖360度环境信息并要求相邻相机的观测视野具有一定的重叠区域，如图4所示，方法流程如下：

步骤S1、根据使用相机视场角大小和环境深度测量范围，按照一定标准确定相机的数量和基线长度，同时根据相机类型选择合适的相机模型并对参数进行标定，标定的参数包括相机的内部参数和外部参数。

所述系统的硬件结构主要由N个水平视场角为α的相机组成，这些相机通过等角度的方式安装，为了保证生成一定数量具有深度的地图点，需要有足够的相机视场重叠区域，其关系的一种计算方法为：

其中β为相机重叠区域视场角总和，根据工程经验β取值范围为72到180之间，只有当系统的硬件结构满足该条件，才能保证系统在初始化过程中能够产生足够多带有真实尺度的地图点。

系统硬件结构中相机的基线(光心距离)，其长度的一种计算方法为：

其中θ为任一空间点与两相机光心连线的夹角，而Z是我们所能准确测量的深度范围，α为相机水平视场角，ψ为两个相机轴线方向的夹角，b为我们所求的基线长度范围，该方法是针对多相机结构根据三角深度测量方法推导出的公式，可以在不同应用场景中(对应Z不同的取值范围)，指导无人平台相机基线的计算方案。

相机内部参数标定方法采用Scaramuzza提出的泰勒多项式相机成像模型，该模型主要适用于广角相机，甚至可以表达视场角超过180度的相机，通过标定的内参可以直接解算出每个像素点映射到相机坐标系下的方向向量。

步骤S2、利用多相机支持硬件触发的特点，同步采集多个相机的视频数据，并利用多线程分时并行提取多幅图像的特征点，特征点信息包括提取的角点在图像中的位置和具有方向信息的多尺度描述子。

其中，特征点提取方法采用自适应阈值FAST-BRIEF方法，自适应阈值FAST-BRIEF特征点提取方法通过多个阈值自适应提取FAST角点，改进ORB特征提取方法，削弱光照变化对角点提取质量的影响，使得特征点具备一定光照不变性，同时兼顾ORB特征的尺度不变性和旋转不变性，并利用多线程编程方式分时并行处理每个相机视频特征提取过程，使得特征提取步骤能够高效有序的进行。

步骤S3、系统初始化过程：基于所有相机在同一个时刻采集的各幅图像进行特征点匹配；再基于匹配的特征点，利用三角测量方法初始化相机间视场重叠区域内的局部地图点，其中，三角测量方法可以给初始的局部地图点云提供所需的尺度信息；最后，初始化SLA M系统的全局坐标系。

其中，对于基于多相机协同的初始化过程，利用相邻相机重叠区三角化生成具有深度信息的局部地图点，相对于传统使用平面场景下单应矩阵或非平面场景下基础矩阵进行运动恢复的方法，不仅极大加速了系统初始化过程，同时生成的地图补全了尺度信息，使得无论是地图数据还是估计的位姿都能够准确的反应真实场景。

步骤S4、结合相机所在的运动平台(本实施例为无人平台)的运动模型，估计SLAM系统在全局坐标系的当前位姿；针对每台相机获得的当前帧图像，与所有相机的上一帧图像进行特征点匹配，获得特征点的匹配点对；将每台相机获得的当前帧图像的特征点与当前局部地图点进行匹配，获得特征点与地图点的匹配点对；首次执行步骤4时，当前局部地图点即为初始的局部地图点；若通过前面过程得到的匹配特征数量过少或失败，则执行重定位，即持续在已构建的全局地图中搜索当前帧图像的匹配地图点，若获取足够的匹配点，则认为重定位成功继续下一步，否则继续重定位。以估计的SLAM系统当前位姿作为初始值，获得特征点的匹配点对的投影误差以及特征点与地图点的匹配点对的重投影误差，得到两个误差项，使用非线性集束优化两个误差项，获取SLAM系统当前准确的位姿。

其中，运动估计模型是指能够对历史运动信息分析处理，为下一时刻运动状态提供先验信息的模型，其中一种方式可以采用卡尔曼滤波器进行滤波处理，估计当前位姿，具体计算方法为：

x_k＝Ax_k+γ_k

z_k＝Hx_k+v_k

P_k,k-1＝AP_k-1,k-1A^T+Q_k-1

K_k＝P_k,k-1H^T(HP_k,k-1H^T+R_k)^-1

P_k,k＝P_k,k-1-K_kHP_k,k-1

其中，x为系统的状态变量包括旋转和平移参数；A与H为状态方程和输出方程的矩阵；γ_k为运动噪声符合零均值的高斯分布，方差为Q；v_k为测量噪声，符合零均值高斯分布，且方差为R；P_k是x_k对应的协方差矩阵，K_k为系统的卡尔曼增益；通过设计的卡尔曼滤波器可以根据历史运动信息迅速稳定地估计出下一时刻的位姿。

非线性优化是利用基于因子图的LM(列文伯格-马夸尔特)非线性优化方法对局部地图点、当前位姿、全局地图点、全局位姿环进行迭代优化。局部优化过程以3维地图点和6维位姿作为优化变量，通过最小化重投影误差的方式同时优化局部地图点与位姿；在闭环检测成功的前提下实现全局地图点与位姿环优化，并利用Sim3算法计算相似变换，将闭环位姿误差按照一定权值分配给全局位姿，同时利用LM算法优化更新全局地图点。

步骤S5、按照一定的采样规则判断所有相机的当前帧是否为关键视频帧，如果是，将其插入到关键帧序列中；利用关键帧序列中当前关键帧与设定数量的历史关键帧(一个或多个)生成地图点来更新当前局部地图点，进而更新全局地图点；还可以进一步利用当前关键帧对应的所有相机在同一时刻的相机视场重叠区域生成带有尺度信息的地图点，同样可以用于来更新当前局部地图点，进而更新全局地图点；其中，更新地图点可通过对地图点进行产生、剔除、替换等操作使系统能够稳定高效地创建具有尺度信息的地图点。

其中，关键帧判定时，需同时满足如下条件：

1.)距离系统初始化或SLAM系统重定位超过15帧。

2.)局部地图线程空闲，并距离上一次关键帧插入过程超过10帧。

3.)当前帧跟踪到最近关键帧的地图点小于90％。

4.)当前跟踪地图点未在最近的关键帧中的数量超过100个。

5.)当前相前运动位移大于10个基线长度。

步骤S6、步骤S4获得的当前位姿和步骤S5获得的更新后的全局地图，即完成了一次SLAM方法；不断重复执行步骤S4和S5，则得到不断更新的位姿和全局地图。

另外，在执行步骤S4和S5过程中，每次插入关键帧后，基于当前关键帧和历史关键帧，使用机器学习的方法进行全局的闭环检测；如果确定为闭环，则利用Sim3算法和基于因子图的非线性优化方法对地图和关键帧对应的位姿，即全局位姿环进行优化。

其中，闭环检测方法可采用NetVLAD方法，该方法是一种基于卷积神经网络(CNN)实现的弱监督学习图像检索算法，在本发明中，NetVLAD被用于提取全局描述子实现地点识别，其比当前SLAM领域应用最广泛的BOW词袋模型算法规模更小，检索精度更高，且误检率更低，可以实现快速准确的闭环检测。

本发明所述的基于多相机协同的全景SLAM系统的发明原理如下：

本发明利用全景和双目结合的方式构建视觉模型，采用自适应阈值FAST-BRIEF方法优化所提取特征的分布均匀程度和光照变化适应性，同时使用多线程分时并行处理多个相机特征提取过程，加速特征提取的步骤，然后利用相邻相机视场重叠区域初始化带有深度信息的地图点，并初始化相机初始位姿，之后利用基于卡尔曼滤波器的运动模型实时估计下一时刻位姿，进而缩小特征匹配范围，紧接着利用局部地图点优化当前位姿，这一步采用基于因子图的LM方法进行迭代优化，获取准确的系统本体位姿，最后针对满足本发明提出的插入关键帧条件要求的视频帧进行相应的插入关键帧操作，并更新局部地图点，扩展全景地图点，利用基于深度学习的NetVLAD方法检测闭环，对检测到的闭环采用Sim3算法计算相似变换参数，并更新全局位姿环，紧接着利用LM算法对全局地图进行优化，获取高精度的定位与场景地图。

实施案例一：

本实施案例提供一种基于多相机协同的全景视觉SLAM，示意图如图1所示，该图显示5个相机的SLAM系统结构；图2为多相机系统分布示意图，相机给定水平视场角为120度，取β＝90，根据本发明中相机数量计算公式求得相机个数N≥4.5，取N为5，则相邻相机夹角为72度；根据图3非平行相机结构下参数关系示意图和推导的公式，当感知环境范围给定为5-10m时，可将基线长度设为30cm，利用这些参数布局相机可以更加有效精确地感知环境，以便获取更加精确的SLAM系统定位和构图结果。

如图4所示，所述的本发明基于多相机协同的全景视觉SLAM算法包括以下步骤：

步骤S1，传感器数据获取。利用外部电路按照30Hz的频率同步触发5个相机，获取具有时间一致性的5个相机的视频数据，并将预先标定好的相机泰勒多项式内部参模型结果和包含6维信息的外部参数分配给相应的相机视频数据组。在本实施案例中，5个相机由预先计算好的基线长度布置，外部电路的频率可通过具备30MHz晶振的51单片机提供准确保障，相机内参数包括泰勒多项式系数参数、切向畸变参数、光心参数等共9个参数，相机外参数则包含平移与旋转共6个参数。

步骤S2，视觉特征提取。本实施案例中，利用自适应阈值FAST-BRIEF方法在图像中均匀准确地提取可用的特征点，自适应阈值是指图像点判别为FAST角点时所采用的阈值，可根据周围特征点的数量自动调整，以达到特征点分布均匀的目的，特征点信息包括提取的角点位置与具有方向信息的多尺度描述子，并使用多线程编程为每个相机视频流分配一个线程；

步骤S3、系统本体位姿信息获取。该过程考虑三种状态，即初始化状态、工作状态与重定位状态，在系统初始化状态时利用三角测量方法在多相机重叠区域(图2中β₁所示区域)内协同初始化地图点，为点云提供真实尺度信息，当初始化的点云包含地图点数量达到200个时，认为系统初始化成功，生成初始点云地图，并初始地图世界坐标系为当前系统坐标系；在工作状态时，首先利用基于卡尔曼滤波器的运动模型估计当前位姿，并利用估计的位姿缩小特征匹配的范围，紧接着利用匹配好的特征点和局部地图点进一步优化当前位姿，最终获得当前帧准确的系统位姿；在重定位状态时，则利用当前帧特性全局匹配关键帧特征，直到匹配成功，利用匹配的信息和局部地图点信息确定当前位姿，本实施案例中，位姿的优化采用基于因子图的LM迭代优化算法实现。

步骤S4、地图数据生成。当前帧在满足本发明所述插入关键帧的条件时，将当前帧插入到关键帧序列中，同时利用当前关键帧与历史关键帧生成的地图点和相机视场重叠区域生成带有尺度信息的地图点数据，协同更新局部地图点与全景地图点，使得具有尺度信息的地图创建过程能够稳定高效地进行，更新的内容包括重复地图点剔除优化，参考关键帧的重置以及地图点位置的优化等，地图点优化同样采用LM算法实现，相对于位姿优化不同的是，在优化地图点时，将位姿属性设置为固定状态。

步骤S5、在实施案例中，利用基于深度学习的NetVLAD场景检测方法检测闭环，在当前关键帧与关键帧序列中某一历史关键帧相似概率超过概率均值的2倍时，认为闭环检测成功，对检测到的闭环采用Sim3算法计算相似变换，并将相似变换参数按照一定权值分配给关键帧序列，更新位姿环，最后利用LM算法对全局地图进行优化，优化过程与局部地图优化方法一致，最终获取高精度定位与场景地图。

本发明利用多相机的成像与结构特点协同完成全景SLAM系统的地图构建与高精定位工作，解决现有纯视觉SLAM系统感知视野受限、弱纹理环境定位精度差、地图尺度信息缺失、抗光照和遮挡能力差的问题，为无人平台在非结构环境下的自主导航提供强有力的技术保障。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于多相机协同的全景视觉SLAM方法，其特征在于，采用由搭载在同一运动平台上至少2个相机实现全景视觉测量，所有相机观测视野覆盖360度环境信息并要求相邻相机的观测视野具有一定的重叠区域；所述SLAM方法包括如下步骤：

2.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，所有相机重叠区域视场角总和取值范围为72到180之间。

3.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，相机内部参数标定方法采用Scaramuzza提出的泰勒多项式相机成像模型。

4.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，所述基线长度的计算方法为：

5.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，所述特征点提取方法采用自适应阈值FAST-BRIEF方法。

6.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，运动平台的运动估计模型采用卡尔曼滤波器进行滤波处理，再估计当前位姿。

7.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，当同时满足如下条件时，判断为关键帧：

1.)距离系统初始化或SLAM系统重定位超过15帧；

3.)当前帧跟踪到最近关键帧的地图点小于90％；

4.)当前跟踪地图点未在最近的关键帧中的数量超过100个；

5.)当前相前运动位移大于10个基线长度。

8.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，利用当前关键帧对应的所有相机在同一时刻的相机视场重叠区域生成带有尺度信息的地图点，用于来更新当前局部地图点，进而更新全局地图点。

9.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，在执行步骤S4和S5过程中，每次插入关键帧后，基于当前关键帧和历史关键帧，使用机器学习的方法进行全局的闭环检测；如果确定为闭环，则利用Sim3算法和基于因子图的非线性优化方法对地图和关键帧对应的位姿，即全局位姿环进行优化。

10.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，所述的闭环检测方法采用基于卷积神经网络实现弱监督学习图像检索的NetVLAD算法。