CN113705369A - 基于全景环形透镜的视觉slam系统及方法 - Google Patents

Abstract

本发明公开了一种基于全景环形透镜的视觉SLAM系统及方法，该系统包括：获取单元，通过搭载所述全景环形透镜的相机以某一帧率采集图像序列后；识别单元，通过分析图像处理后的结果，然后对PAL图像的环形有效区域的场景特征进行识别和提取，并进行帧间匹配；定位单元，选择相应的跟踪模型来估计位姿并进行优化；建图单元，通过获取单元、定位单元绘制出相机所在运动载体的行驶轨迹，并计算环境中特征点的空间坐标从而重建出场景地图。本发明采用了全景环形透镜以获取更多的场景特征，并通过筛选有效区域的特征以及采用自适应阈值剔除误差较大的点，有效提高了定位精度。

Description

基于全景环形透镜的视觉SLAM系统及方法

技术领域

本发明涉及一种基于全景环形透镜的视觉SLAM(Simultaneous Localizationand Mapping，同步定位与地图构建)系统及方法。

背景技术

随着移动机器人、无人驾驶技术和增强现实技术的快速发展，同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)作为其中的核心模块成为了业内的研究热点，它能实现移动机器人(或移动设备)在未知环境中的定位与建图功能。与使用激光雷达相比，使用视觉传感器拥有模型简单、信息量大、成本低廉、便于安装和功耗低等优点，但是不可忽视的是其作为被动传感器易受到环境的影响，例如光照的变化、尘雾等。因此提升视觉SLAM系统的稳定性与精度成为该领域的一项重要工作。

传统的视觉SLAM大多是基于传统的针孔相机，其有限的视场角会导致相机发生快速移动、旋转或环境中存在动态物体时，无法进行正确定位和建图。因此人们考虑将大视场相机引入SLAM的应用中。而鱼眼镜头的畸变很难控制在视场边缘，会导致图像质量下降。多摄像机全景成像系统通过拼接由几个摄像机同时捕获的图像来合成全景视图，导致系统整体可能庞大且昂贵。此外，多摄像机系统必须注意不同摄像机之间的同步和数据融合，这将导致计算成本的增加。反折射相机中使用的镜子通常很大且不规则，难以制造，需要高精度对准，它阻碍了这种反折射系统的广泛使用。

发明内容

针对上述情况，为了克服现有技术的缺陷，本发明提供一种基于全景环形透镜的视觉SLAM系统及方法。

本发明是通过下述技术方案来解决上述技术问题的：一种基于全景环形透镜的视觉SLAM系统，其特征在于，其包括：

获取单元，通过搭载所述全景环形透镜的相机以某一帧率采集图像序列后，然后进行一些初步的图像处理；

识别单元，通过分析图像处理后的结果，然后对PAL图像的环形有效区域的场景特征进行识别和提取，并进行帧间匹配；

定位单元，通过获取单元、识别单元所获得的数据选择相应的跟踪模型来估计位姿并进行优化，从而确定相机所在运动载体在环境中的定位信息；

建图单元，通过获取单元、定位单元绘制出相机所在运动载体的行驶轨迹，并计算环境中特征点的空间坐标从而重建出场景地图。

优选地，所述获取单元包括图像获取模块和图像处理模块，图像获取模块获取图像序列，图像处理模块将对图像获取模块获取的图像进行处理，处理方式包括伽马校正、高光抑制。

优选地，所述识别单元包括盲区去除模块、特征提取模块、特征匹配模块，盲区去除模块将识别出盲区部分，以避免在此区域提取和匹配特征点；特征提取模块将对有效区域内的特征点进行提取，特征匹配模块将对提取的特征点进行匹配。

优选地，所述定位单元包括初始化模块、特征跟踪模块和位姿优化模块，初始化模块将对系统进行初始化从而得到初始位姿和地图点，特征跟踪模块根据获取单元、识别单元所获数据选择相应的跟踪模型来估计位姿，位姿优化模块对位姿进行优化，从而进行相机所在运动载体的定位过程。

优选地，所述建图单元包括轨迹生成模块和地图构建模块，地图构建模块将计算环境中特征点的空间坐标并不断的更新和优化，并且重建出场景地图，该场景地图与所述基于全景环形透镜的视觉SLAM系统建立的空间坐标系匹配，并且轨迹生成模块在该坐标系下绘制相机所在运动载体的行驶轨迹。

本发明还提供一种基于全景环形透镜的视觉SLAM方法，其特征在于，其包括以下步骤：

步骤一，进行初始化；

步骤二，初始化完成后，所述基于全景环形透镜的视觉SLAM系统将执行跟踪过程，通过分析当前帧有效位置的特征并采用相应的跟踪模型获取相机位姿的粗略值，然后将当前帧的特征点与局部地图点进行匹配，采用光束法平差进一步优化当前位姿，然后计算符合要求的内点个数，如果数目足够则视为跟踪成功，执行步骤三，否则将根据下一帧全景图像进行重定位；

步骤三，如果步骤二跟踪成功，则判断当前帧是否为关键帧，如果是则插入关键帧序列并执行步骤四；如果不是关键帧，则不插入关键帧序列；

步骤四，在地图构建线程中根据当前关键帧和已有的关键帧的共视关系来更新地图点，去除冗余关键帧，并执行光束法平差来进一步更新地图点以及地图点和相应关键帧之间的链接关系；

步骤五，在闭环检测线程中将使用连续性检验获得与当前关键帧匹配点数最多的闭环关键帧，并基于词袋模型搜索当前关键帧和所述闭环关键帧的匹配特征点，如果所述匹配特征点个数足够多则判断为检测到闭环，经过后续优化得到更精确的地图点和相机位姿。

优选地，所述步骤一包括以下步骤：

步骤十一，将搭载所述全景环形透镜的相机安装在运动载体上，并调整好相机的朝向；安装所述相机时其朝向取决于具体使用环境；

步骤十二，安装并调整好所述相机后进行标定以获得相机模型所需参数，然后建立相应的投影模型和反投影模型，即像素坐标系和相机坐标系之间的转化关系；

步骤十三，使用所述搭载所述全景环形透镜的相机以某一帧率采集图像序列，并将图像序列依次输入所述基于全景环形透镜的视觉SLAM系统；

步骤十四，所述基于全景环形透镜的视觉SLAM系统对首先输入的若干张全景图片的有效区域进行特征点提取和匹配，根据匹配计算两帧之间的位姿；

步骤十五，所述自适应阈值是所述基于全景环形透镜的视觉SLAM系统初始化的过程中用于筛选内点的阈值，该阈值的大小取决于对应特征点到光心的距离。

本发明的积极进步效果在于：本发明的全景环形透镜无需拼接多个相机便可实现三百六十度成像，因此整个基于全景环形透镜的视觉SLAM系统更为轻便和高效，在自动驾驶和智能移动机器人等领域有广泛的应用前景。本发明采用了全景环形透镜以获取更多的场景特征，并通过筛选有效区域的特征以及采用自适应阈值剔除误差较大的点，有效提高了定位精度，在移动机器人及自动驾驶等领域有广泛使用前景。本发明在快速拐弯等区域鲁棒性良好，即便是反向运动也能有效地识别闭环并进行全局优化，而且无需进行环形图像的展开等操作，可以保证算法的实时性。

附图说明

图1为本发明基于全景环形透镜的视觉SLAM系统的原理框图。

图2为本发明基于全景环形透镜的视觉SLAM方法的流程图。

图3为本发明中搭载全景环形透镜的相机的光路成像示意图。

图4为本发明跟踪地图点的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

与这些鱼眼镜头、折反射相机和多相机全景成像系统相比，全景环形透镜(Panoramic Annular Lens，PAL)结构紧凑，能有效减少杂散光。兼具大视场、低畸变、高成像质量的优点。通过特殊的光学设计将镜头的侧向光线尽可能多地被收集到相机内。除此之外，环形图像去除了球形图像的上部和下部，更多地聚焦于包含重要位置视觉线索的中间部分图像。由于PAL可以在不旋转镜头的情况下一次性将360°的视场投影到平面环形图像上，即便相机的移动和旋转速度很快，也能确保相邻帧之间有足够的重叠区域。因此，本发明基于搭载全景环形透镜的相机设计了一种基于全景环形透镜的视觉SLAM方法及系统，使用简洁的投影公式处理单个全景视图，其紧凑的结构与合理的计算成本保证了所述全景视觉SLAM技术在自动驾驶、增强现实和智能机器人等方面的实际应用。

如图1所示，本发明基于全景环形透镜的视觉SLAM系统包括：

获取单元，通过搭载所述全景环形透镜的相机以某一帧率采集图像序列后，然后进行一些初步的图像处理；

识别单元，通过分析图像处理后的结果，然后对PAL图像的环形有效区域的场景特征进行识别和提取，并进行帧间匹配；

定位单元，通过获取单元、识别单元所获得的数据选择相应的跟踪模型来估计位姿并进行优化，从而确定相机所在运动载体在环境中的定位信息；

建图单元，通过获取单元、定位单元绘制出相机所在运动载体的行驶轨迹，并计算环境中特征点的空间坐标从而重建出场景地图。

获取单元包括图像获取模块和图像处理模块，图像获取模块获取图像序列，图像处理模块将对图像获取模块获取的图像进行处理，处理方式包括伽马校正、高光抑制等。

识别单元包括盲区去除模块、特征提取模块、特征匹配模块，盲区去除模块将识别出盲区部分，以避免在此区域提取和匹配特征点；特征提取模块将对有效区域内的特征点进行提取，特征匹配模块将对提取的特征点进行匹配。

定位单元包括初始化模块、特征跟踪模块和位姿优化模块，初始化模块将对系统进行初始化从而得到初始位姿和地图点，特征跟踪模块根据获取单元、识别单元所获数据选择相应的跟踪模型来估计位姿，位姿优化模块对位姿进行优化，从而进行相机所在运动载体的定位过程。

建图单元包括轨迹生成模块和地图构建模块，地图构建模块将计算环境中特征点的空间坐标并不断的更新和优化，并且重建出场景地图，该场景地图与所述基于全景环形透镜的视觉SLAM系统建立的空间坐标系匹配，并且轨迹生成模块在该坐标系下绘制相机所在运动载体的行驶轨迹。

本发明基于全景环形透镜的视觉SLAM系统包括以下步骤：

步骤一，进行初始化，通过搭载所述全景环形透镜的相机以某一帧率采集图像序列，将图像序列依次输入基于全景环形透镜的视觉SLAM系统，必要时将对图像进行适当的预处理。基于全景环形透镜的视觉SLAM系统对首先输入的若干张全景图片的有效区域进行特征点提取和匹配，根据匹配结果计算两帧之间的位姿。在这个过程中采用了与特征点到光心距离有关的自适应阈值来筛选内点，从而获取更精确的位姿估计，再使用三角测量获得空间点坐标，并使用光束法平差进行优化，此步骤将得到初始位姿和初始地图点，同时将绘制初始地图。

步骤二，初始化完成后，所述基于全景环形透镜的视觉SLAM系统将执行跟踪过程，通过分析当前帧有效位置的特征并采用相应的跟踪模型获取相机位姿的粗略值，然后将当前帧的特征点与局部地图点进行匹配，采用光束法平差(Bundle Adjustment)进一步优化当前位姿，然后计算符合要求的内点个数，如果数目足够则视为跟踪成功，执行步骤三，否则将根据下一帧全景图像进行重定位。

所述跟踪过程根据匹配点的数目选择相应的跟踪模型，如图4所示，P1、P2是地图点，当相机从相机坐标系的第一原点O1移动到相机坐标系的第二原点O2时，需要选择跟踪模型来估计当前相机的位姿。优先选择恒速模型跟踪上一帧的地图点。如果匹配点数目不足则利用词袋模型跟踪上一关键帧，如果无法跟踪上一关键帧将尝试计算当前帧的初始位姿，否则将进行重定位获得当前相机位姿的粗略值，获得当前相机位姿的粗略值后通过匹配当前帧的有效区域特征点和局部地图点，并优化目标函数

来获取当前位姿优化结果，其中ξ是李代数表示的相机位姿，x_c是特征点在相机坐标系下的单位向量，x_w是对应的地图点坐标，n是当前有效匹配的点数，i代表这些点的序号。

步骤三，如果步骤二跟踪成功，则判断当前帧是否为关键帧，如果是则插入关键帧序列并执行步骤四；如果不是关键帧，则不插入关键帧序列；

步骤四，在地图构建线程中根据当前关键帧和已有的关键帧的共视关系来更新地图点，去除冗余关键帧，并执行光束法平差来进一步更新地图点以及地图点和相应关键帧之间的链接关系；

步骤五，在闭环检测线程中将使用连续性检验获得与当前关键帧匹配点数最多的闭环关键帧，并基于词袋模型搜索当前关键帧和所述闭环关键帧的匹配特征点，如果所述匹配特征点个数足够多则判断为检测到闭环，经过后续优化得到更精确的地图点和相机位姿。

图3为是本发明实施例公开的一种搭载所述全景环形透镜的相机的光路成像示意图。如图3所示，光阑2位于全景环形透镜1和中继透镜3之间，图像4在图像区域5和中继透镜3之间，盲区6位于图像区域5上。本实施例中使用的全景环形透镜为双次折反射式，全景环形透镜还包括其他类型例如单次折反射式等，本发明实施例并不对此做出限制。

所述步骤一包括以下步骤：

步骤十一，将搭载所述全景环形透镜的相机安装在运动载体上，并调整好相机的朝向；安装所述相机时其朝向取决于具体使用环境，例如放置在小型地面移动机器人上时，由于所述相机距离地面较近，应该将相机朝上拍摄以获取更多的场景特征。当搭载所述全景环形透镜的相机安装于无人机上时，应该朝下拍摄以获取更多的场景特征；

步骤十二，安装并调整好所述相机后进行标定以获得相机模型所需参数，然后建立相应的投影模型和反投影模型，即像素坐标系和相机坐标系之间的转化关系；

步骤十三，使用所述搭载所述全景环形透镜的相机以某一帧率采集图像序列，并将图像序列依次输入所述基于全景环形透镜的视觉SLAM系统，必要时将对图像进行适当的预处理；

步骤十四，所述基于全景环形透镜的视觉SLAM系统对首先输入的若干张全景图片的有效区域进行特征点提取和匹配，根据匹配计算两帧之间的位姿。在这个过程中采用了与特征点到光心距离有关的自适应阈值来筛选内点，从而获取更精确的位姿估计，再使用三角测量获得空间点坐标，并使用光束法平差进行优化。此步骤将得到初始位姿和初始地图点，同时将绘制初始地图；所述全景图片中的有效区域是指去除了盲区以外的区域，在提取特征点时应当避开盲区从而减少误匹配。若使用了动态物体剔除，那么有效区域除了盲区以外的部分，还包括剔除了动态物体后的静态场景部分。在有效区域内提取体征点并进行匹配，能够进一步提升定位的准确度。

步骤十五，所述自适应阈值是所述基于全景环形透镜的视觉SLAM系统初始化的过程中用于筛选内点的阈值，该阈值的大小取决于对应特征点到光心的距离。根据两帧图片的匹配特征点计算出本质矩阵后，需要根据对极约束

进一步筛选内点，其中x₁和x₂分别是两帧图片中的匹配点在单位球面上的投影，E是基础矩阵，T表示矩阵转置。然后根据内点数判断该本质矩阵是否满足要求。

由于图像存在噪声，对极约束

并不完全为零，而是存在一定的误差，这一误差与特征点到光心的距离有关，因此需采用自适应阈值来筛选出内点，如下式(1)所述：

由于全景图像上的匹配特征点到光心的距离存在差异，T表示矩阵转置，θ表示图像平面上的内点筛选阈值在单位球面上的投影对应的角度，θ的大小与x₁、x₂在单位球面上的投影位置有关。所述自适应阈值能够更有效地剔除误差较大的点，从而提升定位的精度。

综上所述，本发明可以解决基于传统相机的视觉SLAM视场角受限导致的在相机快速移动和拐弯等情况下鲁棒性差等问题。全景环形透镜无需拼接多个相机便可实现三百六十度成像，因此整个基于全景环形透镜的视觉SLAM系统更为轻便和高效，在自动驾驶和智能移动机器人等领域有广泛的应用前景。本发明采用了全景环形透镜以获取更多的场景特征，并通过筛选有效区域的特征以及采用自适应阈值剔除误差较大的点，有效提高了定位精度，在移动机器人及自动驾驶等领域有广泛使用前景。本发明在快速拐弯等区域鲁棒性良好，即便是反向运动也能有效地识别闭环并进行全局优化，而且无需进行环形图像的展开等操作，可以保证算法的实时性。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读存储介质的具体示例包括:磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于全景环形透镜的视觉SLAM系统，其特征在于，其包括：

获取单元，通过搭载所述全景环形透镜的相机以某一帧率采集图像序列后，然后进行一些初步的图像处理；

识别单元，通过分析图像处理后的结果，然后对PAL图像的环形有效区域的场景特征进行识别和提取，并进行帧间匹配；

定位单元，通过获取单元、识别单元所获得的数据选择相应的跟踪模型来估计位姿并进行优化，从而确定相机所在运动载体在环境中的定位信息；

建图单元，通过获取单元、定位单元绘制出相机所在运动载体的行驶轨迹，并计算环境中特征点的空间坐标从而重建出场景地图。

2.如权利要求1所述的基于全景环形透镜的视觉SLAM系统，其特征在于，所述获取单元包括图像获取模块和图像处理模块，图像获取模块获取图像序列，图像处理模块将对图像获取模块获取的图像进行处理，处理方式包括伽马校正、高光抑制。

3.如权利要求1所述的基于全景环形透镜的视觉SLAM系统，其特征在于，所述识别单元包括盲区去除模块、特征提取模块、特征匹配模块，盲区去除模块将识别出盲区部分，以避免在此区域提取和匹配特征点；特征提取模块将对有效区域内的特征点进行提取，特征匹配模块将对提取的特征点进行匹配。

4.如权利要求1所述的基于全景环形透镜的视觉SLAM系统，其特征在于，所述定位单元包括初始化模块、特征跟踪模块和位姿优化模块，初始化模块将对系统进行初始化从而得到初始位姿和地图点，特征跟踪模块根据获取单元、识别单元所获数据选择相应的跟踪模型来估计位姿，位姿优化模块对位姿进行优化，从而进行相机所在运动载体的定位过程。

5.如权利要求1所述的基于全景环形透镜的视觉SLAM系统，其特征在于，所述建图单元包括轨迹生成模块和地图构建模块，地图构建模块将计算环境中特征点的空间坐标并不断的更新和优化，并且重建出场景地图，该场景地图与所述基于全景环形透镜的视觉SLAM系统建立的空间坐标系匹配，并且轨迹生成模块在该坐标系下绘制相机所在运动载体的行驶轨迹。

6.一种基于全景环形透镜的视觉SLAM方法，其特征在于，其包括以下步骤：

步骤一，进行初始化；

步骤二，初始化完成后，所述权利要求1所述的基于全景环形透镜的视觉SLAM系统将执行跟踪过程，通过分析当前帧有效位置的特征并采用相应的跟踪模型获取相机位姿的粗略值，然后将当前帧的特征点与局部地图点进行匹配，采用光束法平差进一步优化当前位姿，然后计算符合要求的内点个数，如果数目足够则视为跟踪成功，执行步骤三，否则将根据下一帧全景图像进行重定位；

步骤三，如果步骤二跟踪成功，则判断当前帧是否为关键帧，如果是则插入关键帧序列并执行步骤四；如果不是关键帧，则不插入关键帧序列；

步骤四，在地图构建线程中根据当前关键帧和已有的关键帧的共视关系来更新地图点，去除冗余关键帧，并执行光束法平差来进一步更新地图点以及地图点和相应关键帧之间的链接关系；

步骤五，在闭环检测线程中将使用连续性检验获得与当前关键帧匹配点数最多的闭环关键帧，并基于词袋模型搜索当前关键帧和所述闭环关键帧的匹配特征点，如果所述匹配特征点个数足够多则判断为检测到闭环，经过后续优化得到更精确的地图点和相机位姿。

7.如权利要求6所述的基于全景环形透镜的视觉SLAM方法，其特征在于，所述步骤一包括以下步骤：

步骤十一，将搭载所述全景环形透镜的相机安装在运动载体上，并调整好相机的朝向；安装所述相机时其朝向取决于具体使用环境；

步骤十二，安装并调整好所述相机后进行标定以获得相机模型所需参数，然后建立相应的投影模型和反投影模型，即像素坐标系和相机坐标系之间的转化关系；

步骤十三，使用所述搭载所述全景环形透镜的相机以某一帧率采集图像序列，并将图像序列依次输入所述基于全景环形透镜的视觉SLAM系统；

步骤十四，所述基于全景环形透镜的视觉SLAM系统对首先输入的若干张全景图片的有效区域进行特征点提取和匹配，根据匹配计算两帧之间的位姿；

步骤十五，所述自适应阈值是所述基于全景环形透镜的视觉SLAM系统初始化的过程中用于筛选内点的阈值，该阈值的大小取决于对应特征点到光心的距离。

Images