CN107990899A

CN107990899A - 一种基于slam的定位方法和系统

Info

Publication number: CN107990899A
Application number: CN201711173777.8A
Authority: CN
Inventors: 蔡少骏; 孟超
Original assignee: Uisee Technologies Beijing Co Ltd
Current assignee: Uisee Technologies Beijing Co Ltd
Priority date: 2017-11-22
Filing date: 2017-11-22
Publication date: 2018-05-04
Anticipated expiration: 2037-11-22
Also published as: CN107990899B

Abstract

本发明公开了一种基于SLAM的定位方法和系统。本发明的方法包括步骤：计算相机在全局地图中的初始位置，其中所述的全局地图是指双目SLAM全局地图；从全局地图中根据相机的初始位置提取局部地图；匹配当前帧和局部地图点；基于当前帧和局部地图点的匹配结果触发单目SLAM定位，其中，所述的单目SLAM定位通过单目相机生成新的地图点用于定位。本发明能够在定位质量差时，触发单目SLAM定位来补充地图点，增加定位的准确度并提高定位的效率，而在定位质量好和定位丢失的情况下则进行基本的地图定位。

Description

一种基于SLAM的定位方法和系统

技术领域

本申请涉及人工智能领域，尤其涉及无人驾驶的定位方法和装置。

背景技术

视觉SLAM是21世纪SLAM研究热点之一，一方面是因为视觉十分直观，另一方面，由于CPU、GPU处理速度的增长，使得许多以前被认为无法实时化的视觉算法，得以在10Hz以上的速度运行。硬件的提高也促进了视觉SLAM的发展。

以传感器而论，视觉SLAM研究主要分为三大类：单目、双目(或多目)、RGBD。其余还有鱼眼、全景等特殊相机，但是在研究和产品中都属于少数。此外，结合惯性测量器件(Inertial Measurement Unit，IMU)的视觉SLAM也是现在研究热点之一。就实现难度而言，我们可以大致将这三类方法排序为：单目视觉>双目视觉>RGBD。

在智能家居或智能穿戴场景中，定位的应用是非常广泛的，然而通常情况下通过GPS定位、AGPS定位基、站定位和WiFi定位等方式来定位，对信号要求较高，容易被干扰，并且定位精度较低误差大。

现有技术中，双目SLAM定位对定位数据的质量的要求较高，对低质量的定位数据无法处理，而仅仅靠反复进行双目定位并过滤低质量的定位数据来解决定位准确度问题。这样，使得双目定位的应用范围收到局限，难以提高定位效率和精度。

在无人驾驶领域，利用双目SLAM定位还存在改进的必要。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于SLAM的定位方法、装置、电子设备和计算机可读存储介质，以增加自动驾驶的定位准确度并提高定位效率。

根据本申请的一个方面，提供一种基于SLAM的定位方法，包括如下步骤：计算相机在全局地图中的初始位置，其中所述的全局地图是指双目SLAM全局地图；从全局地图中根据相机的初始位置提取局部地图；匹配当前帧和局部地图点；基于当前帧和局部地图点的匹配结果触发单目SLAM定位；其中，所述的单目SLAM定位通过单目相机生成新的地图点用于定位。

作为优选方式，所述的基于当前帧和局部地图点的匹配结果触发单目SLAM定位包括：当前帧与局部地图点的匹配个数小于第一阈值且大于第二阈值时，定位质量差，触发单目SLAM定位；当前帧与局部地图点的匹配个数小于第二阈值时，定位丢失，重新计算相机初始位置；当前帧与局部地图点的匹配个数大于第一阈值时，持续获取定位信息；其中，所述第一阈值大于所述第二阈值。

作为优选方式，所述单目SLAM定位包括：获取单目图像，并与当前地图进行匹配，所述匹配是指对于当前单目图像的每个特征描述子，从当前地图中找到与描述子最接近的地图点；判断单目图像是否匹配成功；若匹配成功，以前一帧或后一帧的位姿作为初值，求解位姿；若匹配不成功，退出单目SLAM定位。

作为优选方式，所述的匹配成功、持续获取定位信息进一步包括：对已知位姿信息的多帧图像进行三角化；根据三角化的结果，生成临时地图点，并加入当前地图。

作为优选方式，所述的当前地图是指以局部地图为初始地图、不断加入临时地图点的地图。

作为优选方式，所述方法进一步包括退出单目SLAM定位后，清除临时地图点。

作为优选方式，所述的三角化包括：通过当前帧和从前序帧中找出的另一帧，找出这两帧中匹配的点对，计算出这些匹配点对的3D位置信息；在当前帧中对尚未与地图匹配的特征点进行三角化；其中，在从前序帧中找出所述另一帧的定位结果好，并且与当前帧的位移超过一定阈值。

作为优选方式，所述的单目图像与当前地图进行匹配包括：

若当前帧有运动信息时，利用已知的运动模型将当前地图中的3D地图点投影到当前帧图像中，与投影点附近的特征点比较描述子相似程度，寻找最可能的2D匹配点；若当前帧没有运动信息，则直接通过地图点的描述子与当前帧的特征点描述子进行相似度比较，找到最可能的2D匹配点。

作为优选方式，所述方法进一步包括：退出单目SLAM定位后，重新计算相机在全局地图中的位置。

作为优选方式，所述方法进一步包括：在单目SLAM定位的同时，进行局部重定位，所述的局部重定位是指从当前单目SLAM的定位结果附近的一个局部范围内获得候选关键帧，并进行位姿解算；若局部重定位成功，退出单目SLAM定位，并清除单目SLAM定位的数据。

作为优选方式，第一阈值是范围为80～100个中的一个值，第二阈值是范围为20～40个中的一个值。

作为优选方式，当前帧的位移的一定阈值是范围为30～50厘米中的一个值。

根据本发明的另一方面，提供一种基于SLAM的定位系统，包括：全局重定位模块，计算相机在全局地图中的初始位置，其中所述的全局地图是指双目SLAM全局地图；位姿跟踪模块，从全局地图中根据相机的初始位置提取局部地图，并且匹配当前帧和局部地图点；单目SLAM定位模块，基于当前帧和局部地图点的匹配结果触发单目SLAM定位，以通过单目相机生成新的地图点用于定位。

作为优选方式，所述单目SLAM定位模块触发单目SLAM定位包括：当前帧与局部地图点的匹配个数小于第一阈值且大于第二阈值时，定位质量差，触发单目SLAM定位；当前帧与局部地图点的匹配个数小于第二阈值时，定位丢失，重新计算相机初始位置；当前帧与局部地图点的匹配个数大于第一阈值时，持续获取定位信息；其中，所述第一阈值大于所述第二阈值。

作为优选方式，所述单目SLAM定位模块的单目SLAM定位包括：获取单目图像，并与当前地图进行匹配，所述匹配是指对于当前单目图像的每个特征描述子，从当前地图中找到与描述子最接近的地图点；判断单目图像是否匹配成功；若匹配成功，以前一帧或后一帧的位姿作为初值，求解位姿；若匹配不成功，退出单目SLAM定位。

作为优选方式，所述的当前地图是指以局部地图为初始地图，不断加入临时地图点的地图。

作为优选方式，所述单目SLAM定位模块的操作进一步包括退出单目SLAM定位后，清除临时地图点。

作为优选方式，所述的单目图像与当前地图进行匹配包括：

作为优选方式，所述单目SLAM定位模块的单目SLAM定位进一步包括：退出单目SLAM定位后，重新计算相机在全局地图中的位置。

作为优选方式，所述单目SLAM定位模块的操作进一步包括：在单目SLAM定位的同时，进行局部重定位，所述的局部重定位是指从当前单目SLAM的定位结果附近的一个局部范围内获得候选关键帧，并进行位姿解算；若局部重定位成功，退出单目SLAM定位，并清除单目SLAM定位的数据。

根据本申请的另一方面，还提供一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述的基于SLAM的定位方法。

根据本申请的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述的基于SLAM的定位方法。

下面解释四个术语。

1、地图：

地图包含关键帧和地图点两部分。关键帧为所有帧的一个子集，挑选关键帧的标准主要是关键帧与关键帧间有一定的距离，且新的关键帧较上一个关键帧包含一定量的新关键帧。地图点包含3D空间位置坐标和特征描述两部分，位置坐标为(x,y,z)的形式，特征描述子为在观测到这个地图点的图片帧中的投影位置提取的特征。本申请的实施例采用ORB特征。

2、位姿：

位姿包含位置(x,y,z)和姿态(yaw,pitch,roll)，即(x,y,z,yaw,pith,roll)六个自由度信息。

3、初始地图：

初始地图是之前双目预先建立的环境全局地图。局部地图表示当前无人车所在位置附近的环境的地图,是环境全局地图的一部分。

4、图像描述子：

描述子是与图像特征点有关的一个向量。图像特征点由两部分组成，关键点和描述子。其中关键点表示了特征点在图像中的位置。描述子是人为设计的向量，用来描述该关键点周围的像素信息，描述子按照“外观相似的特征点应该有相似的描述子”设计，用于衡量两个特征的相似性。

在本发明中，全局重定位是一个离线的过程，利用的是已经建立的双目SLAM地图，只有当定位质量差时触发单目SLAM定位，一边定位，一边进行单目SLAM，生成新的地图点。

与现有技术相比，采用根据本申请实施例的基于SLAM的定位方法和装置，能够在融合多种定位方式的同时，克服相应定位方式的缺陷。本发明能够在定位质量差时，触发单目SLAM定位，来补充地图点，以增加定位的准确度并提高定位的效率，而在定位质量好的情况下则进行基本的地图定位。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是根据本申请实施例的基于SLAM的定位方法的步骤流程示意图；

图2是根据本申请实施例的流程示意图，以说明单目SLAM定位的操作步骤；

图3示出了根据本申请实施例的基于SLAM的定位的装置的框架结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

示例性方法

本发明的基于SLAM的定位方法包括如下基本步骤：

计算相机在全局地图中的初始位置，其中所述的全局地图是指双目SLAM全局地图；

从全局地图中根据相机的初始位置提取局部地图；

匹配当前帧和局部地图点；以及

基于当前帧和局部地图点的匹配结果触发单目SLAM定位，其中，所述的单目SLAM定位通过单目相机生成新的地图点用于定位。

更具体地说，本发明的基于SLAM的定位方法可以包括如下描述的操作步骤：

在预先建立好的双目SLAM全局地图中将当前帧与跟当前帧最接近的K张候选帧分别进行特征点匹配，并进行位姿解算，以通过全局重定位找到相机在全局地图中的初始位置；

根据附近几帧所在的位置，从双目SLAM全局地图取出局部地图点，并将当前帧的特征点与局部地图点进行匹配，如果匹配数目超过第一阈值，则以前一帧或后一帧的位置为初值，采用非线性优化的方式求解当前帧的位姿以进行位姿跟踪；

在当前帧与局部地图特征点的匹配个数小于第一阈值且大于第二阈值时，即认为定位质量差，触发单目SLAM定位，所述单目SLAM定位生成新的地图点以补充双目SLAM全局地图中的地图点，而如所述匹配个数小于第二阈值，则认为定位丢失，重新进入全局重定位；以及

在所述单目SLAM定位的过程中，从当前单目SLAM的定位结果附近的一个局部范围内获得候选关键帧，并进行位姿解算，不断地进行局部重定位，如位姿解算的结果中用到的内点个数大于特定数量即匹配成功，则清除单目SLAM的定位数据，并退出单目SLAM定位，所述定位数据包括临时添加的关键帧和地图点，如位姿解算的结果中用到的内点个数小于所述特定数量则匹配失败，那么继续进行单目SLAM定位。

上述单目SLAM定位可以包括：

从预先建立好的双目SLAM全局地图获取在当前位置附近的局部地图作为初始地图，后续步骤中将以初始地图为基础，在SLAM过程中不断添加地图点，构成当前地图；

获取单目图像，并与当前地图进行匹配，所述匹配是指对于当前单目图像的每个特征描述子，从当前地图中找到与描述子最接近的地图点；

判断单目图像与当前地图是否匹配成功，若匹配成功，则以当前帧的前一帧或后一帧的位姿作为初值进行非线性优化求解单目相机的位姿，若匹配不成功，则定位丢失，退出单目SLAM模式，清除临时地图，重新回到全局重定位；以及

若单目图像与当前地图匹配成功，则在求解单目相机的位姿后，利用单目相机的位姿生成新的地图点并把该新的地图点添加入当前地图，以更新当前地图，而且在单目SLAM中对地图的添加部分进行标记。

下面参考图1、图2来具体描述本发明的基于SLAM的定位方法的实施例。

图1图示了根据本申请实施例的基于SLAM的定位方法的步骤流程示意图。

下面参照图1说明本申请实施例的基于SLAM的定位方法的基本步骤。

(1)步骤S100、全局重定位。

刚开始时当前相机在全局地图中的位置是未知的，需要通过全局重定位找到相机的一个初始位置。全局地图是预先建立好的双目SLAM地图。

重定位的第一步是从地图的所有关键帧中，通过Bag of Words方法找到跟当前帧最接近的K张候选帧。然后，将当前帧与这K张候选帧分别进行特征点匹配，根据匹配的结果，采用PnP(Perspective-n-Point)的方法尝试进行位姿解算。位姿解算结果中包含内点(inliers)数目超过阈值且最多的即为采纳的最终位姿。如果所有PnP的解算结果中的内点数目均低于阈值，则重定位失败。

在本实施例中，在全局重定位中内点数目的阈值可以为30～50个中的一个值，例如，内点数目的阈值可以为30、40和50。在此以及下面对本实施例的阈值的说明中，所有阈值的确定都是依据经验数据，可以根据实际需要设计。

(2)步骤S200、位姿跟踪。

根据附近几帧所在的位置，从全局地图获得局部地图，取出局部地图点，并将当前帧的特征点与局部地图点进行匹配，如果匹配数目超过第一阈值，则以前一帧或后一帧的位置为初值，采用非线性优化的方式求解当前帧的位姿。

首先读取预先建立好的双目SLAM地图,该地图包括：关键帧；关键帧可以观测到的地图点世界坐标；以及，地图点对应的图像特征和描述子。

之后，提取当前帧图像特征,通过描述子与地图点进行匹配。基于公式将匹配成功的地图点重投影到当前帧图像中,(u,v)是图像坐标,(X,Y,Z)地图点坐标,K是相机内参,exp(ξ∧)＝[R|t]表示当前帧位姿,得到重投影误差,通过最小化重投影误差得到当前帧位姿信息R(旋转)以及t(位置)。

(3)步骤S300、判断定位信息的准确度。

所述定位信息的准确度为当前帧与局部地图特征点的匹配个数。当匹配个数小于第一阈值时，即认为定位质量差，当定位失败时，进行单目SLAM定位，当定位成功时，持续获取定位信息。当匹配个数小于第二阈值时(第二阈值比第一阈值更低)，则认为定位丢失。进入全局重定位(步骤S100)。

在本实施例中，第一阈值是范围为80～100个中的一个值，例如，具体地，第一阈值可以为80、90和100。第二阈值是范围为20～40个中的一个值，例如，具体地，第二阈值可以为20、30和40。

(4)步骤S400、进行单目SLAM定位。

单目SLAM定位的具体流程如图2所示，下文还将详细描述。

(5)步骤S500、进行局部重定位。

在单目SLAM定位的过程中，不断地进行局部重定位。局部重定位的框架类似全局重定位(步骤S100)，区别在于局部重定位的过程中，候选关键帧是从当前单目SLAM的定位结果附近的一个局部范围内获得。后续的PnP位姿解算则与步骤100相同。局部重定位由于利用局部信息缩小了搜索，提高了重定位的效率和实时性。

(6)步骤S600、判断重定位是否成功。

成功条件为位姿解算的结果中用到的内点个数大于特定数量即匹配成功。若匹配失败，则继续进行单目SLAM定位。若匹配成功，即转入步骤S700。

在本实施例中，特定数量是范围可以为30～50个中的一个值，例如，具体地，特定数量可以为30、40和50。

(7)步骤S700、清除单目SLAM的定位数据，退出单目SLAM定位。

单目SLAM的定位数据包括临时添加的关键帧和地图点。单目SLAM的定位数据只是临时数据和补充数据，因此，在完成局部重定位后，有必要清除这些数据，以便于准确地进行后续定位。

图1中的步骤S400还包括本申请实施例的单目SLAM定位的具体操作步骤，这些具体操作步骤显示于图2中。

图2仅是用于说明图1的步骤S400的进行单目SLAM定位的具体步骤，下面详细描述。

(1)步骤S410、获取初始地图。

初始地图包括通过双目相机建立的地图在当前位置附近的局部地图。所述的初始地图是指预先已建立好并存储于存储器中的环境全局地图。获取初始地图，是指获取上述局部地图中的地图点和关键帧。后续以初始地图为基础，在SLAM过程中不断添加地图点，构成当前地图。

(2)步骤S420、获取单目图像，并与当前地图进行匹配。

所述匹配是指对于当前单目图像的每个特征描述子，从当前地图中找到与其描述子最接近的地图点。

所述的匹配采用3D-2D的匹配，包括两种方法。

若当前帧有运动信息时，利用已知的运动模型将地图中的3D地图点投影到当前帧图像中，与投影点附近的特征点比较描述子相似程度，寻找最可能的2D匹配点；

若当前帧没有运动信息，则直接通过地图点的描述子与当前帧的特征点描述子进行相似度比较，找到最可能的2D匹配点。

(3)步骤S421、判断是否匹配成功(匹配数量大于一定阈值)。

若匹配成功，则执行步骤S430的操作；若匹配不成功，则定位丢失，退出单目SLAM模式，清除临时地图，回到全局重定位步骤S100。

(4)步骤S430、计算单目相机的位姿。

建立了与地图点的匹配之后，以前一帧或后一帧的位姿作为初值，进行非线性优化求解位姿。

(5)步骤S440、利用单目相机的位姿添加地图点。

添加地图点是基于三角化的方法。三角化是指通过已知位姿信息的两帧，在两帧中找出匹配的点对，计算出这些匹配点对的3D位姿信息。因为当前帧已经计算出位姿信息，需要从前序帧中找出符合要求的另一帧进行三角化。这里主要需要另一帧的定位结果好，且与当前帧的位移超过一定阈值。找到符合要求的另一帧后，在当前帧中对尚未与地图匹配的特征点，进行三角化。对三角化结果较好的特征点，生成新的地图点，加入当前地图中。

三角化需要的已知条件：相机内参K；两个匹配的2D特征点坐标p1、p2；对应的归一化相机坐标系坐标x₁、x₂(x₁＝K^-1p₁，x₂＝K^-1p₂)；以及匹配特征所在的两个关键帧之间的相对位姿[R|t]，其中，R表示旋转，t表示位置。

根据相机坐标系转换方程s₁x₁＝s₂Rx₂+t.，可以得到三角化公式，

其中s1、s2表示特征点对应的深度并且是未知的，

由此，得到特征点对应深度s2,进而得到特征点的3D坐标。

在本实施例中，当前帧的位移的一定阈值可以是范围为30～50厘米中的一个值，例如30、40、50厘米。

(6)步骤S450、更新当前地图。

在单目SLAM中对地图的添加部分会进行标记，以便在退出单目SLAM模式时对这些添加部分进行统一清除。

根据实际需要，在单目SLAM定位的步骤S400中可以如图2的从步骤S450至S420的箭头所示不断添加地图点。

在完成了单目SLAM定位的步骤S400后，本发明的定位步骤就可以转入图1和2所示的步骤S500，并进而操作步骤S600。

本发明通过全局重定位来得到相机的初始位置，来进行位姿跟踪，以及对观测到的地图点进行投影。利用全局重定位得到的初始位置后，要通过位姿跟踪时的投影和匹配进行进一步地定位。位姿跟踪时粗略选择前一帧或后一帧的位置，该位置是双目地图上的一个地图点，该地图点是一个3D的地图点。因此，需要将地图点投影到2D的当前帧图像上，来进行位置匹配。以求解当前帧的位姿。

本发明将当前帧的特征点和地图中的特征点匹配，并且利用地图中包含的特征点位移变化(即视觉变化)。若匹配到的地图点少，则当前定位就会失败，而丢失定位。如认为定位质量差，为提高定位准确度，需要进行单目SLAM定位(定位点的数目在第一阈值和第二阈值之间)。通过单目SLAM定位，能够在地图上添加新的地图点，匹配的点越多，则稳定性越高，地图的质量越高。退出单目SLAM定位则进行普通定位(例如全局重定位)。

在全局重定位中，位姿解算结果中包含内点数目超过阈值且最多的即为采纳的最终位姿；并且如果所有解算结果中的内点数量均低于阈值，则重定位失败，则放弃依据当前帧进行定位，而以下一帧为依据进行定位。

由于现有的单目SLAM定位在环境变化时难以取点，无法实现定位，且定位数据不稳定，难以保存。而且，不能一直以单目定位的方式来添加地图点，这样，时间长了会降低定位的准确度。因此，本发明通过局部重定位是否成功来判断退出单目定位并清除临时数据的时机。

本发明通过双目定位来构建地图，应付环境的变化，以及增加定位的精确性和稳定性。并且，通过单目定位加载双目地图并更新双目地图进行定位，修正双目定位的结果并降低定位时对定位质量的要求，增加系统的鲁棒性。本发明的地图均包括地图点和关键帧。

在本发明的定位的过程中，能够一边进行局部重定位，一边进行单目SLAM定位，并生成新的地图点。本发明在定位质量差时，能触发单目SLAM定位，来补充地图点，实现对低质量定位数据的定位。在定位效果好和定位丢失时，则进行基本的地图定位，以增加定位数据的稳定性。单目SLAM定位时的初始地图是基于双目地图。这样能提高单目SLAM定位的准确度和稳定性。可以通过双目定位来获取地图，通过单目定位来判断帧的移动。

在本发明中，首先，通过双目摄像头来采集图像，获得图像的特征点和关键帧，这可以是离线的过程。然后，在上一步骤的基础上，利用单目图像将关键帧提取出来。

一般而言，当画面中出现新的物体和特征时，很容易干扰单目定位。这是因为单目仅仅通过一个单目摄像头来拍摄图像。一旦发生遮挡，就很难通过比对和提取特征点来分析帧之间的关系。而帧与帧之间的关系不确定时，由于单目定位计算位姿至少需要两帧图像，就无法确定相机的位姿。双目定位则不同，因为双目定位通过两个双目摄像头来拍摄画面，因此，当一侧视线受阻时，通过另一侧的摄像头的拍摄的画面就能够对遮挡的特征点进行提取，从而降低干扰。因此，本发明不直接使用单目定位，而是先进行双目定位，使得环境变化造成的干扰大幅降低。并且，在双目定位质量差时，引入单目定位来修正双目定位的结果，实现精确定位。本发明克服了现有技术中单目定位和双目定位存在的缺陷，实现了一种比上述定位的准确度更高的定位方法，既能降低环境变化对单目定位的干扰，又能提高双目定位的准确度。

在本发明中，相机可以安装在车辆上，并且，车辆上还安装有其它传感器，这些传感器信息和图像信息要转换到同一地图上。该地图可以采用车辆坐标系。

在本实施例中，双目全局地图的一个局部地图作为初始地图，取局部地图点(局部地图可以认为是全局地图的一个子集，局部地图点是该局部地图上的地图点)是为了提高效率。

单目定位主要是通过某几帧和当前帧来计算当前帧的位姿，并将比较好的位姿做为新的地图点加入地图中。对新的地图点进行标记，方便在退出单目定位时清除这些临时地图点。

因为前一帧或后一帧上已经估计出了相机的初始位置，因此，只需要对当前帧和某一帧的相机位姿进行匹配。之后，以当前帧的前一帧或后一帧的位姿作为初值进行非线性优化求解单目相机的位姿。求解过程可以通过迭代计算来实现。

在本发明中，清除临时地图点的原因是因为临时地图点会降低定位的稳定性。因此，临时地图点不能够做为永久的地图点存储下来。临时地图点的特征不能够永久存在(例如车辆进入车库时，车辆的特征是存在的，但当下车定位时，也许车辆退出了车库，这样就使得单目定位收到了环境变化的干扰)，因此必须在退出单目定位时，对临时地图点进行删除。此外，单目定位时的三角化方法也不是特别稳定的定位方法。虽然，本发明在一定条件下切换单目定位和双目定位，能使得定位精确度提升。但是，双目定位整体上要比单目定位更稳定(生成的点也更准确)。因此，大量地存储单目定位的地图点，会导致下次定位时，由于环境变化导致稳定性和精度大幅降低，而干扰到下次的定位。所以，本发明优选要删除临时地图点。

与现有技术相比，采用根据本申请实施例的基于SLAM的定位方法和装置，能够在融合多种定位方式的同时，克服相应定位方式的缺陷。本发明能够在定位质量差时，触发单目SLAM定位，来补充地图点，以增加定位的准确度并提高定位的效率，而在定位质量好和定位丢失的情况下则进行基本的地图定位。

示例性装置

下面，参考图3来描述根据本申请实施例的基于SLAM的定位系统。

如图3所示，根据本申请实施例的基于SLAM的定位系统包括：

全局重定位模块1，计算相机在全局地图中的初始位置，其中所述的全局地图是指双目SLAM全局地图；

位姿跟踪模块2，从全局地图中根据相机的初始位置提取局部地图，并且匹配当前帧和局部地图点；

单目SLAM定位模块3，基于当前帧和局部地图点的匹配结果触发单目SLAM定位，以通过单目相机生成新的地图点用于定位。

本实施例进一步优选地，所述单目SLAM定位模块触发单目SLAM定位包括：

当前帧与局部地图点的匹配个数小于第一阈值且大于第二阈值时，定位质量差，触发单目SLAM定位；

当前帧与局部地图点的匹配个数小于第二阈值时，定位丢失，重新计算相机初始位置；

当前帧与局部地图点的匹配个数大于第一阈值时，持续获取定位信息；

其中，所述第一阈值大于所述第二阈值。

本实施例进一步优选地，所述单目SLAM定位模块的单目SLAM定位包括：

判断单目图像是否匹配成功；

若匹配成功，以前一帧或后一帧的位姿作为初值，求解位姿；

若匹配不成功，退出单目SLAM定位。

本实施例进一步优选地，所述的匹配成功、持续获取定位信息进一步包括：

对已知位姿信息的多帧图像进行三角化；

根据三角化的结果，生成临时地图点，并加入当前地图。

本实施例进一步优选地，所述的当前地图是指以局部地图为初始地图，不断加入临时地图点的地图。

本实施例进一步优选地，所述单目SLAM定位模块的操作进一步包括退出单目SLAM定位后，清除临时地图点。

本实施例进一步优选地，所述的三角化包括：

通过当前帧和从前序帧中找出的另一帧，找出这两帧中匹配的点对，计算出这些匹配点对的3D位置信息；

在当前帧中对尚未与地图匹配的特征点进行三角化；

其中，在从前序帧中找出所述另一帧的定位结果好，并且与当前帧的位移超过一定阈值。

本实施例进一步优选地，所述的单目图像与当前地图进行匹配包括：

若当前帧有运动信息时，利用已知的运动模型将当前地图中的3D地图点投影到当前帧图像中，与投影点附近的特征点比较描述子相似程度，寻找最可能的2D匹配点；

本实施例进一步优选地，所述单目SLAM定位模块的单目SLAM定位进一步包括：退出单目SLAM定位后，重新计算相机在全局地图中的位置。

本实施例进一步优选地，所述单目SLAM定位模块的操作进一步包括：

在单目SLAM定位的同时，进行局部重定位，所述的局部重定位是指从当前单目SLAM的定位结果附近的一个局部范围内获得候选关键帧，并进行位姿解算；

若局部重定位成功，退出单目SLAM定位，并清除单目SLAM定位的数据。

在本实施例中，可以根据经验数据来确定阈值。

例如，在全局重定位中内点数目的阈值的范围可以为30～50个中的一个值，例如，具体地，内点数目的阈值可以为30、40和50。

所述特定数量是范围为30～50个中的一个值，例如，具体地，特定数量可以为30、40和50。

第一阈值是范围为80～100个中的一个值，例如，具体地，第一阈值可以为80、90和100。第二阈值是范围为20～40个中的一个值，例如，具体地，第二阈值可以为20、30和40。

当前帧的位移的一定阈值可以是范围为30～50厘米中的一个值，例如30、40、50厘米。

在本实施例中，定位方法的详细步骤已经在本发明的方法的实施例中进行了详细的说明。因此，本发明对此不再进行阐述。

在一个示例中，根据本申请实施例的各个模块可以作为一个软件模块和/或硬件模块而集成到该定位系统中。上述各个模块可以是该基于SLAM的定位设备的操作系统中的一个软件模块，或者可以是针对于该基于SLAM的定位设备所开发的一个应用程序。当然，上述各个模块同样可以是该基于SLAM的定位设备的众多硬件模块之一。

示例性电子设备

本发明的电子设备可以包括一个或多个处理器和存储器。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行程序指令，以实现上文的本申请的各个实施例的基于SLAM的定位方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构互连。

例如，输入装置可以包括触摸屏、鼠标、键盘、麦克、通信网络连接器等，用于采集输入信号。

输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

根据具体应用情况，电子设备还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于SLAM的定位方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于SLAM的定位方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

1.一种基于SLAM的定位方法，包括如下步骤：

从全局地图中根据相机的初始位置提取局部地图；

匹配当前帧和局部地图点；

基于当前帧和局部地图点的匹配结果触发单目SLAM定位；

其中，所述的单目SLAM定位通过单目相机生成新的地图点用于定位。

2.如权利要求1所述的方法，其特征在于，所述的基于当前帧和局部地图点的匹配结果触发单目SLAM定位包括：

其中，所述第一阈值大于所述第二阈值。

3.如权利要求1所述的方法，所述单目SLAM定位包括：

判断单目图像是否匹配成功；

若匹配不成功，退出单目SLAM定位。

4.如权利要求3所述的方法，所述的匹配成功、持续获取定位信息进一步包括：

对已知位姿信息的多帧图像进行三角化；

根据三角化的结果，生成临时地图点，并加入当前地图。

5.如权利要求4所述的方法，所述的当前地图是指以局部地图为初始地图、不断加入临时地图点的地图。

6.如权利要求4所述的方法，进一步包括退出单目SLAM定位后，清除临时地图点。

7.如权利要求1所述的方法，进一步包括：

8.一种基于SLAM的定位系统，包括：

全局重定位模块，计算相机在全局地图中的初始位置，其中所述的全局地图是指双目SLAM全局地图；

位姿跟踪模块，从全局地图中根据相机的初始位置提取局部地图，并且匹配当前帧和局部地图点；

单目SLAM定位模块，基于当前帧和局部地图点的匹配结果触发单目SLAM定位，以通过单目相机生成新的地图点用于定位。

9.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的方法。