CN110349212B - 即时定位与地图构建的优化方法及装置、介质和电子设备 - Google Patents

Abstract

本发明公开了一种即时定位与地图构建的优化方法及装置、存储介质和电子设备，涉及图像处理技术领域。该即时定位与地图构建的优化方法包括：提取当前帧图像的视觉特征点，确定视觉特征点中与当前帧图像的深度信息相关联的特征点作为立体特征点，并确定视觉特征点中与深度信息不相关联的特征点作为单目特征点；如果当前帧图像与参考帧图像之间匹配的视觉特征点的数量大于预设匹配阈值，则在视觉特征与惯性特征对齐时，利用由单目特征点信息构建的第一约束条件、由惯性信息构建的第二约束条件以及由立体特征点信息构建的第三约束条件，对当前帧图像的位姿进行优化，以确定当前帧图像的位姿参数。本发明可以提高SLAM的精度和鲁棒性。

Description

即时定位与地图构建的优化方法及装置、介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种即时定位与地图构建的优化方法、即时定位与地图构建的优化装置、存储介质和电子设备。

背景技术

作为计算机视觉领域的重要技术之一，SLAM(Simultaneous Localization AndMapping，即时定位与地图构建)技术受到了广泛的关注并得到了快速的发展。该技术可以被应用于无人机、自动驾驶、构建高精度地图、虚拟现实、增强现实等各个领域。

SLAM技术用于构建未知环境的地图并且实时地在地图中定位传感器的位置。在基于惯性的单目SLAM技术中，一方面，利用视觉信息进行地图初始化的速度较慢；另一方面，在利用视觉信息生成三维信息的过程中，可能会存在生成失败的问题，造成有效数据的遗漏，导致估算位姿不准确，最终会影响SLAM的精度和鲁棒性。需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种即时定位与地图构建的优化方法、即时定位与地图构建的优化装置、存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的基于惯性的单目SLAM方案准确度不高的问题。

根据本公开示例性实施方式的第一方面，提供了一种即时定位与地图构建的优化方法，该方法包括：提取当前帧图像的视觉特征点，确定视觉特征点中与当前帧图像的深度信息相关联的特征点作为立体特征点，并确定视觉特征点中与深度信息不相关联的特征点作为单目特征点；如果当前帧图像与参考帧图像之间匹配的视觉特征点的数量大于预设匹配阈值，则在视觉特征与惯性特征对齐时，利用由单目特征点信息构建的第一约束条件、由惯性信息构建的第二约束条件以及由立体特征点信息构建的第三约束条件，对当前帧图像的位姿进行优化，以确定当前帧图像的位姿参数。

根据本公开示例性实施方式的第二方面，提供了一种即时定位与地图构建的优化装置，该装置包括：特征确定模块，用于提取当前帧图像的视觉特征点，确定视觉特征点中与当前帧图像的深度信息相关联的特征点作为立体特征点，并确定视觉特征点中与深度信息不相关联的特征点作为单目特征点；位姿优化模块，用于如果当前帧图像与参考帧图像之间匹配的视觉特征点的数量大于预设匹配阈值，则在视觉特征与惯性特征对齐时，利用由单目特征点信息构建的第一约束条件、由惯性信息构建的第二约束条件以及由立体特征点信息构建的第三约束条件，对当前帧图像的位姿进行优化，以确定当前帧图像的位姿参数。

根据本公开示例性实施方式的第三方面，提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述即时定位与地图构建的优化方法

根据本公开示例性实施方式的第四方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，该处理器配置为经由执行可执行指令来执行上述即时定位与地图构建的优化方法。

在本公开的一些实施例所提供的技术方案中，通过在由单目特征点信息构建的第一约束条件、由惯性信息构建的第二约束条件以及由立体特征点信息构建的第三约束条件对当前帧图像的位姿进行优化，避免了仅采用视觉信息进行优化可能导致特征点遗漏的问题，可以提高SLAM的精度和鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的示例性实施方式的即时定位与地图构建的优化方法的流程图；

图2示出了根据本公开的示例性实施方式的确定单目特征点和立体特征点的过程的示意图；

图3示出了根据本公开的示例性实施方式的进行三角化处理的示意图；

图4示意性示出了根据本公开的示例性实施方式的进行重定位处理的流程图；

图5示意性示出了根据本公开的第一示例性实施方式的即时定位与地图构建的优化装置的方框图；

图6示意性示出了根据本公开的第二示例性实施方式的即时定位与地图构建的优化装置的方框图；

图7示意性示出了根据本公开的第三示例性实施方式的即时定位与地图构建的优化装置的方框图；

图8示意性示出了根据本公开的第四示例性实施方式的即时定位与地图构建的优化装置的方框图；

图9示意性示出了根据本公开的第五示例性实施方式的即时定位与地图构建的优化装置的方框图；

图10示意性示出了根据本公开的示例性实施方式的电子设备的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所用的术语“第一”、“第二”、“第三”等仅是为了区分的目的，不应作为本公开的限制。

下面所述即时定位与地图构建的优化方法可以由终端设备实现，也就是说，终端设备可以执行本公开的即时定位与地图构建的优化方法的各个步骤。在这种情况下，本公开示例性实施方式的即时定位与地图构建的优化装置可以配置在该终端设备中。

终端设备可以是实现SLAM方案的设备，例如，终端设备可以是手机、平板、智能可穿戴设备(智能手表、智能眼镜等)、无人机、移动机器人等。

图1示意性示出了本公开的示例性实施方式的即时定位与地图构建的优化方法的流程图。参考图1，所述即时定位与地图构建的优化方法可以包括以下步骤：

S12.提取当前帧图像的视觉特征点，确定视觉特征点中与当前帧图像的深度信息相关联的特征点作为立体特征点，并确定视觉特征点中与深度信息不相关联的特征点作为单目特征点。

在本公开的示例性实施方式中，视觉特征点可以是ORB(Oriented FAST andRotated BRIEF，快速特征点提取和描述)特征点。ORB特征点的计算速度快，适用于在终端设备上实施。

一个ORB特征点可以包括FAST角点和BRIER描述子两部分。其中，FAST角点是指该ORB特征点在图像中的位置，FAST角点主要检测局部像素灰度变化明显的区域，计算速度快，其核心构思是，如果一个像素与邻域的像素差别较大(即，过暗或过亮)，则该像素为一个角点；BRIEF描述子是一个由二进制表示的向量，该向量按照人为设定的方式描述了FAST角点周围像素的信息，也就是说，BRIEF描述子的向量由多个0和1组成，表征FAST角点与附近像素之间的像素值大小关系。

虽然下面以ORB特征点为例进行说明，然而，应当理解的是，还可以采用其他特征点作为本公开所述的视觉特征点，例如，SURF(Speeded Up Robust Features，加速稳健特征)、Sift(Scale-invariant feature transform，尺度不变特征变换)特征、哈里斯角点等，本公开对视觉特征点的类型不做特殊限制。

针对由相机拍摄的当前帧图像，可以利用ORB算法提取当前帧图像的ORB特征点，作为当前帧图像的视觉特征点。另外，可以借助于深度传感器获取当前帧图像对应的深度信息(深度图)，在这种情况下，可以确定视觉特征点是否与深度信息相关联，也就是说，从当前帧图像中查找深度信息对应的视觉特征点。

具体的，可以预先对相机图像与深度图的外参矩阵进行标定，在此基础上，针对一个给定的图像坐标，可以通过外参矩阵的变换，在深度图上确定出对应的深度像素坐标，由此，在获取到当前帧图像的视觉特征点和深度信息时，可以确定出视觉特征点是否对应有深度信息，也就是说，可以确定出视觉特征点是否与深度信息相关联。

本公开示例性实施方式将视觉特征点中与深度信息不相关联的特征点作为单目特征点(又可被称为mono特征点)，其中，可以将单目特征点理解为与二维空间对应的视觉特征点。另外，将视觉特征点中与深度信息相关联的特征点作为立体特征点(又可被称为stereo特征点)，其中，可以将立体特征点理解为与三维空间对应的视觉特征点。

图2示出了确定单目特征点和立体特征点的过程的示意图。首先，可以从由终端设备的相机拍摄的RGB图像中提取ORB特征点；接下来，利用深度传感器获取到的深度信息将ORB特征点划分为单目特征点和立体特征点。

此外，针对强光环境或黑色表面的物体，检测出的深度信息可能存在不准确的情况，本公开的一些实施例还可以包括对深度信息进行评价的过程，例如，可以设定用于表征深度信息可用程度的质量阈值。在确定出深度信息达到该质量阈值时，才利用深度信息对视觉特征点进行划分。

S14.如果当前帧图像与参考帧图像之间匹配的视觉特征点的数量大于预设匹配阈值，则在视觉特征与惯性特征对齐时，利用由单目特征点信息构建的第一约束条件、由惯性信息构建的第二约束条件以及由立体特征点信息构建的第三约束条件，对当前帧图像的位姿进行优化，以确定当前帧图像的位姿参数。

本公开示例性实施方式在对当前帧图像进行优化前，还包括地图初始化的方案，以便确定出与当前帧图像进行比对以实现跟踪的参考帧。

具体的，首先，针对一输入图像，提取其视觉特征点，并确定出该输入图像的单目特征点和立体特征点，具体过程与上述确定当前帧图像的单目特征点和立体特征点类似，在此不再赘述；接下来，可以将输入图像的视觉特征点的数量与第一预设阈值进行比较，并将输入图像的立体特征点的数量与第二预设阈值进行比较，其中，第一预设阈值和第二预设阈值可以人为预先进行配置，可以是与图像分辨率相关的阈值，本公开对具体取值不做特殊限制。

如果输入图像的视觉特征点的数量大于第一预设阈值，并且输入图像的立体特征点的数量大于第二预设阈值，则可以认为地图初始化成功，可以将该输入图像的立体特征点对应的空间三维点作为初始点云地图。在这种情况下，可以将该输入图像作为参考帧图像。

如果输入图像的视觉特征点的数量不大于第一预设阈值，或者输入图像的立体特征点的数量不大于第二预设阈值，则说明该输入图像不满足参考帧图像的要求，可以选择将其剔除。

在本公开的示例性实施方式中，可以确定当前帧图像中与参考帧图像的视觉特征点匹配的视觉特征点的数量，如果该数量大于预设匹配阈值，则可以认为跟踪成功。其中，预设配置阈值可以人为设定，本公开对具体取值不做特殊限制。

另外。本公开对当前帧图像与参考帧图像在视频流中的相对关系不进行特殊限定，例如，当前帧图像可以是参考帧图像的下一帧图像，又例如，当期帧图像与参考帧图像之间存在有若干帧图像。

在跟踪成功的情况下，可以使终端设备获取的视觉特征与惯性特征对齐，实现视觉特征与惯性特征的初始化过程。

具体的，惯性信息可以借助于终端设备的IMU(Inertial Measurement Unit，惯性测量单元)器件获取，IMU器件可以包括陀螺仪和加速度计，可以分别测量终端设备的角速度和加速度。由于IMU器件的工作频率通常比相机采集图像的频率高，可以采用IMU预积分的方式评估对应帧的惯性信息。其中，IMU预积分是基于时间的积分，可以得到对应两个图像的位置、速度与旋转角度等惯性信息。

视觉信息对应于惯性的特征，可以利用SFM(Structure From Motion，运动恢复结构)技术对两个图像进行处理，确定出对应的位置、速度与旋转角度等信息。其中，SFM技术可以从二维的图像或视频序列中恢复出对应的三维信息，也就是说，输入一系列二维图像或视频序列，通过SFM技术，可以输出场景的三维模型信息。

理想状态下，利用SFM技术确定出的惯性信息与基于IMU测量出的惯性信息应当是相等的。然而，由于电路时钟、器件测量精度等原因，实际上二者的结果会存在偏差，因此，需要将二者进行对齐(Alignment)。

在这种情况下，需要初始标定惯性信息中各参数的状态量，以确保利用SFM技术确定出的结果与IMU测量出的结果尽可能接近，其中，这些状态量可以包括位置、速度、旋转角度、加速度偏置和陀螺仪偏置等。

如果基于上述标定过程，确定出利用SFM技术的结果与IMU测量的结果之间的偏差小于一预设偏差，则视觉特征与惯性特征对齐，也就是说，视觉特征与惯性特征初始化成功。在这种情况下，可以优化当前帧图像的位姿。

在本公开的示例性实施方式中，优化时所采用的优化函数可以包含三个约束条件，也就是包含三个代价函数，其一是由单目特征点信息构建的第一约束条件，其二是由惯性信息构建的第二约束条件，其三是由立体特征点信息构建的第三约束条件。随后，可以利用非线性优化方法对代价函数进行优化，使得代价函数的值不断减小，以确定出当前帧图像的位姿参数。其中，本公开示例性实施方式对非线性优化方法不进行特殊限定，例如，可以是高斯-牛顿算法、列文伯格-马夸尔特算法等。

利用确定出的当前帧图像的位姿参数，可以生成稠密的点云地图，用于场景重建、物体分割等后续的处理过程中。

针对利用上述第一约束条件对当前帧图像进行优化的过程，首先，可以对当前帧图像的单目特征点信息和参考帧图像的单目特征点信息进行三角化处理，以分别确定出当前帧图像和参考帧图像基于单目特征点的空间三维信息。

具体的，三角化也被称为三角测量(Triangulation)，是指通过在两处观察同一个点的夹角来确定该点的距离。参考图3，处于两个位置进行拍摄，相机光心为O1和O2。特征点P1对应特征点P2，理论上直线O1P1与O2P2在场景中会相交于一点P，该P点即为两个特征点在对应的三维场景中的位置。然而，由于噪声的影响，两条直线往往无法正常相交，在这种情况下，可以采用最小二乘法来求解P点的位置。由此，可以利用三角化方法确定出当前帧图像和参考帧图像基于单目特征点的空间三维信息。

接下来，可以计算当前帧图像和参考帧图像基于单目特征点的空间三维信息的重投影误差，以对当前帧图像的位姿进行优化。具体的，可以利用PNP(Perspective-n-Point，透视n点)计算方法确定重投影误差，本公开对具体计算过程不进行特殊限定。

根据本公开的另一些实施例，如果利用SFM技术的结果与IMU测量的结果之间的偏差不小于预设偏差，则说明视觉特征与惯性特征未对齐，也就是说，视觉特征与惯性特征初始化失败。

在这种情况下，可以基于运动速度恒定模型预测当前帧图像的位姿，在此过程中，认为相机处于匀速运动。可以例如搜索上一帧图像中与当前帧图像匹配的视觉特征点，针对这些视觉特征点，将单目特征点信息以及立体特征点信息作为约束条件对预测的当前帧图像的位姿进行优化。

基于此，通过结合包含深度信息的立体特征点信息对当前帧图像的位姿进行优化，提高了精度和鲁棒性。

根据本公开的另一些实施例，在确定出当前帧图像与参考帧图像之间匹配的视觉特征点的数量不大于预设匹配阈值时，可以执行如图4所示的重定位过程。

在步骤S402中，计算当前帧图像的词袋(Bag of Words，BoW)向量。具体的，可以将图像上的特征看作一个个单词，可以预先训练包含所有特征类型的词典，由此，对于图像的特征，可以按照该词典生成一个对应词的集合，该集合为词袋。

在步骤S404中，基于当前帧图像的词袋向量从关键帧数据库中确定出多个候选图像。具体的，可以计算当前帧图像的词袋向量与关键帧数据库中各关键帧图像的词袋向量之间相似度，并确定相似度满足预设相似度要求的图像作为候选图像。其中，预设相似度要求可以人为进行配置，例如，预设相似度要求可以为二者的相似度大于80％，本公开对此不做特殊限制。

在步骤S406中，确定各候选图像中与当前帧图像的视觉特征点匹配的视觉特征点。也就是说，针对每个候选图像，计算与当前帧图像的地图点云相对应的ORB特征点。

在步骤S408中，利用与当前帧图像的视觉特征点匹配的视觉特征点计算当前帧图像的位姿，具体的，可以利用PNP计算方法对每个候选图像依次进行计算，并采用随机抽样一致(RANdom SAmple Consensus，RANSAC)方法的迭代计算，计算当前帧图像的位姿。

可以根据计算结果从多个候选图像中确定目标图像。具体的，目标图像可以是与当前帧图像特征点匹配最多的图像。

在步骤S410中，基于目标图像的视觉特征点与当前帧图像的视觉特征点优化当前帧图像的位姿，以完成重定位过程。

此外，本公开的一些实施例还可以包括判断当前帧图像是否为关键帧图像的方案。

具体的，可以判断经由上述优化过程后当前帧图像的位姿参数，是否满足预设关键帧判断条件。例如，该预设关键帧判断条件可以例如为：当前帧图像跟踪的点云数少于50个，或者当前帧图像跟踪的点云数量少于参考帧图像点云数量的90％。然而，本公开对预设关键帧判断条件不做特殊限制。

在当前帧图像的位姿参数满足预设关键帧判断条件时，将当前帧图像确定为关键帧图像，并可以将当前帧图像插入关键帧数据库中。

应当理解的是，上面示例性描述的即时定位与地图构建的优化方法主要针对的是SLAM方案中的跟踪线程。基于上述内容，一方面，结合深度信息进行地图初始化，相比于采用纯视觉特征进行地图初始化的方案，计算速度得到了提高；另一方面，将图像的视觉特征点划分为基于深度信息的三维特征点(即上述立体特征点)以及利用待执行三角化的特征点(即上述单目特征点)，二者代价函数不同，相比于仅采用待执行三角化的特征点，节约了运行时间；又一方面，结合深度信息，可以有效解决由于有效数据遗漏导致位姿估算不准确的问题，进而可以提高SLAM的精度和鲁棒性。

另外，本公开的一些实施例还提供了一种新的局部建图方法，其构思包括：将图像的深度信息作为确定局部位姿的约束条件之一，使得局部建图更加准确。

首先，基于关键帧数据库，筛选当前帧图像的地图点云，以确保保留的点云至少被其他三个关键帧观测到；然后，利用光束平差法(Bundle Adjustment，BA)对当前帧图像以及上述关联的至少其他三个关键帧进行局部位姿优化，将提取的ORB特征点中的单目特征点信息、立体特征点信息以及惯性信息(IMU预积分信息)作为局部位姿优化的约束条件，并利用非线性优化方法进行优化。

另外，本公开还可以包括剔除冗余图像的方案。例如，如果一关键帧图像中90％的特征点可以被其他三个关键帧图像同时观测到，则确定该关键帧图像为冗余图像，将其剔除SLAM的计算过程中。

此外，本公开的一些实施例还提供了一种并行执行的闭环检测线程。

首先，检测候选回环帧。具体的，计算当前帧图像与关键帧数据库中关键帧图像的相似度，剔除相似性低的关键帧，以确定出候选回环帧，计算当前帧图像至回环关键帧的相似变换矩阵，以确定回环的累积误差；接下来，通过计算的相似变换矩阵对当前帧图像的位姿进行优化，这种优化形式可以应用于所有与当前帧图像相邻的关键帧；随后，回环关键帧及其邻近的关键帧能够确定出所有地图点云均映射到当前帧图像及其邻近图像中，并在映射的区域附近确定对应的匹配点，以将所有匹配的地图点云和计算相似变换过程中的有效数据进行融合；然后，进行基本图优化，这个过程忽视惯性数据。优化程序通过相似变换矫正尺度偏移，优化过后，每个地图点云都根据关键帧的矫正进行变换；最后，进行全局位姿BA优化与地图更新。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种即时定位与地图构建的优化装置。

图5示意性示出了本公开的示例性实施方式的即时定位与地图构建的优化装置的方框图。参考图5，根据本公开的示例性实施方式的即时定位与地图构建的优化装置5可以包括特征确定模块51和位姿优化模块53。

具体的，特征确定模块51可以用于提取当前帧图像的视觉特征点，确定视觉特征点中与当前帧图像的深度信息相关联的特征点作为立体特征点，并确定视觉特征点中与深度信息不相关联的特征点作为单目特征点；位姿优化模块53可以用于如果当前帧图像与参考帧图像之间匹配的视觉特征点的数量大于预设匹配阈值，则在视觉特征与惯性特征对齐时，利用由单目特征点信息构建的第一约束条件、由惯性信息构建的第二约束条件以及由立体特征点信息构建的第三约束条件，对当前帧图像的位姿进行优化，以确定当前帧图像的位姿参数。

根据本公开示例性实施方式的即时定位与地图构建的优化装置，结合深度信息对位姿进行优化，避免了仅采用视觉信息进行优化可能导致特征点遗漏的问题，可以提高SLAM的精度和鲁棒性。

根据本公开的示例性实施例，参考图6，即时定位与地图构建的优化装置6相比于即时定位与地图构建的优化装置5，还可以包括重定位模块61。

具体的，重定位模块61可以被配置为执行：如果当前帧图像与参考帧图像之间匹配的视觉特征点的数量不大于预设匹配阈值，则执行以下重定位过程：计算当前帧图像的词袋向量；基于当前帧图像的词袋向量从关键帧数据库中确定出多个候选图像；确定各候选图像中与当前帧图像的视觉特征点匹配的视觉特征点；利用与当前帧图像的视觉特征点匹配的视觉特征点计算当前帧图像的位姿，并根据计算结果从多个候选图像中确定目标图像；基于目标图像的视觉特征点与当前帧图像的视觉特征点优化当前帧图像的位姿。

根据本公开的示例性实施例，位姿优化模块53还可以被配置为执行：在视觉特征与惯性特征未对齐时，基于运动速度恒定模型预测当前帧图像的位姿，并将单目特征点信息以及立体特征点信息作为约束条件对预测的当前帧图像的位姿进行优化。

根据本公开的示例性实施例，位姿优化模块53执行利用第一约束条件对当前帧图像的位姿进行优化的过程可以被配置为：对当前帧图像的单目特征点信息和参考帧图像的单目特征点信息进行三角化处理，以分别确定当前帧图像和参考帧图像基于单目特征点的空间三维信息；计算当前帧图像和参考帧图像基于单目特征点的空间三维信息的重投影误差，以对当前帧图像的位姿进行优化。

根据本公开的示例性实施例，参考图7，即时定位与地图构建的优化装置7相比于即时定位与地图构建的优化装置5，还可以包括参考帧确定模块71。

具体的，参考帧确定模块71可以被配置执行：预先提取一输入图像的视觉特征点，并确定输入图像的单目特征点和立体特征点；将输入图像的视觉特征点的数量与第一预设阈值进行比较，并将输入图像的立体特征点的数量与第二预设阈值进行比较；如果输入图像的视觉特征点的数量大于第一预设阈值，并且输入图像的立体特征点的数量大于第二预设阈值，则将该输入图像作为参考帧图像。

根据本公开的示例性实施例，参考图8，即时定位与地图构建的优化装置8相比于即时定位与地图构建的优化装置5，还可以包括关键帧确定模块81。

具体的，关键帧确定模块81可以被配置为执行：在当前帧图像的位姿参数满足预设关键帧判断条件时，将当前帧图像确定为关键帧图像，并将关键帧图像插入关键帧数据库中。

根据本公开的示例性实施例，参考图9，即时定位与地图构建的优化装置9相比于即时定位与地图构建的优化装置5，还可以包括局部建图优化模块91。

具体的，局部建图优化模块91可以被配置为执行：在当前帧图像为关键帧图像时，在局部建图的过程中，利用当前帧图像的单目特征点信息、立体特征点信息以及惯性信息作为约束条件，优化局部建图的过程。

由于本发明实施方式的程序运行性能分析装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光盘、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030、显示单元1040。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1010可以执行如图1中所示的步骤S12和步骤S14。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(ROM)10203。

存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种即时定位与地图构建的优化方法，其特征在于，包括：

提取当前帧图像的视觉特征点，确定所述视觉特征点中与所述当前帧图像的深度信息相关联的特征点作为立体特征点，并确定所述视觉特征点中与所述深度信息不相关联的特征点作为单目特征点；

如果所述当前帧图像与参考帧图像之间匹配的视觉特征点的数量大于预设匹配阈值，则在视觉特征与惯性特征对齐时，利用由单目特征点信息构建的第一约束条件、由惯性信息构建的第二约束条件以及由立体特征点信息构建的第三约束条件，对所述当前帧图像的位姿进行优化，以确定所述当前帧图像的位姿参数。

2.根据权利要求1所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

如果所述当前帧图像与参考帧图像之间匹配的视觉特征点的数量不大于所述预设匹配阈值，则执行以下重定位过程：

计算所述当前帧图像的词袋向量；

基于所述当前帧图像的词袋向量从关键帧数据库中确定出多个候选图像；

确定各所述候选图像中与所述当前帧图像的视觉特征点匹配的视觉特征点；

利用与所述当前帧图像的视觉特征点匹配的视觉特征点计算所述当前帧图像的位姿，并根据计算结果从所述多个候选图像中确定目标图像；

基于所述目标图像的视觉特征点与所述当前帧图像的视觉特征点优化所述当前帧图像的位姿。

3.根据权利要求1所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

在视觉特征与惯性特征未对齐时，基于运动速度恒定模型预测所述当前帧图像的位姿，并将单目特征点信息以及立体特征点信息作为优化条件对预测的所述当前帧图像的位姿进行优化。

4.根据权利要求1所述的即时定位与地图构建的优化方法，其特征在于，利用由单目特征点信息构建的第一约束条件对所述当前帧图像的位姿进行优化包括：

对所述当前帧图像的单目特征点信息和所述参考帧图像的单目特征点信息进行三角化处理，以分别确定所述当前帧图像和所述参考帧图像基于单目特征点的空间三维信息；

计算所述当前帧图像和所述参考帧图像基于单目特征点的空间三维信息的重投影误差；

基于重投影误差的计算结果对所述当前帧图像的位姿进行优化。

5.根据权利要求1所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

预先提取一输入图像的视觉特征点，并确定所述输入图像的单目特征点和立体特征点；

将所述输入图像的视觉特征点的数量与第一预设阈值进行比较，并将所述输入图像的立体特征点的数量与第二预设阈值进行比较；

如果所述输入图像的视觉特征点的数量大于所述第一预设阈值，并且所述输入图像的立体特征点的数量大于所述第二预设阈值，则将所述输入图像作为所述参考帧图像。

6.根据权利要求1至5中任一项所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

在所述当前帧图像的位姿参数满足预设关键帧判断标准时，将所述当前帧图像确定为关键帧图像，并将所述关键帧图像插入关键帧数据库中。

7.根据权利要求6所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

在所述当前帧图像为关键帧图像时，在局部建图的过程中，利用所述当前帧图像的单目特征点信息、立体特征点信息以及惯性信息作为约束条件，优化所述局部建图的过程。

8.一种即时定位与地图构建的优化装置，其特征在于，包括：

特征确定模块，用于提取当前帧图像的视觉特征点，确定所述视觉特征点中与所述当前帧图像的深度信息相关联的特征点作为立体特征点，并确定所述视觉特征点中与所述深度信息不相关联的特征点作为单目特征点；

位姿优化模块，用于如果所述当前帧图像与参考帧图像之间匹配的视觉特征点的数量大于预设匹配阈值，则在视觉特征与惯性特征对齐时，利用由单目特征点信息构建的第一约束条件、由惯性信息构建的第二约束条件以及由立体特征点信息构建的第三约束条件，对所述当前帧图像的位姿进行优化，以确定所述当前帧图像的位姿参数。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的即时定位与地图构建的优化方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的即时定位与地图构建的优化方法。