CN110473258B - 基于点线统一框架的单目slam系统初始化算法 - Google Patents

Abstract

本发明公开了一种基于点线统一框架的单目SLAM系统初始化算法，包括以下步骤：步骤一、设置点线特征统一的索引容器，使得获得的点线特征匹配统一于后续的计算F和H矩阵的随机抽样一致性算法中；步骤二、将线特征统一于矩阵计算框架，根据预处理的线特征中点，分线程计算F和H矩阵及对应得分；步骤三、根据得分确定当前有效矩阵，并基于该矩阵恢复相应的3D点线特征，进而完成单目SLAM系统的初始化。本发明提供一种点线特征统一的初始化方法，保证单目SLAM系统能够充分利用图像信息，降低系统初始化难度，并实现较高精度的初始化。

Description

基于点线统一框架的单目SLAM系统初始化算法

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于点线统一框架的单目SLAM系统初始化算法。

背景技术

同时定位与地图构建(SLAM)，随着无人驾驶、无人机技术的发展变得越发重要。它是指搭载特定传感器的主体，在没有环境先验信息的情况下，在运动过程中建立环境的模型，同时估计自己的运动。若以相机为传感器，就称为“视觉SLAM”。

在视觉SLAM按照传感器类型主要可分为单目相机、双目相机和深度相机三种。由于单目相机固有的“尺度不确定性”问题，SLAM系统在正式使用前，需要通过前两帧图像信息，完成系统的初始化。通过初始化，可以确定统一的尺度和地图信息，并且初始化的效果将直接影响系统精度。

目前，视觉SLAM中间接法的初始化方法主要是通过匹配的特征点对计算Fundamental、Homography矩阵，根据得分确定较优矩阵，然后使用分解得到的4组和8组旋转矩阵R、平移向量t，顺次验证可恢复的有效地图点数，最终确定唯一正确的R、t矩阵，然而，该算法在低纹理场景难以获得有效初始化。

另外，在最近的研究中，有学者提出了基于时间连续的三个图像帧的线特征初始化算法，该算法需要5组匹配的线特征对，但是，基于此算法初始化的系统运行精度明显低于点特征的初始化算法。

综上，当前的初始化算法，单一的点特征算法的场景适应性较差，即无法充分利用当前图像帧中的所有信息，而单一的线特征算法需要连续三帧图像满足限制较高的“匀速”假设，均在实际应用中存在相当的限制性。因此。设计一种能够充分利用当前图像点线信息且精度较高的初始化算法显得尤为重要。

发明内容

本发明要解决的技术问题是提供一种点线特征统一的初始化方法，保证单目SLAM系统能够充分利用图像信息，降低系统初始化难度，并实现较高精度的初始化。

本发明的技术方案如下：

一种基于点线统一框架的单目SLAM系统初始化算法，包括以下步骤：

步骤一、设置点线特征统一的索引容器，使得获得的点线特征匹配统一于后续的计算F和H矩阵的随机抽样一致性算法中；

步骤二、将线特征统一于矩阵计算框架，根据预处理的线特征中点，分线程计算F和H矩阵及对应得分；

步骤三、根据得分确定当前有效矩阵，并基于该矩阵恢复相应的3D点线特征，进而完成单目SLAM系统的初始化。

作为本发明的进一步改进，步骤一中需要现将获得的数据进行有效分配，假定当前获得N对点特征匹配，NL对线特征匹配步骤如下：

1)将获得的点线特征对于统一的容器中顺序存储，容器尺寸为N+NL；

2)按照RANSAC算法最大迭代次数要求，从容器中随机抽取最大迭代次数组输入；每组为多对不重复的点线特征索引。

作为本发明的进一步改进，点特征和线特征的整体匹配对数不少于8对。

作为本发明的进一步改进，步骤二中，F矩阵计算步骤：

a.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响；假定待计算的F矩阵为：

其中，K为标定矩阵，E为本质矩阵；

b.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响；

c.假定多组点和线特征中点的匹配对坐标为

其中，u、v表示图像坐标系下像素的横纵坐标，I取值表示基于8点法使用的第i组坐标，j取值表示第j张图像；

将坐标输入如下计算公式：

d.对计算F矩阵进行检测，判断基于置信度，分别对所有输入的匹配点特征和线特征进行是否小于一个像素误差的卡方检验；对于通过检验的匹配对，累加得分，公式如下：

H矩阵及得分计算步骤如下：

假定待计算的H矩阵为：

a.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响；

b.假定多组点和线特征中点的匹配对坐标为

其中，u、v表示图像坐标系下像素的横纵坐标；I取值表示基于8点法使用的第i组坐标，j取值表示第j张图像；

将坐标输入如下计算公式：

并进行SVD分解，计算可得Homography矩阵；

c.对计算Homography矩阵进行检测，判断基于置信度，分别对所有输入的匹配点特征和线特征进行是否小于一个像素误差的卡方检验对于通过检验的匹配对，累加得分，公式如下：

作为本发明的进一步改进，所述的置信度95％。

作为本发明的进一步改进，步骤三具体包括：

a.对步骤二中的F和H矩阵的得分进行比较；

b.根据选择的矩阵进行SVD分解：

若选择的是F矩阵则需先分解为本质矩阵E，然后再进行SVD分解，得到对应的R,t矩阵；

若选择的是H矩阵，则直接进行SVD分解，得到对应的R,t矩阵；

c.基于得到的R,t矩阵进行分线程进行3D点特征和3D线特征计算，若某组R,t矩阵的3D特征恢复数量明显优于其他组，且点线特征的恢复数量均达到设置值，则初始化成功。

作为本发明的进一步改进，所述的设置值为50个。

与现有技术相比，本发明的有益效果为：

本发明所提出的算法可以基于连续时间内的两帧图像，对单目SLAM系统进行点线特征初始化。另外，通过在步骤一和步骤二中引入线中点，可以将线特征的处理方式统一于传统的点特征处理框架，进而极大地提高单目SLAM系统在初始化过程中的场景适应性(例如低纹理场景)。实验表明，本算法即使在纹理较差的场景下，仍能以与纯点特征初始化算法相当的时间效率完成SLAM系统初始化，避免了纯点特征和纯线特征初始化算法的固有问题。

附图说明

图1为本发明算法的流程示意图；

图2为单目点线特征SLAM系统未初始化2D图像帧；

图3为单目点线特征SLAM系统未初始化的pangolin地图；

图4为单目点线特征SLAM系统初始化成功后的2D图像帧；

图5为单目点线特征SLAM系统初始化成功后的pangolin地图。

具体实施方式

为了更好地理解本发明，下面结合附图通过具体的实施例来具体说明本发明的技术方案。

本发明适用的对象为视觉SLAM中的单目SLAM系统，使用前要求点特征和线特征的整体匹配对数最少大于8对。本发明提出一种可以将获得点特征和线特征匹配对统一于传统基于纯点特征初始化算法中的新型算法；最后基于ORB-SLAM2软件框架扩展的PL-SLAM系统实例，验证本发明提出方法的有效性。该发明的实施主要包括以下三个步骤：

步骤一、设置点线特征统一的索引容器

为了将获得的点线特征匹配统一于计算Fundamental、Homography矩阵的随机抽样一致性(RANSAC)算法中。需要现将获得的数据进行有效分配，假定当前获得N对点特征匹配，NL对线特征匹配：

(1)将获得的点线特征对于统一的容器中顺序存储，因此，容器尺寸为(N+NL)。

(2)按照RANSAC算法最大迭代次数要求，从容器中随机抽取最大迭代次数组输入。每组为8对不重复的点线特征索引。该数组将在步骤二中用于分线程计算Fundamental、Homography矩阵。

步骤二、分线程计算F和H矩阵及对应得分

为了满足实时性要求，需要分线程进行Fundamental和Homography矩阵计算。另外为了，将线特征统一于矩阵计算框架，计算中使用的是预处理的线特征中点(在已知线特征的端点情况下，线特征中点是很容易得到的)。

(1)Fundamental矩阵计算步骤：

a.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响

假定待计算的Fundamental矩阵为：

其中，K为标定矩阵，E为本质矩阵。

a.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响。

b.假定8组点和线特征中点的匹配对坐标为

其中，u、v表示图像坐标系下像素的横纵坐标。i取值表示基于8点法使用的第i组坐标，j取值表示第j张图像。

将坐标输入如下计算公式：

c.对计算Fundamental矩阵进行检测，判断基于置信度95％，分别对所有输入的匹配点特征和线特征进行是否小于一个像素误差的卡方检验。对于通过检验的匹配对，累加得分，公式如下：

(2)Homography矩阵及得分计算步骤：

假定待计算的Homography矩阵为：

a.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响。

b.假定8组点和线特征中点的匹配对坐标为

其中，u、v表示图像坐标系下像素的横纵坐标。i取值表示基于8点法使用的第i组坐标，j取值表示第j张图像。

将坐标输入如下计算公式：

并进行SVD分解，计算可得Homography矩阵。

c.对计算Homography矩阵进行检测，判断基于置信度95％，分别对所有输入的匹配点特征和线特征进行是否小于一个像素误差的卡方检验。对于通过检验的匹配对，累加得分，公式如下：

步骤三、根据得分确定当前有效矩阵，并基于该矩阵恢复相应的3D点线特征

a.对步骤二中的F和H矩阵的得分进行比较。(与ORB-SLAM2判断方式相同)

b.根据选择的矩阵进行SVD分解：

若选择的是F矩阵则需先分解为本质矩阵E，然后再进行SVD分解，得到4组R,t矩阵。

若选择的是H矩阵，则直接进行SVD分解，得到8组R,t矩阵。

c.基于得到的R,t矩阵进行分线程进行3D点特征和3D线特征计算，若某组R,t矩阵的3D特征恢复数量明显优于其他组，且点线特征的恢复数量均达到50个，则初始化成功。

本发明是在ORB-SLAM2软件框架的基础上进行扩展并完成实验验证。初始化时，要求在相机在纹理信息较为丰富的场景下平移运动，进而完成单目SLAM系统的初始化。框架使用LSD-LBD线特征完成扩展，并且在默认配置文件中设置：点特征总提取数量为720，图像金字塔6层；线特征总提取数量为180，图像金字塔2层。

在图2所示场景下，本发明提出的初始化算法有效完成了基于点线特征单目SLAM系统的初始化功能，图4和5分别为初始化后当步提取点线特征的2D图像和恢复的点线地图。表1为10次纯点特征初始化用时和恢复地图点数量，表2为10次本发明提出算法的初始化用时和恢复地图点及地图线数量。

表1纯点特征初始化记录

平均用时：11.9216ms

平均恢复地图点数量：103

表2点线特征统一的初始化算法记录

平均用时：12.8910ms

平均恢复地图点数量：112

平均恢复地图线数量：72

通过对比表1和表2以及两种算法的平均用时可以看出，本发明提出的点线特征统一的初始化算法并未明显增加系统计算用时，这是引入多线程地图信息恢复的意义。

另外，通过对比两种初始化方法的平均地图信息恢复数量，可以看出，线特征的引入能够直接提高两帧图像间R,t矩阵的计算精度，进而提高初始化地图点特征的有效恢复数量。

以上实施例仅用于说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细说明，所属领域的普通技术人员依然可以对本发明的具体实施方案进行修改或者等同替换，而这些并未脱离本发明精神和范围的任何修改或者等同替换，其均在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于点线统一框架的单目SLAM系统初始化算法，其特征在于，包括以下步骤：

步骤一、设置点线特征统一的索引容器，使得获得的点线特征匹配统一于后续的计算F和H矩阵的随机抽样一致性算法中；

步骤二、将线特征统一于矩阵计算框架，根据预处理的线特征中点，分线程计算F和H矩阵及对应得分；

步骤三、根据得分确定当前有效矩阵，并基于该矩阵恢复相应的3D点线特征，进而完成单目SLAM系统的初始化；

步骤一中需要现将获得的数据进行有效分配，假定当前获得N对点特征匹配，NL对线特征匹配步骤如下：

1)将获得的点线特征对于统一的容器中顺序存储，容器尺寸为N+NL；

2)按照RANSAC算法最大迭代次数要求，从容器中随机抽取最大迭代次数组输入；每组为多对不重复的点线特征索引；

步骤二中，F矩阵计算步骤：

a.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响；假定待计算的F矩阵为：

其中，K为标定矩阵，E为本质矩阵；

b.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响；

c.假定多组点和线特征中点的匹配对坐标为

其中，u、v表示图像坐标系下像素的横纵坐标，I取值表示基于8点法使用的第i组坐标，j取值表示第j张图像；

将坐标输入如下计算公式：

d.对计算F矩阵进行检测，判断基于置信度，分别对所有输入的匹配点特征和线特征进行是否小于一个像素误差的卡方检验；对于通过检验的匹配对，累加得分，公式如下：

H矩阵及得分计算步骤如下：

假定待计算的H矩阵为：

a.基于所有点特征对和线特征中点对进行数据归一化，消除图像坐标系和尺度产生的影响；

b.假定多组点和线特征中点的匹配对坐标为

其中，u、v表示图像坐标系下像素的横纵坐标；I取值表示基于8点法使用的第i组坐标，j取值表示第j张图像；

将坐标输入如下计算公式：

并进行SVD分解，计算可得Homography矩阵；

c.对计算Homography矩阵进行检测，判断基于置信度，分别对所有输入的匹配点特征和线特征进行是否小于一个像素误差的卡方检验对于通过检验的匹配对，累加得分，公式如下：

2.根据权利要求1所述的基于点线统一框架的单目SLAM系统初始化算法，其特征在于，点特征和线特征的整体匹配对数不少于8对。

3.根据权利要求1所述的基于点线统一框架的单目SLAM系统初始化算法，其特征在于，所述的置信度95％。

4.根据权利要求1所述的基于点线统一框架的单目SLAM系统初始化算法，其特征在于，步骤三具体包括：

a.对步骤二中的F和H矩阵的得分进行比较；

b.根据选择的矩阵进行SVD分解：

若选择的是F矩阵则需先分解为本质矩阵E，然后再进行SVD分解，得到对应的R,t矩阵；

若选择的是H矩阵，则直接进行SVD分解，得到对应的R,t矩阵；

c.基于得到的R,t矩阵进行分线程进行3D点特征和3D线特征计算，若某组R,t矩阵的3D特征恢复数量明显优于其他组，且点线特征的恢复数量均达到设置值，则初始化成功。

5.根据权利要求4所述的基于点线统一框架的单目SLAM系统初始化算法，其特征在于，所述的设置值为50个。

Images