CN113963030A - 一种提高单目视觉初始化稳定性的方法 - Google Patents

Abstract

本发明涉及一种提高单目视觉初始化稳定性的方法。首先在每帧帧图像间利用Harris特征点检测方法以及LSD提取点特征和线特征，在每两帧图像间进行特征的跟踪，获取每两帧图像间对应的特征对。再利用特征点对解算本质矩阵，然后通过最大化线特征的投影重叠长度优化本质矩阵，之后分解本质矩阵解算位姿，获得稳定的初始化结果。本发明能有效提高单目视觉SLAM初始化的鲁棒性以及定位精度。

Description

一种提高单目视觉初始化稳定性的方法

技术领域

本发明涉及移动机器人的定位导航技术方法，特别是一种提高单目视觉初始化稳定性的方法。

背景技术

随着技术的发展和越来越多开源系统的出现，视觉同时定位与地图构建(simultaneous localization and mapping，SLAM)技术日趋成熟，已广泛应用于机器人导航、无人机、增强现实和无人驾驶等领域。其中单目视觉SLAM方法以最少的传感器来解决位姿估计问题，并在重量和成本方面具有明显的优势。然而单目视觉SLAM还存在着一些问题：(1)尺度问题，相机的投影模型决定了单个相机无法获取场景的深度信息，还会造成尺度漂移；(2)图像质量对视觉SLAM的影响较大，在图像模糊或场景中特征不丰富等情况下，会出现跟踪丢失无法估计位姿。(3)目视觉SLAM由于仅从单帧的图像不能得到深度信息，因此需要从图像序列中选取两帧以上的图像以估计相机姿态并重建出初始的三维点云，因此必须进行初始化，而场景纹理缺失容易造成初始化失败或初始化精度不高。

初始化是单目视觉SLAM中的重要模块之一，其目的是获得准确的帧间相对位姿，并且通过三角化恢复出初始地图点，用于后续跟踪。因此初始化的精度决定了整个视觉系统的定位效果。初始化方法按分类可划分为本质矩阵分解法和单应性矩阵分解法。一些视觉SLAM方法假设观测场景为平面，应用单应性矩阵分解法来进行初始化，例如：paralleltracking and mapping和Semi-Direct Monocular Visual Odometry。而如ORB-SLAM3则混合使用了上述的两种方法进行初始化，其初始化方法是通过计算单应性矩阵和基础矩阵的置信度，选择不确定性较低的矩阵进行分解从而完成初始化步骤。不过该方法会使得SLAM系统的初始化时间延长，面对低视差的情况下甚至无法完成初始化。

目前点线结合的视觉SLAM在初始化过程中仅用点特征。而在实际的结构化场景中线特征通常会多于点特征，如果仅使用点特征进行初始化会导致匹配特征数量太少而失败。

发明内容

本发明的目的在于提供一种提高单目视觉初始化稳定性的方法，利用跟踪得到的特征点对进行计算本质矩阵，并借助线特征优化本质矩阵使得之后分解出的初始位姿可靠。

为实现上述目的，本发明的技术方案是：在两帧图像间分别进行点特征和线特征的匹配和跟踪以获得对应的线特征对，其次由点特征对计算本质矩阵，之后使线特征对的重投影重叠长度最大化限制两帧之间的运动，优化由线特征对计算得出的本质矩阵，使得本质矩阵分解出的(R,t)更准确。

本发明一种提高单目视觉初始化稳定性的方法，包括：

(1)提取两帧图像之间的点特征和线特征，之后分别通过追踪获得对应特征点对以及匹配获得对应的线特征对；

(2)在两帧图像之间，通过跟踪特征点对之后，得到两帧图像的特征点位置关系，通过对极几何关系计算两图像间的相对位姿；

(3)对于每两图像帧，在获得匹配的线特征对之后，通过最大化线特征的投影重叠约束两帧之间的相对位姿，从而在图像模糊或场景中点特征较少等情况下获取较好的位姿估计结果，完成单目视觉SLAM的初始化过程。

在本发明一实施例中，所述特征点检测法和线段检测法分别为Harris特征点检测和LSD线段检测法。

在本发明一实施例中，所述特征点跟踪和线段跟踪为使用Lucas-Kanade光流和LBD描述子对点特征和线特征进行跟踪，获取两帧图像间对应的点特征对和线特征对；之后判断点特征的运动方法以及是否在图像边界内使用RANSAC方法对误跟踪的点特征进行剔除，对所跟踪的线特征的长度进行判断，若长度过小则拒绝跟踪。

在本发明一实施例中，利用Harris特征点检测算法和直线段特征检测算法LSD提取两帧图像的特征点和线特征，特征点的追踪与筛选，以及线特征的匹配方式具体如下：

一方面，对于每张图像，检测完两帧间的特征点之后使用KLT光流法对现有特征进行跟踪；

另一方面，不断检测新特征点，使得每张图像对应的特征点保持一个合理的范围内(比如100-300个)。对于处理外点，则使用随机抽样一致算法结合计算基础矩阵筛选内点，剔除掉外点。

线特征的提取和描述采用的是LSD提取算法和Line Band Discriptor(LBD)描述子的经典方案。线特征的跟踪与点特征稍有不同的是提取的是每一帧图片上的线特征，然后进行前后匹配，以达到跟踪的效果，而不是像点特征那样采用光流法跟踪。

在本发明一实施例中，所述计算本质矩阵为根据对极几何原理，利用获得的点特征对，使用八点法进行求解。具体实现方式如下：

求取两帧图像之间的运动，设两帧间的旋转矩阵为R和平移矩阵为t，考虑两帧图像间有对应的特征点对p₁和p₂，由于特征点对p₁和p₂是通过光流法跟踪得到的，如果跟踪正确的话，说明它们确实是同一个空间点P在两个成像平面的投影；根据针孔相机模型可知p₁和p₂与空间点P的关系如下：

s₁p₁＝KP

s₂p₂＝K(RP+t)

这里K为相机的内参矩阵，s₁和s₂分别为空间点P相对两帧图像的深度；将上述两式联合求解可得：

p₂ ^TK^-Tt^RK^-1p₁＝0

其中本质矩阵E＝t^R，t^表示取t的反对称矩阵；通过一对对应的特征点对可构建一个关于本质矩阵的线性方程；考虑本质矩阵的尺度等价性，使用8对点来估计本质矩阵；考虑一对匹配点，它们的归一化坐标为p₁＝[u₁,v₁,1]^T,p₂＝[u₂,v₂,1]^T。根据对极约束有：

把本质矩阵E展开，写成向量的形式：

e＝[e₁,e₂,e₃,e₄,e₅,e₆,e₇,e₈,e₉]^T

那么，对极约束可以写成与e有关的线性形式：

[u₂u₁,u₂v₁,u₂,v₂u₁,v₂v₁,v₂,u₁,v₁,1]·e＝0

同理，对于其他点对也有相同的表示。把所有点都放到一个方程中，变成线性方程组(uⁱ,vⁱ表示第i个特征点，以此类推):

其中e_i为本质矩阵E中的元素。

在本发明一实施例中，利用跟踪得到的线特征进行投影，假设两帧图像之间的位姿(本质矩阵E或(R,t))正确，则投影的线段与所检测到的线段重叠，其重叠长度应为最大。因此利用最大化重叠长度约束两帧图像的运动，使得两帧图像之间的运动为最优。

在本发明一实施例中，计算线特征投影的重叠长度最大值，并将本质矩阵作为待优化变量添加到Ceres Solver优化当中，然后将优化后的本质矩阵E进行SVD分解得到初步位姿(R,t)。

在本发明一实施例中，步骤(3)具体实现如下：

给定一对匹配的线特征对l和l'，根据对极几何原理，在两帧图像间，上一帧图像检测的线特征两端点为下一帧图像中的两条极线，具体表示如下：

l′_s＝Es₁

l′_e＝Ee₁

其中l′_s和l′_e分别为下一帧图像的两条极线，s₁和e₁为上一帧图像中的线段的两端点；两条极线与下一帧图像中检测出的线段的两端点s₂，e₂分别相交，记为s′₁和e′₁，可由下式表示：

s′₁＝l'×l′_s

e′₁＝l'×l′_e

则线段s′₁e′₁为上一帧图像中的线段l在下一帧图像中的投影；假设两帧图像间的对极几何关系，即本质矩阵E或者运动(R,t)是正确的，R为旋转矩阵和t为平移矩阵，两帧图像中对应的线特征对的端点在空间中对应于同一点，等同于线段s′₁e′₁'与l'重叠，为了使两线段重叠，必须满足一下两个条件：

1)e′₁和e₂相对于s₂要在同一侧，描述如下：

(e′₁-s₂)·(e₂-s₂)＞0

2)s′₁和s₂相对于e₂要在同一侧，描述如下：

(e₂-s′₁)·(e₂-s₂)＞0

为了确保线段方向一致，必须施加另一个约束：

3)线段s′₁e'₂和s₂e₂方向必须相同：

(e₂-s₂)·(e′₁-s′₁)＞0

约束3)使用线段的方向信息；消除约束3)，所提出的将适用于未定向的线段；因此，线段对应的运动和结构问题可以通过非线性方法解决，从而使对应线段满足上述约束1)-3)；

两条对应的线段定义一个重叠测量量，将其称为重叠长度；如果两线段重叠，重叠长度的值为正数，反之为负数；在满足上述的约束1)-3)的条件下，在第二帧图像中只有四种重叠情况，当两帧之间的运动参数(R,t)准确时，两帧之间的视角变化不大即符合初始化时的情形下，s′₁和s₂应该重叠，e′₁和e₂也应该重叠，也就是重叠长度应尽可能大，重叠长度L'定义如下：

L'＝min(||e₂-s₂||,||e′₁-s₂||,||e₂-s′₁||,||e′₁-s′₁||)

若两者不重叠，重叠长度为：

L'＝-min(||e₂-s′₁||,||e′₁-s₂||)

L'＝-max(||s₂-s′₁||,||e₂-e′₁||)

根据图像的对称性，将第二帧中检测的线段的端点投影到第一帧中，可以得到L；另外由于长线段和短线段的重叠长度所占比应该一样，因此对L和L'进行归一化，分别除以l和l'，即算出优化重叠长度和检测线段长度的比值；对于用两帧之间的匹配上的线特征优化运动位姿的问题描述如下：给定n对匹配上的线特征对l_i和l′_i(i＝1,2,3,…n)，通过最小化F来优化相机的运动参数(R,t)；

相较于现有技术，本发明具有以下有益效果：本发明的单目初始化方法是将线特征加入原有的初始化模块当中，提高了初始化的稳定性和定位精度，该方法能够在运动模糊或低纹理场景中使用，同时相较于原方法，实时性并未减弱。

附图说明

图1是本发明的视觉前端流程图；

图2是线特征的对极几何示意图；

图3是线特征对的投影重叠示意图；

图4是实际实验场景图；

图5是本方法的实验结果图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明提供了一种提高单目视觉SLAM初始化的方法，首先是对采集到的图像进行特征提取，所采用的方法为Harris特征点检测法和LSD线段检测法，然后对提取到的特征分别使用光流法和LBD描述子进行特征跟踪，获取两帧图像间对应的特征对，之后利用获得的点特征对结合八点法计算本质矩阵，并使得线特征对的投影重叠长度最大，约束两帧图像间的运动，以此来达到优化由本质矩阵分解得到的(R,t)。图2是线特征的对极几何示意图；图3是线特征对的投影重叠示意图。

利用EuRoc数据集以及实际实验来评估本法的有效性，并与未在初始化模块中加入线特征的方法比较，比较的依据是与真值对比之后计算得到的均方根误差。

表1 EuRoc数据集未加入线特征的初始化方法与本方法均方根误差比较。

从表1可看出，2种不同的方案在不同难度级别以及不同环境下数据集中的优劣性，在相同的姿态更新频率下，相较于未加入线特征的方案，将线特征加入初始化中可减少定位误差约为5.4％。这组实验证明了在初始化模块中加入线特征优化对方案精度提升有一定效果。

接着为验证本文方法的实际效果以及面对多场景变化的性能进行测试，此次实验在配备动捕系统的室内环境中进行验证。采用的硬件系统为搭载jetson nano开发板以及INDEMIND双目相机惯性模组的turtlebot3机器人。利用此实验系统，在实验室的环境中进行定位实验，实验场景如图4所示。在这个实验中，使用ROS相关指令记录图像数据、IMU数据，以及建立开发板与动捕系统之间的通信便于获取OptiTrack提供的真值，并用键盘控制机器人分别以0.10m/s、0.22m/s在一定范围内运动，机器人在此区域运动一段轨迹后最后回到指定终点，通过机器人运动的整个轨迹与动捕系统提供的真值的差异，以及与原方法的对比来评估本文方法的定位精度。

实验对齐结果如图5所示，对齐之后统计本文方法与未加入线特征的初始化方法相对真值的均方根误差如下表2：

表2

由以上数据可知，本发明方法在实际应用方面明显优于原方法，因此利用本算法可提高单目视觉SLAM初始化的稳定以及定位精度。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种提高单目视觉初始化稳定性的方法，其特征在于，包括：

(1)提取两帧图像之间的点特征和线特征，之后分别通过追踪获得对应特征点对以及匹配获得对应的线特征对；

(2)在两帧图像之间，通过跟踪特征点对之后，得到两帧图像的特征点位置关系，通过对极几何关系计算两图像间的相对位姿；

(3)对于每两图像帧，在获得匹配的线特征对之后，通过最大化线特征的投影重叠约束两帧之间的相对位姿，从而在图像模糊或场景中点特征较少等情况下获取较好的位姿估计结果，完成单目视觉SLAM的初始化过程。

2.根据权利要求1所述的一种提高单目视觉初始化稳定性的方法，其特征在于，所述步骤(1)中利用Harris特征点检测算法和直线段特征检测算法LSD提取两帧图像的特征点和线特征，特征点的追踪与筛选，以及线特征的匹配方式如下：

对于每张图像，检测完两帧图像间的特征点之后使用KLT光流法对检测到的特征点进行跟踪；

不断检测新特征点，使得每张图像对应的特征点保持在一个预定范围内；对于处理外点，则使用随机抽样一致算法结合计算基础矩阵筛选内点，剔除掉外点；

线特征的提取和描述采用的是LSD提取算法和LBD描述子的方案；线特征的跟踪是提取的是每一帧图片上的线特征，然后进行前后匹配，以达到跟踪的效果。

3.根据权利要求2所述的一种提高单目视觉初始化稳定性的方法，其特征在于，所述预设范围为100-300个。

4.根据权利要求1所述的一种提高单目视觉初始化稳定性的方法，其特征在于，所述步骤(2)中计算两帧图像间的相对位姿的具体方式如下：

通过光流法跟踪到图像间对应的特征点对，接着利用对极几何原理计算出本质矩阵，然后从本质矩阵中恢复出两帧图像间的旋转矩阵R和平移矩阵t。

5.根据权利要求4所述的一种提高单目视觉初始化稳定性的方法，其特征在于，所述利用对极几何原理计算本质矩阵，并从中恢复两帧图像间的相对位姿，具体为：

求取两帧图像之间的运动，设两帧间的旋转矩阵为R和平移矩阵为t，考虑两帧图像间有对应的特征点对p₁和p₂，由于特征点对p₁和p₂是通过光流法跟踪得到的，如果跟踪正确的话，说明它们确实是同一个空间点P在两个成像平面的投影；根据针孔相机模型可知p₁和p₂与空间点P的关系如下：

s₁p₁＝KP

s₂p₂＝K(RP+t)

这里K为相机的内参矩阵，s₁和s₂分别为空间点P相对两帧图像的深度；将上述两式联合求解可得：

p₂ ^TK^-Tt^RK^-1p₁＝0

其中本质矩阵E＝t^R，t^表示取t的反对称矩阵；通过一对对应的特征点对可构建一个关于本质矩阵的线性方程；考虑本质矩阵的尺度等价性，使用8对点来估计本质矩阵，考虑一对匹配点，它们的归一化坐标为p₁＝[u₁,v₁,1]^T,p₂＝[u₂,v₂,1]^T；根据对极约束有：

把本质矩阵E展开，写成向量的形式：

e＝[e₁,e₂,e₃,e₄,e₅,e₆,e₇,e₈,e₉]^T

那么，对极约束可以写成与e有关的线性形式：

[u₂u₁,u₂v₁,u₂,v₂u₁,v₂v₁,v₂,u₁,v₁,1]·e＝0

同理，对于其他点对也有相同的表示；把所有点都放到一个方程中，变成线性方程组，其中uⁱ,vⁱ表示第i个特征点，以此类推：

其中e_i为本质矩阵E中的元素。

6.根据权利要求1所述的一种提高单目视觉初始化稳定性的方法，其特征在于，所述步骤(3)具体为：

给定一对匹配的线特征对l和l'，根据对极几何原理，在两帧图像间，上一帧图像检测的线特征两端点为下一帧图像中的两条极线，具体表示如下：

l′_s＝Es₁

l′_e＝Ee₁

其中l′_s和l′_e分别为下一帧图像的两条极线，s₁和e₁为上一帧图像中的线段的两端点；两条极线与下一帧图像中检测出的线段的两端点s₂，e₂分别相交，记为s′₁和e′₁，可由下式表示：

s′₁＝l'×l′_s

e′₁＝l'×l′_e

则线段s′₁e′₁为上一帧图像中的线段l在下一帧图像中的投影；假设两帧图像间的对极几何关系，即本质矩阵E或者运动(R,t)是正确的，R为旋转矩阵和t为平移矩阵，两帧图像中对应的线特征对的端点在空间中对应于同一点，等同于线段s′₁e′₁与l'重叠，为了使两线段重叠，必须满足一下两个条件：

1)e′₁和e₂相对于s₂要在同一侧，描述如下：

(e′₁-s₂)·(e₂-s₂)＞0

2)s′₁和s₂相对于e₂要在同一侧，描述如下：

(e₂-s′₁)·(e₂-s₂)＞0

为了确保线段方向一致，必须施加另一个约束：

3)线段s′₁e′₂和s₂e₂方向必须相同：

(e₂-s₂)·(e′₁-s′₁)＞0

约束3)使用线段的方向信息；消除约束3)，所提出的将适用于未定向的线段；因此，线段对应的运动和结构问题可以通过非线性方法解决，从而使对应线段满足上述约束1)-3)；

两条对应的线段定义一个重叠测量量，将其称为重叠长度；如果两线段重叠，重叠长度的值为正数，反之为负数；在满足上述的约束1)-3)的条件下，在第二帧图像中只有四种重叠情况，当两帧之间的运动参数(R,t)准确时，两帧之间的视角变化不大即符合初始化时的情形下，s′₁和s₂应该重叠，e′₁和e₂也应该重叠，也就是重叠长度应尽可能大，重叠长度L'定义如下：

L'＝min(||e₂-s₂||,||e′₁-s₂||,||e₂-s′₁||,||e′₁-s′₁||)

若两者不重叠，重叠长度为：

L'＝-min(||e₂-s′₁||,||e′₁-s₂||)

L'＝-max(||s₂-s′₁||,||e₂-e′₁||)

根据图像的对称性，将第二帧中检测的线段的端点投影到第一帧中，可以得到L；另外由于长线段和短线段的重叠长度所占比应该一样，因此对L和L'进行归一化，分别除以l和l'，即算出优化重叠长度和检测线段长度的比值；对于用两帧之间的匹配上的线特征优化运动位姿的问题描述如下：给定n对匹配上的线特征对l_i和l′_i(i＝1,2,3,…n)，通过最小化F来优化相机的运动参数(R,t)；

Images