CN111932600A - 一种基于局部子图的实时回环检测方法 - Google Patents

Abstract

本发明提供一种基于局部子图的实时回环检测方法，首先创建基于各子图的特征数据库；然后在检测回环之前，对当前帧的相邻子图进行筛选；最后通过相邻子图的特征数据库中的关键帧信息进行回环检测与关键帧添加。本发明设计了通用的回环检测框架，对现有的回环检测技术结合局部子图的数据结构，实现检测时间不随地图(关键帧数量)的增大而增大，有效保证了现有三维重建技术在重建大场景时的实时性。

Description

一种基于局部子图的实时回环检测方法

技术领域

本发明属于计算机视觉领域，尤其针对实时场景三维重建,具体涉及一种利用局部子图结构分离式存储地图特征的方法，实现不随特征地图大小影响的实时相机回环检测方法。

背景技术

实时场景三维重建的实现流程为根据传感器所搭载的彩色及深度相机扫描场景拍摄视频，并同时进行逐帧处理、帧间比较，估计出相机姿态的帧间相对变化，最后由新观测到的帧根据估计出的位姿对地图进行更新【1】。然而，在场景重建的过程中，由于每一帧的相机姿态估计都存在一定的误差，重建的三维场景将不断累积误差。当相机返回历史扫描过的区域形成较大的回环时，累积的误差将导致无法重建出表面一致的场景三维模型。

基于子图的三维模型结构【2】被提出用于对实时重建的TSDF三维场景模型进行变形(即，闭环)以消除累积误差。但是，所重建场景的有效闭环依赖系统能及时检测到回环，如果未能及时检测出回环，用错误的位姿进行了地图的更新，甚至可能毁掉现有已建立好的场景模型。若回环被及时检测到，就能阻止错误的地图融合，并通过闭环技术完成累积误差的消除。

当前领域内提出的回环检测方案主要基于特征点的方法【3】或帧编码的方法【4】，将历史关键帧的所有特征点或编码值储存在全局地图或单个数据库中，随后通过历史关键帧与当前帧的特征信息对比，来判断相机是否回到已扫描区域。但是，随着扫描内容的不断增加，存储的特征信息也会不断增多，导致每一帧回环检测的执行时间不断增加，最终造成场景重建技术无法达到实时性的要求。

【1】Richard A.Newcombe,Shahram Izadi,Otmar Hilliges,等.KinectFusion:Real-time dense surface mapping and tracking[J].Ismar Basel Switzerland Oct,2012,4(6):127-136.

【2】

Olaf,Victor A.Prisacariu,and David W.Murray."Real-timelarge-scale dense 3D reconstruction with loop closure."European Conference onComputer Vision.Springer,Cham,2016.

【3】Mur-Artal,Raul,Jose Maria Martinez Montiel,and Juan D.Tardos."ORB-SLAM:a versatile and accurate monocular SLAM system."IEEE transactions onrobotics 31.5(2015):1147-1163.

【4】Glocker,Ben,et al."Real-time RGB-D camera relocalization viarandomized ferns for keyframe encoding."IEEE transactions on visualizationand computer graphics 21.5(2014):571-583.

发明内容

针对现有技术中存在的的不足，本发明提供一种基于局部子图的实时回环检测方法。本发明的目的是改进由关键帧数量增多导致的回环检测时间不断增大的问题，使得回环检测的计算时间不受总的关键帧数量影响，从而保证系统的实时性。

本发明创新性地结合局部子图结构以及基于关键帧的回环检测方法实现考虑位置先验信息的实时回环检测。本发明将重建的场景三维模型表示为多个局部子图的结合。在实时重建的过程中，当前子图的大小达到一定阈值时，我们将创建新的子图，并将后续的视觉信息融合到新创建的子图中，于是将多个子图结合在一起就形成了所重建的整体场景三维模型。同时，本发明将关键帧信息分别保存在各自所属的子图中，随后通过仅比较当前帧与邻域子图中的关键帧的方式，实现了不随关键帧总数影响的实时的回环检测。

一种基于局部子图的实时回环检测方法，步骤如下：

步骤1、创建基于各子图的特征数据库；

步骤2、在检测回环之前，对当前帧的相邻子图进行筛选；

步骤3、通过相邻子图的特征数据库中的关键帧信息进行回环检测与关键帧添加。

步骤1具体如下：

当前子图M_i-1包含的模型几何大于特定阈值σ时，新的子图M_i将被创建，并由当前输入帧K的信息进行初始化。所述的当前帧K的信息包括相机的位置T_k以及场景在当前帧中的几何表面；当子图M_i被创建时，其在全局坐标系中的位置，即3*4大小的矩阵T_i＝[R_i，t_i]被赋值为当前帧K的相机位置T_k，其中R_i代表该子图在全局坐标系中的朝向，t_i代表该子图的三维坐标位置。所述的特定阈值σ由构成模型的基本单元决定。

以列表的形式将关键帧信息保存于子图中。具体的，针对某个关键帧j，保存其与子图的相对位置

使其在闭环时能随子图的变化而变化，即当关键帧j被当前帧成功匹配从而检测出回环时，利用该关键帧的全局位置

即可进行后续的闭环操作。因此，当子图M_i被创建时，将同时创建其用于保存关键帧信息的列表

其中

用于存储各关键帧的特征信息，所述的特征信息为从关键帧中提取的特征点或该关键帧的编码值。因此，针对回环检测，创建子图M_i的特征数据库M_i：(T_i，L_i)，其中列表L_i所保存的关键帧均为融合该子图过程中所添加的关键帧。

步骤2具体如下：

首先，回环只存在于不同的子图之间，其具体表现是两个存在回环的子图融合时出现表面不连续的情况，单个子图由于不会存在大的累积误差，于是就不会存在重建误差。因此，当前子图不被作为相邻子图，即当前子图中的关键帧信息不参与回环检测。

将当前帧的相机位置T_k与各子图的特征数据库中的子图位置T_i做比较，当相对角度与三维坐标距离即欧式距离，分别小于特定阈值λ_R和λ_t时，判定该子图属于相邻子图：

步骤3具体如下：

仅将相邻子图的特征数据库中存储的关键帧信息M_i(L_i)用于回环检测，其中i为各个相邻子图的ID，并通过特征点方法或者帧编码方法的特征匹配，计算各关键帧特征信息

与当前帧特征信息的相似性，从而得到当前帧与关键帧的最大相似值。当相机所拍摄的连续多帧的最大相似值均大于所设定的阈值时，则判断为检测到回环。

另外，在每一帧的相似性比较中，若当前帧s的最大相似值小于设定阈值α时，将启动关键帧添加，即，将当前帧与当前子图i特征数据库中的关键帧信息

进行比较，若最大相似性仍小于阈值α，则表明当前子图中不存在与当前帧非常相似的关键帧，于是认为该帧是关键帧，并将该帧的特征信息Q_s以及其与当前子图的相对位置关系

添加到当前子图特征数据库的列表L_i中。

进一步的，其中λ_R＝π，即相对角度大于180°不是相邻子图；

由于重建场景的大小无法预先确定，因此为了保证领域子图能在任何情况下包含存在回环的子图，将λ_t设定动态值，以保证其能适应任意大小的回环。由于长时间未检测到回环，累积误差将不断增大，回环在理论上也将不断变大，因此λ_t的大小与未检测到回环过程中新增的关键帧数量N有关，即：

其中关键帧数量N的值会在成功检测到回环时被归零，因为在检测到回环并进行闭环操作后，累积误差将被消除。

进一步的，步骤3中所述的相机所拍摄的连续多帧为5帧。

本发明有益效果如下：

本发明设计了通用的回环检测框架，对现有的回环检测技术结合局部子图的数据结构，实现检测时间不随地图(关键帧数量)的增大而增大，有效保证了现有三维重建技术在重建大场景时的实时性。

附图说明

图1为所重建场景存在回环时的示意图。

具体实施方式:

下面结合具体实施例对本发明作进一步说明。

一种基于局部子图的实时回环检测方法，步骤如下：

步骤1：创建基于各子图的特征数据库。

当前子图M_i-1包含的模型几何大于特定阈值σ时，新的子图M_i将被创建，并由当前输入帧K的信息进行初始化。所述的当前帧K的信息包括相机的位置T_k以及场景在当前帧中的几何表面；当子图M_i被创建时，其在全局坐标系中的位置，即3*4大小的矩阵T_i＝[R_i，t_i]被赋值为当前帧K的相机位置T_k，其中R_i代表该子图在全局坐标系中的朝向，t_i代表该子图的三维坐标位置。所述的特定阈值σ由构成模型的基本单元决定。

同时，由于关键帧特征信息的表达有多种方式，如背景技术中介绍的特征点方法和帧编码方法，因此本发明综合考虑不同的关键帧特征表达方法，以列表的形式将关键帧信息保存于子图中。具体的，针对某个关键帧j，保存其与子图的相对位置

使其在闭环时能随子图的变化而变化，即当关键帧j被当前帧成功匹配从而检测出回环时，利用该关键帧的全局位置

即可进行后续的闭环操作。因此，当子图M_i被创建时，将同时创建其用于保存关键帧信息的列表

其中

用于存储各关键帧的特征信息，所述的特征信息为从关键帧中提取的特征点或该关键帧的编码值。因此，针对回环检测，创建子图M_i的特征数据库M_i：(T_i，L_i)，其中列表L_i所保存的关键帧均为融合该子图过程中所添加的关键帧。

步骤2：相邻子图筛选；

当由相机得到新一帧的图像时，实时三维重建系统将先估计拍摄该帧时的相机位置，随后检测是否出现回环。在检测回环之前，对当前帧的相邻子图进行筛选。

在相机定位不出现错误的情况下，回环的出现通常是在当前帧的附近区域，因此在回环检测时，我们利用与当前帧相邻的子图中的关键帧进行检测，这样即能够保证检测的时间始终在某个特定阈值之下，同时也能从根本上避免由不同场景区域极为相似导致的错误回环检测(如不同的墙角)。因此，从所有重建的子图中筛选出当前帧相邻的子图，同时保证回环必然存在于所筛选的子图内，是本发明成功检测到回环的关键。

首先，回环只存在于不同的子图之间，其具体表现是两个存在回环的子图融合时出现表面不连续的情况(如图一)，单个子图由于不会存在大的累积误差，于是就不会存在如图一中的重建误差。因此，当前子图不被作为相邻子图，即当前子图中的关键帧信息不参与回环检测。

将当前帧的相机位置T_k与各子图的特征数据库中的子图位置T_i做比较，当相对角度与三维坐标距离(即欧式距离)分别小于特定阈值λ_R和λ_t时，判定该子图属于相邻子图：

由于子图数量远小于关键帧数量，因此相邻子图筛选的计算时间在回环检测中可以忽略不计。

步骤3：回环检测与关键帧添加

仅将相邻子图的特征数据库中存储的关键帧信息M_i(L_i)用于回环检测，其中i为各个相邻子图的ID，并通过特征点方法或者帧编码方法的特征匹配，计算各关键帧特征信息

与当前帧特征信息的相似性，从而得到当前帧与关键帧的最大相似值。当相机所拍摄的连续多帧(通常认定为5帧)的最大相似值均大于所设定的阈值时，则判断为检测到回环。

另外，在每一帧的相似性比较中，若当前帧s的最大相似值小于设定阈值α时，将启动关键帧添加，即，将当前帧与当前子图i特征数据库中的关键帧信息

进行比较，若最大相似性仍小于阈值α，则表明当前子图中不存在与当前帧非常相似的关键帧，于是认为该帧是关键帧，并将该帧的特征信息Q_s以及其与当前子图的相对位置关系

添加到当前子图特征数据库的列表L_i中。

实施例：

一.子图创建

随着不断扫描新的场景，新的子图将被不断创建。实时三维场景重建过程中，模型的几何通常由体素块或面元构成，我们于是根据当前子图的几何大小(体素块数量或面元数量)来判断是否需要创建新子图。一旦当前子图M_i-1的地图大于特定阈值σ时，新的子图M_i将被创建，由相机拍摄的当前帧K的图像信息初始化，所述的当前帧K的图像信息包括相机的位置T_k以及场景的当前帧几何表面信息等。于是当子图M_i被创建时，我们将同时创建其用于保存关键帧信息的列表

其中

为子图与关键帧j的相对位置,

用于存储该关键的特征信息。于是，该子图M_i用于回环检测的信息是M_i：(T_i，L_i)。所述的特定阈值σ由地图构成方式决定。

二.相邻子图筛选

当由相机得到新一帧的图像时，实时三维重建系统将先估计拍摄该帧时的相机位置，随后检测是否出现回环。在检测回环之前，我们对当前帧的相邻子图进行筛选。具体做法是将当前帧位置与子图位置进行比较，设当前帧所估计的相机位置为T_k，某子图M_i的位置为T_i，则两个位置的欧式距离由平移向量t计算：

Δt＝||t_k-t_i||₂

而他们朝向的相对角度由旋转矩阵R计算：

当Δt小于阈值λ_t，且Δθ小于阈值λ_R时，判断该子图属于当前帧的相邻子图,其中λ_R＝π，即相对角度大于180°不是相邻子图。

由于重建场景的大小无法预先确定，因此为了保证领域子图能在任何情况下包含存在回环的子图，将λ_t设定动态值，以保证其能适应任意大小的回环。由于长时间未检测到回环，累积误差将不断增大，回环在理论上也将不断变大，因此λ_t的大小与未检测到回环过程中新增的关键帧数量N有关，即：

其中关键帧数量N的值会在成功检测到回环时被归零，因为在检测到回环并进行闭环操作后，累积误差将被消除。

三.关键帧匹配与添加

通过筛选出的相邻子图{M₁，M₂，...，M_s}的特征数据库中存储的关键帧信息进行回环检测，其中i为各个相邻子图的ID。通过特征匹配，计算出各关键帧特征信息

与当前帧特征信息的相似性ε，从而得到当前帧与关键帧相似性的最大值ε_max。当相机所拍摄的连续多帧(通常认定为5帧)的最大相似值均大于所设定的阈值时，则判断为检测到回环，并命令重建系统启动闭环功能，从而消除回环以及累计误差。

另外，在每一帧的相似性比较中，若当前帧s的最大相似值小于设定阈值α时，将启动关键帧添加，即，将当前帧与当前子图i特征数据库中的关键帧信息

进行比较，若最大相似性仍小于阈值α，则表明当前子图中不存在与当前帧非常相似的关键帧，于是认为该帧是关键帧，并将该帧的特征信息Q_s以及其与当前子图的相对位置关系

添加到当前子图特征数据库的列表L_i中。

Claims (6)

1.一种基于局部子图的实时回环检测方法，其特征在于，步骤如下：

步骤1、创建基于各子图的特征数据库；

步骤2、在检测回环之前，对当前帧的相邻子图进行筛选；

步骤3、通过相邻子图的特征数据库中的关键帧信息进行回环检测与关键帧添加。

2.根据权利要求1所述的一种基于局部子图的实时回环检测方法，其特征在于，步骤1具体如下：

当前子图M_i-1包含的模型几何大于特定阈值σ时，新的子图M_i将被创建，并由当前输入帧K的信息进行初始化；所述的当前帧K的信息包括相机的位置T_k以及场景在当前帧中的几何表面；当子图M_i被创建时，其在全局坐标系中的位置，即3*4大小的矩阵T_i＝[R_i，t_i]被赋值为当前帧K的相机位置T_k，其中R_i代表该子图在全局坐标系中的朝向，t_i代表该子图的三维坐标位置；所述的特定阈值σ由构成模型的基本单元决定；

以列表的形式将关键帧信息保存于子图中；具体的，针对某个关键帧j，保存其与子图的相对位置

使其在闭环时能随子图的变化而变化，即当关键帧j被当前帧成功匹配从而检测出回环时，利用该关键帧的全局位置

即可进行后续的闭环操作；因此，当子图M_i被创建时，将同时创建其用于保存关键帧信息的列表L_i：

其中

用于存储各关键帧的特征信息，所述的特征信息为从关键帧中提取的特征点或该关键帧的编码值；因此，针对回环检测，创建子图M_i的特征数据库M_i：(T_i，L_i)，其中列表L_i所保存的关键帧均为融合该子图过程中所添加的关键帧。

3.根据权利要求2所述的一种基于局部子图的实时回环检测方法，其特征在于，步骤2具体如下：

首先，回环只存在于不同的子图之间，其具体表现是两个存在回环的子图融合时出现表面不连续的情况，单个子图由于不会存在大的累积误差，于是就不会存在重建误差；因此，当前子图不被作为相邻子图，即当前子图中的关键帧信息不参与回环检测；

将当前帧的相机位置T_k与各子图的特征数据库中的子图位置T_i做比较，当相对角度与三维坐标距离即欧式距离，分别小于特定阈值λ_R和λ_t时，判定该子图属于相邻子图：

4.根据权利要求3所述的一种基于局部子图的实时回环检测方法，其特征在于，步骤3具体如下：

仅将相邻子图的特征数据库中存储的关键帧信息M_i(L_i)用于回环检测，其中i为各个相邻子图的ID，并通过特征点方法或者帧编码方法的特征匹配，计算各关键帧特征信息

与当前帧特征信息的相似性，从而得到当前帧与关键帧的最大相似值；当相机所拍摄的连续多帧的最大相似值均大于所设定的阈值时，则判断为检测到回环；

另外，在每一帧的相似性比较中，若当前帧s的最大相似值小于设定阈值α时，将启动关键帧添加，即，将当前帧与当前子图i特征数据库中的关键帧信息

进行比较，若最大相似性仍小于阈值α，则表明当前子图中不存在与当前帧非常相似的关键帧，于是认为该帧是关键帧，并将该帧的特征信息Q_s以及其与当前子图的相对位置关系

添加到当前子图特征数据库的列表L_i中。

5.根据权利要求3所述的一种基于局部子图的实时回环检测方法，其特征在于，进一步的，其中λ_R＝π，即相对角度大于180°不是相邻子图；

由于重建场景的大小无法预先确定，因此为了保证领域子图能在任何情况下包含存在回环的子图，将λ_t设定动态值，以保证其能适应任意大小的回环；由于长时间未检测到回环，累积误差将不断增大，回环在理论上也将不断变大，因此λ_t的大小与未检测到回环过程中新增的关键帧数量N有关，即：

其中关键帧数量N的值会在成功检测到回环时被归零，因为在检测到回环并进行闭环操作后，累积误差将被消除。

6.根据权利要求4所述的一种基于局部子图的实时回环检测方法，其特征在于，进一步的，步骤3中所述的相机所拍摄的连续多帧为5帧。

Images