CN110866952A - 一种基于深度图编码的重定位与回环检测方法 - Google Patents

Abstract

本发明公开了一种基于深度图编码的重定位与回环检测方法。本发明利用RGB‑D相机拍摄出来的深度图,结合所估计的相机位姿来辅助判断回环检测和重定位，即用随机蕨编码的方法对深度图进行编码，比较当前帧深度图与历史关键帧深度图的编码相似性，同时利用两帧图像所估计的相机位姿比较拍摄两帧图像时相机的空间位置相似性，通过当前帧与历史帧的编码相似性与空间位置相似性从而判断相机是否回到了之前到过的区域。本发明在原有的建立在彩色图像的方法上结合新型传感器所带来的深度信息，提供更加稳定的重定位和回环检测效果。并且对图像进行了编码，避免了考虑整幅深度图的信息，大大减小了计算量。同时还考虑了相机位姿，避免了判定结果假阳性的问题。

Description

一种基于深度图编码的重定位与回环检测方法

技术领域

本发明属于计算机视觉的领域，尤其针对SLAM(即时定位与地图构建),具体涉及一种基于深度图编码的重定位与回环检测方法。

背景技术

即时定位与地图构建的实现大致流程为根据设备所搭载的相机在运动过程中拍摄图像，并进行逐帧处理，帧间比较，然后估计出相机的位置的帧间相对变化，依此估计出相机(设备)的运动轨迹，最后由新观测到的帧根据估计出的位姿对地图进行更新。然而，相机在运动过程中，可能会出现导致跟踪失败的情况，如果未能检测出此情况，用错误的位姿去进行了地图的更新，甚至可能毁掉现有的已建立好的地图，而如果跟踪失败能被检测到，那么就能及时阻止对地图的修改，并通过重定位技术在后续的某一时刻重新跟踪相机。由于传感器的误差而导致的累计误差也可能会导致估计的相机轨迹一点点的偏离，最后相机回到了以前到过的地方，真实轨迹形成了一个闭环，但系统估计出来的轨迹可能偏差较大，无法形成闭环。这时回环检测就能将检测出的信息发给后端，由后端进行优化，尽可能减少累计误差带来的影响。

现有的业界提出的重定位与回环检测方案主要是建立在彩色相机拍摄出的彩色图下的，主要基于特征点的方法，通过历史关键帧与当前帧的特征点的对比，从而判断相机是否回到历史区域。但由于彩色图像的特征提取受图片纹理信息的影响较大，在实际应用场景中往往难以满足要求，如低光照、快速运动导致的模糊图像、大白墙等无纹理区域，重定位与回环检测算法的精度在这些场景下会显著降低。

发明内容

本发明的目的是改进由彩色图片信息退化导致的重定位与回环检测误差增大甚至失败的问题。

本发明创新性地使用深度图匹配来实现回环检测和重定位。本发明利用RGB-D相机拍摄出来的深度图,结合所估计的相机位姿来辅助判断回环检测和重定位，即用随机蕨编码的方法对深度图进行编码，比较当前帧深度图与历史关键帧深度图的编码相似性，同时利用两帧图像所估计的相机位姿比较拍摄两帧图像时相机的空间位置相似性，通过当前帧与历史帧的编码相似性与空间位置相似性从而判断相机是否回到了之前到过的区域。本发明步骤如下：

步骤1：预处理

1.1生成随机蕨。确定所需随机选的随机蕨个数N，并随机生成各随机蕨所对应的深度图像像素坐标点位置：

第i+1个蕨的坐标为(x_i,y_i),width,height为深度图片的宽和高，x_i的范围在0到width之间，出现在每个值的概率为

y_i的范围在0到height之间，出现在每个值的概率为

1.2选取关于深度信息的K个阈值,用于对深度图像进行编码。

Z_j＝z₁z₂z₃…z_k j∈[0,N)

为蕨(x_j,y_j)对应的深度值，λ_i为K个阈值之一，z_i为比较的最终的结果，当

时z_i＝1,当

时z_i＝0,Z_j为对应的点(x_j,y_j)的编码结果，为一个二进制串.

1.3构建数据结构。

结构一:用于储存深度图(当前帧)编码信息，包含:

一个N*1矩阵

用于储存深度图的编码值:

列向量中每个元素Z_j为对应的蕨(x_j,y_j)的编码值，Z_j为一个二进制串.把每个Z_j分别当一个元素存起来而不是相互串联形成一个长的二进制串，这样有利于多幅深度图编码值相似度的比较，以达到实时计算的目的

结构二：用于储存关键帧的数据，包含：

每个关键帧所对应的3*4大小的矩阵:

[R，t]

由每个关键帧相机位姿对应的旋转R和位移向量t组成

结构三：用于快速检索，储存着关于关键帧单个蕨的编码值信息，包含：

一个数据结构:

数据结构包含一个编码值u_i，一个列表ids

一个以数据结构为元素的容器：容器内的所有元素中的编码值成员枚举了所有的编码值可能性，一共有2^K个元素，如下表所示，每一行代表一个数据结构定义的对象

深度图中每个蕨的深度值与K个阈值比较得到一个二进制串，比较结果共有2^K种可能性。若关键帧上的蕨的编码值与某个u_i相等，就把关键帧的id添加入u_i对应的列表ids中。这样做有利于加快检索时的速度。

1.4选取和场景判别有关的阈值γ1、γ2、

和τ。

设Q_min为当前帧编码值和所有历史关键帧编码值的比较结果中相似度最小的值，其计算过程在步骤3.1中详细说明。

①阈值γ₁用于判别当前帧图像是否可能为曾经到过的场景,如果Q_min<γ₁，则认为可能是曾经到达过的场景。

②

为位姿对应的旋转角度的阈值，τ为位姿对应的平移向量的阈值，当:

Δt＜τ

则可认为相机在拍摄两帧图像时处于非常相近的空间位置和角度。其中Δθ和Δt分别表示所比较的两帧图像的相对旋转和平移。

③在不满足前两者条件下，通过γ₂判断是否为新的关键帧，当γ₂<Q_min则可把当前帧记录为关键帧。

步骤2：对观测到的深度图进行编码

2.1对深度图像上的每一个蕨进行编码，设阈值为λ_i i∈K,蕨的坐标为α_j＝(x_j,y_j)，蕨对应的值f(α_j),迭代计算:

Z_j＝z₁z₂z₃…z_k j∈[1,N]

z_i为f(α_j)和λ_i的比较结果，把{z_i i∈[0,K)}串联起来形成Z_j,把Z_j依次存入结构一的N*1矩阵中，形成深度图的二进制编码

2.2估计深度图对应的相机位姿T，存入结构二中。

步骤3：计算二进制编码的相似

3.1设已有关键帧的个数为m,V^I为第n个关键帧的二进制编码，V^J为新观测到的帧的二进制编码，迭代比较：

Q＝{Q₁,Q₂,Q₃,Q₄…Q_m}

m为当前已有关键帧的数量，V_i为向量V的第i的元素,若

和

相等

返回0，若

和

不等则返回1。把归一化的结果Q_h作为一个元素用一个向量分别存起来形成向量Q.

步骤4：判别场景是否是刚经历的还是以前到过的

1).根据阈值γ₁，用于判别是否可能为曾经到过的场景；

2).根据阈值

在满足1)的情况下，判别当前帧位姿对应的旋转角和关键帧位姿对应的旋转角的差值Δθ是否为合理值，若满足

则为合理值，合理则确实为曾经到过的场景；

3).根据阈值τ，判别当前帧位姿对应的位移向量t_now和关键帧位姿对应的位移向量的差值Δt是否为合理值，若满足Δt<τ则为合理值，在满足2)的情况下满足3)则认为确实是关键帧；

根据阈值γ₂(γ₁<γ₂)，在不满足γ₁的情况下判断是否可认为是关键帧；

设min(Q)＝Q_min,为对应的Q的最小值，id为min(Q)得出的元素的索引值，即关键帧的id。

获取关键帧id对应的旋转角和平移向量，设为θ_id和t_id。

Q_min<γ₁则可视当前帧为可疑帧，可能为曾经到过的场景，进一步判断：

通过当前帧与所比较历史帧在结构二中的位姿，计算它们的相对运动。设相对旋转矩阵为ΔR，通过罗德里格斯公式：

R＝cosθI+(1-cosθ)nn^T+sinθn^

可得相对旋转角Δθ:

而相对空间平移则为结构二平移t的差值，若满足

则可认为是曾经经历过的场景。

若Q_min>γ₂则可考虑把当前帧提取为关键帧，生成对应的唯一的id值，并将蕨的编码值信息写入结构三，并以id为名命名结构二储存对应的旋转和平移，以方便检索。

本发明的特点及有益效果：

本发明在原有的建立在彩色图像的方法上，结合了新型传感器所带来的深度信息，提供更加稳定的重定位和回环检测效果。并且对图像进行了编码，避免了考虑整幅深度图的信息，大大减小了计算量，以及在一定程度上避免了噪点的干扰。同时还考虑了相机位姿，避免了判定结果假阳性的问题，使算法更加稳定。

附图说明

图1为本发明方法流程图。

具体实施方式:

下面结合附图和实施例对本发明作进一步说明。

实施例：

一.前期准备

根据相机拍摄的深度图的大小确定所需选取的蕨的个数N，在图片上随机均匀选取N个蕨，并以一个向量的形式按顺序保存所有计算出的蕨的坐标α＝{α₀,α₁,α₂,α₃,…},α_j为单个蕨的坐标。

定义一个类info，类由N*1的矩阵成员，位姿信息[R^3*3|t^3*1]成员构成。

定义一个二维向量counts，用于统计每一帧的蕨相对于结构三的搜索结果：

ids	1	2	…
				count	0	0	0

第一维表示关键帧对应的id，第二维表示id对应的关键帧的蕨在与当前帧检索过程中蕨编码值相同的次数。

用视频流第一帧作为第一个关键帧，生成id，初始化结构三。

二.深度图编码

对当前帧深度图进行编码：

Z_j＝z₁z₂z₃…z_k j∈[1,N]

V^J＝[Z₁,Z₂,Z₃…Z_N]^T

把编码结果用info定义的对象temp储存，并同时估计相机位姿，一并存入temp对象。

三.场景判别

把当前帧的二进制编码信息和关键帧的编码信息进行比较，得出Q_min，通过结构三快速进行。

大致方法如下：

按照前期准备中保存的点向量α的元素顺序进行比较。

迭代进行：

当前帧的蕨{α_i i∈[0,N)}对应的编码值和结构三第一列比较，设u_j和α_i相同，u_j对应的结构三中第二列中所有的id在对象counts中的次数+1；

迭代完成后，找出counts中统计次数最多的id，其次数为λ，计算:

若Q<γ₁:

则读取关键帧id对应的结构二，计算当前帧对应的旋转角度θ_now，位移向量t_now，若满足

则确定当前帧对应的场景为曾经到过的场景。

若Q>γ₂:

则存为关键帧，生成id,用temp对应的蕨的信息,更新结构三，用当前帧对应的旋转及位移向量创建以id为名的结构二。

Claims (4)

1.一种基于深度图编码的重定位与回环检测方法，其特征在于包括如下步骤：

步骤1：预处理

1-1.生成随机蕨，确定所需随机选的随机蕨个数N，并随机生成各随机蕨所对应的深度图像的像素坐标点位置：

第i+1个蕨的坐标为(x_i,y_i),width,height为深度图像的宽和高，x_i的范围在0到width之间，出现在每个值的概率为

y_i的范围在0到height之间，出现在每个值的概率为

1-2.选取关于深度信息的K个阈值,用于对深度图像进行编码。

Z_j＝z₁z₂z₃…z_k j∈[1,N]

为蕨(x_j,y_j)对应的深度值，λ_i为K个阈值之一，z_i为比较的最终的结果，当

时，z_i＝1；当

时，z_i＝0；Z_j为对应的点(x_j,y_j)的编码结果，为一个二进制串.

1-3.构建数据结构。

结构一:用于储存当前深度图的编码信息，包含:

一个N*1矩阵Z1，用于储存深度图的编码值Z_j；矩阵中每个元素Z_j为对应的蕨(x_j,y_j)的编码值，Z_j为一个二进制串,把每个Z_j分别当一个元素存起来而不是相互串联形成一个长的二进制串，这样有利于多幅深度图编码值相似度的比较，以达到实时计算的目的

结构二:用于储存关键帧的数据，包含：

每个关键帧所对应的3*4大小的矩阵[R，t]；

矩阵[R，t]由每个关键帧相机位姿对应的旋转R和位移向量t组成；

结构三:用于快速检索，储存着关于关键帧单个蕨的编码值信息，包含一个数据结构:

数据结构包含一个编码值u_i，一个列表ids

一个以数据结构为元素的容器：容器内的所有元素中的编码值成员枚举了所有的编码值可能性，一共有2^K个元素，如下表所示，每一行代表一个数据结构定义的对象：

深度图中每个蕨的深度值与K个阈值比较得到一个二进制串，比较结果共有2^K种可能性。若关键帧上的蕨的编码值与某个u_i相等，就把关键帧的id添加入u_i对应的列表ids中,从而有利于加快检索时的速度。

1-4.选取和场景判别有关的阈值γ1、γ2、

和τ。

设Q_min为当前帧编码值和所有历史关键帧编码值的比较结果中相似度最小的值。

①阈值γ₁用于判别当前帧图像是否可能为曾经到过的场景,如果Q_min<γ₁，则认为可能是曾经到达过的场景。

②

为位姿对应的旋转角度的阈值，τ为位姿对应的平移向量的阈值，当:

Δt＜τ

则可认为相机在拍摄两帧图像时处于非常相近的空间位置和角度。其中Δθ和Δt分别表示所比较的两帧图像的相对旋转和平移。

③在不满足前两者条件下，通过γ₂判断是否为新的关键帧，当γ₂<Q_min则可把当前帧记录为关键帧。

步骤2：对观测到的深度图进行编码；

步骤3：计算二进制编码的相似；

步骤4：判别场景是否是刚经历的还是以前到过的。

2.根据权利要求1所述的一种基于深度图编码的重定位与回环检测方法，其特征在于步骤2具体实现如下：

2-1.对深度图像上的每一个蕨进行编码，设阈值为λ_i i∈K,蕨的坐标为α_j＝(x_j,y_j)，蕨对应的值f(α_j),迭代计算:

Z_j＝z₁z₂z₃…z_k j∈[1,N]

z_i为f(α_j)和λ_i的比较结果，把{Z_i i∈[0,K)}串联起来形成Z_j,把Z_j依次存入结构一的N*1矩阵中，形成深度图像的二进制编码

2-2.估计深度图像对应的相机位姿T，存入结构二中。

3.根据权利要求1或2所述的一种基于深度图编码的重定位与回环检测方法，其特征在于步骤3所述的计算二进制编码的相似，具体实现如下：

3-1.设已有关键帧的个数为m,V^I为第n个关键帧的二进制编码，V^J为新观测到的帧的二进制编码，迭代比较：

Q＝{Q₁,Q₂,Q₃,Q₄…Q_m}

m为当前已有关键帧的数量，其中，V_i为向量V的第i的元素,若

和

相等

返回0，若

和

不等则返回1。把归一化的结果Q_h作为一个元素用一个向量分别存起来形成向量Q。

4.根据权利要求3所述的一种基于深度图编码的重定位与回环检测方法，其特征在于步骤4所述的判别场景是否是刚经历的还是以前到过的，具体如下：

4-1.根据阈值γ₁，判别是否可能为曾经到过的场景；

4-2.根据阈值

在满足步骤4-1的情况下，判别当前帧位姿对应的旋转角和关键帧位姿对应的旋转角的差值是否为合理值，若满足

则为合理值，若为合理值则确实为曾经到过的场景；

4-3.根据阈值τ，判别当前帧位姿对应的位移向量t_now和关键帧位姿对应的位移向量的差值Δt是否为合理值，若满足Δt<τ则为合理值，在满足步骤4-2的情况下，同时满足阈值τ的判断，则认为确实是关键帧；

4-4.根据阈值γ₂(γ₁<γ₂)，在不满足γ₁的情况下判断是否可认为是关键帧，具体如下：

设min(Q)＝Q_min,为对应的Q的最小值，id为min(Q)得出的元素的索引值，即关键帧的id。

获取关键帧id对应的旋转角和平移向量，设为θ_id和t_id。

若Q_min<γ₁，则可视当前帧为可疑帧，可能为曾经到过的场景，进一步判断：

通过当前帧与所比较历史帧在结构二中的位姿，计算它们的相对运动。设相对旋转矩阵为ΔR，通过罗德里格斯公式：

R＝cosθI+(1-cosθ)nn^T+sinθn^

可得相对旋转角Δθ:

而相对空间平移则为结构二平移t的差值，若满足

则可认为是曾经经历过的场景。

若Q_min>γ₂，则可考虑把当前帧提取为关键帧，生成对应的唯一的id值，并将蕨的编码值信息写入结构三，并以id为名命名结构二储存对应的旋转和平移，以方便检索。

Images