CN105865462B - 带有深度增强视觉传感器的基于事件的三维slam方法 - Google Patents

Abstract

本发明提供了一种带有深度增强视觉传感器的基于事件的三维SLAM方法，该方法首先使用嵌入式动态视觉传感器直接生成动态变化的稀疏事件流，然后将嵌入式动态视觉传感器和一个单独活动的深度感应传感器相结合得到具有深度信息并被增强的像素事件；将上述像素事件作为基于事件的三维SLAM方法的唯一输入，通过选取粒子增量模型、离散概率稀疏体素网格建模生成局部地图、迭代更新局部地图生成全景地图。该方法无需使用特定硬件，能以比实时速度快20倍速度处理，以百赫兹的频率进行位置更新，并产生良好的效果，具有低内存需求、低功耗及高效的计算率等优点。

Description

带有深度增强视觉传感器的基于事件的三维SLAM方法

技术领域

本发明涉及一种带有深度增强视觉传感器的基于事件的三维SLAM(simultaneouslocalization and mapping)方法，属于移动机器人同步定位与地图创建(SLAM)领域。

背景技术

SLAM(同步定位与地图构建)算法是机器人和计算机视觉领域的核心任务之一，它可以使机器人在未知的和不受约束的环境中去探索。传统的2D和2.5D SLAM算法可以构建鸟瞰图，另外，近年来也提出了一些3D SLAM算法，这些算法大都是通过组合颜色和深度传感器(RGB-D)如PrimeSense设备实现的。现有的比较典型的三维SLAM方法是KinectFusion，它是一种密集三维SLAM方法，采用迭代的最近点去匹配深度图像和一个带符号的距离量来得到三维地图。另一种是由Bylow等人提出的方法，该方法是在KinectFusion算法的基础上，通过使用一种更复杂的带符号的距离公式的表示法和一种更好的优化策略进行的改进。Kerl等人提出了另一种密集视觉SLAM方法，这种算法采用测光和深度误差来优化现有的位置估计。然而，现有的这些密集三维SLAM方法有一个很严重的缺点，即它们都非常耗费资源，而且要使用专门的GPU硬件，这种硬件不仅昂贵而且功率耗费很大。

为了解决传统三维SLAM算法存在的问题，本专利提出了一种新的方法，使用低成本的嵌入式动态视觉传感器(eDVS)，这种处理器能减少处理跟踪和映射的数据量。eDVS的每个像素单独且异步的监测感知照明的变化，当这种变化超过一定阈值之后就会生成像素位置事件。因此，这种事件主要在类似于边缘的图像特征突出的地方生成，例如几何形状或纹理的边缘等。另外，对于三维SLAM算法，深度信息也是一项重要的需求，由于eDVS不是一个深度传感器，因此，通过将eDVS和一个单独活动的深度感应摄像机如PrimseSense传感器组合起来，来得到深度信息从而增强像素事件，从而在摄像机坐标中生成一个三维点事件的稀疏矩阵，这个矩阵直接给出在三维场景中突出边缘的位置。

发明内容

本发明的目的在于针对上述技术存在的缺陷，提出了一种带有深度增强视觉传感器的基于事件的三维SLAM方法，该方法通过D-eDVS(通过将eDVS和一个单独活动的深度感应摄像机如PrimseSense传感器组合起来)得到具有深度信息并被增强的像素事件；将上述像素事件作为基于事件的三维SLAM方法的唯一输入，通过选取粒子增量模型、离散概率稀疏体素网格建模得到局部地图、迭代更新局部地图生成全景地图。该方法无需使用像GPU这种特定硬件的前提下，能以比实时速度快20倍的速度进行处理，以百赫兹的频率进行位置更新，并产生良好的效果，具有低内存需求、低功耗、高效的计算率的优点。

本发明是通过如下方式实现的：一种带有深度增强视觉传感器的基于事件的三维SLAM方法，其特征在于：该方法包括如下步骤：

步骤1：输入数据流的生成：

步骤1.1：动态视觉传感器(eDVS)生成稀疏事件流：使用嵌入式动态视觉传感器直接生成动态变化的稀疏事件流，该过程只需要硬件支持而无需软件进行预处理。

步骤1.2：D-eDVS获取深度信息增强像素事件：将嵌入式动态视觉传感器(eDVS)和一个单独活动的深度感应传感器RGB-D相结合，对两个传感器上对应像素进行校准；深度感应传感器能够获取动态视觉传感器上每个生成事件的对应像素位置的深度信息，从而得到带有深度信息并被增强的像素事件。

步骤1.3：深度图像增强逆操作：对于深度图像的增强事件来说逆操作是必须的，通过为每个新的深度帧更新一个固定尺寸的深度地图；对于每个新的事件，在深度地图中进行一次查找，为最小深度值检索出一个像素邻域作为事件深度。

所述的新的深度帧为动态视觉传感器中所看到的场景中的当前深度映射值。

步骤2：基于事件的三维SLAM：

步骤2.1：选取粒子增量模型：

步骤2.1.1：使用动态的贝叶斯网络颗粒滤波方法，跟踪摄像机当前的位置和方向，具体过程如下：把当前的系统状态建模成一个时间的随机变量值X_k，X_k只使用当前的电量测量Z_k来推断；概率密度通过N个颗粒(p_i,s_i)的集合实现，其中每个颗粒表示一个可能的系统状态p_i以及一个相应的得分s_i，s_i预示如何更好的表示最新的观测计算，下一帧的颗粒选取基于这个得分，这个步骤称为重采样，该过程是迭代的；

其中，当前的摄像机姿态用特殊的欧几里德组表示，p_i＝(t_i,q_i)∈SE(3)，位置方向为q_i∈SE(3)；

最后的测量状态Z_k使用马尔科夫假设，基于帧的摄像机作为一个完整的图像来为得到高分的粒子提供足够的证据，马尔科夫假设适用于这种摄像机，这个测量状态替代整个的测量历史记录如公式所示：

其中，传感器模型P(Z_k|X_k)定义了一个给定状态得到当前测量值的可能性；运动模型P(X_k|X_t-1)描述系统中的动态变化，在上述过程中，没有使用额外的传感器，因此运动模型是个简单的随机扩散过程；

步骤2.1.2：对于基于事件的情况，个别事件是非常模糊的同时也没有携带足够的信息来评价颗粒，由于这些原因，马尔科夫假设不再适用，需要选择一个增量模型，在这个增量模型中，粒子的评估不仅依赖于当前的电量测量，同时也依赖于近期的测量结果；对于每个新的事件e_k粒子分数s_i通过使用指数递减模型进行更新，公式如下：

s_i＝(1-α)s_i+αP(Z_k＝e_k|X_k＝p_i) (6)

其中，衰减常数α为当前事件与之前的事件对比的影响，α直观的推导为α＝1-(1-β)^1/k，其在最后的K个事件的衰减常数对整个粒子得分s_i的影响为β∈[0,1]；

步骤2.1.3：为了提高运算性能，减少运动模型中粒子扩散所耗费的时间，首先通过两个正态分布的协方差的和来求两个正态分布的和，然后在B事件的小批次中收集事件，即B＝3，把它们当作一个信息包，这使得每一小批的标准差乘以根号B执行一次正常的扩散，如以下公式所示：

步骤2.2：离散概率稀疏体素网格建模生成局部地图：地图地图中的每个像素标明当摄像机移动时这个点会生成一个事件的可能性，因此传感器模型公式如下：

其中，常数是尺寸坐标中的体素的大小，它的标准值是0.01米；

步骤2.3：为每个事件进行迭代局部地图更新，生成全景地图；更新方式如下：

此处p^*∈SO(3)是当前最新粒子的姿态，表示最接近的整数。

为了获得深度信息，需要对动态视觉传感器上的对应像素进行校准，校准过程如下：

(1)摄像机将被建模成常规的针孔摄像机K(f,c)，其中f是焦距，投影中心；点到图像点的映射被定义为u＝K Tx，T表示变换矩阵的旋转和平移；对于真实的透镜，有必要接近径向，简单的模型如以下公式所示，k₁和κ₂表示失真参数，当摄像机出现失真问题时可使用硬件进行补救：

L(u)＝u(1+κ₁γ+κ₂γ²),γ＝||u|| (1)

如果深度信息是投影的倒数，那么这对光线来说是唯一的反投影图像点，因而对于深度感应传感器，通过计算点u_d的深度图像点；

(2)建立深度感应传感器和在基于事件传感器上对应像素位置的关系，计算相应的eDVS图像坐标u_e：

计算内部摄像机参数K_e和K_d以及相对平移矩阵T，记录两个传感器的对应像素位置的集合，找到最小平方问题，公式如下：

摄像机的内部参数是已知的且不需要优化，使用局部优化进行初始化来求解。

所述的对应像素的位置是通过如下方式查找的：使用一个二极管，二极管以一个固定且已知的频率发射光脉冲，通过在基于事件的数据流中使用频率迭代检测到二极管的位置，舍弃某些像素的位置特征。

所述舍弃某些像素的位置特征是事件间的时间间隔与脉冲频率不匹配；

所述的二极管放置在主板之间并需要在深度图像中进行检测。

所述的局部地图更新方式也可以使用分数加权的所有粒子进行更新。

本发明有益效果：

1、该方使用一种修正的颗粒滤波方法来跟踪当前的位置和方向，并为每个事件更新位置和地图相关的内部状态，从而能够提供延迟率低的姿态估计。

2、该方法无需使用像GPU这种特定硬件的前提下，能以比实时速度快20倍的速度进行处理，以百赫兹的频率进行位置更新，并产生良好的效果，具有低内存需求、低功耗、高效的计算率的优点。

本发明之所以有上述的有益效果原因在于：嵌入式动态视觉传感器像(eDVS)是一种新型的灰度图像传感器，它完全抛弃了基于帧的视觉的概念。所有的eDVS操作器的像素同步且独立的随时间生成测量的光强度。当一个像素累计的变化量超过阈值时就形成一个像素事件，然后插入到事件流中。因此，这种事件主要在类似于边缘的图像特征突出的地方生成，例如几何形状或纹理的边缘等。这样的像素事件组成传感器中的像素位置在本发明中，像素的分辨率为128×128，指示事件发生时间的时间戳的精确度为毫秒级。另外，还支持奇偶校验位来表示照明的增加和减少。

D-eDVS是PrimeSense RGB-D传感器和一个嵌入式动态视觉传感器的组合，动态视觉传感器只对动态对比变化和以表示单独像素位置的事件的稀疏流的形式生成的输出数据作出反应。基于事件的动态视觉传感器被一个经典的基于这帧的RGB-D传感器所融合以产生一个深度增强的三维点的稀疏流。一个基于事件的稀疏流有很多优势，生成的数据流比较小，资源利用率比较高，允许连续性的表示滞后跟踪的运动。传统的基于帧的传感器每秒需要对数百帧进行操作处理才能达到同样的效果。eDVS直接生成动态变化的稀疏流来去除冗余数据的过程只需要硬件支持而无需软件进行预处理。

附图说明

图1是本发明所述的方法流程图。

其中，eDVS表示嵌入式动态视觉传感器，D-eDVS表示RGB-D传感器和eDVS传感器的结合。

具体实施方式

下面结合附图对本发明作进一步的描述。

一种带有深度增强视觉传感器的基于事件的三维SLAM方法，其特征在于：该方法包括如下步骤：

步骤1：输入数据流的生成：

步骤1.1：eDVS生成稀疏事件流：使用嵌入式动态视觉传感器(eDVS)直接生成动态变化的稀疏事件流，该过程只需要硬件支持而无需软件进行预处理。

步骤1.2：D-eDVS获取深度信息增强像素事件：结合一个嵌入式动态视觉传感器(eDVS)和一个单独活动的深度感应传感器RGB-D Asus Xtion Pro Live，分辨率为320*240，频率为69Hz，对两个传感器上对应像素进行校准；深度感应传感器RGB-D能够获取动态视觉传感器(eDVS)上每个生成事件的对应像素位置的深度信息，从而得到带有深度信息并被增强的像素事件。

其中对应像素校准过程如下：

(1)摄像机将被建模成常规的针孔摄像机K(f,c)，其中f是焦距，投影中心；点到图像点的映射被定义为u＝K Tx，T表示变换矩阵的旋转和平移；对于真实的透镜，有必要接近径向，简单的模型如以下公式所示，κ₁和κ₂表示失真参数，当摄像机出现失真问题时可使用硬件进行补救：

L(u)＝u(1+κ₁γ+κ₂γ²),γ＝||u|| (1)

一般而言，如果深度信息是投影的倒数，那么这对光线来说可能是唯一的反投影图像点，因而对于深度感应传感器，通过计算点u_d的深度图像点；

(2)建立深度感应传感器和在基于事件传感器上对应像素位置的关系，计算相应的eDVS图像坐标u_e：

计算内部摄像机参数K_e和K_d以及相对平移矩阵T，记录两个传感器的对应像素位置的集合，找到最小平方问题，公式如下：

摄像机的内部参数是已知的且不需要优化，使用局部优化进行初始化来求解。

对应像素的位置是通过如下方式查找的：使用一个二极管，二极管放置在主板之间并需要在深度图像中进行检测，二极管以一个固定且已知的频率发射光脉冲，通过在基于事件的数据流中使用频率迭代检测到二极管的位置，舍弃所有在某些像素的位置特征，舍弃某些像素的位置特征是事件间的时间间隔与脉冲频率不匹配；

步骤1.3：深度图像增强逆操作：对于深度图像的增强事件来说逆操作是必须的，通过为每个新的深度帧更新一个128*128像素的深度地图；对于每个新的事件，在深度地图中进行一次查找，为最小深度值检索出一个像素邻域作为事件深度。

所述的新的深度帧为eDVS中所看到的场景中的当前深度映射值。

由于深度帧的深度在事件生成时获取不到，本专利采取基于帧和基于事件的折中方法，通过使用来自一个邻近像素的最新帧的最小深度值。

步骤2：基于事件的三维SLAM：

步骤2.1：选取粒子增量模型：

步骤2.1.1：使用动态的贝叶斯网络颗粒滤波方法，来跟踪摄像机当前的位置和方向，具体过程如下：把当前的系统状态建模成一个时间的随机变量值X_k，X_k只使用当前的电量测量Z_k来推断；概率密度通过N个颗粒(p_i,s_i)的集合实现，其中每个颗粒表示一个可能的系统状态p_i以及一个相应的得分s_i，s_i预示如何更好的表示最新的观测计算，下一帧的颗粒选取基于这个得分，这个步骤称为重采样，该过程是迭代的；

其中，当前的摄像机姿态用特殊的欧几里德组表示，p_i＝(t_i,q_i)∈SE(3)，位置方向为q_i∈SE(3)；

最后的测量状态Z_k使用马尔科夫假设，基于帧的摄像机作为一个完整的图像来为得到高分的粒子提供足够的证据，马尔科夫假设适用于这种摄像机，这个测量状态替代整个的测量历史记录如公式所示：

其中，传感器模型P(Z_k|X_k)定义了一个给定状态得到当前测量值的可能性；运动模型P(X_k|X_t-1)描述系统中的动态变化，在上述过程中，没有使用额外的传感器，因此运动模型是个简单的随机扩散过程；

步骤2.1.2：对于基于事件的情况，个别事件是非常模糊的同时也没有携带足够的信息来评价颗粒，由于这些原因，马尔科夫假设不再适用，需要选择一个增量模型，在这个增量模型中，粒子的评估不仅依赖于当前的电量测量，同时也依赖于近期的测量结果；对于每个新的事件e_k粒子分数s_i通过使用指数递减模型进行更新，公式如下：

s_i＝(1-α)s_i+αP(Z_k＝e_k|X_k＝p_i) (6)

其中，衰减常数α为当前事件与之前的事件对比的影响，α直观的推导为α＝1-(1-β)^1/k，其在最后的K个事件的衰减常数对整个粒子得分s_i的影响为β∈[0,1]；

步骤2.1.3：为了提高运算性能，减少运动模型中粒子扩散所耗费的时间，首先通过两个正态分布的协方差的和来求两个正态分布的和，然后在B事件的小批次中收集事件，即B＝3，把它们当做一个信息包，这使得每一小批的标准差乘以根号B执行一次正常的扩散，如以下公式所示：

步骤2.2：离散概率稀疏体素网格建模生成局部地图：地图地图中的每个像素标明当摄像机移动时这个点会生成一个事件的可能性，因此传感器模型公式如下：

其中，常数是尺寸坐标中的体素的大小，它的标准值是0.01米；

步骤2.3：为每个事件进行迭代局部地图更新，生成全景地图；更新方式如下：

此处p^*∈SO(3)是当前最新粒子的姿态，表示最接近的整数。

局部地图更新方式也可以使用分数加权的所有粒子进行更新。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内的所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种带有深度增强视觉传感器的基于事件的三维SLAM方法，其特征在于：该方法包括如下步骤：

步骤1：输入数据流的生成：

步骤1.1：动态视觉传感器(eDVS)生成稀疏事件流：使用嵌入式动态视觉传感器直接生成动态变化的稀疏事件流，该过程只需要硬件支持而无需软件进行预处理；

步骤1.2：D-eDVS获取深度信息增强像素事件：所谓D-eDVS是将嵌入式动态视觉传感器和一个单独活动的深度感应传感器(RGB-D)相结合，对两个传感器上对应像素进行校准；深度感应传感器能够获取动态视觉传感器上每个生成事件的对应像素位置的深度信息，从而得到带有深度信息并被增强的像素事件；

步骤1.3：深度图像增强逆操作：对于深度图像的增强事件来说逆操作是必须的，通过为每个新的深度帧更新一个固定尺寸的深度地图；对于每个新的事件，在深度地图中进行一次查找，为最小深度值检索出一个像素邻域作为事件深度；

所述的新的深度帧为动态视觉传感器中所看到的场景中的当前深度映射值；

步骤2：基于事件的三维SLAM：

步骤2.1：选取粒子增量模型：

步骤2.1.1：使用动态的贝叶斯网络颗粒滤波方法，跟踪摄像机当前的位置和方向，具体过程如下：把当前的系统状态建模成一个时间的随机变量值X_k，X_k只使用当前的电量测量Z_k来推断；概率密度通过N个颗粒(p_i，s_i)的集合实现，其中每个颗粒表示一个可能的系统状态p_i以及一个相应的得分s_i，s_i预示如何更好的表示最新的观测计算，下一帧的颗粒选取基于这个得分，这个步骤称为重采样，该过程是迭代的；

其中，当前的摄像机姿态用特殊的欧几里德组表示，p_i＝(t_i，q_i)∈SE(3)，位置方向为q_i∈SE(3)；

最后的测量状态Z_k使用马尔科夫假设，基于帧的摄像机作为一个完整的图像来为得到高分的粒子提供足够的证据，马尔科夫假设适用于这种摄像机，这个测量状态替代整个的测量历史记录Z_k＝(Z₁，......，Z_k)，如公式所示：

P(X_k|z_k)∝P(Z_k|X_k)∫P(X_k|X_t-1)P(X_t-1|Z_t-1)dX_t-1

其中，传感器模型P(Z_k|X_k)定义了一个给定状态得到当前测量值的可能性；运动模型P(X_k|X_t-1)描述系统中的动态变化，在上述过程中，没有使用额外的传感器，因此运动模型是个简单的随机扩散过程；

步骤2.1.2：对于基于事件的情况，个别事件是非常模糊的同时也没有携带足够的信息来评价颗粒，由于这些原因，马尔科夫假设不再适用，需要选择一个增量模型，在这个增量模型中，粒子的评估不仅依赖于当前的电量测量，同时也依赖于近期的测量结果；对于每个新的事件e_k粒子分数s_i通过使用指数递减模型进行更新，公式如下：

s_i＝(1-α)s_i+αP(Z_k＝e_k|X_k＝p_i)

其中，衰减常数α为当前事件与之前的事件对比的影响，α直观的推导为α＝1-(1-β)^1/k，其在最后的K个事件的衰减常数对整个粒子得分s_i的影响为β∈[0，1]；

步骤2.1.3：为了提高运算性能，减少运动模型中粒子扩散所耗费的时间，首先通过两个正态分布的协方差的和来求两个正态分布的和，然后在B事件的小批次中收集事件，即B＝3，把它们当作一个信息包，这使得每一小批的标准差乘以根号B执行一次正常的扩散，如以下公式所示：

步骤2.2：离散概率稀疏体素网格建模生成局部地图：地图M：地图M中的每个像素标明当摄像机移动时这个点会生成一个事件的可能性，因此传感器模型公式如下：

其中，常数是尺寸坐标中的体素的大小，它的标准值是0.01米；

步骤2.3：为每个事件进行迭代局部地图更新，生成全景地图；更新方式如下：

此处p^*∈SO(3)是当前最新粒子的姿态，表示最接近的整数。

2.根据权利要求1所述的带有深度增强视觉传感器的基于事件的三维SLAM方法，其特征在于：步骤1.2中，所述对应像素的校准过程包括如下步骤：

(1)摄像机将被建模成常规的针孔摄像机K(f，引，其中f是焦距，投影中心；占到图像点的映射被定义为u＝KTx，T表示变换矩阵的旋转和平移；对于真实的透镜，有必要接近径向，简单的模型如以下公式所示，κ₁和κ₂表示失真参数，当摄像机出现失真问题时可使用硬件进行补救：

L(u)＝u(1+κ₁γ+κ₂γ²)，γ＝||u||

如果深度信息是投影的倒数，那么这对光线来说是唯一的反投影图像点，因而对于深度感应传感器，通过计算点u_d的深度图像点；

(2)建立深度感应传感器和在基于事件传感器上对应像素位置的关系，计算相应的动态视觉传感器图像坐标u_e：

计算内部摄像机参数K_e和K_d以及相对平移矩阵T，记录两个传感器的对应像素位置的集合，找到最小平方问题，公式如下：

摄像机的内部参数是已知的且不需要优化，使用局部优化进行初始化来求解。

3.根据权利要求1所述的带有深度增强视觉传感器的基于事件的三维SLAM方法，其特征在于：步骤1.2中，所述对应像素的位置是通过如下方式查找的：使用一个二极管，二极管以一个固定且已知的频率发射光脉冲，通过在基于事件的数据流中使用频率迭代检测到二极管的位置，舍弃某些像素的位置特征；

所述舍弃某些像素的位置特征是事件间的时间间隔与脉冲频率不匹配；

所述的二极管放置在主板之间并需要在深度图像中进行检测。

4.根据权利要求1所述的带有深度增强视觉传感器的基于事件的三维SLAM方法，其特征在于：步骤2.3中，所述局部地图更新方式使用分数加权的所有粒子进行更新。