CN111376273B - 一种类脑启发的机器人认知地图构建方法 - Google Patents

Abstract

一种类脑启发的机器人认知地图构建方法，属于机器人环境认知及运动导航技术领域，能够建立认知地图协助机器人进行导航。首先，机器人通过相机获取环境周围的图像信息。然后，视觉里程计对图像信息进行处理得到机器人的旋转角速度以及线速度，并将其分别输入到头朝向细胞模型以及位置细胞模型中，形成机器人对自身位置的感知。视觉特征提取模块通过深度学习网络以及主成分分析算法对图像进行处理，得到机器人对环境的外部感知信息；最后，通过经验地图对信息进行整合，并通过闭环检测以及更新算法对地图进行更新。本发明能解决目前类脑认知地图建图方法中视觉里程计鲁棒性差，以及闭环检测的准确性不够高的问题，能够完成对环境中闭环点的检测以及更新，保证全局一致性。

Description

一种类脑启发的机器人认知地图构建方法

技术领域

本发明属于类脑计算及智能机器人导航领域，涉及一种将视觉里程计和海马体空间细胞计算模型相结合形成机器人的空间认知，并利用深度学习网络进行闭环检测的经验地图构建方法，能够完成对环境中闭环点的检测以及更新，保证全局一致性。本方法旨在解决目前类脑认知地图建图方法中视觉里程计鲁棒性差以及闭环检测的准确性不够高的问题。

背景技术

将机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一遍逐步描绘出此环境完全的地图，即SLAM。在SLAM问题中，机器人自身的位姿估计非常重要。传统的位姿估计方法有GPS、IMU、轮速传感器和声呐定位系统等里程计技术。近年来，计算机的性能有了显著的提高，而且相机的成本越来越低，由此产生了视觉里程计(VO)。VO的成本低，能够在GPS失效的环境中工作，越来越多的视觉里程计算法被提出。视觉里程计通过使用的视觉传感器的类型一般可以分为单目视觉里程计、双目视觉里程计以及RGB-D视觉里程计。单目视觉里程计的成本最低，在单目视觉里程计中，如何仅仅通过获取的图像流对机器人在当前环境下进行准确的位姿估计是我们需要解决的问题。

生物通过眼睛观察自身周围的环境，经视觉神经传递到大脑，就可以估计在环境中的位置，建立起对环境的认知，进而在环境中执行导航等任务。在生物神经学领域中，研究者们已经证明了某些哺乳动物的海马体机器相关结构中存在着与空间环境认知相关的细胞，如头朝向细胞、网格细胞、位置细胞等。这些细胞通过神经元连接在一起，形成了一套智能生物认知算法。哺乳动物通过这样一套算法，对环境进行感知，在大脑中形成对周围环境的记忆，为我们解决SLAM问题提供了一种新的思路。

当前仿生SLAM方法有RAT-SLAM、Neuroslam等，采用单目视觉里程计，闭环更新可以保持地图的精度，但其视觉里程计容易受光线变化的影响。当前传统的视觉SLAM方法，如ORB-SLAM，使用词袋模型和图优化的方法进行闭环检测和校正，但是，其检测速度较慢，校正后的地图缺乏一定的精度。这些问题限制了算法在复杂室外条件下的应用。

随着对大脑中海马结构研究的不断深入，许多具有特异性的细胞被人们所知，这些发现给研究者们带来了新的解决问题的途径。在解决SLAM问题中，许多研究者也开始引入局部的海马特性，并且具有丰富的成果。Arleo等人利用单目相机，提出了一种基于头朝向细胞与位置细胞的建图模型，该模型应用在Khepera机器人上，并且在一个小型区域进行了实验；Miford等人提出了RatSLAM,成功绘制了在大型室内外场景下的地图。最近，还有基于神经网络与神经形态硬件的SLAM方法被提出。但是，这些方法的里程计容易随时间漂移，对光线变化较为敏感。

针对这些问题，我们提出一种利用基于特征点法的视觉里程计与生物细胞模型相结合的里程计，该方法适合在复杂的室外环境下进行建图，运行稳定、对光照变化以及动态场景的鲁棒性强。利用AlexNet网络与主成分分析法相结合的闭环检测算法，提高闭环检测的效率和准确性。

发明内容

本发明的目的是解决现有基于仿生的建图模型中，在复杂多变的环境中，视觉里程计效果差，鲁棒性不足，以及闭环检测效率和准确性较低，容易造成误匹配的问题。本发明提出一种类脑启发的机器人认知地图构建方法，该方法可以利用简单的硬件设备，实现机器人在环境中的探索和认知过程，最终生成认知地图供机器人的导航算法使用。本发明通过单目相机获取机器人周围的环境图像，通过视觉里程计对图像处理得到机器人的自身运动信息，并将其输入到空间认知细胞模型中；通过视觉特征提取模块提取环境图像中的特征；最终由经验地图对以上信息进行整合，并通过闭环检测和更新算法对地图进行检测和更新，纠正机器人在运动过程中产生的漂移。

为了达成以上目的，本发明采用如下技术方案实现：

一种类脑启发的机器人认知地图构建方法，包括以下步骤：

步骤1，机器人对外部环境进行探索，通过相机获取周围的环境图像信息。

步骤2，将采集到的环境图像信息输入到视觉里程计以及视觉特征提取模块进行处理。

步骤3，视觉里程计对获取的图像进行处理，得到机器人运动的角速度、线速度以及位姿信息，并将角速度信息输入到头朝向细胞模型中，形成机器人对自身方位的感知，得到头朝向细胞编码H；将线速度信息输入到位置细胞模型中，形成机器人对自身位置的感知，得到位置细胞编码P。

所述的视觉里程计对获取的图像进行处理具体为：首先提取两幅相邻图像之间的SURF特征；然后，采用随机采样一致性算法计算机器人的位姿；最后，通过坐标变换得到全局坐标系下的机器人姿态。

所述头朝向细胞模型和位置细胞模型均通过连续吸引子的方法进行建立，具体为：

如图2所示，利用连续吸引子的方法对头朝向细胞进行建模。头朝向细胞的活性用一维向量来表示，并根据连续吸引动力学进行更新。在头朝向细胞中，一维高斯分布用来创建头朝向细胞兴奋向量，分布如下所示：

其中，a表示在头朝向细胞坐标系的索引；k_hd为头朝向细胞的宽度常数；ε_hd为头朝向细胞兴奋向量。其更新过程为：

式中，n_θ'为头朝向细胞的维度；H_k为k索引下头朝向细胞的活性；ΔH_θ'为头朝向细胞群在兴奋条件下的更新量。

如图3所示，位置细胞模型。在位置细胞中，二维高分布可以用来创建位置细胞兴奋向量，分布如下所示：

其中，b,c分别表示在位置细胞坐标系下的索引；k_p为位置细胞的宽度常数；ε_b,c为位置细胞兴奋矩阵。其更新过程为：

其中，n_x'，n_y'为位置细胞在x，y两个方向的维度；P_i,j为(i,j)索引下位置细胞的活性；ΔP_x',y'为位置细胞群在兴奋条件下的更新量。

每个细胞(头朝向细胞和位置细胞)也通过抑制性权重矩阵抑制相邻细胞，其参数值相同，权重为负。在兴奋后添加抑制，并添加少量全局抑制。兴奋和抑制导致了合适的网络动力学，抑制条件下的细胞更新如公式所示：

其中，σ_a为抑制向量；σ_b,c抑制矩阵；τ为全局抑制；ΔH'_θ'为头朝向细胞群在抑制条件下的更新量；ΔP'_x'，y'为位置细胞群在抑制条件下的更新量。

步骤4，采用视觉特征提取模块对机器人获取到的图像进行处理，通过AlexNet深度学习网络提取图像特征，将网络中最后一层全连接层的信息提取出来，将其输入到主成分分析模块转给中，利用主成分分析算法对信息进行降维，最终得到当前场景下的视觉特征V。

步骤5，由经验地图对机器人获取的所有信息进行有效整合，并通过闭环更新算法对经验地图进行更新，减少机器人在运动过程中产生的漂移，最终完成认知地图的构建。具体为：

经验地图由经验节点e构成，经验节点通过转换t连接。每个经验节点包括头朝向细胞编码、位置细胞编码、位姿信息以及步骤4得到的视觉特征信息，并利用这些信息进行闭环检测。

当前状态下的头朝向细胞编码H、位置细胞编码P以及视觉特征V与经验地图中存储的经验节点一一进行比较，当差异足够大时，则建立一个新的节点，否则判定为闭环点。闭环评判标准S如公式(7)：

S＝μ_h|Hⁱ-H|+μ_p|Pⁱ-P|+μ_v|Vⁱ-V| (7)

其中，μ_h为头朝向细胞编码信息所占权重，根据经验取值；μ_p则为位置细胞编码信息所占权重，根据经验取值；μ_v则为视觉特征信息所占权重，根据经验取值；Hⁱ为经验地图中存储的第i个节点的头朝向细胞编码；Pⁱ为经验地图中存储的第i个节点的位置细胞编码；Vⁱ为经验地图中存储的第i个节点的位置细胞编码；S为当前状态下的评分。

当评分S大于判定阈值S_max时，则建立一个新的经验节点，节点之间的连接由t_ij表示。

t_ij＝{Δp^ij} (8)

Δp^ij基于视觉里程计的计算，则地图更新为：

e_j＝{H^j,P^j,V^j,pⁱ+Δp^ij} (9)

式中，e_j为在当前场景下新生成的经验节点；H^j为新生成的头朝向细胞编码；P^j为新生成的位置细胞编码；V^j为新生成的视觉特征；pⁱ为第i个经验节点的位姿信息；Δp^ij为第i经验节点与第j个经验节点之间的位姿变化量。

当评分S小于判定阈值S_max时，即检测到闭环发生，则根据闭环更新算法对经验地图中的所有节点进行更新，如公式(10)：

其中，N_f为从经验节点i到其他经验节点的链接数；pⁱ为第i个经验节点的位姿信息；p^j为从经验节点i到其他经验节点中的第j个经验节点的位姿信息；j为从经验节点i到其他经验节点的索引值；Δp^ij为第i节点与第j个经验节点之间的位姿变化量；N_t为其他经验节点到经验节点i的链接数；p^k为其他经验节点中的第个经验节点与经验节点i相连的位姿信息；Δp^ki为第k个经验节点与第i个经验节点之间的位姿变化量；k为从其他经验节点到经验节点i的索引值；α为更新常数。

本发明的有益效果如下：本发明将基于特征点法的里程计与空间认知模型相结合，一定程度上提高了方法的适用范围，在复杂的环境中，仍能正常工作，具有较好的鲁棒性。同时，本发明中采用的利用深度学习网络进行图像特征的提取，大大提高了闭环检测的效率和准确性，减少了图像误匹配的概率。本发明通过经验节点对地图信息进行维护，方便管理。

附图说明

图1为类脑启发的机器人认知地图构建方法流程图；

图2为头朝向细胞模型；

图3为位置细胞模型；

图4为视觉特征提取流程；

图5为闭环更新过程；

图6为认知地图。

具体实施方式

下面结合附图与实例，针对本方法做详细说明。

应用场景：本发明可以应用于机器人在室内外环境下的认知地图构建。机器人通过相机获取周围的环境信息并估计自身运动，进而构建认知地图，为机器人后续执行导航任务奠定基础。在本次实例中，我们使用KITTI开源室外数据集。

图1表示类脑启发的机器人认知地图构建方法流程图，首先机器人对环境展开探索，通过相机获取机器人周围的环境信息，通过视觉里程计获取机器人自身的运动信息，然后将角速度以及线速度输入到头朝向细胞模块和位置细胞模块；将图像信息输入到视觉特征提取模块得到机器人当前位置的图像特征。最后，由认知地图对这些信息进行整合，并通过闭环检测和更新算法对地图进行更新，减少机器人在运动过程中产生的漂移，最终完成认知地图的构建。具体步骤如下：

(1)机器人对外部环境进行探索，通过相机获取周围的环境图像信息

通过机器人自身携带的单目相机采集当前场景下的环境图像信息，本实例使用开源室外数据集KITTI进行实验。

(2)将获取到的图像信息输入到视觉里程计模块以及视觉特征提取模块。

(3)视觉里程计与认知细胞相结合，形成机器人对自身位置的感知。

首先，提取两幅相邻图片的SURF特征，然后通过随机采样一致性算法计算机器人位姿。随后，将得到的机器人位姿输入到生物细胞模型中。

如图2所示，利用连续吸引子的方法对头朝向细胞进行建模。头朝向细胞的活性用一维向量来表示，并根据连续吸引动力学进行更新。在头朝向细胞中，一维高斯分布用来创建头朝向细胞兴奋向量，分布如下所示：

其中，a表示在头朝向细胞坐标系的索引；k_hd为头朝向细胞的宽度常数，取值为7；ε_hd为头朝向细胞兴奋向量。其更新过程为：

式中，n_θ'为头朝向细胞的维度，取值为36；H_k为k索引下头朝向细胞的活性；ΔH_θ'为头朝向细胞群在兴奋条件下的更新量。

如图3所示，位置细胞模型。在位置细胞中，二维高分布可以用来创建位置细胞兴奋向量，分布如下所示：

其中，b,c分别表示在位置细胞坐标系下的索引；k_p为位置细胞的宽度常数,，取值为7；ε_b,c为位置细胞兴奋矩阵。其更新过程为：

其中，n_x'，n_y'为位置细胞在x，y两个方向的维度，全部取值为30；P_i,j为(i,j)索引下位置细胞的活性；ΔP_x',y'为位置细胞群在兴奋条件下的更新量。

每个细胞(头朝向细胞和位置细胞)也通过抑制性权重矩阵抑制相邻细胞，其参数值相同，权重为负。在兴奋后添加抑制，并添加少量全局抑制。兴奋和抑制导致了合适的网络动力学，抑制条件下的细胞更新如公式所示：

其中，σ_a为抑制向量；σ_b,c抑制矩阵；τ为全局抑制，取值为0.00002；ΔH'_θ'为头朝向细胞群在抑制条件下的更新量；ΔP'_x'，y'为位置细胞群在抑制条件下的更新量。

在没有外部输入的情况下，头朝向细胞与位置细胞经过迭代会保持在一个稳定的状态，只有一个细胞激活。与通过加权来计算路径积分的形式不同，通过适当的复制细胞活动来提高积分里程计的速度和准确性。

(4)视觉特征提取模块对图像进行处理，得到当前场景下的视觉特征。

视觉特征提取流程如图4所示。本发明利用AlexNet深度学习网络提取图像特征。从AlexNet获取的图片特征为具有很高的维度，我们对其进行降维来加快我们的计算速度。主成分分析法，是一个非监督的机器学习算法，是一种用于探索高维数据结构的技术，主要用于对数据的降维。

AlexNet共8层网络，5个CNN层和三个全连接层。本发明提取最后一层全连接层的信息，其是一个1000维的向量。为了进一步加快计算速度，获取更有价值的信息，我们对这1000维的数据进行降维。我们利用PCA算法对这1000维的向量进行降维，最终得到一个200维的向量作为场景的视觉模板。

(5)通过经验地图进行信息整合并更新地图。

经验地图是由拓扑节点e构成，这些拓扑节点通过转换t连接。每个拓扑节点由头朝向细胞H、位置细胞P、视觉模板V、位姿信息p组成，一个经验节点可以被定义为四元组：

e＝{H,P,V,p} (17)

当前状态下的头朝向细胞编码H、位置细胞编码P以及视觉特征V与经验地图中存储的经验节点一一进行比较，当差异足够大时，则建立一个新的节点，否则判定为闭环点。闭环评判标准S如公式(18)：

S＝μ_h|Hⁱ-H|+μ_p|Pⁱ-P|+μ_v|Vⁱ-V| (18)

其中，μ_h为头朝向细胞编码信息所占权重，根据经验取值为0.5；μ_p则为位置细胞编码信息所占权重，根据经验取值为0.5；μ_v则为视觉特征信息所占权重，根据经验取值为1/170；Hⁱ为经验地图中存储的第i个节点的头朝向细胞编码；Pⁱ为经验地图中存储的第i个节点的位置细胞编码；Vⁱ为经验地图中存储的第i个节点的位置细胞编码；S为当前状态下的评分。

当评分S大于判定阈值S_max＝1.5时，则建立一个新的经验节点，节点之间的连接由t_ij表示。

t_ij＝{Δp^ij} (19)

Δp^ij基于视觉里程计的计算，则地图更新为：

e_j＝{H^j,P^j,V^j,pⁱ+Δp^ij} (20)

式中，e_j为在当前场景下新生成的经验节点；H^j为新生成的头朝向细胞编码；P^j为新生成的位置细胞编码；V^j为新生成的视觉特征；pⁱ为第i个经验节点的位姿信息；Δp^ij为第i经验节点与第j个经验节点之间的位姿变化量。

当评分S小于判定阈值S_max时，即检测到闭环发生，则根据闭环更新算法对经验地图中的所有节点进行更新，如公式(21)：

其中，N_f为从经验节点i到其他经验节点的链接数；pⁱ为第i个经验节点的位姿信息；p^j为从经验节点i到其他经验节点中的第j个经验节点的位姿信息；j为从经验节点i到其他经验节点的索引值；Δp^ij为第i节点与第j个经验节点之间的位姿变化量；N_t为其他经验节点到经验节点i的链接数；p^k为其他经验节点中的第个经验节点与经验节点i相连的位姿信息；Δp^ki为第k个经验节点与第i个经验节点之间的位姿变化量；k为从其他经验节点到经验节点i的索引值；α为更新常数，取值为0.5。

最终，构建完成经验地图。经验地图与GPS测得实际位置的比较如图6所示。

以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (2)

1.一种类脑启发的机器人认知地图构建方法，其特征在于，包括以下步骤：

步骤1，机器人对外部环境进行探索，通过相机获取周围的环境图像信息；

步骤2，将采集到的环境图像信息输入到视觉里程计以及视觉特征提取模块进行处理；

步骤3，视觉里程计对获取的图像进行处理，得到机器人运动的角速度、线速度以及位姿信息，并将角速度信息输入到头朝向细胞模型中，形成机器人对自身方位的感知，得到头朝向细胞编码H；将线速度信息输入到位置细胞模型中，形成机器人对自身位置的感知，得到位置细胞编码P；

所述的视觉里程计对获取的图像进行处理具体为：首先提取两幅相邻图像之间的SURF特征；然后，采用随机采样一致性算法计算机器人的位姿；最后，通过坐标变换得到全局坐标系下的机器人姿态；

步骤4，采用视觉特征提取模块对机器人获取到的图像进行处理，通过AlexNet深度学习网络提取图像特征，将网络中最后一层全连接层的信息提取出来，将其输入到主成分分析模块转给中，利用主成分分析算法对信息进行降维，最终得到当前场景下的视觉特征V；

步骤5，由经验地图对机器人获取的所有信息进行有效整合，并通过闭环更新算法对经验地图进行更新，完成认知地图的构建；经验地图由经验节点e构成，经验节点通过转换t连接；每个经验节点包括头朝向细胞编码、位置细胞编码、位姿信息以及步骤4得到的视觉特征信息，并利用这些信息进行闭环检测；具体为：

当前状态下的头朝向细胞编码H、位置细胞编码P以及视觉特征V与经验地图中存储的经验节点一一进行比较，当差异足够大时，则建立一个新的节点，否则判定为闭环点；闭环评判标准S如公式(7)：

S＝μ_h|Hⁱ-H|+μ_p|Pⁱ-P|+μ_v|Vⁱ-V| (7)

其中，μ_h为头朝向细胞编码信息所占权重，根据经验取值；μ_p则为位置细胞编码信息所占权重，根据经验取值；μ_v则为视觉特征信息所占权重，根据经验取值；Hⁱ为经验地图中存储的第i个节点的头朝向细胞编码；Pⁱ为经验地图中存储的第i个节点的位置细胞编码；Vⁱ为经验地图中存储的第i个节点的视觉特征；S为当前状态下的评分；

当评分S大于判定阈值S_max时，则建立一个新的经验节点，节点之间的连接由t_ij表示；

t_ij＝{Δp^ij} (8)

Δp^ij基于视觉里程计的计算，则地图更新为：

e_j＝{H^j,P^j,V^j,pⁱ+Δp^ij} (9)

其中，e_j为在当前场景下新生成的经验节点；H^j为新生成的头朝向细胞编码；P^j为新生成的位置细胞编码；V^j为新生成的视觉特征；pⁱ为第i个经验节点的位姿信息；Δp^ij为第i经验节点与第j个经验节点之间的位姿变化量；

当评分S小于判定阈值S_max时，即检测到闭环发生，则根据闭环更新算法对经验地图中的所有节点进行更新，如公式(10)：

其中，N_f为从经验节点i到其他经验节点的链接数；pⁱ为第i个经验节点的位姿信息；p^j为从经验节点i到其他经验节点中的第j个经验节点的位姿信息；j为从经验节点i到其他经验节点的索引值；Δp^ij为第i节点与第j个经验节点之间的位姿变化量；N_t为其他经验节点到经验节点i的链接数；p^k为其他经验节点中的第k个经验节点与经验节点i相连的位姿信息；Δp^ki为第k个经验节点与第i个经验节点之间的位姿变化量；k为从其他经验节点到经验节点i的索引值；α为更新常数。

2.根据权利要求1所述的一种类脑启发的机器人认知地图构建方法，其特征在于，所述头朝向细胞模型和位置细胞模型均通过连续吸引子的方法进行建立。

Images