CN106949896A - 一种基于鼠脑海马的情景认知地图构建及导航方法 - Google Patents

Abstract

一种基于鼠脑海马的情景认知地图构建及导航方法，属于机器人环境认知及运动导航技术领域。当机器人在探索到的位置放电率大于位置细胞放电阈值的时候需记录下放电信息P_fire，位置信息P_location，环境情景信息O，并将信息记录在情景认知地图上。通过情景认知地图上储存的空间信息完成机器人导航，即从起始位置到具体情景中的具体物体位置的导航。本发明能使机器人自主探索环境，将环境信息变成机器人的情景认知地图，根据认知地图制定相应导航策略。整套系统取得较好的空间认知效果，可应用于工厂、家庭、实验室等室内环境和街道等室外环境的情景认知地图构建及导航。

Description

一种基于鼠脑海马的情景认知地图构建及导航方法

技术领域

本发明涉及一种基于鼠脑海马认知机理和情景认知记忆的机器人认知地图构建及导航方法。依据哺乳动物的海马认知机理，外界环境信息通过海马体的空间细胞进行表达，该方法用于自主移动机器人在非结构化和多尺度环境下的导航。

背景技术

智能移动机器人是能够通过自身携带的传感器感知外界未知环境和自身状态，实现在有障碍物的环境中进行面向目标的自主壁障，从而完成一定作用功能的机器人系统。通常来说，移动机器人依靠传感器在环境中按照既定的任务，完成从起点到目标点的移动，即解决“我在哪里？要到哪去？怎么去”三个基本问题。当机器人进入一个新的环境中时，机器人智能通过会对环境进行进一步的认知和学习，其方式是与环境进行交互、探索。当前移动机器人系统在基于贝叶斯概率算法的环境建图及导航已有丰富的成果，如卡尔曼滤波、扩展卡尔曼滤波、粒子滤波、图优化等算法。但是受生物启发的地图构建方法和导航研究仍旧没有掀起研究的热潮。

人类以及哺乳动物拥有丰富的视觉、听觉、味觉、嗅觉、触觉等外界刺激，每时每刻都在接收者大量的感知数据。但是，他们却总能用一种灵巧的方式对这些数据进行获取和处理。尤其是人类大脑能从感知信息抽象出对环境整体的认知，形成一种理解和记忆，并根据这种记忆做出更复杂的活动。模仿大脑进行高效准确的对环境进行认知是人工智能领域的核心挑战，研究生物大脑内部结构和信息处理回路也成为了人工智能领域的热门方向。

根据生物认知环境的研究发现，哺乳动物(老鼠、人等)对外部世界的感知很大一部分是通过视觉信息从眼球传入大脑。在大脑皮层中有一部分专门的区域(图1大脑视觉区域)用来处理这些信息。这些信息被编码之后会传递到大脑内的两处脑区：一条通路通向腹侧，被称为腹侧通路(Ventral Stream)，它沿着大脑皮层的枕颞叶分布，包括下颞叶、纹状体皮层和前纹状体皮层，主要功能是物体的识别，被称为“what回路”；另一条通向背部，被称为背侧通路(Dorsal Stream)，沿着枕顶叶分布，包括纹状体皮层、前纹状体皮层、下顶叶。主要功能是对空间位置和运动信息的编码，被称为“where回路”。最终，两条视觉通路在内嗅皮层和海马体处进行了回合，将两者的信息进行融合。

信息传入之后哺乳动物(老鼠、人等)就可以对空间环境进行特定编码，形成内在的神经表达，这种内在表达是一种认知地图的体现。它解释了生物是如何了解环境的，是一种外部环境的内部抽象描述。也就是说，外部环境在哺乳动物大脑皮层中的神经重现即是对外部环境的记忆。从1971年O’Keefe和Dostrovsky在海马结构中发现了位置细胞(placecell)开始，科学家们又相继发现了四种与导航相关的细胞。分别是：Taube于1990年在后下托(postsubiculum)中发现的头朝向细胞(head direction cell)；2005年，Hafting和Moser夫妇在内嗅皮层(entorhinal cortex)中发现的网格细胞(grid cell)；2009年，Trygve等在海马体中发现的边界细胞(boundary vector cell)；2012年，O’Keefe等人在旁下托和内嗅皮层中发现了有空间周期性条纹状的放电野存在的条纹细胞(stripe cells)。

头朝向细胞(head direction cell)是一种头朝向依赖性的神经元，它的放电只与头在水平面的朝向有关。其在一个最佳朝向下的放电率为最大。可以表示为一个高斯模型。

条纹细胞(stripe cells)是覆盖在整个空间环境中的具有类似平行条纹状放电野的细胞。它被誉为是完成路径积分的基础机制，其条纹间距、条纹野宽度、条纹相位、与其放电的频率有密切的关系。

网格细胞(grid cell)是老鼠在二维空间中发生规律性发电的细胞。其放电野代表了对某一位置一小部分的环境表达，相当于空间环境中的一个网格节点处。在老鼠运动过程中，它的放电区域能遍布整个空间环境。每个网格细胞的基本空间参数为：间距、定向、位相、放电野大小。

位置细胞(place cell)是在海马体CA1和CA3中在空间特定位置放电的细胞，其具有空间特异性。位置细胞的选择性放电决定了它可以将大脑海马体中的位置野与外界的特定空间位置映射起来。它是哺乳动物进行定位、环境认知、情景记忆、再现的重要元素。注意位置细胞可以对应多个位置野，当达到空间中特定的位置时，位置细胞会达到最大化的放电。

外部环境在哺乳动物大脑内是以前面提到的认知地图的形式存在的。其表示方式是对外部环境的内部神经重现。鼠脑中的内嗅皮层和海马体等结构是存储这些外部环境内部重现的重要部分。海马体会记录下当前的位置信息以及基于视觉通路识别出来的物体信息，其具体存在形式是由网格细胞、位置细胞、边界细胞共同形成的对环境外部的表达，自身位置的认知，以及物体存在识别的感知。这些会形成记忆，存储在鼠脑的大脑皮层中形成永久性记忆。当老鼠进入陌生环境的时候，它会与环境进行自主交互、探索，完成对环境的认知和学习，从而使网格细胞、位置细胞、边界细胞形成稳定的响应区域。其功能通过视觉通路、内嗅皮层和海马体之间的信息传递得以实现。来自视觉通路“where回路”的对外界感知的速度和方向信息与生物体内部头朝向细胞和条纹细胞进行信息整合，获取老鼠在当前环境中的相对位置。来自位置细胞的对当前环境的表达与来自视觉通路“what回路”的对外界环境物体的识别进行信息整合，完成老鼠对当前环境的情景认知，并形成相关记忆，与当前位置信息进行整合，整个视回路-内嗅皮层-海马回路为空间记忆的动态表达提供了基础。

本方法依据鼠脑海马结构整个对外界环境的表达机制，结合深度相机采集的RGB-D图进行机器人的认知地图构建。其相比于传统同时定位与地图构建方法以及早期认知地图构建方法，具有更精确的位置认知效果，更加完整的表达整个环境的信息，对硬件和传感器的要求降低，具有丰富的扩展性以及定制性，准确高效的完成导航认知地图构建任务。

发明内容

本发明的目的是将基于鼠脑海马的情景认知机理应用在移动机器人上，依靠较简单的硬件平台系统，在工厂、家庭、实验室等室内环境和街道等室外环境，完成移动机器人对环境探索、空间认知定位、情景记忆的任务。

为实现上述目的，本发明采用的技术方案为一种基于鼠脑海马的情景认知地图构建及导航方法，更加具体地，该方法是一种基于鼠脑海马认知机理的机器人室内空间情景认知地图构建及导航方法，该方法依次按以下步骤实现：

步骤(1)构建基于鼠脑海马认知机理的机器人室内情景认知地图的前端信息输入系统，该系统包括运动采集部件、运动部件、深度相机和中央处理系统；

运动采集部件包含：编码器和电子罗盘；

编码器用以采集机器人运动的速度信息；

电子罗盘用以采集机器人的运动方向角信息；

运动部件由控制机器人运动的电机驱动电路组成；

深度相机用以采集机器人运动的RGB图像和深度图像，以此来估算机器人基于视觉的运动速度和方向角信息。

中央处理系统即CPU设置在机器人内部。CPU设有机器人方向角信息输入端、机器人速度信息输入端、视频流输入端和电机运动控制信号输入端，机器人方向角信息输入端与电子罗盘输出端相连，机器人速度信息输入端与测速装置输出端相连，视频流输入端与机器人运动的RGB图像和深度图像相连，电机运动控制信号输入端与电机驱动电路输入端相连。

初始化系统之后，所述CPU中：

网格细胞层，对应于设在室内地面上的二维笛卡尔坐标上所有m_g个坐标点组成的一个以矩阵形式表述的二维坐标点组成的矩阵，此时(x,y)坐标点对应的笛卡尔坐标系中的坐标。同时将网格细胞对应到二维坐标空间的网格点上，即一个网格细胞即对应着一个坐标点，坐标的原点对应于机器人运动时的初始点，设在网格角部，多个网格细胞放电域在一个坐标点上发生相互交叠时构成一个网格节点，x轴或y轴上的坐标点视为网格细胞在坐标点上的覆盖，头朝向细胞有其偏好位置放电率为最大。放电率为最大的位置为头朝向的最大偏好位置。在这每个节点上会有若干个头朝向细胞为其确定方向，确定方向的取值为0～360度。每个网格细胞节点综合作用下的偏好方向就是机器人实际的运动方向。表现为通过放电率判断网格细胞放电的方向，即相对于笛卡尔坐标系中的倾斜度。此时这个倾斜度即为机器人运动时的运动方向角。

条纹细胞在2012年被发现之后，科学家在内嗅皮层和傍下托皮层的放电采样显示，存在周期性的放电野细胞，其形状犹如条纹一样。条纹细胞已被证实是网格细胞之前的前一级皮层细胞，是网格细胞的基础神经元。条纹细胞在动物特定方向上对位移的表征，即：间距、条纹宽度、条纹相位以及朝向；功能为：周期性编码的放电细胞，负责对线速度进行路径积分。系统将两种细胞模型通过一维环状吸引子模型进行建模。

与此同时，机器人会通过视觉信息跟踪环境中的信息，以此来校正自己的自运动信息。通过对深度相机传来的视频流进行RGB图和深度图的特征提取之后，对特征进行跟踪，通过计算视频流中的每一帧之间的变换关系即得到位置与位置之间的变换矩阵T经过计算之后会得到机器人在环境基于视觉的运动方位角和运动速度。此时与自运动信息进行权值加权之后获得校正之后的运动方位角和运动速度。

机器人在探索环境过程中，在时刻t，头朝向细胞产生一个角度调节信号，其放电率是与运动方位角相关。条纹细胞产生一个速度调节信号，其放电率与头朝向细胞的角度、相位、在头朝向方向移动的速度相关。

步骤(2)系统依次按如下步骤处理机器人自运动信息和外界异构信息，即描述机器人的位置：

步骤(2.1)网格细胞吸引子由其递归的连接权值决定。网格细胞递归的连接权值又与条纹细胞的连接权值一起作用于整个网格细胞吸引子网络。整个细胞建立模型使用二维连续吸引子模型。

步骤(2.2)位置细胞与位于内嗅皮质的网格细胞不同，位置细胞能够对空间位置进行特征性的编码，特征性的编码是认知地图的重要组成部分。位置细胞联合响应产生了对一个环境空间的离散表达。当位置细胞在此处被激发的时候，将会在以异我为参考系下的当前位置，建立大脑中位置野与外界环境特定位置之间的映射关系。由于位置细胞的输入即是网格细胞的输出且网格细胞表征了哺乳动物的运动信息，所以位置细胞的放电活动即表征了哺乳动物的运动信息，表现为路径积分系统的输出。又位置细胞具有单峰型放电且网格细胞在同一位置细胞下有多个存在，所以网格细胞到位置细胞之间是存在一种网络进行映射的。根据研究表明是一种竞争性的神经网络，本质是基于Heb学习的线性叠加方式。

步骤(2.3)位置细胞通过二维连续吸引子建模，构建对实际外界环境的度量模型，其作用是对外界环境相对位置进行度量。连续吸引子实际上是由神经板上的神经元通过局部兴奋、抑制连接、全局抑制三种方式共同表达形成一个活动包。活动包通过之前的头朝向细胞、条纹细胞、网格细胞通过路径积分来驱动。同时活动包也是构成之后认知地图上的经验激活点重要的组成部分。活动包的具体表示形式是一个二维高斯分布的放电模型，那么兴奋性连接变化量具体表示形式是在空间中的位置细胞二维矩阵。大小代表着位置细胞神经板的边界。由于步骤(1)中提到网格细胞与二维笛卡尔坐标系存在着对应关系，而且网格细胞作为位置细胞的输入，通过路径积分的形式来驱动，位置细胞的表现形式是放电，所以位置细胞的放电率以及放电野位置与实际环境的二维笛卡尔坐标也存在着对应关系。这种对应关系对下面的机器人处理外界环境信息和构建情景记忆地图有重要作用。

步骤(2.4)基于位置细胞放电率的峰值设定一个探测阈值，其作用是当机器人到达该阈值之后，需要对环境进行异我信息的构建。此时将记录由深度相机传来的RGB图和深度图，对环境进行情景认知与记忆。

步骤(3)系统依次按如下步骤处理机器人情景记忆与外接异构信息，即描述机器人该位置的情景认知信息：

步骤(3.1)由步骤(2.4)确定位置细胞探测阈值，当超过探测阈值时，系统将此时的视觉模板即包含外界视觉图像信息传入至情景认知系统。情景认知系统是基于一个深度轻量级神经网络的系统。此时，会根据之前训练的样本对环境中出现的信息进行搜索与识别，并通过一个矩形的方框将该物体框取出来。即确定相关物体在图片中的方位。在阈值范围内的若干个视觉模板中通过算法取合适的两张RGB图与深度图，对矩形方框区域内的物体其进行特征提取，并通过深度相机计算该物体相对此刻机器人位置细胞放电野中心最大放电率的位置即角度和距离。并通过步骤(2.3)得到的位置细胞与二维笛卡尔坐标系的对应关系得出该物体在位置细胞野上的预估位置，这样就将环境中的实际信息对应到情景认知地图中。当给机器人发出指令寻找该物体时，机器人就通过情景认知地图上的位置野找到其位置，并驱动机器人完成导航任务。

步骤(3.2)构建情景认知地图。综合步骤(2.3)、步骤(3.1)的机器人自运动信息和情景认知信息，构建情景认知地图，构建情景认知地图是一个个位置细胞位置野填满认知区域、自运动信息、情景认知信息组成的综合情景认知地图。使机器人的导航具有智能性，完成更加高级的任务。

步骤(4)系统按照步骤(3)、步骤(4)识别到的位置和情景认知信息融合得到的情景认知地图来进行具有智能性和高级性的导航任务：

步骤(4.1)机器人初始化，在认知地图中重定位。

步骤(4.2)用户给予机器人任务，任务为“我想要喝一杯水”。机器人将确定认知地图中含有水杯信息的位置细胞位置野，并将其进行筛选，得到与当前机器人所在的位置细胞位置野最近的位置野。

步骤(4.3)设定行走路径，途径若干个位置细胞位置野。由于误差的存在，需要对机器人位置进行校正，设定导航位置野放电阈值。当超过导航位置野放电阈值，即通过视觉信息对当前机器人位置进行校正。判断是否偏离位置细胞放电野。若偏离，则进入重定位环节，并设定定位后的位置为起点，目标信息物体位置细胞位置野为终点进行导航；若没有偏离，则按原路径继续行驶。

与现有技术相比较，本发明具有如下有益效果。

本发明公开了一种基于鼠脑海马认知机理，应用在移动机器人室内工厂、家庭、实验室；室外街道的情景认知地图构建及导航方法。机器人可以自主的探索陌生环境，将环境信息变成机器人的情景认知地图，根据认知地图进而制定相应导航策略。对系统的硬件要求低，具有主动性和自适应性。

附图说明

图1是本发明的算法示意图；

图2是本发明的整个流程网络及生成的导航认知地图示意图。图3是本发明的硬件结构图；

图4是本发明的头向细胞响应图。图4.1表示在二维笛卡尔坐标系内，头向细胞对(0°～360°)方向上呈高斯放电。图4.2表示当前老鼠朝向；

图5是本发明的条纹细胞一维环状吸引子模型。图5.1为条纹细胞环状吸引子模型的建模方式，图5.2为条纹细胞的相位分布。

图6本发明的网格细胞激活区域和位置细胞激活区域示意图。图6.1表示网格细胞在空间中的放电激活响应，图6.2代表着一个位置细胞的在空间中的放电激活响应，可以看到网格细胞是呈正六边形放电的形状，将整个空间形成一个网格结构。当网格细胞放电固定下来之后位置细胞会在固定下的空间中进行竞争性激活，此时位置细胞对应空间中的一个特定位置区域。

图7是本发明的网格细胞与位置细胞神经连接的示意图；

图8是本发明网格细胞神经元放电响应图。

图9是本发明的网格细胞在不同条纹细胞间距、定向、放电域下的响应。

图10是本发明最终构建的情景认知地图位置细胞放电率地图。图11是本发明模型的轨迹图地图；

图12是本发明的实验误差曲线。

具体实施方式

下面结合附图和实施例对本发明作进一步地说明：

本发明的实现方案是：

S1根据鼠脑海马结构的认知模型，机器人CPU会初始化头朝向细胞层H、条纹细胞层S、网格细胞层G和位置细胞层P，每个网格细胞单元具有不同的属性，即间距、定向、相位，每一个位置细胞都是经过网格细胞竞争之后形成的，其代表不同的位置信息。不同的位置细胞对应不同的空间位置。同时，机器人会初始化外界异构信息的输入源深度相机的RGB图输入和深度图输入，分别是IMAGE流和DEPTH流；

S2机器人探索环境，机器人利用运动采集装置分别采集运动方向Φ”、速度v”作为输入信息，输入CPU；与此同时，CPU将处理IMAGE流和DEPTH流，将两者经过特征提取之后，计算帧与帧之间的位置关系，并使用T矩阵来表示。在通过换旋转角旋转向量与T矩阵的关系换算出运动方向Φ'和速度v'。两者进行加权之后获得校正运动方位角Φ和运动速度v。

S3网格细胞响应模型采用条纹细胞和头朝向细胞联合作用的连续吸引子模型，运动速度v决定了一维环状吸引子模型有着周期性的放电采样，而其条纹细胞放电的优先朝向是由头朝向细胞校正过后的Φ决定。放电采样沿着优先朝向的投影来驱动一维连续吸引子运动。那么通过一维连续吸引子的积分确定了放电距离，其放电率由高斯模型表示。网格细胞接受一维环状吸引子的前向投射，并确定了网格细胞层G的响应以及连接权值，作为位置细胞层P的输入。位置细胞对空间进行特异性编码，由网格细胞层G的递归连接权值决定。从网格细胞到位置细胞是一种网络映射，是竞争性的神经网络模型，其本质是Heb学习的线性叠加方式随着机器人探索进行，位置细胞层P依次激活，每个位置细胞对应空间特异性位置，并与网格细胞层G相连接，储存相应的自运动信息和异构环境信息。

S4当位置细胞放电超过设定阈值时，需要进行异构环境信息的输入存储，形成该位置特异性情景记忆存储。此时将视觉模板传入基于深度轻量级神经网络的系统，此时会根据训练的样本对环境中出现的信息进行搜索和识别，并用矩形方框将物体框取出来，即确定物体的方位。在阈值范围内选取两组对应的RGB图和深度图，对矩形方框区域进行特征提取，通过深度相机计算该物体相对机器人位置细胞放电野中心最大放电率的位置，并对应到认知地图上的位置细胞位置野预估的位置。这样就将环境中的实际信息对应到情景认知地图中。

S5经过一段时间t探索，机器人将目标环境空间的所有路径信息和情景认知信息遍历之后，形成覆盖整个环境的稳定的位置细胞神经网络系统，完成对环境的表达，同时对环境中特定位置存在的情景记忆记录在其位置细胞放电野上，存储在CPU中。机器人在导航中通过初始化位置，确定初始化位置细胞位置野P_start，并将终点确定为想要寻找的物体的位置细胞位置野P_end，机器人自主的、智能的运动到目标位置。机器人通过读取当前时间位置细胞响应p_t，实现空间定位，进行运动决策，进而对电机输出控制信号，使机器人完成相应动作。

具体实施方案如下：

基于鼠脑海马认知机理的机器人室内情景认知地图的前端信息输入系统包括运动采集模块、处理器、运动模块和深度相机。运动采集模块为电子罗盘，测速装置。深度相机用于采集机器人运动的RGB图像和深度图像，以此来估算机器人基于视觉的运动速度和方向角信息。电子罗盘用于采集机器人方向信息，编码器用于采集机器人的速度信息。探索过程中CPU设有与所述电子罗盘输出端相连的机器人方向角信息输入端，与所述的测速装置输出端相连的机器人速度信息输入端，与机器人运动的RGB图像和深度图像的视频流输入端，以及与所述电机驱动电路输入端相连电机运动控制信号输入端。产生网格细胞、位置细胞响应，从而产生机器人空间认知地图，并根据空间信息进行运动决策，CPU输出电机驱动信号，驱动电机附带的轮子运动，从而控制机器人的运动。

S1仿照鼠脑海马认知机理，机器人CPU初始化为包含a_g个网格细胞的网格细胞层G和包含b_p个地点细胞的地点细胞层P，定义包含c_hd个头向细胞层H，每个头朝向细胞i有唯一基准偏好方向θ_b，a_g个网格细胞响应具有不同的间距、定向、相位，每一个地点细胞都将单独对应一个空间平面内一个位置，b_p个位置细胞对应的地点各不相同。

初始化机器人平台上的深度相机，将其传输的图片流分为IMAGE流和DEPTH流，对IMAGE流做灰度处理，并将图片数值化做预处理。DEPTH流做相应归一化及数值化处理，确保深度图与RGB图一样数值范围为0-255。

S2机器人探索环境，电子罗盘模块负责测出角度信息，编码器负责测出速度信息，经过模数转化，传入CPU，即读取到的运动方向θ″和速度v″。

在相同时间频率内，通过IMAGE流和DEPTH流预处理之后得到数值化矩阵，对其进行FAST特征提取。当候选点周围有足够多的像素点与该候选点灰度值差别足够大时，确定该特征点：

I(x)为圆周上任意一点灰度，I(p)为圆心灰度，ε_d为灰度值差的阈值。设定灰度值差的阈值为周围圆圈点的四分之三，当N大于灰度值差的阈值时，则认为P是一个特征点。

同时，特征点提取完毕之后需要对特征点的位置、尺度、方位等信息进行编码，形成特征描述算子，在这里使用BRIEF特征算法：

在特征点周围N×N大小范围内的图像区域p上定义τ操作：

其中，p(x)是像素点x的灰度值，对图像灰度值进行高斯平滑处理。

然后在当前特征点上选取s个点对，(这里取得128)分别标记为：

p₁(A,B)、p₂(A,B)、p₃(A,B)、p₄(A,B)…p₁₂₈(A,B)

分别对这些点对进行τ操作，这样就得到了一串二进制字符串。

基于FAST特征提取算法及BRIEF描述算子的分析之后，在灰度质心法中加入了方向性，即在特征提取中确定阈值为ε_d＝9，同时采用Harris角点检测，定义一个图像区域的矩：

此时，可得到该区域的质心：

其中FAST角点的坐标为(x,y),圆形邻域半径为R，(x,y)的取值范围为[-R,R],C即是图像区域的质心，那么向量的方向θ即为FAST特征点的方向：

θ＝arctan(m₀₁,m₁₀)∈[-π,π]

测试集中选取一块32×32像素区域，每个测试点的子窗口为5×5。每个测试点都由该式表示：

然后，通过对图像中的测试点特征进行Hamming距离匹配，使用Hamming距离判断特征点的相似性。但直接使用会产生误匹配，所以为了消除误匹配，采用RANSAC去除误匹配算法。具体流程是：

(1)对于测试点集P，设至少需要m个样本估算，且size(P)＞m,则随机生成P的一个子集D，为初始化步骤。

(2)将剩下的集合中元素值与上次迭代求得的模型T进行比较，若差值比预设的阈值t小，则将元素加入集合D中，形成内点集D′。

(3)如果size(D′)≥T_best，则认为模型是正确的，此时利用D重新计算T，并通过(2)(3)迭代。

(4)当采样次数达到k时，算法停止，给出估算模型。

通过上述算法将IMAGE流和DEPTH流中的点成功配对之后，就根据帧与帧之间的运动关系来确定运动角度和运动速度。在这里需要从刚才提取出的特征集中选取至少6对点集进行PnP算法位姿求解。考虑空间点P＝(X,Y,Z,1)^T。图像I₁中投影到特征点x₁＝(u₁,v₁,1)^T。相机位姿R,t是未知的。由相机模型可得：

又另：

t₁＝(t₁,t₂,t₃,t₄)^T,t₂＝(t₅,t₆,t₇,t₈)^T,t₃＝(t₉,t₁₀,t₁₁,t₁₂)^T

所以有以下两个约束：

因为选取的是6对点集，故得到：

通过这6组匹配的点集即可就得R^3×3,t^3×1矩阵，即相机位姿的旋转平移矩阵，然后代入罗德里格斯公式得运动角度为：

又有机器人是匀速运动状态，所以运动速度为：

所以，以此综合自运动信息θ″,v″,和通过视觉信息处理得到的v′，θ′进行加权之后，得到校正过后的θ，v。加权公式为：

θ＝θ″+αθ′,v＝v″+αv′(α∈(0,1))

S3头朝向细胞对于动物的运动有重要的意义，头朝向细胞当且仅当面向其偏好角度时有最大的放电率。初始时，设定偏好角度为0°，那么头朝向细胞在水平角为0°时具有max放电率。所有头朝向细胞联合响应，决定了机器人水平方向的表达。

基于生理学研究事实，得到头朝向细胞对于速度信号的调节方程为：

其中，第i个头朝向细胞在t时刻产生的信号由主要朝向θ_b和角偏移量θ_i产生响应。是头朝向传递矩阵，θ_b是头朝向细胞的主要朝向，通常设定为θ_b＝0°，θ_i是第i个头向细胞的偏移量，取值范围0°<θ_i<360°。

在形成网格细胞层之前，条纹细胞被编码为特定方向上的位移，其放电活动是一个周期性重置编码的过程，并负责对线速度进行路径积分。首先定义偏好方向δ，放电相位β，放电周期为f，那么在t时刻机器人沿θ(t)方向上的移动速度为v(t),那么沿着δ方向的速度为：

v_θ(t)＝cos(δ-θ(t))v(t)

此时，对其路径积分可得沿δ上的位移：

条纹细胞放电率表示为：

其中条纹细胞重置距离为：S_θ(t)＝(R_θ(t)-β)mod f

经过初步整合之后，网格细胞将受网格细胞之间递归权值以及来自条纹细胞的前向投射的影响。首先，网格细胞之间的递归权值为：

网格细胞连接权值表现为一个墨西哥帽状的分布，然后将经过初步整合的运动信息代入网格细胞响应方程，进行进一步整合，生成网格细胞响应。其中，γ＝1.05β，λ_net为神经片上网格的生成周期。权值a决定是否是网格细胞抑制性响应。

网格细胞响应的动力学公式为：

当前神经元i状态为S_i，是从j到i的抑制性输入，F_θ(t)即是来自条纹细胞的前向性输入。

位置细胞的放电是由网格细胞的输出，即路径积分系统的输出所决定的。这里利用Heb学习规则构建了竞争性神经网络模型，寻找网格细胞活动的集合，从而获得位置细胞的活动：

式中，α表示学习率，p_i表示位置细胞放电率，s_j表示网格细胞放电率，C_grid表示网格细胞抑制水平，网格细胞抑制水平由网格细胞平均放电率确定。位置细胞的活动式表示网格细胞激活率、网格细胞抑制率两者和突触连接强度之间的关系。如果激活大于抑制，则突触连接变强，否则变弱。

多个位置细胞集群活动为：

A是位置细胞的增益，C_place是位置细胞抑制常量。通过上述竞争性算法，确保将少部分网格细胞集群形成位置细胞。

为了实现位置细胞放电率的具体表现，在这里对位置细胞进行二维连续吸引子建模，假设位置细胞二维矩阵大小为在(X,Y)上的n_x，n_y，相对位置坐标由下式决定：

m＝(X-i)(mod n_x)

n＝(Y-j)(mod n_y)

在机器人路径积分之后位置细胞的放电率为：

其中由下面的公式表达：

其中α_mn由以下公式表达：

α_mn＝H(δX_f,m-δX₀)H(δY_f,n-δY₀)

网格细胞到位置细胞模型中，其移动来自于路径积分，可以看到δX₀，δY₀是坐标系下向下取整的偏转量，由v和θ共同作用得到。k_m，k_n是积分常量，是θ_i的单位向量。该式表达了路径积分下位置细胞的移动。其具体是一个二维高斯函数分布。

S4由位置细胞活动p_i放电率公式得，位置细胞高斯分布是一个二维高斯函数，根据经验，设定放电阈值R＝0.8。当p_i＞0.8时，将记录下IMAGE流和DEPTH流中的RGB图和深度图，首先对当前朝向的RGB图进行预处理和步骤S2中的特征提取，将在阈值内连续记录10个稳定的特征点的(x,y,z)3D点的信息，形成mappoint P_ij，其中i为第i个位置细胞，j为第i个位置细胞中的第j个特征点。然后使用一种改进的Fast-RCNN轻量级深度卷积神经网络(已训练好的)对图片中的场景进行分类识别，在CPU Intel E5-2683GPU NVIDIA Titan XUbuntu14.04环境下以FPS30帧实时识别，准确率和实时性都非常高。首先将整张图片输入进CNN网络，进行特征提取，然后生成建议窗口，每张图片有300个建议窗口，同时把建议窗口映射到CNN最后一层feature map上，并通过RoI pooling层使每个RoI生成固定尺寸的feature map，最后利用Softmax Loss和Smooth L1Loss函数对分类概率和边框回归进行联合训练，并用边框回归值校正候选窗口生成预测窗口坐标。该网络能成功分割出物体O_i所在图像位置的矩形区域。令相邻两帧中的相同区域为R₁，R₂，对其中R₁，R₂区域进行步骤S2中的特征提取。另使用深度相机对R₁区域进行坐标变化，得到此时机器人与识别物体O_i的距离：

看到，z_c为相机坐标下物体的深度，左侧z_c是由于在测距时相机坐标系和世界坐标系是重合的，所以z_c＝z_w，又f_c/d_x，f_c/d_y是相机内参，所以得图像二维点到三维点变换为：

所以物体距离相机的距离d：

其中f_c是相机的焦距。

通过头朝向细胞到条纹细胞层到网格细胞层并竞争出位置细胞层看出，网格细胞呈正六边形分布，是一个高斯激活放电状态，前面条纹细胞重置距离为S_θ(t)，所以令：

d＝γS_θ(t)

此时，γ代表着物体与相机位置之间在认知地图上的放电距离，其单位是网格细胞间的间距。当机器人达到设定放电阈值的时候，机器人会进入记录循环，将自动将识别物体R₁的区域对准到摄像机镜头中央，记录下此时的角度θ，距离d，这样就完成从实际位置距离到情景认知地图上位置的转换。如果当前观测物体物体在循环内通过2次最大放电率，则跳出对该物体记录的循环，并比较两次测量位置的距离与角度，若通过构建三角形相交之后的点误差E＞0.1S_θ(t)，则使用一个直径为误差的圆来代替目标位置，并在地图上标出该物体位置；若误差E＜0.1S_θ(t)，则无需构建误差圆。

机器人在当前位置，计算p(t)判断此位置是否已储存，若p(t)＞0，则当前位置已储存，此时位置细胞已经存储进该位置的情景记忆信息，机器人可以定位当前位置。若p(t)≤0，则没有位置细胞与该位置进行匹配，需激活一个位置细胞，此时该位置细胞响应为p(t)＝1，并将该处位置细胞与网格细胞通过S3中的竞争性神经网络连接起来，令位置细胞的期望响应为p_e(t)＝1，E(t)代表地点细胞期望响应p_e(t)与实际响应p(t)之间的误差，公式为：

E(t)＝p_e(t)-p(t)

设定最小误差E∈(0,0.02)，若误差E(t)＜E，则说明误差在允许范围内，机器人继续沿着设定路线运动；若E(t)＞E，则依下式修正权值ω：

Δω＝αE(t)g(k)

ω_new＝ω_old+Δω

其中，Δω代表权值的改变量，初始值为单位矩阵，ω_old和ω_new表示改变前和改变后的权值。α∈(0,1)。继续权值直到误差在允许范围内之后，机器人继续沿着设定路线运动。

S5随着机器人探索进行，位置细胞层的位置细胞依次被激活，每个位置细胞对应空间特定位置，并与网格细胞层对应一个竞争性神经网络，储存环境信息，同时在该位置细胞放电阈值处会对环境进行情景记忆，记录下识别物体的位置信息，完成对环境的认知。经过一段时间t探索，机器人基本走完空间内通过的路径，形成覆盖环境的位置细胞-网格细胞响应的情景认知地图。地图以细胞响应和情景记忆为表达，机器人完成空间认知。

S5.1机器人初始化并开始导航任务

S5.2情景认知地图中重定位，首先机器人进入地图中最近的一个位置细胞野中，通过特征提取找到mappoint P_ij，并通过sim3算法计算出相应的R旋转矩阵和t平移向量，这样就能准确的重定位到距离最近的位置细胞放电野中心位置。

其中sim3算法即为找到空间中n对匹配点，并对看到这n对匹配点的两个位姿相机建立坐标系：

然后将矩阵N进行特征值分解，N的最小特征值对应特征向量就是带求的四元数。在通过：

q＝cos(θ/2)+nsin(θ/2)

四元数转到欧拉角就可以求得旋转角度θ。这样就可以将机器人此时的位置与距离最近的位置细胞放电野中心位置的相对位置关系对应起来，即得到机器人重定位在认知地图上的位置。

S5.3用户给予机器人任务，如“我想要喝一杯水”。机器人将确定认知地图中含有水杯信息的位置细胞位置野，并将其进行筛选，得到与当前机器人所在的位置细胞位置野最近的位置野.

S5.4设定行走路径，途径若干个位置细胞位置野。由于误差的存在，需要对机器人位置进行校正，设定导航位置野放电阈值E_nav。当超过阈值E_nav，即通过视觉信息对当前机器人位置进行校正。判断是否偏离位置细胞放电野。若偏离，则进入重定位环节，并设定定位后的位置为起点，目标信息物体位置细胞位置野为终点进行导航；若没有偏离，则按原路径继续行驶。

图1是本发明的算法示意图；

图2是本发明的整个流程网络及生成的导航认知地图示意图。分别对应了头朝向细胞，条纹细胞，网格细胞，位置细胞再到生成认知地图整个流程，其中通过一维吸引子建模、二维吸引子建模、竞争性神经网络等。地图中粗圆圈代表位置细胞放电响应位置，几个多边形表示在位置细胞上通过视觉信息生成的场景认知信息的表达；

图3是本发明的硬件结构图；

图4是本发明的头向细胞响应图，其中图4.1可见在二维笛卡尔坐标系内，头向细胞对(0°～360°)方向上呈高斯放电，并对应图4.2中老鼠移动方向。图4.2表示当前老鼠朝向；

图5是本发明的条纹细胞一维环状吸引子模型。可以看到图5.1为条纹细胞环状吸引子模型的建模方式，图5.2为条纹细胞的相位分布。

图6本发明的网格细胞激活区域和位置细胞激活区域示意图，图上的运动轨迹代表着实际老鼠运动轨迹，实点是代表着细胞在该位置的响应。图6.1表示网格细胞在空间中的放电激活响应，图6.2代表着一个位置细胞的在空间中的放电激活响应，可以看到网格细胞是呈正六边形放电的形状，将整个空间形成一个网格结构。当网格细胞放电固定下来之后位置细胞会在固定下的空间中进行竞争性激活，此时位置细胞对应空间中的一个特定位置区域。

图7是本发明的网格细胞与位置细胞神经连接的示意图，网格细胞与位置细胞同属于神经细胞，由细胞体和突起构成，突起是由细胞体延伸出来的细长部分，分为树突和轴突。较长的突起称为轴突，每个神经细胞只有一个轴突，可以把信号从胞体传送到另一个神经元或其他组织，较短的突起每个神经细胞可以有一或多个树突，可以接受刺激并将兴奋传入细胞体；

图8是本发明网格细胞神经元放电响应图，该图是在条纹间距为13的情况下得到的神经元放电响应。可以看到网格细胞活动的放电响应图可以完整覆盖整个空间，同时能够形成对环境的六边形放电野，说明了网格细胞模型具有准确的路径积分功能。

图9是本发明的网格细胞在不同条纹细胞间距、定向、放电域下的响应。实验设定8组不同的参数，由具有差异的条纹细胞间距前向输入产生的网格细胞放电响应图；

图10是本发明最终构建的情景认知地图位置细胞放电率地图。图中圆圈代表该点的放电率，可以看到实验室围绕着两块区域做8字型运动，圆圈密度越高，其放电率越高。在轨迹左上角和中间有两个独立的圆圈，这代表通过轻量级深度卷积神经网络识别出了物体，并计算出该物体的位置；

图11是本发明模型的轨迹图地图；

图12是本发明的实验误差曲线，可以看到随着实验进行误差逐渐下降，达到设计要求。

Claims (1)

1.一种基于鼠脑海马的情景认知地图构建及导航方法，其特征在于：该方法是一种基于鼠脑海马认知机理的机器人室内空间情景认知地图构建及导航方法，该方法依次按以下步骤实现：

步骤(1)构建基于鼠脑海马认知机理的机器人室内情景认知地图的前端信息输入系统，该系统包括运动采集部件、运动部件、深度相机和中央处理系统；

运动采集部件包含：编码器和电子罗盘；

编码器用以采集机器人运动的速度信息；

电子罗盘用以采集机器人的运动方向角信息；

运动部件由控制机器人运动的电机驱动电路组成；

深度相机用以采集机器人运动的RGB图像和深度图像，以此来估算机器人基于视觉的运动速度和方向角信息；

中央处理系统即CPU设置在机器人内部；CPU设有机器人方向角信息输入端、机器人速度信息输入端、视频流输入端和电机运动控制信号输入端，机器人方向角信息输入端与电子罗盘输出端相连，机器人速度信息输入端与测速装置输出端相连，视频流输入端与机器人运动的RGB图像和深度图像相连，电机运动控制信号输入端与电机驱动电路输入端相连；

初始化系统之后，所述CPU中：

网格细胞层，对应于设在室内地面上的二维笛卡尔坐标上所有m_g个坐标点组成的一个以矩阵形式表述的二维坐标点组成的矩阵，此时(x,y)坐标点对应的笛卡尔坐标系中的坐标；同时将网格细胞对应到二维坐标空间的网格点上，即一个网格细胞即对应着一个坐标点，坐标的原点对应于机器人运动时的初始点，设在网格角部，多个网格细胞放电域在一个坐标点上发生相互交叠时构成一个网格节点，x轴或y轴上的坐标点视为网格细胞在坐标点上的覆盖，头朝向细胞有其偏好位置放电率为最大；放电率为最大的位置为头朝向的最大偏好位置；在这每个节点上会有若干个头朝向细胞为其确定方向，确定方向的取值为0～360度；每个网格细胞节点综合作用下的偏好方向就是机器人实际的运动方向；表现为通过放电率判断网格细胞放电的方向，即相对于笛卡尔坐标系中的倾斜度；此时这个倾斜度即为机器人运动时的运动方向角；

机器人会通过视觉信息跟踪环境中的信息，以此来校正自运动信息；通过对深度相机传来的视频流进行RGB图和深度图的特征提取之后，对特征进行跟踪，通过计算视频流中的每一帧之间的变换关系即得到位置与位置之间的变换矩阵T经过计算之后会得到机器人在环境基于视觉的运动方位角和运动速度；此时与自运动信息进行权值加权之后获得校正之后的运动方位角和运动速度；

机器人在探索环境过程中，在时刻t，头朝向细胞产生一个角度调节信号，其放电率是与运动方位角相关；条纹细胞产生一个速度调节信号，其放电率与头朝向细胞的角度、相位、在头朝向方向移动的速度相关；

步骤(2)系统依次按如下步骤处理机器人自运动信息和外界异构信息，即描述机器人的位置：

步骤(2.1)网格细胞吸引子由其递归的连接权值决定；网格细胞递归的连接权值又与条纹细胞的连接权值一起作用于整个网格细胞吸引子网络；整个细胞建立模型使用二维连续吸引子模型；

步骤(2.2)位置细胞与位于内嗅皮质的网格细胞不同，位置细胞能够对空间位置进行特征性的编码，特征性的编码是认知地图的重要组成部分；位置细胞联合响应产生了对一个环境空间的离散表达；当位置细胞在此处被激发的时候，将会在以异我为参考系下的当前位置，建立大脑中位置野与外界环境特定位置之间的映射关系；由于位置细胞的输入即是网格细胞的输出且网格细胞表征了哺乳动物的运动信息，所以位置细胞的放电活动即表征了哺乳动物的运动信息，表现为路径积分系统的输出；又位置细胞具有单峰型放电且网格细胞在同一位置细胞下有多个存在，所以网格细胞到位置细胞之间是存在一种网络进行映射的；根据研究表明是一种竞争性的神经网络，本质是基于Heb学习的线性叠加方式；

步骤(2.3)位置细胞通过二维连续吸引子建模，构建对实际外界环境的度量模型，其作用是对外界环境相对位置进行度量；连续吸引子实际上是由神经板上的神经元通过局部兴奋、抑制连接、全局抑制三种方式共同表达形成一个活动包；活动包通过之前的头朝向细胞、条纹细胞、网格细胞通过路径积分来驱动；同时活动包也是构成之后认知地图上的经验激活点重要的组成部分；活动包的具体表示形式是一个二维高斯分布的放电模型，那么兴奋性连接变化量具体表示形式是在空间中的位置细胞二维矩阵；大小代表着位置细胞神经板的边界；由于步骤(1)中提到网格细胞与二维笛卡尔坐标系存在着对应关系，而且网格细胞作为位置细胞的输入，通过路径积分的形式来驱动，位置细胞的表现形式是放电，所以位置细胞的放电率以及放电野位置与实际环境的二维笛卡尔坐标也存在着对应关系；这种对应关系对下面的机器人处理外界环境信息和构建情景记忆地图有重要作用；

步骤(2.4)基于位置细胞放电率的峰值设定一个探测阈值，其作用是当机器人到达该阈值之后，需要对环境进行异我信息的构建；此时将记录由深度相机传来的RGB图和深度图，对环境进行情景认知与记忆；

步骤(3)系统依次按如下步骤处理机器人情景记忆与外接异构信息，即描述机器人该位置的情景认知信息：

步骤(3.1)由步骤(2.4)确定位置细胞探测阈值，当超过探测阈值时，系统将此时的视觉模板即包含外界视觉图像信息传入至情景认知系统；情景认知系统是基于一个深度轻量级神经网络的系统；此时，会根据之前训练的样本对环境中出现的信息进行搜索与识别，并通过一个矩形的方框将该物体框取出来；即确定相关物体在图片中的方位；在阈值范围内的若干个视觉模板中通过算法取合适的两张RGB图与深度图，对矩形方框区域内的物体其进行特征提取，并通过深度相机计算该物体相对此刻机器人位置细胞放电野中心最大放电率的位置即角度和距离；并通过步骤(2.3)得到的位置细胞与二维笛卡尔坐标系的对应关系得出该物体在位置细胞野上的预估位置，这样就将环境中的实际信息对应到情景认知地图中；当给机器人发出指令寻找该物体时，机器人就通过情景认知地图上的位置野找到其位置，并驱动机器人完成导航任务；

步骤(3.2)构建情景认知地图；综合步骤(2.3)、步骤(3.1)的机器人自运动信息和情景认知信息，构建情景认知地图，构建情景认知地图是一个个位置细胞位置野填满认知区域、自运动信息、情景认知信息组成的综合情景认知地图；使机器人的导航具有智能性，完成更加高级的任务；

步骤(4)系统按照步骤(3)、步骤(4)识别到的位置和情景认知信息融合得到的情景认知地图来进行具有智能性和高级性的导航任务：

步骤(4.1)机器人初始化，在认知地图中重定位；

步骤(4.2)用户给予机器人任务；机器人将确定认知地图中含有水杯信息的位置细胞位置野，并将其进行筛选，得到与当前机器人所在的位置细胞位置野最近的位置野；

步骤(4.3)设定行走路径，途径若干个位置细胞位置野；由于误差的存在，需要对机器人位置进行校正，设定导航位置野放电阈值；当超过导航位置野放电阈值，即通过视觉信息对当前机器人位置进行校正；判断是否偏离位置细胞放电野；若偏离，则进入重定位环节，并设定定位后的位置为起点，目标信息物体位置细胞位置野为终点进行导航；若没有偏离，则按原路径继续行驶。