CN113703322B - 仿鼠脑视觉通路和内嗅—海马结构的情景记忆模型构建方法 - Google Patents

Abstract

本发明提出一种仿鼠脑视觉通路和内嗅—海马结构的情景记忆模型构建方法，属于机器人环境认知与导航技术领域，主要应用于智能移动机器人的环境认知和导航，完成环境认知地图构建及面向目标导航等任务。采集环境的图像信息及机器人的角度与速度，角度与速度输入内嗅—海马CA3神经计算模型得到机器人的精确位置、方向信息；视觉信息输入视觉通路计算模型得到当前机器人视野内的情景信息。将上述两路信息融合并存储在具有拓扑结构关系的记忆单元模型中。利用情景信息对机器人探索过程中的路径积分误差进行纠正，进而构建环境表达的情景认知地图。

Description

仿鼠脑视觉通路和内嗅—海马结构的情景记忆模型构建方法

技术领域：

本发明属于智能移动机器人环境认知与导航技术领域，具体涉及一种基于鼠脑视觉通路与内嗅—海马认知机理的情景记忆模型构建方法。

背景技术

环境感知和认知是人和动物大脑的一项基本技能，也是自主移动式机器人的基本任务和关键问题。具备像高等哺乳动物一样的智能行为是其能够在复杂未知的环境中快速而准确地实现面向目标导航的必要条件。而如何将这种能力赋予机器人，是人工智能、机器人学以及神经科学等领域共同关心的问题。

生理学研究表明，大鼠能够进行环境认知与导航的关键在于其大脑内部存在的多种对空间有着特异性放电作用的神经元细胞，主要包括：内嗅皮层中的头朝向细胞、条纹细胞、网格细胞；外嗅皮层及周嗅皮层中的对象矢量细胞；海马结构中的齿状回神经元、CA3位置细胞以及CA1位置细胞等，该类神经元细胞同时也被称为空间细胞。

哺乳动物对环境的感知信息百分之七十是通过视觉通路来收集，并通过脑内回路进一步将信息传递给一个负责环境认知的叫做海马体的组织结构。在鼠脑结构中，速度与角度信息被认为是输入到内侧颞叶中的内嗅皮层。而视觉信息是通过枕叶输出神经中的两个神经通路来传递的，其中一条沿腹侧进行信息传递的通路被称为腹侧通路，该部分实现的主体功能是物体感知及识别，所以又被称为“what回路”；另一条沿背侧的通路叫做背侧通路，又称枕顶通路。其特异性于空间感觉，及对运动的信息编码，决定物体在哪里，并分析场景中物体的空间位置信息，同时可以给出自身相对外界位置信息，所以又被叫做“where回路”。腹侧通路和背侧通路融合之后的视觉信息被认为是输入到内嗅皮层非网格细胞结构或外嗅皮层，随后与内嗅皮层输出的位置、方向信息一并送入海马体。

在海马体中，速度、方向信息首先输入齿状回神经元，而后再传递至海马CA3区的位置细胞，实现对空间位置的神经元表征。随后与视觉信息融合，传递至海马CA1区的位置细胞并存储，实现对空间环境与空间位置的联合记忆。因此在鼠脑结构中，内嗅—海马CA3结构用于表征自身在环境中所处的位置；两条视觉通路用于表征所处空间环境的情景信息；而海马CA1结构的功能则是存储两者的融合信息。

尽管近年来人工智能技术发展迅速，现阶段的自主移动式机器人对环境的感知和认知能力还远没有达到人和动物的水平。因此借鉴和模拟人和动物的环境感知和认知机制，构建自主移动机器人的环境感知和认知模型已成为智能移动机器人研究中的一大热点问题。本发明基于鼠脑视觉通路与内嗅—海马的生理学特性及其环境认知机理，面向智能移动机器人及其未知环境自主探索问题，提出一种智能移动机器人情景记忆模型的构建方法。

发明内容

以往的机器人环境认知与导航模型主要面临如下问题：

1.以往的相关研究工作是感知层次上的离散的研究，难以为未知动态环境下的移动机器人导航提供足够的信息。

2.传统的行为学习方法已经无法满足人类对机器人智能的要求，难以为复杂未知环境下的机器人导航提供足够的信息。

3.以往的认知模型大多数是基于符号化知识表示的，具有这一类认知模型的机器人系统的行动能力不强，适应性与可扩展性较差。

为了解决上述问题导致机器人无法有效构建环境情景认知地图的问题，本发明提出一种基于鼠脑视觉通路与内嗅—海马认知机理的情景记忆模型构建方法，主要包括：1、鼠脑内嗅—海马CA3神经计算模型构建；2、“what回路”与“where回路”视觉通路计算模型构建；3、仿海马CA1位置细胞的记忆单元模型构建；4、基于记忆单元模型的情景认知地图构建。首先通过摄像头采集环境的图像信息，通过陀螺仪和编码器采集机器人的角度与速度信息，并将上述信息传输到CPU中。其中角度、速度信息被输入到内嗅—海马CA3神经计算模型，得到机器人的精确位置、方向信息；视觉信息被输入到视觉通路计算模型，得到当前机器人视野内的情景信息。将来自两个视觉通路的外界环境物体的属性、位置信息与来自鼠脑内嗅—海马CA3神经计算模型输出的位置、方向信息融合，存储在具有拓扑结构关系的记忆单元模型中。利用情景信息对机器人探索过程中的路径积分误差进行纠正，进而构建环境表达的情景认知地图。本发明方法的具体工作流程如下：

步骤1、机器人探索环境，通过摄像头采集环境的RGB图像信息，通过陀螺仪和编码器采集机器人的头朝向角度与速度信息；

步骤2、将头朝向角度与速度信息输入鼠脑内嗅—海马CA3神经计算模型，获取机器人在环境中的位置信息；

步骤3、将RGB图像信息输入到视觉通路计算模型，获得机器人视野内的环境特征，包括环境中物体的个数，环境中物体的属性信息，物体相对机器人的角度，以及物体与机器人的距离；

步骤4、构建认知节点：机器人每移动一次建立一个新的认知节点，机器人在探索环境的过程中不断建立认知节点，相邻认知节点之间存在拓扑连接关系，其中，第i个认知节点由eⁱ表示，用于存储当前情景信息与位置、方向角信息，eⁱ表示如下：

其中，代表第i认知节点处机器人的头朝向角度，/>代表第i认知节点处机器人在环境中的位置信息，/>代表第i认知节点处机器人视野内的环境特征，/>代表第i认知节点处物体的个数，当前的头朝向角度为/>ρ_ij代表第i认知节点处第j个物体的属性，Φ_ij代表第i认知节点处第j个物体相对机器人的角度，d_ij代表第i认知节点处第j个物体相对机器人的距离。

步骤5、构建环境表达的情景认知地图。

进一步的，步骤5包括如下步骤，

S5.1通过相似场景度量算法，建立情景信息相似的认知节点之间的拓扑连接关系，以扩展相邻认知节点之间的拓扑连接关系；

S5.2利用全体认知节点之间的拓扑关系，纠正移动机器人在探索过程中头朝向角和位置的累计误差，构建拓扑认知地图；

S5.3解算环境物体在物理坐标系中的位置，并将其标定在拓扑地图中，实现环境情景认知地图的构建。

本发明分别构建了基于鼠脑内嗅—海马回路的位置认知模型和基于视觉通路的环境认知模型，并利用情景信息对机器人探索过程中位置认知模型的路径积分误差进行纠正，进而构建了环境的情景认知地图。相较于传统SLAM中所使用的闭环检测方法，模仿生物认知机理而采用的物体级别的图像匹配在复杂、多变及重复性较强的环境中具有更好的鲁棒性。将该种闭环检测方式与累积误差的修正算法相结合，能够得到更加精确的环境认知地图。且本发明使用仿生的方式对硬件和传感器要求低，整个模型具有良好的扩展性和适应性，适用于不同室内环境的导航。

附图说明

图1：基于鼠脑视觉通路与内嗅—海马认知机理的情景记忆模型方法流程图

图2：基于条纹细胞性重置的大范围空间认知运行机理图

图3：条纹波振荡干涉生成网格细胞放电率表达的概念图

图4：CA3位置细胞板放电3D效果图

图5：目标位置识别算法的流程图

图6：利用DPM算法识别实际物理环境中物体的效果图

图7：所构建的情景认知地图的效果图

具体实施方式

下面结合附图与实例，针对本方法做详细说明。

图1为本发明提出的基于鼠脑内嗅—海马认知机理的情景记忆模型构建方法的执行流程图。本方法通过RGB-D摄像头采集环境的图像信息，通过陀螺仪和编码器采集机器人的角度与速度信息，并将上述信息传输到CPU中。构建内嗅—海马CA3神经计算模型和视觉通路计算模型分别获取机器人的位置信息与当前环境的情景信息，将其存储在记忆单元模型中以构建环境的情景认知地图。具体步骤如下：

1、内嗅—海马CA3神经计算模型构建

生理学研究表明，速度、角度信息通过鼠脑内嗅—海马信息传递通路输入至海马CA3区域，并形成自身位姿的表征。基于此，本发明提出一种内嗅—海马CA3神经计算模型的构建方法，以仿生的方式获取机器人的位置信息。

首先给出二维空间中条纹细胞放电率的数学表达式为：

V_stripe(t)＝cos(2πf·∫v_HD dt)+cos(2πf_d·∫v_HD dt) (2)

式(2)中t代表当前时刻，f代表神经元细胞体的振荡频率，其取值大小在0～256赫兹范围内随机选取，f_d代表神经元树突振荡频率。∫v_HDdt代表沿着条纹细胞偏好头朝向角度Φ_HD方向上的路径积分，其中v_HD代表大鼠在偏好头朝向角度Φ_HD上的分速度，其数学表达式如下：

v_HD＝vcos(Φ-Φ_HD) (3)

式(3)中，v代表当前机器人的移动速度，Φ代表当前机器人的头朝向角度。式(2)所表达的含义为两个频率所对应波形的相互作用，在一维空间中呈现一个新的波形，称为条纹波。其波形的包络线将存在一个较为缓慢的“拍”频率，该频率即为条纹波的振荡频率。设该频率大小为f_b，其数学表达式为：

f_b＝f_d-f (4)

条纹波振荡频率f_b的数学表达式分别如式(5)所示：

f_b＝v_HD/λ_b＝B₁vcos(Φ- Φ_HD) (5)

式(4)中λ_b代表条纹波波长，其取值大小在0.05m～100m范围内随机选取，B₁代表条纹波波长的倒数。结合式(3)与式(5)，则可得到神经元树突振荡频率f_d的数学表达式为：

f_d＝f+B₁vcos(Φ-Φ_HD) (6)

生理学研究表明，当三个条纹细胞的偏好头朝向角度各相差120°时，其所产生的条纹波通过二维平面中的振荡干涉机制可以在空间上形成遍布整个空间的正六边形网格野，图3为条纹波振荡干涉生成网格细胞放电率表达的概念图。因此网格细胞的放电率数学表达式为：

g(t)＝∏_HD(cos(2πf·∫v_HDdt)+cos(2π(f+Bvcos(Φ-Φ_HD))·∫v_HDdt)) (7)

式(7)中，三个条纹细胞偏好角度Φ_HD的取值分别为Φ_g+0°,Φ_g+120°,Φ_g+240°，其中Φ_g代表条纹细胞族的偏移角，其取值大小在为0°～360°之内的随机选取。Φ_g同时也代表网格野的定向角。得到网格细胞放电率之后，将其作为齿状回神经元的前向输入信号，网格细胞群向齿状回神经元传递的兴奋性输入信号的数学表达式为：

式(8)中，i和j分别代表齿状回神经元和网格细胞的序号，g_j(t)代表第j个网格细胞的放电率大小，n_grid代表网格细胞的数量。W代表兴奋性输入连接权值矩阵，其中W_ij代表第j个网格细胞到第i个齿状回神经元的连接权值，每一个连接权值的计算公式如下：

式(9)中s代表突触大小，取值大小在(0～0.2)μm²范围内随机选取。每一种大小的s对应其在所有突触中数量的占比P(s)大致服从以下数学表达式

式(10)中A＝100.7，B＝0.02，σ₁＝0.022，σ₂＝0.018，σ₃＝0.15。通过式(10)与式(11)即可对获取兴奋性输入连接权值矩阵W进行赋值，从而实现网格细胞到齿状回神经元的兴奋传递。齿状回神经元在给定空间区域内的放电活动服从WTA学习规则，该规则描述了伽马频率反馈抑制所产生的竞争活动。齿状回神经元放电率大小的数学表达式为：

式(11)中，k₁取0.1，其取值大小依据WTA学习规则决定了哪些齿状回神经元将会被激活。代表齿状回神经元接受网格细胞前向输入的最大值。H(x)是一个整流函数，当x>0时H(x)＝1；反之当x≤0时函数值为0。得到齿状回神经元的放电率表达之后，则能够计算齿状回神经元到海马CA3位置细胞的兴奋输入信号/>如式(12)所示，其计算方法与式(8)类似。

式(12)中，i和j分别代表CA3位置细胞和齿状回神经元的序号，n_dentate代表齿状回神经元的个数，设定为1000。代表齿状回神经元放电率的最大值，由于/>是恒大于零的，因此将其除以放电率最大值类似于归一化的操作。Ω代表兴奋性输入连接权值矩阵，其中Ω_ij代表第j个齿状回神经元到第i个CA3位置细胞的连接权值，取值范围为0～1。连接权重取值的分布函数被定义为一个非负的高斯分布，数学表达式如下：

式(13)中A₂＝1.033，μ＝24，σ＝13。通过式(12)与式(13)即可对获取兴奋性输入连接权值矩阵W进行赋值，从而实现齿状回神经元到CA3位置细胞的兴奋传递。海马CA3位置细胞同时接受来自内嗅皮层和齿状回神经元的前向输入，因此海马CA3位置细胞接受到的总兴奋输入信号的数学表达式为：

式(14)中，和/>分别为上文提及网格细胞与齿状回神经元的前向输入信号，/>代表网格细胞前向输入信号的平均强度，其数学表达式为：

式(15)中，n_CA3代表CA3位置细胞的数量，设定为1600。随后即可得到海马位置细胞的放电率表达，数学表达式如下，其计算方法与式(10)类似。

式(16)中代表CA3位置细胞接受到的总兴奋输入信号最大值，k₂值取0.1。通过式(2)至式(16)即可建立内嗅皮层到海马CA3区的信息传递映射模型。

2、位置认知模型构建

为了使模型具有位置认知的能力，实现位置细胞放电率在实际物理空间中的量化，建立了由海马CA3位置细胞组成的空间位置认知模型。首先将全体CA3位置细胞按照顺序排列成能够表征位置的细胞板模型，细胞板的形状为正方形。由上文可知CA3位置细胞的个数为n_CA3，则细胞板的边长其所对应的编码区域设定为正方形区域，区域的边长为L，取值大小在5m～20m范围内为宜。因此每个位置细胞的位置野中心坐标的数学表达式如下：

式(17)中，i,j分别代表当前位置细胞在细胞板上的列数与行数，r_ij代表该位置细胞位置野中心的坐标。通过将CA3位置细胞建模成一块正方形的细胞板，使由内嗅皮层产生的前向输入能够在细胞板上以兴奋活动包的形式表征出来。CA3位置细胞之间同样也存在着相互作用，在局部连接中CA3位置细胞通过突触分支对周围的细胞产生兴奋与抑制作用，最终导致兴奋作用最强的神经细胞在竞争中获胜，形成单峰型的兴奋活动包。图4为CA3位置细胞板放电效果图。

一个二维的高斯分布被用于创建CA3位置细胞的兴奋性权值连接矩阵ε_m,n，其中下标m和n分别代表坐标系X和Y中所属单元横纵坐标之间的距离，其值均设定为15。兴奋性权值连接矩阵的权值分布数学表达式为：

式(18)中，k_p代表位置分布宽度常量，取值为7。由于局部兴奋性连接导致的t时刻CA3位置细胞活动的变化量为：

式(19)中，代表t时刻细胞板上第i行第j列位置细胞经过相互作用之后的放电率大小，其初始值即为CA3位置细胞的放电率输出/>CA3位置细胞的抑制信号发生在局部性兴奋连接之后，而不是同时起作用。兴奋性和抑制性连接矩阵的对称性保证了合适的神经网络动力学，确保空间中的吸引子不会无限制地兴奋。t时刻CA3位置细胞由抑制性连接权值引起的活动变化量为：

式(20)中，ψ_m,n是抑制性连接权值，控制全局性的抑制水平，取值大小为0.00002。由于所有CA3位置细胞的活动都是非零的并且进行归一化，因此为确保所有时刻的所有位置细胞的放电率均不小于零，将全体位置细胞的放电率与0进行比较，并对结果进行归一化操作，其计算的数学表达式如下：

式(21)、(22)中的t与t+1分别代表当前时刻与下一时刻，通过式(16)至式(21)的建模方法，可以实现由内嗅皮层输入的兴奋活动包能够将内嗅皮层产生的前向输入能够在细胞板上以兴奋活动包的形式表征出来。随后通过获取兴奋活动包在细胞板上的位置，可得到当前机器人在当前位置细胞板所编码空间区域中所处的位置，其计算的数学表达式为：

式(23)中，和/>分别代表t时刻兴奋活动包在位置细胞板上的横纵坐标。为了使模型不仅仅局限于编码区域内的空间认知，引入对区域边界有着特异性放电作用的神经元—边界细胞。当到达编码的区域边界时，边界细胞放电刺激条纹细胞放电活动的重置，从而实现大鼠对任意大小空间区域内的位置认知。

具体实现方法为：初始时刻设定大鼠位于位置细胞板编码的正方形区域中心，当大鼠到达给定编码区域空间的任意边界时，将所有条纹细胞关于偏好头朝向角度Φ_HD方向上的路径积分项∫v_HDdt置零，使得大鼠处于重置以后的位置细胞板编码的正方向区域中心。通过该方式，每完成一次条纹细胞的放电重置，位置细胞板就可以立即生成对新空间区域的编码，从而完成机器人对任意大小空间的位置认知。

机器人运动的初始位置位于位置细胞板所编码正方形区域面积的中央，定义物理坐标系以初始运动位置为原点，位置细胞板的水平方向为X轴正方向，下文中所提及的物理坐标系均为该坐标系。则机器人在任意大小空间区域内的位置坐标数学表达式如下：

式(24)中β为位置细胞板上的坐标向真实位置坐标转换的比例系数，其取值为正方形编码区域的边长L与位置细胞板的边长N_x的比值。Q_X和Q_Y分别代表上一次网格野重置时大鼠在任意大小空间区域内的横纵坐标。通过上述计算可获取大鼠在任意大小空间区域内的位置，为后续记忆单元模型的构建提供了精确的位置信息。

3、视觉通路计算模型构建

构建视觉通路计算模型的目的在于情境认知，即当机器人在环境中探索时，首先能够准确识别出当前视野内所有物体的属性，模拟“what回路”的功能；然后分别针对每一个识别出的物体，解算其相对于当前机器人的方位信息，模拟“where回路”的功能。本发明中的目标检测算法采用具有较强鲁棒性的DPM算法。然而现阶段目标位置识别算法大多数采用直接通过深度图与被识别物体在RGB图中的位置相结合来估算，该类方法的计算误差较大。针对该问题本发明提出一种目标位置识别算法，通过旋转机器人使待检测物体置于视野中央，再利用深度相机获取物体与机器人的距离。

实际物理实验中机器人采集的RGB图像像素设定为1920*1080，则视野中央的像素值p_{graph_middle}＝1920/2。机器人旋转控制通过左右轮的差速实现，即当机器人左右轮分别以相同速度大小反向运动时，机器人就能够在原地旋转运动，旋转速度设为ω。图5为目标位置识别算法的流程图，算法具体实施步骤如下：

当机器人在环境中探索时，每移动一次将面对一个新的情景，定义i为场景序号。首先通过DPM算法识别出i场景下物体的个数，设为当前的头朝向角度为/>设i场景下当前被检测的物体序号为j，第j个待检测物体的属性定义为ρ_ij。随后依次解算每个物体的方位信息：求取DPM算法获取的第j个待检测物体左右边界在图像中位置的平均值，得到物体水平方向上的中心在图像中的像素位置，令其为p_{object_middle}。为了使待检测物体置于视野中央，采用PID算法机器人的旋转速度进行闭环控制。

当前的像素偏差e_{object_middle}的数学表达式为：

e_{object_middle}＝p_{graph_middle}-p_{object_middle} (25)

则通过PID算法得到的当前旋转速度ω给定值的数学表达式为：

式(26)中，k_P,k_I,k_D分别代表PID控制器的比例、积分、微分项系数，其值大小的选取与实际物理环境和机器人的硬件结构、配置有关。当待检测物体置于视野中央时，记录此时的机器人头朝向角度Φ，则i场景下第j个物体相对于旋转前机器人的方向角与此同时，通过深度相机获取机器人与待测物体的距离d_ij，通过上述操作即可获取物体j相对于当前时刻机器人的方位信息。依次获取i场景下/>个物体的属性与方位信息，待当前情景中所有物体的方位信息均获取之后，将机器人的头朝向角度重新旋转至/>继续在环境中探索与认知。情景信息的获取为后续认知地图构建奠定了基础，图6为利用DPM算法识别实际物理环境中物体的效果图。

4、情景记忆单元模型构建

海马CA1区位置细胞是由角度、速度和视觉信息共同刺激的神经元细胞，是构建环境认知地图的基本单位，因此单个海马CA1区的位置细胞可以被称为一个记忆单元。认知地图由若干个具有拓扑关系的记忆单元组成，单个记忆单元被称为一个认知节点。认知节点与情景信息相对应，机器人每移动一次将建立一个新的认知节点。

第i个认知节点由eⁱ表示，存储当前情景信息与位姿信息，其数学表达式如式(1)所示。式中，分别代表认知节点处的头朝向角度、位置和情景信息。头朝向角度、位置由内嗅—海马CA3神经计算模型获得；情景信息由视觉通路计算模型获得，位置坐标同样代表着海马CA1位置细胞的放电野的中心坐标。单个记忆单元与其他记忆单元之间也存在着联系，每个认知节点eⁱ均与其上下时刻的认知节点存在拓扑连接关系(即相邻认知节点之间存在拓扑连接关系)。当视觉通路输出的当前情景信息与已生成认知节点所存储的情景信息相匹配时，则建立当前认知点和与之匹配认知点之间的联系。

判断两个认知节点的情景信息是否匹配的步骤如为：设有两个认知节点e^a和e^b，首先判断两个情景中的物体数量是否相同以及判断对应物体的属性是否一致，若上述两个条件存在一个不满足则判断两个情景不匹配；反之则通过度量情境中每个物体的方位信息是否一致，度量函数S(e^a,e^b)的数学表达式为：

式(27)中，μ_Φ和μ_d分别代表方向信息和距离信息的权重，满足μ_Φ+μ_d＝1，两者的取值应结合实际的物理场景与角度和距离的单位来进行选取。一般情况下当角度以弧度制为单位，距离以米为单位时，μ_Φ的取值大小介于0.1～0.3之间，μ_d的取值介于0.7～0.9之间。设定匹配阈值为S_th，取值大小根据实际情况选取合适的值。当度量函数值小于匹配阈值时，则判断两个场景匹配，此时建立认知节点e^a和e^b之间的拓扑关系；反之亦然。

在认知节点不断地累积过程中，其相对误差也在累加，导致机器人自身定位的位置与当前实际位置不匹配，因此需要运用其拓扑结构进行认知节点位置的调整。已知当前认知节点为eⁱ，与其相关联的认知节点为e^k，则认知节点eⁱ和e^k的位姿修正的数学表达式如下。

首先计算认知节点的改变量Δx_ik、Δy_ik和如式(28)所示。

式(28)中，和/>分别代表关联认知点eⁱ和e^k所对应海马位置细胞放电野中心的横纵坐标，d_ik代表认知点eⁱ和e^k所对应海马位置细胞放电野中心的距离，/>和/>分别代表认知点eⁱ和e^k处的头朝向角度。得到改变量之后，则可根据改变量的大小逐步地迭代计算出修正之后的节点参数，相关数学表达式如式(29)和(30)所示。

式(29)和式(30)中，t与t+1分别代表每一次迭代运算前后时刻，δ代表累积误差的修正率，一般取值为0.5。在实际认知地图构建过程中，随着迭代次数的增加，地图更新量的值逐渐减小，此时再对地图进行迭代更新所产生的效果不显著且耗费处理器的计算时间，影响算法的实时性。基于此，本文提出一种认知地图收敛度的判断方法，具体步骤如下。首先定义t时刻的地图收敛量为Δd(t)，其数学表达式如式(31)所示。

式(31)中n_sum代表当前认知节点的总数，n_i代表与认知节点i关联的节点数。设收敛判据比例因子为σ，取值大小根据实际情况，通常在0.0001～0.005范围之内选取。当Δd(t)-Δd(t+1)<σΔd(t+1)时，判断此时无需再继续进行地图更新迭代；反之则继续执行认知地图构建的更新迭代。得到环境的拓扑认知地图与情景信息后，则可将二者融合得到环境的情景认知地图。具体做法为：根据上文中求得的机器人在物理坐标系中的位置与物体相对于机器人的方位信息，则可计算出所有物体在物理坐标系中的位置，将每个物体按照属性和位置信息标定在包含拓扑地图的物理坐标系中即可得到环境表达的情景认知地图。图7为所构建的情景认知地图的效果图。

Claims (1)

1.一种基于鼠脑视觉通路与内嗅—海马认知机理的情景记忆模型构建方法，其特征在于包括以下步骤：

步骤1、机器人探索环境，通过摄像头采集环境的RGB图像信息，通过陀螺仪和编码器采集机器人的头朝向角度与速度信息；

步骤2、将头朝向角度与速度信息输入鼠脑内嗅—海马CA3神经计算模型，获取机器人在环境中的位置信息；

步骤3、将RGB图像信息输入到视觉通路计算模型，获得机器人视野内的环境特征，包括环境中物体的个数，环境中物体的属性信息，物体相对机器人的角度，以及物体与机器人的距离；

步骤4、构建认知节点：机器人每移动一次建立一个新的认知节点，机器人在探索环境的过程中不断建立认知节点，相邻认知节点之间存在拓扑连接关系，其中，第i个认知节点由eⁱ表示，用于存储当前情景信息与位置、方向角信息，eⁱ表示如下：

其中，代表第i认知节点处机器人的头朝向角度，/>代表第i认知节点处机器人在环境中的位置信息，/>代表第i认知节点处机器人视野内的环境特征，/>代表第i认知节点处物体的个数，当前的头朝向角度为/>ρ_ij代表第i认知节点处第j个物体的属性，Φ_ij代表第i认知节点处第j个物体相对机器人的角度，d_ij代表第i认知节点处第j个物体相对机器人的距离；

步骤5、构建环境表达的情景认知地图；

步骤2进一步包括以下步骤，

S1.1将机器人的角度与速度信息输入条纹细胞的放电模型，得到条纹细胞的放电率；

S1.2将条纹细胞的放电率输入网格细胞的放电模型，得到网格细胞放电率；

S1.3将网格细胞放电率输入齿状回神经元放电模型，得到齿状回神经元放电率，然后将网格细胞放电率和齿状回神经元放电率输入海马CA3位置细胞放电模型，得到海马CA3位置细胞放电率；

S1.4计算机器人在环境中的位置；

所述条纹细胞放电率的数学表达式为：

V_stripe(t)＝cos(2πf·∫v_HDdt)+cos(2πf_d·∫v_HDdt) (4)

式(4)中V_stripe表示放电率，t代表当前时刻，f代表神经元细胞体的振荡频率，f_d代表神经元树突振荡频率，∫v_HD dt代表沿着条纹细胞偏好头朝向角度Φ_HD方向上的路径积分，其中v_HD代表机器人在偏好头朝向角度Φ_HD上的分速度，其数学表达式为：

v_HD＝vcos(Φ-Φ_HD) (5)

式(5)中，v代表采集到的当前机器人的移动速度，Φ代表采集到的当前机器人的头朝向角度，神经元树突振荡频率f_d的数学表达式为：

f_d＝f+B₁vcos(Φ-Φ_HD) (6)

其中B₁为条纹波波长的倒数，所述网格细胞放电模型由偏好头朝向角度各相差120°的三个条纹细胞放电率叠加得到，具体的数学表达式为：

g(t)＝∏_HD(cos(2πf·∫v_HDdt)+cos(2π(f+Bvcos(Φ-Φ_HD))·∫v_HDdt)) (7)

式(7)中，g(t)代表网格细胞放电率，三个条纹细胞偏好角度Φ_HD的取值分别为Φ_g+0°，Φ_g+120°，Φ_g+240°，其中Φ_g代表条纹细胞族的偏移角，其取值大小在为0°～360°之内的随机选取，Φ_g同时也代表网格野的定向角；第i个齿状回神经元接受的兴奋性输入的数学表达式为：

式(8)中，i和j分别代表齿状回神经元和网格细胞的序号，g_j(t)代表第j个网格细胞的放电率大小，n_grid代表网格细胞的数量，W代表兴奋性输入连接权值矩阵，其中W_ij代表第j个网格细胞到第i个齿状回神经元的连接权值，每一个连接权值的计算公式如下：

式(9)中s代表突触大小，取值大小在(0～0.2)μm²范围内随机选取，每一种大小的s对应其在所有突触中数量的占比P(s)服从以下数学表达式：

式(10)中A₁＝100.7，B₂＝0.02，σ₁＝0.022，σ₂＝0.018，σ₃＝0.15，通过式(9)与式(10)即可对连接权值矩阵W进行赋值，从而实现网格细胞到齿状回神经元的兴奋传递，所述齿状回神经元放电率大小的数学表达式为：

式(11)中，表示齿状回神经元放电率，k₁取0.1，/>代表齿状回神经元接受网格细胞前向输入的最大值，H(x)是一个整流函数，当x＞0时H(x)＝1；反之当x≤0时函数值为0，所述齿状回神经元到海马CA3位置细胞的兴奋输入信号/>如式下所示：

式(12)中，i和j分别代表CA3位置细胞和齿状回神经元的序号，n_dentate代表齿状回神经元的个数，代表齿状回神经元放电率的最大值，Ω代表兴奋性输入连接权值矩阵，其中Ω_ij代表第j个齿状回神经元到第i个CA3位置细胞的连接权值，取值范围为0～1，连接权重取值的分布函数被定义为一个非负的高斯分布，数学表达式如下：

式(13)中A₂＝1.033，μ＝24，σ＝13，通过式(9)与式(10)即可对获取兴奋性输入连接权值矩阵Ω进行赋值，从而实现齿状回神经元到CA3位置细胞的兴奋传递，所述海马CA3位置细胞接受到的来自内嗅皮层和齿状回神经元的前向输入的数学表达式为：

式(14)中，和/>分别为上文提及网格细胞与齿状回神经元的前向输入信号，/>代表网格细胞前向输入信号的平均强度，其数学表达式为：

式(15)中，n_CA3代表CA3位置细胞的数量，所述海马CA3位置细胞放电模型的数学表达式如下：

式(16)中代表CA3位置细胞接受到的总兴奋输入信号最大值，k₂取0.1；

进一步的，步骤S1.4包括以下步骤，

步骤S1.4.1、构建能够编码给定空间区域的位置细胞板模型，细胞板的形状为正方形，细胞板的边长N_x，并获取机器人在给定空间区域中的位置坐标，其中，当前机器人在当前位置细胞板编码空间区域中所处的位置，其计算的数学表达式为：

式(2)中，和/>分别代表t时刻兴奋活动包在位置细胞板上的横纵坐标，/>表示t时刻细胞板上第i行第j列位置细胞的放电率大小，具体根据海马CA3位置细胞放电率计算得到；

步骤S1.4.2、利用边界细胞对编码区域边界特异性放电这一生理特性，实现其对条纹细胞放电的周期性重置，获取机器人在任意大小空间区域的位置坐标，

具体实现方法为：初始时刻设定机器人位于位置细胞板编码的正方形区域中心，当机器人到达给定编码区域空间的任意边界时，该边界所对应的边界细胞就会产生特异性放电，将所有条纹细胞关于偏好头朝向角度Φ_HD方向上的路径积分项∫v_HD dt置零，使得机器人处于重置以后的位置细胞板编码的正方向区域中心，通过该方式，每完成一次条纹细胞的放电重置，位置细胞板就可以立即生成对新空间区域的编码，从而完成机器人对任意大小空间的位置认知；

定义物理坐标系以初始运动位置为原点，位置细胞板的水平方向为X轴正方向，与之垂直的方向为Y轴方向，则机器人在任意大小空间区域内的位置坐标数学表达式如下：

式(3)中β为位置细胞板上的坐标向真实位置坐标转换的比例系数，其取值为正方形编码区域的边长L与位置细胞板的边长N_x的比值，Q_X和Q_Y分别代表上一次网格野重置时机器人在任意大小空间区域内的横纵坐标，为后续记忆单元模型的构建提供了精确的位置信息；

进一步的，视觉计算通路模型包含“what回路”与“where回路”，其中，“what回路”模型采用DPM算法，其输入为环境RGB图像信息输入，用于得到环境中物体的个数和属性信息；

“where回路”模型用于获取物体相对机器人的方位信息，包括相对于机器人的方向、与机器人之间的距离，工作过程为：通过旋转机器人使待检测物体置于视野中央，机器人旋转前后的头朝向角度之差即为物体相对机器人的角度，再利用深度相机获取物体与机器人的距离，以此来获取物体相对于机器人的方位；

进一步的，“where回路”模型具体工作过程为：当机器人在环境中探索时，采用PID算法机器人的旋转速度进行闭环控制，使待检测物体置于视野中央，机器人每移动一次将面对一个新的情景，定义i为场景序号，首先通过DPM算法识别出i场景下物体的个数，设为当前的头朝向角度为/>设i场景下当前被检测的物体序号为j，第j个待检测物体的属性定义为ρ_ij；

随后依次解算每个物体的方位信息，当前的像素偏差e_{object_middle}的数学表达式为：

e_{object_middle}＝p_{graph_middle}-p_{object_middle} (17)

p_{graph_middle}代表视野中央的像素值，p_{object_middle}代表待检测物体左右边界在图像中位置的平均值，通过PID算法得到的当前旋转速度ω给定值的数学表达式为：

当待检测物体置于视野中央时，记录此时的机器人头朝向角度Φ，则i场景下第j个物体相对于旋转前机器人的方向角与此同时，通过深度相机获取机器人与待测物体的距离d_ij，通过上述操作即可获取物体j相对于当前时刻机器人的方位信息，依次获取i场景下/>个物体的属性与方位信息，待当前情景中所有物体的方位信息均获取之后，将机器人的头朝向角度重新旋转至/>继续在环境中探索与认知；

进一步的，步骤5包括如下步骤，

S5.1通过相似场景度量算法，建立情景信息相似的认知节点之间的拓扑连接关系，以扩展相邻认知节点之间的拓扑连接关系；

S5.2利用全体认知节点之间的拓扑关系，纠正移动机器人在探索过程中头朝向角和位置的累计误差，构建拓扑认知地图；

S5.3解算环境物体在物理坐标系中的位置，并将其标定在拓扑地图中，实现环境情景认知地图的构建；

所述相似场景度量算法具体如下，

设有两个认知节点e^a和e^b，首先判断两个情景中的物体数量是否相同以及判断对应物体的属性是否一致，若上述两个条件存在一个不满足则判断两个情景不匹配；若都满足，则通过度量情境中每个物体的方位信息是否一致，具体度量函数S(e^a，e^b)的数学表达式为：

其中，μ_Φ和μ_d分别代表方向信息和距离信息的权重，满足μ_Φ+μ_d＝1，设定匹配阈值为S_th，当度量函数值小于匹配阈值时，则建立认知节点e^a和e^b之间的拓扑关系；

步骤S5.2具体包括，

已知当前认知节点为eⁱ，与其存在拓扑关系的认知节点为e^k，则认知节点eⁱ和e^k的位置及方向角修正的数学表达式如下，

首先计算认知节点的改变量Δx_ik、Δy_ik和如式(20)所示：

式(20)中，和/>分别代表关联认知点eⁱ和e^k所对应海马位置细胞放电野中心的横纵坐标，d_ik代表认知点eⁱ和e^k所对应海马位置细胞放电野中心的距离，/>和/>分别代表认知点eⁱ和e^k处的头朝向角度，得到改变量之后，则可根据改变量的大小逐步地迭代计算出修正之后的节点参数，相关数学表达式如式(21)和(22)所示，式(21)和式(22)中，t与t+1分别代表每一次迭代运算前后时刻，δ代表累积误差的修正率，

步骤S5.2之后加入地图收敛判据算法，提高认知地图构建过程的实时性，具体为：定义t时刻的地图收敛量为Δd(t)，其数学表达式如下：

式(23)中n_sum代表当前认知节点的总数，n_i代表与认知节点i存在拓扑关系的节点数，设收敛判据比例因子为σ，当Δd(t)-Δd(t+1)＜σΔd(t+1)时，地图更新迭代结束；否则，则继续执行认知地图构建的更新迭代；

步骤S5.3具体如下，

得到环境的拓扑认知地图与情景信息后，则可将二者融合得到环境的情景认知地图，具体做法为：根据上文中求得的机器人在物理坐标系中的位置与物体相对于机器人的方位信息，则可计算出所有物体在物理坐标系中的位置，将每个物体按照属性和位置信息标定在包含拓扑地图的物理坐标系中即可得到环境表达的情景认知地图。