CN101432737B

CN101432737B - 具有基于海马状突起的模拟神经系统的移动的基于大脑的设备

Info

Publication number: CN101432737B
Application number: CN2005800290728A
Authority: CN
Inventors: 杰拉尔德·M·埃德尔曼; 杰弗里·L·克里查玛; 道格拉斯·A·尼兹
Original assignee: Neurosciences Research Foundation Inc
Current assignee: Neurosciences Research Foundation Inc
Priority date: 2004-07-15
Filing date: 2005-07-13
Publication date: 2012-05-30
Anticipated expiration: 2025-07-13
Also published as: KR101126774B1; JP2008507745A; EP1782301A2; WO2006019791A3; US8285657B2; KR20070030960A; US20110071968A1; US7844556B2; US20060129506A1; EP1782301A4; WO2006019791A2; US7467115B2; US20090089229A1; CN101432737A

Abstract

一种基于大脑的设备(BBD)，具有物理移动设备NOMAD控制、并在模拟神经系统的控制之下。模拟神经系统基于海马状突起及其周围包括皮层的神经元区域的错综解剖和生理结构。BBD将来自多个目标的空间信号在时间上积分，并提供灵活的导航解决方案以帮助未知环境的探测。随着NOMAD在现实世界环境中的导航，模拟神经系统的海马状突起在时标上对从NOMAD上的传感器接收到的多峰输入信息进行组织，并使用该组织来开发导航所必需的空间和间歇记忆。

Description

具有基于海马状突起的模拟神经系统的移动的基于大脑的设备

本申请要求由Gerald M.Edelman等人在2004年7月15日提交的名为“Mobile Brain-Based Device Having a Simulated Nervous SystemBased on the Hippocampus”的美国临时专利申请No.60/588,107(代理号No.NSRF-01001US0)的优先权益；以及由Gerald M.Edelman等人在2005年7月12日提交的名为“Mobile Brain-Based Device Having aSimulated Nervous System Based on the Hippocampus”的美国专利申请No.11/179,371(代理号No.NSRF-01001US1)的优先权益。

技术领域

本发明涉及基于大脑的设备，更具体地，涉及可以在现实世界环境中导航的基于大脑的设备。

背景技术

已经开发了智能系统，这些智能系统倾向于自主行动、以智能方式自动操作任务、以及扩展人类知识。这些系统实质上分别基于已知技术的三个独立领域进行设计和建模，这些领域是

(1)人工智能(AI)；

(2)人工神经网络(ANN)；以及

(3)基于大脑的设备(BBD)。

基于AI和ANN的智能系统包括数字计算机，该数字计算机编程以执行大到与机器人下棋的范围的任务。AI算法是基于逻辑的，并预先编程以执行使用详细的软件指令实现的复杂算法。ANN是对不考虑神经系统结构(即，神经解剖)的生物神经元的过分简单的抽象，并通常需要指导或示教信号来得到所期望的结果。另一方面，BBD基于不同的原理和不同的方案来开发智能系统。

BBD是基于基础神经生物学原理的，并在大脑基础的感知和获知在生命体中的发现之后进行建模。BBD将模拟的大脑或神经系统与详细的神经解剖和控制行为和形状记忆的神经系统动态相结合。BBD还具有物理实例(称为形态学或表现型)，用于允许在环境中的积极感知和自主运动。与生命体类似，BBD将从环境中接收的未标记信号组织为类别。当显著的环境事件发生时，具有称为值系统的模拟神经元区域的BBD调整设备的行为。

基于逻辑的智能系统和BBD进行操作所依据的不同原理是非常重要的。这些原理的强大使得基于逻辑的机器不会有效地处理新情况、也不会同时处理大的数据集合。通过它们的性质，由于典型地，这些由不期望的和变化的多种成分和意外事件组成，所以不能提前对新情况进行编程。此外，具有宽泛参数和变化的环境的情况可以导致编程中的实质不同。以及，许多算法具有较差的缩放属性，这表示运行这些算法所需的时间随输入变量的增长量呈指数增加。

因此，在诸如机器人系统之类的智能系统中的挑战性问题在于对未知地形的成功探索。在现实世界中的探索需要解决导航和空间记忆任务。然而，在该任务中所需成功的记忆需要仅在生命体中发现的特征，并将这认为是“间歇(episodic)”记忆的特点，即(1)将多模式感观信息共同放入相干图案的能力，(2)将时间段内的信息放在一起、并恢复时间序列的能力，以及(3)使用用于目标指向行为的记忆的能力。已知位于大脑内侧颞叶中、并已经在临床上和生理上进行了很好地研究的海马状突起对于人类和动物中记忆和导航至关重要。因此，海马状突起启发了现有的生物基础导航系统，其中的一些是计算海马模型，以及其中的其它是已经应用于机器人的海马模型，但是二者均具有它们的局限性。

先前的计算海马状突起模型已经使用虚拟输入作为在计算机上运行的模拟。这些计算海马状突击模型作出假设，并使用“先验”信息来得到输入的适合响应。例如，这些计算模型的海马状突起“地点”单元(即，当动物处于环境的特定位置中时的活跃的神经元)对由建模者特别设计的感觉输入组合(如，笛卡儿空间中的2-D(二维)点)作出响应。部分原因在于，作出这些假设是由于计算海马状突起模型不位于现实环境中，从而必然存在偏差。

计算海马状突起模型中的一些研究了海马状突起与大脑的其它区域(如，新大脑皮层)之间的交互作用。然而，这些模型的一些解剖非常简单，并且并没有以有意义的方式真实地反映出海马状突起-皮层的交互作用。一个这样的模型将海马状突起形成与可以认为是皮层输入的视觉和路径综合处理进行结合，并作出以下假设：通过反映了针对环境地图的动物运动的活动的移动碰撞来解决路径综合。如果动物处于现实环境中，则这将不可行。其它则构建了海马状突起的复杂模型，该模型在海马状突起本质(proper)中具有适合的连接，以及该模型用于将记忆条件和问题(issue)结合。尽管该模型非常详细，但是其中的输入是无法容忍会聚于海马状突起的处理后的多模式感觉输入的标记或符号。该模型产生了作为记忆回想读出的抽象输出图案。然而，例如，难以使用海马状突起响应导致了实际的适应行为的啮齿动物的抽象输出图案来分析该响应。

尽管也针对移动机器人来对海马状突起模型进行例示，但是这些模型中的许多也作出了这样的假设：如，“先验”信息驱动海马状突起“地点”单元的响应、或者输入海马状突起的地图的响应。一些机器人模型(不包括在导航任务中控制移动机器人的神经模拟)通过自发探测来学习映射(mapping)和海马状突起响应。一个这样的模型非常不精确地依赖于神经生物学，并使用与用于学习的称为后向传播相类似的学习算法。这开发了由啮齿动物海马状突起激发的同步定位和映射算法，称为RatSLAM，这是在人工智能SLAM系统与被认为在海马状突起中表示的吸引子动态之间的混合，用于创建环境的类地图表示。其它则构建了机器人模型，该机器人模型将视觉输入与前进方向系统结合，其中，在模型的海马状突起层中开发的“地点”单元和基于生物的奖赏系统驱动在“地点”单元与目标指向行为之间的学习。然而，该模型的一些特征对于生物来说并不真实。(1)首先，当机器人模型判断已经发现了新地点时，将“地点”单元添加至成长的海马状突起层。在诸如啮齿动物之类的实物中，海马状突起单元可以依据上下文或输入的任何组合，来响应多个地点。与专用定位系统相反，该灵活性对海马状突起作出多用途记忆地图。此外，不在需要的基础上添加海马状突起单元。(2)其次，机器人模型是前馈的，并且不考虑本征和非本征，这是海马状突起的特征。在另一系统中，构建了海马状突起神经解剖和基于生物的目标系统，在移动机器人上对该系统进行测试。然而，在设计响应以唯一地覆盖受控环境的网格的情况下，“地点”单元是人工的。奖赏学习用于在这些地点之间构建认知地图。此外，尽管在模型中包括了在海马状突起和周围区域中发现的大量细节，但是信息通过该模型以纯前馈方式流动，并且不通过内嗅皮层循环回来、然后继续循环至新大脑皮层(neocortex)。

大约十年前，开发了同步创建地图、同时将机器人的位置定位的统计框架，这通常称为SLAM(同步定位和映射)。从那时起，便由概率技术来通知机器人映射领域。最流行的是估计理论或基于卡尔曼滤波器的方法，这是由于它直接提供了对于导航问题的递归解决方案，以及一种基于车辆运动的统计模型和路标观察来计算车辆和路标位置的一致性估计的装置。典型地，这些计算机方法通过激光范围探测器、声纳、或雷达来测量到路标的距离，以创建路标地图并同步地估计机器人的位置。这些技术在用于特定办公环境、室外环境中的机器人、以及用于无人驾驶飞行器创建地图方面非常成功。然而，这些技术并没有解决识别目标或情况、并采取适合的行动(即，导航)的问题。

发明内容

本发明是一种基于大脑的设备(BBD)，该设备能够适于通过学习它可以经过的地形的方面、以及它必须绕行的方面来改变地形。BBD针对超过先前机器人系统映射的环境的方面来作出判断。这些判断需要由本发明的BBD作出的局部目标特征的感知分类，从而使BBD能够绘制路线。

本发明的BBD包括具有神经区的模拟神经系统(具体地，海马状突起、腔壁皮层、下颞叶皮层)和丘脑方向系统。在海马状突起与这些区域(见图3A)之间的双向连接性、以及在海马状突起(见图3B)内的错综连接性包括系统，该系统在一段时间内使多峰信息循环，并运行形成具有时间上下文的关联记忆。BBD还具有移动底座，使它能够在模拟神经系统的控制下，在现实世界环境中四处移动，并具有使BBD能够识别目标并选择具有数值结果的动作的多传感器输入。

对于要在复杂地形中导航的本发明的BBD，这些可以将来自基于激光器或雷达的模拟定位和映射(SLAM)的信号与BBD目标识别系统和空间中的动作地图组合。

附图说明

图1是物理的、移动的基于大脑的设备的图示。

图2A是本发明的BBD移动的封闭环境的示意图。

图2B是图2A中描述的封闭环境中的BBD的截图。

图3A是示出了神经模拟连接的BBD模拟神经系统的区域和功能神经解剖的示意性的高层图示。

图3B详细地示出了图3A的海马状突起区域内的连接性。插图描述了突触改变规则，这是基于BCM学习规则的。

图4图示性地示出了在隐藏平台训练试验期间的本发明BBD的代表性轨迹。

图5是在隐藏平台任务期间测试的本发明BBD的多个实施例的平均逝去时间的图示。

图6A和6B图示性地示出了在探查试验期间的本发明BBD的各个实施例的轨迹。

图7A-7D示出了在模拟神经区域CA1中记录的四个代表“地点”区域。

图8A-8F是在海马状突起模型中描述了旅程相关和无关单元的图表。

图9A-9H示出了在各个试验期间，在神经区CA1中的各个旅程相关“地点”单元。

图10是根据本发明不同实施例的系统的示例性示例。

图11是神经模拟器初始化的流程图示例。

图12是根据本发明不同实施例的主组件的流程图示例。

图13是根据本发明不同实施例的神经模拟器的流程图。

具体实施方式

通过示例、并不通过附图中图示的限定来示出本发明的方面，其中，相似的参考号指示相似的元件。应当注意，在该公开中的对“一”、“一个”和“不同”实施例的参考不必是相同的实施例，以及这种参考表示至少一个。在以下的描述中，提出了多个特定细节来提供对本发明的详尽描述。然而，本领域技术人员将会显而易见的是，本发明可以在没有这些特定细节的情况下进行实践。在其它示例中，为了使本发明清楚，并没有对熟知的特征进行详细描述。

图1是本发明基于大脑的设备(BBD)的图示，该设备包括物理上的示例性的设备，以移动神经组织移动自适应设备(NOMAD)10作为示例示出，其中，NOMAD 10可以探察它的环境，并在体验环境的同时发展自适应行为。基于大脑的设备BBD还包括用于指导现实世界环境中的NOMAD 10的模拟神经系统12(图3A-3B)。在一个实施例中，将进一步描述的模拟神经系统12可以在远离NOMAD 10的计算机工作站集群(见图10)上运行。在该实施例中，NOMAD 10和计算机工作站通过无线通信来进行彼此的通信，从而实现NOMAD10的无约束探测。

在物理设备示例中，图1中示出的NOMAD 10具有移动底座14、以及用于可视的CCD摄像头16。NOMAD 10还具有里程表18，用于自我运动提示；效应器20；七个红外检测器22，环绕NOMAD 10以用于避免障碍；以及一个朝下的IR检测器24，用于检测在其中运动的封闭环境内的隐藏平台(见图2A-2B)。在NOMAD 10的顶部是LED26，它们可以由位于NOMAD 10移动的环境上的两个摄像头(以下描述)检测到，以跟踪NOMAD在环境中的位置。

模拟神经系统12基于真实的解剖和生理学的组织来指导NOMAD 10的行为，并强调活生物体与环境的交互。因此，该行为基于以下设计原理：(1)NOMAD 10应当参与行为任务；(2)NOMAD的行为应当由模拟神经系统来控制，该模拟神经系统具有反映大脑构造和动态的设计；(3)NOMAD 10应当位于现实世界中；以及(4)NOMAD 10的行为和模拟神经系统12的活动应当允许与经验数据的比较。利用这些特征，BBD模拟倾向于需要神经元元件的网络，该网络反映了脊椎动物的大脑构造和动态、计算以实时运行网络的高性能、以及用于将网络具体化的物理设备(例如，NOMAD 10)的设计，稍后对以上全部内容进行描述。

图2A示意性地示出了NOMAD 10移动的封闭环境28的布局。例如，封闭环境28是16’x14’的，具有黑色墙壁30和黑色地板32。在每个黑色墙壁30上悬挂改变颜色的多组彩色美术纸34。如图所示，每组34具有多张美术纸，在所给组34中的每张纸具有相同的宽度，但是在宽度上不同于其它组34中的多张纸。

图2A还示出了直径为24”、并由反光黑色美术纸制成的隐藏平台。隐藏平台36位于封闭环境28的右上象限的中心用于“隐藏平台任务”、或在以下描述的轨迹。当位于平台36上时，NOMAD 10能够通过使用朝下的IR检测器24来检测隐藏平台36。

图2B是示出了在封闭环境28中的NOMAD 10的截图。还示出了执行隐藏平台任务的NOMAD 10，该隐藏平台任务用于评估BBD空间和间歇记忆。如将进一步描述的，隐藏平台任务包括两个阶段，一组“训练”试验和“探查”试验。在训练阶段中，NOMAD 10将开始多个试验，开始从地板32上的多个位置处的运动，直至遇到隐藏平台36或超时(例如，在1000秒或5000个周期之后)。在训练之后，探查试验用于评估BBD的记忆性能。在探查试验中，从封闭环境28中去除隐藏平台36，以及允许NOMAD 10在封闭环境内移动5000个周期。

图3A是模拟神经系统12的区域和功能神经解剖的示意图，该模拟神经系统12包括海马状突起和周围区域的错综的解剖和生理结构。模拟神经系统12可以将来自多个目标的空间信号在时间上进行积分，并提供灵活的导航解决方案，以帮助未知环境(如，环境28)的探测。通过在导航任务期间同步地从神经区中进行采样，海马状突起的构造(将在以下全面描述)提供了用于在不同的时标上组织多峰信息，多峰信息对于空间和间歇记忆的发展非常重要。

如图3A所示，模拟神经系统12在哺乳动物神经系统的解剖和生理结构上建模，但是可以理解，该系统具有少得多的神经元和简单得多的构造。模拟神经系统12包括根据类似的人类大脑的皮层和皮层下区域来标记的多个神经区。因此，图3A示出了标记为V1颜色、V2/4颜色、IT、V1宽度、V2/4宽度、Pr、HD、ATN、BF、海马状突起、R+、S、R-、以及M_HDG。每个神经区V1颜色、V2/4颜色等包含不同类型的神经元单元，每个神经元单元表示众多本地神经元(a localpopulation of neurons)。图3A中示出的每个椭圆表示不同的神经区，每个这样的神经区具有许多神经元单元。为了从哺乳动物神经系统中的相应区域中区分建模的或模拟的神经区，以斜体字标识模拟区，如，IT。

图3A的神经解剖还通过不同的投射P(见图中的箭头)示意性地示出了模拟神经12的连接性。投射P在神经元单元之间包含多个突触连接。突触连接允许信号从突触前神经元单元发送至突触后神经元单元。投射P可以在神经区内、或在神经区之间。此外，投射P具有图3A中的图例所指示的特性，(1)“电压无关”，(2)“电压相关”，(3)“可塑的(plastic)”，(4)“抑制性”，以及(5)“数值相关”，并将在以下进行描述。

模拟神经系统12的输入来自CCD摄像头16、车轮里程表18、以及用于检测墙壁30的IR传感器22、24、以及环境28的隐藏平台36。模拟神经系统12的神经区与视觉皮层(V1、V2/4)、下颞叶皮层(IT)、腔壁皮层(Pr)、前进方向单元(HD)、前丘脑核(ATN)、用于自我朝向的运动区域(M_HDG)、数值系统(S)、以及正负奖赏区(R+、R-)。海马状突起与三个主要的传感器输入流(IT、Pr、ATN)、运动系统(M_HDG)、以及数值系统(S)连接。为了清楚，图3A中省略每个神经区内的错综连接。

图3B示出了海马状突起区域内的详细连接。建模的海马状突起包含与内嗅皮层(ECIN，ECOUT)、锯齿形脑回(DG)、CA3子域、以及CA1子域。这些区域包含引起了反馈抑制(例如，CA3→CA3FB→CA3)、前馈抑制(例如，DG→CA3FF→CA3)、以及间歇式抑制(例如，BF→海马状突起)。

在以下描述的表1和表2中给出了模拟神经系统12的更多细节。但是整体上，在用于以下详细描述的训练和探查试验中的模拟神经系统12的视野中，存在总数为50的神经元区域、在这50个神经元区域中的90,000个神经元单元、以及大约140万个突触连接。

图3A中示出的模拟神经系统12包括五个系统：(1)视觉系统38，(2)前进方向系统40，(3)海马状突起形成42，(4)数值系统44，以及(5)动作选择系统46。

图3A.视觉系统38

视觉系统38在灵长类枕颞部或腹侧皮层通路、以及背侧皮层通路上建模。图3A中示出的视觉系统中的腹侧皮层通路(V1_color→V2/4_color→IT)包含具有日益增大(直至在下颞叶皮层(IT)中的各个域覆盖了整个视野、并且没有地形)的接收域的连续区域中的神经元单元。图3A中示出的背侧皮层通路(V1_width→V2/4_width→Pr)包含对目标的大小和位置进行响应的神经元单元。

将来自CCD摄像头16的视觉图像对颜色和边缘进行滤波，滤波后的输出直接影响了区域V1_color和V1_width中的神经活动。例如，CCD摄像头16通过NOMAD 10上的RF发射机将320x240像素的RGB视频图像发送至附在运行神经模拟的计算机工作站(以下描述)之一上的帧抓取器。将图像在空间上平均以产生80x60的像素图像。不同大小的Gabor滤波器(8x8、16x16、32x32、以及64x64)可以用于检测变化宽度的垂直边缘。Gabor功能的输出直接映射在相应V1宽度子区域(V1-width8、V1-width16、V1-width32、以及V1-width64)(未在图3A中示出)的神经元单元上。彩色滤光片(具有绿色负片围边的红色正片中心、具有绿色正片围边的红色负片中心、具有红绿负片的蓝色正片、以及具有红绿正片的蓝色正片)可以应用于图像。将彩色滤光片的输出直接映射在V1彩色子区域V1-Red、V1-Green、V1-blue、和V1-yellow(未在图3A中示出)的神经元单元上。V1神经元单元按照视网膜的分布(retinotopically)投射至V2/V4中的神经元单元。

图3A.前进方向系统40

HD区域中的神经元通常称为“前进方向”单元。从NOMAD 10的车轮20中获得的信息用于估计NOMAD 10的当前朝向。将该信息输入前进方向神经区(HD)。360个HD神经元单元中的每个(见表1)具有余弦调谐曲线，该曲线对调谐宽度为π弧度的优选朝向作出最大响应：

cos(HD_i-curr_heading)⁵；

其中，HD_i是具有优选方向的前进方向、i的范围从0至359、以及curr_heading是NOMAD的朝向，它从里程信息中计算得到。

前进方向单元在地形上投射至与前丘脑核类似的区域(见表2和图3A中的HD→ATN)、以及投射至基于朝向的运动区域(见表2和图3A中的HD→M_HDG，注意，该路径不在图3A中)。基于神经元区域M_HDG中的活动来选择MONAD 10的新朝向(见图3A-动作选择，以获取进一步的详情)。

海马状突起形成-神经区海马状突起42

模拟海马状突起形成的构造是基于啮齿动物的神经解剖的。海马状突起的输入流是来自模拟神经系统中的关联皮层区，并通过内嗅皮层2到达海马状突起(见表2和图3A-3B中的ATN→EC_IN、IT→EC_IN、Pr→EC_IN)。perforant路径主要从内嗅皮层投射至锯齿脑回、还投射至CA3和CA1子域(见表2和图3B中的EC_IN→DG EC_IN→CA3，EC_IN→CA1)。海绵状纤维(见表2和图3B中的DG→CA3)、Schaffer侧突(见表2和图3B中的CA3→CA1)、以及表2中从海马状突起回到皮层的分叉投射(见图3A-3B和表2中的CA1→EC_OUT→ATN，IT，Pr)也在模拟神经系统12中出现。在海马状突起形成中发现的普遍回流连接也包括在模拟神经系统12中(见表2和图3B中的EC_IN→EC_OUT，DG→DG和CA3→CA3)。海马状突起本质内的所有连接(即，EC_IN，EC_OUT，DG，CA3，CA1)都是数值无关的和可塑的(见以下的突触可塑性部分)。

海马状突起中的本征和非本征、反馈和前馈抑制连接的唯一图案可以在海马状突起处理过程中扮演重要角色。因此，模拟神经系统12包括反馈抑制连接(见表2和图3B中的EC→EC_FB→EC，DG→DG_FB→DG，CA3→CA3_FB→CA3，CA1→CA1_FB→CA1)、以及前馈抑制连接(见表2和图3B中的DG→CA3_FF→CA3，CA3→CA1_FF→CA1)。这些连接对于分离输入和网络稳定性非常有用。

基础前脑和Theta节奏(表2)

模拟基础前脑(BF)提供了用于神经模拟的非本征theta节奏。模拟基础前脑区域的功能是对输入至海马状突起的输入进行门控制(gate)、并保持活动电平稳定。BF区域在13个模拟周期内具有间歇的活动：

BF(t)＝theta(t mod13)；

其中，theta＝{0.01，0.165，0.33，0.495，0.66，0.825，1.00，0.825，0.66，0.495，0.33，0.165，0.01}。BF使用抑制连接投射至所有海马状突起区(见表2中的BF→EC_IN，EC_OUT，DG，CA3，CA1)。抑制电平(自适应的)将海马状突起区域中的活动保持在特定范围内：

Δsf_r(t)＝(s_r(t)-tgt_r)

BF_r(t)＝BF(t)+sf_r(t)；

其中，r表示区域(即，EC_IN，EC_OUT，DG，CA3，CA1)，sf_r(t)是时间t处的比例因子，s_r(t)是时间t处区域r中的活跃神经单元的百分比，tgt_r是区域r中活跃单元的期望百分比(EC_IN＝10％、EC_OUT＝10％、DG＝20％、CA3＝5％、以及CA1＝10％)，以及BFr(t)是BF至海马状突起区域r的连接的突触前神经元单元活动。

图3A.数值系统和时间差学习44

模拟数值系统44中的活动发信号通知由NOMAD 10感知的显著感觉事件的出现，以及该活动导致了对所示出的通路中的连接强度的调制。最初，由检测隐藏平台36的IR检测器24(见表2和图3A中的R⁺→S)来激活数值系统S，引起了数值相关连接(CA1→S和CA1→M_HDG)的增强；或者由障碍避免IP检测器22(见表2和图3A中的R^-→S)来激活数值系统S，引起了数值相关连接的抑制。在学习之后，根据以上提及的、并将在以下更加全面描述的训练试验，区域CA1可以对区域S的活动产成影响。增强或抑制的幅度基于时间差(TD)学习规则的神经实现：

其中，

是时间t处的数值系统S的平均活动；τ是一个theta周期或13个模拟周期；R⁺是正奖赏，以及如果触发了朝下的IR检测器24，则R⁺等于1，这表示NOMAD 10在隐藏平台36上；R^-是惩罚，以及如果触发了NOMAD底座周围的IR检测器22，则R^-等于1，这表示NOMAD 10太靠近墙壁30。时间差TD规则的基本思想在于：该学习基于奖赏的时间上连续的预测之间的差。换言之，该学习的目标是使学习者对于当前输入图案的当前预测更加密切地匹配下一时间间隔(τ)处的下一预测。如果所预测的数值增加，则TD为正，并且增加受影响的模拟神经系统12的突触连接；以及如果所预测的数值减小，则TD为负，并且抑制受影响的突触连接。在一些实验之后，数值应当随着NOMAD 10朝向平台36而增加，因而加强了朝平台36的移动。可选地，数值应当随着NOMAD 10靠近障碍物而减小，因而加强了远离墙壁30和其它障碍物的移动。以下，在描述突触可塑性时，给出了关于如何将时间差应用于各个突触连接的进一步的详情。

图3A.动作选择和探测行为46

如下所述，NOMAD 10移动3个theta周期(39个模拟周期)，然后选择新的朝向。如果NOMAD 10检测到障碍物，则可以将其方向反转24英寸，然后远离检测到障碍物的IR传感器22。如果NOMAD10检测到隐藏平台36，则可以逆时针转60度并等待3秒，然后顺时针转60度并等待3秒，然后顺时针再转60度并等待3秒，最后逆时针转回它的原始朝向，以上所有均在系统12的控制下。模拟在该点结束，并将模拟神经系统12的当前状态保存至硬盘。否则，在3个theta周期之后，NOMAD 10可以基于在模拟神经系统12的运动区域(M_HDG)中的活动来选择新的朝向。从原始朝向起，NOMAD 10可以首先逆时针转60度并等待3秒，然后顺时针转60度并等待3秒，然后顺时针再转60度并等待3秒，以及最后逆时针转回原始朝向，以上所有均在系统12的控制下。在等待时间段内计算M_HDG的平均活动。可以使用softmax算法来创建基于以下等式选择新朝向的概率分布：

p (newhdg) = \frac{\exp (40 (\overset{&OverBar;}{M_{HDG} (newhdg)}))}{\underset{h = hdg - 60, hdg, hdg + 60}{&Sum;} \exp (40 (\overset{&OverBar;}{M_{HDG} (h)}))}

其中，newhdg是NOMAD 10的可能新朝向，

是以可能新朝向的M_HDG的平均活动，hdg是当前的朝向，以及h具有三个位置(当前朝向、当前朝向减去60度、当前朝向加上60度)。在模拟神经系统12选择了新朝向之后，NOMAD 10将确定为新朝向，然后在再次激活朝向选择过程之前前行另3个theta周期。

神经单元/动态-通常地

由平均激发(firing)速率模型来模拟V1颜色，V1宽度等神经区内的神经元单元。由平均激发速率变量来确定每个单元的状态。每个单元的状态由平均激发速率变量来确定。在大约200毫秒的时间段内，每个单元的平均激发速率变量与一组大概100个神经元的平均活动或激发速率变量相对应。

将神经元单元之间的突触连接(在神经元区V1颜色，V1宽度等内或之间)设置为电压无关或电压相关的，以及可塑的或不可塑的。无论神经元的突触后的状态如何，电压无关连接向突触后神经元提供了突触输入。电压相关连接表示了需要激活突触后去极化的接收器类型(例如，NMDA接收器)的贡献。

换言之，突触前神经元将通过突触，沿轴突将信号发送至突触后神经元。突触后神经元接收该信号，并将该信号与从其它突触前神经元接收的其它信号结合。

电压无关连接是这样的连接：如果以高速率来激发突触前神经元，则将会以高速率激发经突触与该突触前神经元连接的突触后神经元。

电压相关连接是不同的。如果在突触后神经元接收到突触前输入信号时，已经以某速率激发了突触后神经元，则电压相关连接将会使突触后神经元激发得更多。由于突触后神经元是活跃的(即，以及激发)，则当接收到输入信号时，该神经元位于某个阈值电平上。隐藏马改突触前连接将会调制突触后神经元以便激发得甚至更多。物理突触前神经元如何活跃，如果突触后神经元不在该阈值之上，则电压相关连接将不会影响突触后神经元。因此，突触后神经元必须具有要有响应于或由电压相关的突触连接调制的活动的某个给定阈值。

神经元单元

每个神经元单元的平均激发速率连续地从0(静止)至1(最大激发)。根据当前状态和来自电压无关和电压相关输入的贡献，来更新神经元单元的状态。来自单元j的、至单元i的电压无关输入是：

A_{ij}^{VI} (t) = c_{ij} s_{j} (t)

其中，s_j(t)是单元j的活动，以及c_ij是从单元j至单元i的连接强度。通过在单元i上的所有输入相加，来计算对单元i的电压无关的突触后影响POST_i ^VI：

其中，M是不同的解剖学上定义的连接类型个数(见表2)；Nl是投射至神经元单元i的类型M连接个数；以及

是突触输入的持续时间。

从神经元单元j至神经元单元i的电压相关的输入是：

A_{ij}^{VD} (t) = Φ ({POST}_{i}^{VI} (t)) c_{ij} s_{j} (t)

其中，

其中，σ_i ^vdep是突触后活动的阈值，在该阈值之下，电压相关的连接不起作用(见表1)。

由下式给出对单元i的电压相关的突触后影响POST_i ^VD：

基于对神经元单元i的突触后影响的加和来选择新活动s_i(t+1)：

{POST}_{i} = {&Sum;}_{j = 1}^{N_{VI}} {POST}_{j}^{VI} + {&Sum;}_{k = 1}^{N_{VD}} {POST}_{k}^{VD}

神经元单元的新活动是在最新选择阶段的活动电平，它符合以下激活函数：

s_{i} (t + 1) = φ (\tanh (g_{i} ({POST}_{i} + {ωs}_{i} (t)))),

其中，

其中，ω确定了从一个周期到下一个周期的单元活动的持续时间，g_i是比例因子，以及σ_i ^fire是单元特定激发阈值。

表1中给出了神经元单元的特定参数值：

表1-参数值。表1中给出了定义了神经元单元属性的参数的特定值。

如表1所示，区域V1、HD、R+、R-、和BF是输入区域，以及它们的活动分别基于摄像头图像、里程表和IR传感器。区域V1和V2/V4具有用于颜色(红、绿、蓝和黄)的四个子区域、以及用于符合NOMAD 10导航的封闭环境28的示例的变化宽度的4个子区域。表1指示每个区域或子区域中的神经元单元的个数(大小)。每个区域中的神经元单元具有特定的激发阈值(σ-fire)、以及在其之上电压相关连接可以产生影响的阈值(σ-vdep)、持续时间参数(ω)、以及比例因子(g)。

表2中给出了神经元单元的突触连接。

表2-解剖投射的属性。在表2中给出了模拟神经系统的解剖投射和连接类型的特定属性。

如表2中所示，突触前神经元单元使用给定的概率(P)和给定的投射形状(Arbor)与突触后神经元单元连接。该树枝状的形状(arborization shape)可以是具有高度和宽度(h x w)的矩形“[]”、具有由内和外半径(r1，r2)所限制的形状的环形的“Θ”、或者任何突触前和突触后神经元单元对给定了连接概率的非地形(“non-topo”)。在由最小和最大值(min，max)给定的范围内随机地设置初始连接强度C_ij(O)。C_ij(O)的负值指示抑制性连接。标记了“之内”的连接表示在视觉子区域内的那些连接，以及标记了“之间”的连接表示在视觉子区域之间的那些连接。标记了#的投射是数值相关的。如已经提及的，连接类型可以是电压无关的(VI)、或者电压相关的(VD)。

表示连接的持续时间。η、k₁和k₂的非零值表示可塑连接。

突触可塑性-数值无关可塑性

根据依据突触前和突触后神经元单元的相位和活动的突触规则，对突触强度进行修改。可塑的突触连接是数值无关的(见图3B和表2中的EC_IN→DG，CA3，CA1；DG→CA3；CA3→CA1；CA1→EC_OUT)、或者数值相关的(见CA1→S，CA1→M_HDG)。这些规则都基于修改后的BCM学习规则，其中，突触改变(ΔC_ij)是如靠近图3B的插图中示出的突触后与突触前神经元单元的活动和滑动阈值(θ)的函数。加强了具有强相关激发相位的神经元单元之间的突触，以及抑制了具有弱相关相位的神经元单元之间的突触；同样由突触前和后活动来确定幅度改变。

因此，由下式给出c_ij中的数值无关的突触改变：

Δc_ij(t+1)＝ηs_i(t)s_j(t)BCM(si)

其中，s_i(t)和s_j(t)分别是突触后和突触前单元的活动，η是固定的学习速率。以分段线性函数来实现函数BCM，将突触后活动作为输入，由滑动阈值θ、两个斜率(k₁，k₂)和饱和参数ρ(始终，ρ＝6)来定义：

基于突触后活动来调整阈值：

Δθ＝0.25(s²-θ)

对数值无关可塑性来进行加权标准化，以防止极大的加强：

c_{ij} = \frac{c_{ij}}{sqrt ({&Sum;}_{k = l}^{K} c_{kj}^{2})}

其中，c_ij是特定连接，以及K是在神经元单元j上连接的总个数。

突触可塑性-数值相关可塑性

数值相关的可塑性规则与数值无关的规则的不同之处在于，由突触前活动、突触后活动、以及来自数值系统的时间差TD来管理突触改变(见以上的参考Value System and Temporal Difference Learning)。由以下来给出数值相关突触可塑性的突触改变：

Δc_ij(t+1)＝ηs_i(t)s_j(t)TD(t)

其中，TD(t)是时间t处的时间差值。

隐藏平台任务

隐藏平台任务评估BBD的空间和间歇记忆，并包括训练试验阶段和探查试验阶段。NOMAD 10从封闭环境28的地板32上的四个起始位置中的每个来开始训练试验(见图2A-2B)，并探测该封闭环境，直至遇到隐藏平台36、或者超时(在1000秒或5000个周期之后)。将训练块定义为来自四个起始位置中的每个的一组四个这种试验。在训练期间，由BBD来完成四个训练块(16个总试验)，以下结合图4-5来描述该结果。在完成训练之后，BBD进行探查试验，其中，去除隐藏平台36以评估BBD的记忆性能，这在以下结合图6进行解释。

以九个略微不同的BBD“目标”来重复隐藏平台中的训练和探测。每个“目标”包括相同的物理设备(即，NOMAD 10)，但是每个“目标”具有改变的模拟神经系统12。“目标”中的这种可变性是在各个神经元单元之间的连接的微观细节、以及那些单元之间的初始连接强度中的随机初始化的结果。然而，神经元单元中的整体连接在不同的“主题”中保持相似，这是由于突触通路、树枝状图案、以及初始连接强度的范围限制了连接(详情见图3A-3B和表2)。

图4示出了在16个各自隐藏平台训练试验期间的NOMAD 10的代表性轨迹。由封闭环境28之上的高架摄像头(未示出)来记录NOMAD 10的位置。图4中的每个方框示出了试验(T1-T16)期间NOMAD 10的轨迹，以及NOMAD 10为找到隐藏平台36而花费的模拟周期的个数。NOMAD 10从每幅图中示出的小黑方块中开始轨迹，并移动以发现隐藏平台36。如果NOMAD 10在5000个模拟周期内发现了平台36，则在图中以绿色圆圈示出隐藏平台36；以及如果NOMAD 10没有在试验时段内发现隐藏平台36，则以红色圆圈示出隐藏平台36。通过训练的中点(即，在试验T8之后)，NOMAD 10能够使轨迹实质上从起点直接朝向隐藏平台36。

在BBD的每个这种模拟周期期间，对模拟神经系统12的感觉输入进行处理，对所有神经元单元的状态进行计算，确定所有可塑连接的连接强度，以及生成运动输出。在试验中，每个模拟周期的执行需要实时的大约200毫秒。将每个模拟周期、NOMAD 10的位置、它的朝向、以及所有神经元单元的状态记录并保存在硬盘上。

结果。在隐藏平台任务上运行九个“主题”。

总体说来，随着训练的进行，如由发现隐藏平台36的时间所测量到的，“主题”组学习隐藏平台并显示了进步。图5中示出了该进步，这是在隐藏平台任务期间测试的九个“主题”的平均逝去时间的图示。如图5所示，每个“主题”在每个块内运行具有四个试验的四个试验块。错误条表示标准偏差。块3和4的逝去时间明显短于块1和块2(p＜0.05)。从已知的Wilcoxon符号等级测试中得到P值。

探查试验。在探查试验期间(其中，去除隐藏平台36、以及“主题”在5000个模拟周期或大约17分钟内探测环境28)，“主题”花费大量时间在隐藏平台36将会位于的区域内进行搜索。在探查试验中测试七个“主题”，以及“主题”大约花费一半的时间(μ＝0.50，σ²＝0.23)在包含了隐藏平台36的封闭环境36的象限中。

图6A-6B示出了去除了隐藏平台36的探查试验期间的“主题”的轨迹。红色圆圈表示在训练试验期间的隐藏平台36的位置。图6A示出了在以上描述的训练试验期间使用了隐藏平台36的象限中花费了46％的时间的平均性能的“主题”。图6B示出了在隐藏平台象限中花费了85％的时间的探查试验期间的更好性能的“主题”。

神经响应。在模拟神经系统12的海马状突起区域中的神经元单元中的许多具有典型地称为海马状突起“地点”单元的响应，在该单元中，神经元单元独占地活跃，同时NOMAD 10在环境28地特定区域中。这在图7A-7D中表示，图7A-7D示出了在海马状突起的模拟神经元单元CA1中记录的四个代表性“地点”单元。每个矩形表示NOMAD 10探测的封闭区域28，以及每个像素表示封闭区域28中的一英尺方块。像素的颜色表示所给CA1神经元单元的活动，并从静态(白色)至最大激发速率(黑色)进行标准化。这些图示的红色圆圈表示隐藏平台36的位置。

神经元单元的响应不仅是地点特定的、而且是上下文特定的。这是对于间歇记忆系统的临界需求，以及可以仅在具有促使在一段时间内的输入结合的构造的系统中发生。神经元单元中的许多依据NOMAD轨迹，在封闭环境28中的特定地点进行响应。将这些单元称为“旅程相关单元”。使用追溯性的编码(即，当前的活动基于对该点的先前经验)，通过在隐藏平台36附近(例如，3英尺内)进行响应的所有模拟海马状突起区域中的单元处查看来发现单元。在所有训练和探查试验中，NOMAD 10访问该位置。然而，如图8A-8F所示，这些单元中的大部分仅针对试验的子组进行响应，同时单元中的较小部分针对试验的大部分进行响应，而不考虑轨迹。

更具体地，图8A-8F是示出了海马状突起模型中的旅程相关和旅程无关单元的图表。在分析中，使用活跃的神经元单元(平均活动＞0.1)、以及具有聚集于隐藏平台36的3英尺范围内的“地点”域的神经元单元。旅程无关单元在5个或更多的试验中是活跃的，中度的旅程相关的单元在3到4个试验中是活跃的，以及高度旅程相关的单元仅在1到2个试验中是活跃的。图8A-8F示出了在每个海马状突起的子区域(EC_IN，EC_OUT，DG，CA3，CA1)、以及在整个海马状突起(图8F)中的旅程无关和旅程相关单元的百分比。

在许多情况下，NOMAD 10阐述了从所给起始位置至隐藏平台36的定型的轨迹。大约10％的高度旅程相关单元在具有类似轨迹(试验9和试验13、试验10和试验14、试验11和试验15、试验12和试验16)的隐藏平台36的位置附近是活跃的。

图9A-9H示出了神经元区域CA1中的代表性的“旅程相关”“地点”单元。该单元在靠近训练试验9和13上的隐藏平台36附近(图中的开口圆圈)最活跃，其中，在试验训练9和13中，NOMAD 10从图示顶部的墙壁30处启动。将活动标准化为该单元上的所有训练试验中的最大激发速率，在该单元中，白色表示无活动、以及黑色表示最大活动。

图10是根据本发明不同实施例的计算机系统的示例性示例。尽管该图示描述了逻辑上独立的组件，但是这种描述仅用于示例性目的。本领域的技术人员将会理解，可以将在该图示中描绘的组件进行任意组合、划分为独立的软件、固件和/或硬件组件。此外，本领域的技术人员还将会理解，无论这种组件如何组合或划分，可以在相同的计算设备上执行这种组件、或者这种组件可以分布在通过一个或多个网络或其它适合的通信装置连接的不同计算设备中。

在不同的实施例中，可以以一种或多种编程语言(例如，C，C++，Java^TM、以及其它适合的语言)来实现图10中示出的组件。组件可以使用消息传输接口(MPI)或其它适合的通信装置(包括但不局限于共享存储器、分布对象和简单对象访问协议(SOAP))来进行通信。MPI是用于在计算设备(或节点)之间传送信息的工业标准协议。在一个实施例中，可以在诸如(但不局限于)Beowulf组之类的多处理器计算机构造上部署系统。典型地，Beowulf组由经以太网或一些其它网络连接的商品硬件组件(例如，运行Linux操作系统的个人计算机)组成。本公开并不局限于任何特定类型的并行计算构造。可能是许多其它构造，并全部落入本公开的范围和精神内。

参照图10，主机组件1302可以根据从客户机1304接收的命令来协调其它组件的活动。在一个实施例中，客户机1304可以是单机处理、或者根据脚本或其它场景、和/或与从主机接收的客户机信息(例如，神经活动、传感器读数和摄像头输入)反应而在编程上控制主机。客户机命令可以指导主机1302来启动或停止给予大脑的设备BBD实验、将实验状态保存在数据存储器1312上、从数据存储器1312上读取实验状态、设置该实验将会执行的运行时间/周期、以及设置神经模拟器1310的参数。

在另一实施例中，客户机1304可以是从主机1302接收信息、并允许用户交互式地控制系统的用户接口。作为非限制性示例，用户接口可以包括以下的一个或多个：1)用户图形界面(GUI)(例如，以超文本标记语言提交的)；2)响应声音和/或语音命令的能力；3)响应来自远程控制设备(例如，蜂窝电话、PDA、或其它适合的远程控制)的输入的能力；4)响应姿态(例如，面部或其它)的能力；5)响应来自在相同或另一计算设备上的处理的命令的能力；以及6)响应来自计算机鼠标和/或键盘的输入的能力。该公开并不局限于任何特定的GUI。本领域的技术人员将会理解，许多其它的用户接口也是可能的，并且全部落入本公开的范围和精神内。

将每个神经区的神经元单元中的每个分配给神经模拟器1310。每个神经模拟器1310负责计算分配给它的神经元单元的活动。给定的神经区的神经元单元可以在一个或多个神经模拟器1310上分布。在不同的实施例中，可以每个Beowulf节点具有一个神经模拟器1310。为了优化性能，神经元单元可以在神经模拟器中分布，从而神经模拟器上突触连接的平均数大致相同。在其它实施例中，可以分布神经元单元，从而每个神经模拟器的神经元单元的平均数大致相同。神经模拟器周期性地或连续地将计算它们的神经元单元活动的结果与其它神经模拟器和主机进行交换。需要该信息，从而在其它神经模拟器上的神经元单元具有更新的突触前输入。主机基于从神经模拟器1310中接收的神经活动，向NOMAD 10提供激励器命令。

主机周期性地接收来自图像抓取器1306的图像数据，并且将该图像数据分发给神经模拟器1310和客户机1304。在一个实施例中，从安装在NOMAD 10上的CCD摄像头16中得到图像，其中，CCD摄像头16通过RF发射机，将RGB视频图像发送至ImageNationPXC200帧抓取器1306。然后，在空间上对图像进行平均以产生像素图像。Gabor滤波器可以用于检测垂直、水平方向(如以上简要描述的)的边缘。Gabor函数的输出直接映射至相应的V1宽度神经区的神经元单元上。彩色滤光片还应用于图像，彩色滤光片的输出直接映射至神经元单元V1颜色上。

主机1302还周期性地从NOMAD 10组件1308中获得传感器数据，并将该传感器数据分发给神经模拟器1310。在一个实施例中，NOMAD 10上承载的微控制器(PIC17C756A)对输入和来自传感器的状态进行采样，并控制NOMAD 10底座和主机1302之间的RS-232通信。除了先前描述的视频信息之外，传感器信息可以包括夹取状态、摄像头位置、红外检测器、触须偏差、轮速和方向、以及里程表计数。

图11是根据本发明不同实施例的神经模拟器初始化的流程图示例。尽管该图示出于示例目的，描述了特定顺序的功能步骤，但是该过程不必局限于任何特定顺序或步骤的安排。本领域技术人员将理解，可以省略、重新排列、并行执行、组合、和/或以不同的方式适应该图中描述的不同的步骤。在步骤1402中，基于来自客户机1304的命令，来确定是否应当从数据存储器1312中检索所存储的试验，或者是否应当开始新的试验。如果要从数据存储器检索试验，则在步骤1410中执行。在不同的实施例中，试验状态可以存储为可扩展标记语言(XML)文档、纯文本文件或二进制文件。否则，在步骤1404中，根据表1中给出的参数来创建神经元单元。接下来，在步骤1406中，根据表2中的参数，在神经元单元之间创建突触连接。最后，在步骤1408中，将每个神经元单元分配给神经模拟器。

图12是根据本发明不同实施例的主机组件的流程图示例。尽管该图示出于示例目的，描述了特定顺序的功能步骤，但是该过程不必局限于任何特定顺序或步骤的安排。本领域技术人员将理解，可以省略、重新排列、并行执行、组合、和/或以不同的方式适应该图中描述的不同的步骤。

在步骤1502中，主机1302将从图像抓取器和NOMAD 10中获取的图像和传感器数据广播至神经模拟器和客户机。在步骤1504中，主机将已经接收的任何命令广播至神经模拟器。在步骤1506中，确定客户机1304是否指示主机1302退出该实验。如果这样，主机停止实验(可以包括将该实验的状态存储至数据存储器)。否则，在步骤1508中，将更新的信息提供至可以用于更新GUI的客户机。在步骤1510中，在所有组件中(例如，通过MPI)共享来自神经模拟器1310的神经元单元活动。最后确定是否在该模拟中留下任何剩余周期。如果没有，则该试验终止。否则，主机1302返回至步骤1502。

图13是根据本发明不同实施例的神经模拟器的流程图示例。尽管该图示出于示例目的，描述了特定顺序的功能步骤，但是该过程不必局限于任何特定顺序或步骤的安排。本领域技术人员将理解，可以省略、重新排列、并行执行、组合、和/或以不同的方式适应该图中描述的不同的步骤。

在步骤1602中，神经模拟器1310接受由主机1302广播的图像和传感器数据。在步骤1604中，接受由主机1302广播的客户机命令。在步骤1606中，确定客户机1304是否指示主机1302退出该试验。如果这样，神经模拟器1310完成它们的执行。否则，在步骤1608中，计算所分配给神经模拟器的神经元单元的值。在步骤1610中，计算可塑连接的强度。在步骤1612中，与其它神经模拟器和主机一起共享本地神经元单元活动。此外，需要和使用来自其它神经模拟器的神经元活动，来刷新本地值。最后，在步骤1614中确定是否在该试验中留下任何剩余周期。如果没有，则该试验终止。否则，神经模拟器1310返回至步骤1602。

如对计算机领域技术人员显而易见的，根据该公开的示教，可以使用编程的传统通用或专用数字计算机或微处理器来实现不同的实施例。如对软件领域技术人员显而易见的，基于该公开的教义，熟练的程序员易于准备适合的软件编码。如对本领域技术人员显而易见的，本发明还可以通过准备集成电路、或者使传统组件电路的适合网络互联，来实现本发明。

不同的实施例包括计算机程序产品，该计算机程序产品是具有存储其上/内的指令的存储介质，可以用于对通用或专用计算处理器/设备进行编程，来执行呈现于此的任何特征。存储介质可以包括、但不局限于，以下的一个或多个：包括软盘、光盘、DVD、CD-ROM、微驱动器、磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存设备、磁或光卡、纳米系统(包括分子存储器IC)的任何类型的物理介质；以及适于存储指令和/或数据的任何类型的介质或设备。不同的实施例包括计算机程序产品，该计算机产品可以在一个或多个公共和/或专有网络上传输，其中，传输包括可用于对计算机设备编程以执行这里呈现的任何特征的指令。

存储于计算机可读介质中的一个或多个，该公开包括软件，该软件用于控制通用/专用计算机的硬件或微处理器，以及用于使计算机或微处理器能够利用本发明的结果，与人类用户或其它机制进行交互。这样的软件可以包括、但不局限于，设备驱动器、操作系统、执行环境/容器和应用程序。

总结

本发明的BBD阐述了它在环境28中的行为期间，通过观察海马状突起单元的活动，来获取和回想起空间记忆，并示出以具有上下文相关的神经响应，这是间歇记忆的先决条件。

以上描述的BBD方法用于研究片断和空间记忆。不同于海马状突起的先前的计算模型，在环境28中使用BBD，并确不作出关于环境输入的假设，也不作出关于NOMAD 10解决空间记忆任务的行为动作的假设。此外，不同于具有构建空间记忆的海马状突起的抽象的先前的机器人系统，BBD具有在系统神经科学等级上的与详细的神经解剖(见表1和表2)耦合的神经动态。

这里描述的BBD模型考虑了海马状突起和皮层之间、以及海马状突起内的神经元单元的宏观和微观解剖。BBD开发了从海马状突起中的神经响应至有目的的行为的映射(见图4-图6)。与在啮齿动物中看到的相比，BBD在没有假设或指示(见图7和9)的情况下开发了“地点”单元。这些响应基于经过一段时间的NOMAD 10的自发探测和三个输入流(视觉什么或IT、视觉哪里或Pr、以及自我运动或ATN)。

可以相信，从皮层至海马状突起(图3A)、以及在海马状突起本质(图3B)内的多个环路对于将一段时间内的输入积分、以及构建依据上下文的空间记忆(见图8-9)来说非常重要。这些上下文相关的响应对于获取和回想起多峰记忆序列是非常关键的，并且是间歇记忆的标志。

Claims

1.一种移动的基于大脑的设备，用于在现实世界环境中导航，所述设备包括：

a)具有传感器的移动自适应设备，所述传感器用于在现实世界环境中感知多峰信息；以及

b)模拟神经系统，用于接收和处理由所述传感器感知的所述多峰信息，以及作为响应，输出用于控制所述移动自适应设备在所述环境中的运动的信息，

其中，所述模拟神经系统包括传感器输入流、输出运动流、和第一神经区，所述第一神经区与海马状突起类似，并与所述模拟神经系统的所述传感器输入流和所述输出运动流耦合，以及

所述传感器输入流包括与下颞叶皮层(IT)类似的第二神经区、与腔壁皮层(Pr)类似的第三神经区、以及与前丘脑核(ATN)系统类似的第四神经区。

2.如权利要求1所述的移动的基于大脑的设备，其中，所述移动自适应设备包括用于感知图像的装置。

3.如权利要求2所述的移动的基于大脑的设备，其中，与下颞叶皮层(IT)类似的所述第二神经区处理图像的颜色信息。

4.如权利要求2所述的移动的基于大脑的设备，其中，与腔壁皮层(Pr)类似的所述第三神经区处理图像的宽度信息。

5.如权利要求2所述的移动的基于大脑的设备，其中，所述移动自适应设备包括用于感知朝向信息的装置。

6.如权利要求5所述的移动的基于大脑的设备，其中，与前丘脑核(ATN)系统类似的所述第四神经区处理所述朝向信息。

7.如权利要求1所述的移动的基于大脑的设备，其中，与海马状突起类似的第一神经区通过投射(P)，分别同与下颞叶皮层(IT)类似的第二神经区、与腔壁皮层(Pr)类似的第三神经区、以及与前丘脑核(ATN)系统类似的第四神经区耦合。

8.一种移动的基于大脑的设备，用于在现实世界环境中导航，所述设备包括：

其中，所述模拟神经系统包括传感器输入流、输出运动流、第一神经区和第二神经区，所述第一神经区与海马状突起类似，并与所述模拟神经系统的所述传感器输入流和所述输出运动流耦合，以及所述第二神经区与数值系统(S)类似，并同与海马状突起类似的第一神经区耦合。

9.如权利要求8所述的移动的基于大脑的设备，其中，所述移动自适应设备包括用于感知所述移动自适应设备在其中移动的现实环境中的障碍物的装置。

10.如权利要求9所述的移动的基于大脑的设备，其中，所述数值系统(S)包括正奖赏(R+)和负奖赏(R-)系统，用于如果所感知的障碍物是正在寻找的那个障碍物、或者所感知的障碍物是要避开的，则分别将控制信息提供给与海马状突起类似的第一神经区。

11.一种移动的基于大脑的设备，用于在现实世界环境中导航，所述设备包括：

其中，所述模拟神经系统包括传感器输入流、输出运动流、第一神经区和第二神经区，所述第一神经区与海马状突起类似，并与所述模拟神经系统的所述传感器输入流和所述输出运动流耦合，以及所述第二神经区与用于自我朝向(MHDG)的运动区类似。

12.如权利要求11所述的移动的基于大脑的设备，其中，与海马状突起类似的第一神经区将控制信息输出至与用于自我朝向的运动区类似的第二神经区，以控制所述移动自适应设备的运动。

13.一种移动的基于大脑的设备，用于在现实世界环境中导航，所述设备包括：

其中，所述模拟神经系统包括传感器输入流、输出运动流和第一神经区，所述第一神经区与海马状突起类似，并与所述模拟神经系统的所述传感器输入流和所述输出运动流耦合，以及与海马状突起类似的第一神经区包括与内嗅皮层(EC)类似的第二神经区、与锯齿脑回(DG)类似的第三神经区、与子域CA3类似的第四神经区、以及与子域CA1类似的第五神经区。

14.如权利要求13所述的移动的基于大脑的设备，其中，在与海马状突起类似的第一神经区内，存在投射(P)，用于将与内嗅皮层(EC)类似的第二神经区、与锯齿脑回(DG)类似的第三神经区、与子域CA3类似的第四神经区、以及与子域CA1类似的第五神经区彼此耦合。

15.一种移动的基于大脑的设备，用于在现实世界环境中导航，所述设备包括：

其中，所述模拟神经系统包括传感器输入流、输出运动流和神经区，所述神经区与海马状突起类似，并与所述模拟神经系统的所述传感器输入流和所述输出运动流耦合，

所述传感器输入流包括与皮层类似的神经元区，以及

与所述海马状突起类似的所述神经区和与所述皮层类似的所述神经元区通过多个环路耦合，以在一段时间内对所述多峰信息进行积分，并构建空间记忆。

16.一种移动的基于大脑的设备，用于在现实世界环境中导航，所述设备包括：

其中，所述模拟神经系统包括传感器输入流、输出运动流、第一神经区和第二神经区，所述第一神经区与海马状突起类似，并与所述模拟神经系统的所述传感器输入流和所述输出运动流耦合，以及所述第二神经区与基础前脑(BF)类似，并用于对输入到与海马状突起类似的第一神经区中的输入进行门控制。