CN109425340B - 基于贝叶斯多模感知融合的类脑机器人导航方法 - Google Patents

基于贝叶斯多模感知融合的类脑机器人导航方法 Download PDF

Info

Publication number
CN109425340B
CN109425340B CN201710748765.7A CN201710748765A CN109425340B CN 109425340 B CN109425340 B CN 109425340B CN 201710748765 A CN201710748765 A CN 201710748765A CN 109425340 B CN109425340 B CN 109425340B
Authority
CN
China
Prior art keywords
cells
robot
calibration
cell
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710748765.7A
Other languages
English (en)
Other versions
CN109425340A (zh
Inventor
斯白露
曾太平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201710748765.7A priority Critical patent/CN109425340B/zh
Publication of CN109425340A publication Critical patent/CN109425340A/zh
Application granted granted Critical
Publication of CN109425340B publication Critical patent/CN109425340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及基于贝叶斯多模感知融合的类脑机器人导航方法，包括以下步骤：积分细胞进行前庭信息融合：根据获取的前庭信息改变积分细胞的发放率；校准细胞进行视觉信息融合；对栅格细胞网络和头朝向细胞网络进行注入能量，改变积分细胞和校准细胞的发放率；进行全局抑制；通过估计栅格细胞网络和头朝向细胞网络的发放率所处的相位得到当前机器人的实际位置和头朝向；构建拓扑地图。本发明中所设计的模型能够进行多模感知的融合，实现对机器人所处的空间环境以及机器人自身的状态进行稳定的编码。模型与哺乳类动物的头朝向神经机制一致，跟神经生物学采集的单神经元记录实验结果相似，具有很高的生物保真性。

Description

基于贝叶斯多模感知融合的类脑机器人导航方法
技术领域
本发明属于机器人导航领域，尤其涉及一种基于哺乳类动物神经生物学启发，利用贝叶斯进行多模感知融合的机器人导航方法。
背景技术
在机器人导航系统中进行多模信息融合一直极具挑战。由于可获得的感知信息通常可靠性差，并且受到噪声的影响，多模感知融合可以更加精确地编码机器人的位姿和所处的环境。动物探索环境的两个主要机制是路径积分和地标校准。要提高机器人的导航性能，必须要解决由于路径积分误差积累和地标感知模糊所引起的不确定性。
多模感知融合是动物能够精确感知和行为的关键。动物能够长距离的探索，在复杂的环境中导航，再精确的返回到它们的巢穴。神经系统通过融合动物自身的移动信息和视觉信息以一种贝叶斯优化的的方式进行动物位置以及周围环境的估计。神经生物学实验已经发现有几种不同的空间响应细胞能够进行多模感知融合，如海马体中的位置细胞，内嗅皮层的头朝向细胞和栅格细胞。头朝向细胞仅仅在某一个固定头朝向方向发放，栅格细胞则呈六边形的周期性分布于环境中，位置细胞只在某一个特定的空间位置区域发放。但是，当动物长距离探索大环境时，神经系统如何处理这些感知信息的不确定性依然不得而知。视觉信息和前庭信息同样都能编码动物的位置和头朝向信息，神经系统可以无缝的融合这些感知信息，从而得到可靠地头朝向和位置估计。
然而，动物空间导航的多模感知的神经机制依然很少清楚。最近，以头朝向系统为模型，用于研究前庭信息和视觉信息的不确定性已经广泛展开，主要包括MSTd区域和VIP区域。神经生理学单细胞记录实验发现，在头朝向细胞网络中，视觉输入能够可塑性的重新头朝向细胞网络的集群发放，然后由前庭信息所继承。而且，低可靠性的视觉信息无法重塑头朝向细胞网络的细胞集群发放。环形吸引子网络模型被提出用于模拟动物自身移动信号和视觉信息之间的相互作用。分布式的连续吸引子网络以贝叶斯推理的形式被用于解释多个感知脑去之间的连接方式。
尽管，一些具有生物相似性的吸引子网络模型被提出证明了大脑中具有概率计算的机制，但是没有将神经生物学启发的多模感知融合的贝叶斯模型用于机器人导航系统中。进一步探明动物大脑的空间导航的神经机制，将有助于开发类人导航能力的自主移动机器人。
发明内容
本发明的目的在于基于哺乳类动物的空间导航神经机制，提出一种机器人导航的方法，该方法中的模型采用贝叶斯吸引子网络编码机器人头朝向和位置，避免了连续吸引子网络的复杂性，是一种高效、简单、易于工程应用的方法。
本发明解决其技术问题所采用的技术方案是：基于贝叶斯多模感知融合的类脑机器人导航方法，根据贝叶斯吸引子网络模型得到机器人当前的头朝向和位置，并构建地图用于导航，包括以下步骤：
积分细胞进行前庭信息融合：根据获取的前庭信息改变积分细胞的发放率；
校准细胞进行视觉信息融合：当获取的视觉信息与之前的视觉特征一致，并满足阈值时，那么激活与之相关的局部视图细胞并关联相应的栅格细胞和头朝向细胞，通过对栅格细胞网络和头朝向细胞网络进行注入能量，改变积分细胞和校准细胞的发放率；
通过积分细胞和校准细胞进行全局抑制；
通过估计栅格细胞网络和头朝向细胞网络的发放率所处的相位得到当前机器人的实际位置和头朝向；
根据机器人的实际位置和头朝向构建拓扑地图。
所述贝叶斯吸引子网络模型：
pt(θ|cvi，cve)∝pt-1(θ|cvi，cve)pt(θ|cvi)pt(θ|cve)
其中，pt(θ|cvi，cve)表示机器人当前的头朝向位置，pt-1(θ|cvi，cve)是前一个时刻的后验概率分布，pt(θ|cve)是当感知到前庭信息时的似然估计，pt(θ|cvi)是当感知到视觉信息时的似然估计；cve、cvi分别表示前庭信息和视觉信息。
所述前庭信息融合通过以下公式实现：
Figure BDA0001390643840000031
Figure BDA0001390643840000032
其中，
Figure BDA0001390643840000033
表示积分细胞的均值，
Figure BDA0001390643840000034
表示校准细胞的均值，vt表示当前时刻机器人的速度，Δt表示时刻t与时刻t-1之间的时间间隔。
所述对栅格细胞网络和头朝向细胞网络进行注入能量，改变积分细胞和校准细胞的发放率通过如下公式实现：
Figure BDA0001390643840000035
Figure BDA0001390643840000036
其中，
Figure BDA00013906438400000310
表示注入能量的强度，
Figure BDA00013906438400000312
表示在一维头朝向神经空间流行上所注入能量的位置；
Figure BDA00013906438400000311
表示当前时刻的校准细胞权重，
Figure BDA00013906438400000313
表示校准细胞的均值。
所述全局抑制如下：
Figure BDA0001390643840000037
Figure BDA0001390643840000038
Figure BDA0001390643840000039
其中，
Figure BDA00013906438400000316
表示前一时刻的积分细胞权重，而
Figure BDA00013906438400000314
表示前一时刻的校准细胞的权重；
Figure BDA00013906438400000317
表示前一时刻积分细胞和校准细胞的权重总和；
Figure BDA00013906438400000315
表示当前时刻的积分细胞权重，
Figure BDA00013906438400000318
表示当前时刻的校准细胞权重；E表示设定的积分细胞和校准细胞组成网络的总能量。
所述全局抑制后，积分细胞和校准细胞进行互相抑制，通过如下公式实现：
Figure BDA0001390643840000041
Figure BDA0001390643840000042
其中，Δinte表示校准细胞对积分细胞的抑制强度，Δcali表示积分细胞对校准细胞的抑制强度。
所述估计栅格细胞网络和头朝向细胞网络的发放率所处的相位包括以下步骤：
当前的发放率概率分布通过如下方式实现：
Figure BDA0001390643840000043
Figure BDA0001390643840000044
其中，
Figure BDA0001390643840000045
表示估计的权重，
Figure BDA0001390643840000047
表示均值，即编码的相位；
Figure BDA0001390643840000046
表示积分细胞的均值，
Figure BDA00013906438400000410
表示校准细胞的均值，
Figure BDA0001390643840000048
表示当前时刻的积分细胞权重，
Figure BDA0001390643840000049
表示当前时刻的校准细胞权重；
当
Figure BDA00013906438400000411
达到阈值时，则认为当前的估计位置就是当前机器人的实际位置。
如果当前视觉信息与之前的视觉特征都不同，那么建立新的拓扑结点，不对头朝向细胞网络和栅格细胞网络进行能量注入。
所述构建拓扑地图具体为：
利用机器人的实际位置和头朝向，在拓扑地图中添加结点、以及与其它结点之间的连接，然后通过通用的图优化方法进行拓扑地图的优化，获得最后的拓扑地图。
本发明具有以下有益效果及优点：
1.本发明中所设计的模型能够进行多模感知的融合，实现对机器人所处的空间环境以及机器人自身的状态进行稳定的编码。
2.本发明所设计的模型与哺乳类动物的头朝向神经机制一致，跟神经生物学采集的单神经元记录实验结果相似，具有很高的生物保真性；
3.本发明中设计的模型不采用连续吸引子网络的递归连接方式，大大的提高了模型在机器人导航过程中的实用性。
4.并开发机器人导航系统对本发明中所提及的机器人导航方法进行测试，测试系统的运行过程如图4A～4E所示。实验所得结果证明，所采用的模型能够采用廉价的单摄像头所采集的图像信息和速度信息作为输入成功的构建了连贯一致的拓扑地图，如图5所示。
附图说明
图1为贝叶斯吸引子网络模型框架信息流图；
图2A表示头朝向细胞开始时候的神经活动状态；
图2C表示栅格细胞开始时候的神经活动状态；
图2B表示实验过程中的某一个神经活动状态一；
图2D表示实验过程中的某一个神经活动状态二；
图3A为栅格细胞在校准细胞作用过程中的集群编码重塑的过程图一；
图3B为栅格细胞在校准细胞作用过程中的集群编码重塑的过程图二；
图3C为栅格细胞在校准细胞作用过程中的集群编码重塑的过程图三；
图3D为栅格细胞在校准细胞作用过程中的集群编码重塑的过程图四；
图4A为头朝向细胞的神经活动图；
图4B为机器人在环境探索过程中的俯视图；
图4C为输入的视觉场景图；
图4D为栅格细胞的神经活动图；
图4E为拓扑地图；
图5为机器人构建的认知拓扑地图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明。
本发明公开一种基于贝叶斯多模感知融合的类脑机器人导航方法。属于机器人导航技术领域。哺乳类动物的空间导航依赖于来自如多个各种不同源头的信息融合。本发明中提出一种新型的贝叶斯吸引子网络，探索当视觉信息与前庭信息产生不同的物理环境编码时，解决大脑信息冲突问题。所提出的‘’积分细胞‘’和‘’校准细胞‘’共同编码哺乳类动物大脑中的头朝向细胞(Head Direction Cell)和栅格细胞(Grid Cell)。积分细胞用于编码机器人的头朝向和位置，校准细胞编码机器人的视觉信息。通过积分细胞和校准细胞的相互抑制编码大脑信息的冲突问题。全局抑制形成稳定的发放状态。信息的不确定性便通过贝叶斯融合的方法消除。本发明的机器人导航方法在公开数据上测试，能够保证在大环境中进行稳健的导航。采用的模型是在考虑哺乳类动物大脑神经元发放的神经生物学特性基础上，从认知功能角度所提取的简单、高效方法。
一种基于贝叶斯多模感知融合的类脑机器人导航方法，提出一种新型的贝叶斯吸引子网络，探索当视觉信息与前庭信息产生不同的物理环境编码时，解决大脑信息冲突问题。所提出的‘’积分细胞‘’和‘’校准细胞‘’共同编码哺乳类动物大脑中的头朝向细胞和栅格细胞。积分细胞用于编码机器人的头朝向和位置，校准细胞编码机器人的视觉信息。全局抑制形成稳定的发放状态。通过积分细胞和校准细胞的相互抑制编码大脑信息的冲突问题。信息的不确定性便通过贝叶斯融合的方法消除。
贝叶斯吸引子网络模型基于贝叶斯理论架构，利用贝叶斯推理处理多个不确定的感知信息，是一种数学的优化方法。广泛的实验表明两个主要的感知信息用于在环境中动物导航和估计动物当前的头朝向信息和位置信息，包括前庭信息cve和视觉信息cvi。单独考虑头朝向系统和位置估计系统。头朝向估计满足高斯分布，包括视觉信息分布p(cvi|θ)和前庭信息分布p(cve|θ)，根据贝叶斯理论，并考虑过去的经验和当前的证据可以得到如下公式表示当前的头朝向位置：
pt(θ|cvi，cve)∝pt-1(θ|cvi，cve)pt(θ|cvi)pt(θ|cve)
其中，pt-1(θ|cvi，cve)是前一个时刻的后验概率分布，pt(θ|cve)是当感知到前庭信息时的似然估计，pt(θ|cvi)是当感知到视觉信息时的似然估计。贝叶斯的框架通过两个步骤实现：步骤1，路径积分通过如下公式实现：
pt(θ|cvi，cve)∝pt-1(θ|cvi，cve)pt(θ|cve)，
步骤2，路标校准(视觉信息输入)通过如下公式实现：
pt(θ|cvi，cve)∝pt-1(θ|cvi，cve)pt(θ|cvi)。
其中下标t-1和t仅仅表示在执行当前公式的前后，而不是表示一次所有的信息输入过程。
贝叶斯吸引子网络模型主要包括头朝向细胞网络的实现和栅格细胞的网络实现，头朝向细胞网络编码头朝向在一个环形吸引子上，而栅格细胞网络编码位置特征在一个单峰的、非扭曲的栅格模型圆环形吸引子上。栅格细胞和头朝向细胞对应内嗅皮层的第二层。头朝向细胞网络的积分细胞对应大脑的背内上颞区(dorsal medial superior temporal,MSTd)区域，而校准细胞对应大脑的顶内沟腹侧区(ventral intraparietal area,VIP)。
头朝向细胞模型编码机器人的转动，对应环境中相同的机器人运动角速度，通过吸引子动力学更新头朝向细胞的发放状态。头朝向相位在一维的流行上范围为[0，2π)。积分细胞和校准细胞的发放定义为正态分布：
Figure BDA0001390643840000071
吸引子动力学行为通过积分细胞和校准细胞之间的全局抑制和互相抑制实现。网络同样具有连续编码的特征，即使前庭信息和视觉信息不输入的情况下，头朝向细胞的单峰特性也可以在网络中维持。全局抑制维持一个不变的总能量，并且不影响积分细胞和校准细胞的相对关系。随着时间的推移，相互抑制的特性保证在整个网络中只有一个稳定的单峰存在于头朝向细胞模型中。全局抑制可以通过如下公式实现：
Figure BDA0001390643840000081
Figure BDA0001390643840000082
Figure BDA0001390643840000083
其中，
Figure BDA0001390643840000088
表示前一时刻的积分细胞权重，而
Figure BDA00013906438400000811
表示前一时刻的校准细胞的权重。
Figure BDA0001390643840000089
表示前一时刻积分细胞和校准细胞的权重总和。
Figure BDA00013906438400000812
表示当前时刻的积分细胞权重，
Figure BDA00013906438400000810
表示当前时刻的校准细胞权重。积分细胞和校准细胞的互相抑制通过如下公式实现：
Figure BDA0001390643840000084
Figure BDA0001390643840000085
其中，Δinte表示校准细胞对积分细胞的抑制强度，Δcali表示积分细胞对校准细胞的抑制强度。如果有噪声进入神经网络，在即使在没有输入的情况下，经过几次迭代，神经网络也会收敛到一个单峰的原始稳定状态。
路径积分并不采用通过积分权重连接的方式，利用吸引子网络动力学实现活动峰的移动。根据前庭的输入，活动峰移动通过改变积分细胞和校准细胞网络正态分布的均值实现，并且不存在活动峰变形的可能。而且与概率的方法也不一样，网络的不确定性不会随着时间变化和路径积分的过程增加。路径积分通过输入的前庭信息利用一下公式实现：
Figure BDA0001390643840000086
Figure BDA0001390643840000087
其中，
Figure BDA00013906438400000813
表示积分细胞的均值，而
Figure BDA00013906438400000814
表示校准细胞的均值，vt表示当前时刻的速度，Δt表示t与t-1之间的时间间隔。
视觉信息校准是利用熟悉的视觉信息校准头朝向细胞的均值。当机器人从摄像头观察到一个新的场景时，一个新的局部视图细胞模板将会添加到系统中，机器人的位姿则对应与当前积分细胞活动包正态分布的均值。同时，当前的局部视图细胞与积分细胞所编码的相位通过Hebb学习法形成一个很强的连接。当机器人再次遇到之前相同的视觉视图时，那么局部视图细胞将会再次被激活，通过之前学习的连接注入能量到头朝向细胞中去。能量注入的过程可以描述为：
Figure BDA0001390643840000091
注入能量的过程可以通过如下公式实现：
Figure BDA0001390643840000092
Figure BDA0001390643840000093
其中，
Figure BDA0001390643840000097
表示注入能量的强度，
Figure BDA0001390643840000098
表示在一维头朝向神经空间流行上所注入能量的位置。
通过计算当前积分细胞和视觉校准细胞的概率分布情况可以估计当前头朝向细胞的相位，当前的头朝向概率分布可以通过如下方式可以描述：
Figure BDA0001390643840000094
进一步，概率推理可以通过如下方式实现：
Figure BDA0001390643840000095
Figure BDA0001390643840000096
其中，
Figure BDA0001390643840000099
表示估计的权重，
Figure BDA00013906438400000910
表示均值。如何当前估计的位置与注入能量的位置满足了一定的阈值，则认为当前的估计位置就是当前机器人的实际位置，如果不满足阈值条件则直接进入下一循环的信息输入。
对于栅格细胞模型，需要将头朝向细胞模型的一维环形吸引子网络扩展到二维的单峰非扭曲栅格模式的圆环形吸引子网络。同样的贝叶斯推理机制被用于二维圆环形吸引子网络。其中假设大脑中存在两个与头朝向神经系统相似的脑区MSTd和VIP区域。栅格细胞的积分细胞和校准细胞通过二维正态分布进行定义：
Figure BDA0001390643840000101
头朝向细胞所采用的吸引子动力学、前庭信息积分、视觉信息校准、相位估计的方法利用二维的正态分布应用于栅格细胞的圆环形吸引子网络中。
在地图构建节点,利用速度信息,位置和头朝向信息的编码,在拓扑地图中添加结点和结点之间的连接,然后通过通用的图优化方法进行拓扑地图的全局优化,获得最后的拓扑地图。
本发明中所采用的模型通过接收视觉信息和前庭信息输入，能够产生机器人头朝向编码和栅格模式的位置编码，最终产生拓扑地图。模型中包括校准细胞(calibration)，积分细胞(integrator)，全局抑制(inhibition)和校准细胞和积分细胞的互相抑制，贝叶斯吸引子网络模型框架信息流图如图1所示。视觉信息(visual cues),前庭信息(vestibular cues),校准细胞(calibration)，积分细胞(integrator)，全局抑制(inhibition)，栅格细胞(grid cells),头朝向细胞(HD cells)，认知地图(cognitivemap)。模型的特性包括吸引子动力学，前庭信息融合，视觉信息校准，以及相位估计。在实际实验的过程中，模型的实现过程主要通过以下步骤：
步骤1，获取视觉信息和速度信息。视觉信息的获取利用廉价的webcam采集，而速度信息既可以根据输入的图像序列计算得到，也可以根据速度传感器得到，当前的实施方式中采用的是根据速度传感器获得线速度和角速度信息。视觉信息的发送与感知信息的发送之间相互独立。
步骤2，积分细胞，用于前庭信息的融合。在接收到角速度和线速度信息后，先执行前庭信息(速度)的融合，通过接收到的速度信息和当前时刻与上一时刻之间的时间差共同可以求出机器人所运动的距离和角度，通过移动头朝向细胞网络的活动包和栅格细胞的栅格模式，再通过估计神经集群编码活动包所处的状态可以求得机器人当前时刻的位置和头朝向。头朝向细胞网络和栅格细胞网络的神经活动如图2A～图2D所示。图2A～图2D为头朝向细胞和栅格细胞的神经编码。图2B和图2D表示实验过程中的某一个神经活动状态，图2B中头朝向细胞的相位为2.02，大约115.64度，图2D栅格细胞的相位为(3.56,5.68)。
前庭信息的融合过程的计算方式如下：
Figure BDA0001390643840000111
Figure BDA0001390643840000112
其中，
Figure BDA0001390643840000115
表示积分细胞的均值，而
Figure BDA0001390643840000116
表示校准细胞的均值，vt表示当前时刻的速度(角速度或线速度)，Δt表示t与t-1之间的时间间隔。
步骤3，校准细胞，用于视觉信息融合。在接到视觉信息之后，如果当前信息与之前所观察到的信息都不同，那么则建立新的拓扑网络节点，不对头朝向细胞网络和栅格细胞网络进行能力注入。如果当前的视觉信息与之前的某一次所看的视觉特征相似，并满足一定的阈值，那么激活与之相关的视觉细胞，对栅格细胞网络和头朝向细胞网络进行注入能量，栅格细胞和头朝向细胞网络的注入方式相似，从而改变校准细胞概率分布的可靠性大小以及均值的位置。校准实施方式如下：
Figure BDA0001390643840000113
Figure BDA0001390643840000114
其中，
Figure BDA0001390643840000117
表示注入能量的强度，
Figure BDA0001390643840000118
表示在一维头朝向神经空间流行上所注入能量的位置。栅格细胞视觉校准过程见图3A～图3D所示所示，经过一段时刻的收敛，栅格细胞的神经活动得到重新的映射。
μ、σ两类参数在高斯分布中分别表示均值和标准差，利用高斯分布表示位置和速度相位的概率分布，编码栅格细胞网络和头朝向细胞网络的发放率。
步骤4，吸引子动力学。动力学的特性保证了网络不会无限制的能量增长或减小，还能保证经过迭代可以收敛到一个稳定的发放模式。全局抑制是为了不让头朝向细胞网络和栅格细胞网络在迭代过程中无限制增长，以及能量衰减至零。全局抑制可以通过如下公式实现：
Figure BDA0001390643840000121
Figure BDA0001390643840000122
Figure BDA0001390643840000123
其中，
Figure BDA0001390643840000127
表示前一时刻的积分细胞权重，而
Figure BDA00013906438400001210
表示前一时刻的校准细胞的权重。
Figure BDA0001390643840000128
表示前一时刻积分细胞和校准细胞的权重总和。
Figure BDA00013906438400001211
表示当前时刻的积分细胞权重，
Figure BDA0001390643840000129
表示当前时刻的校准细胞权重。积分细胞和校准细胞的互相抑制通过如下公式实现：
Figure BDA0001390643840000124
Figure BDA0001390643840000125
其中，Δinte表示校准细胞对积分细胞的抑制强度，Δcali表示积分细胞对校准细胞的抑制强度。如果有噪声进入神经网络，在即使在没有输入的情况下，经过几次迭代，神经网络也会收敛到一个单峰的原始稳定状态。
步骤5，相位估计。想要知道当前的神经活动状态，需要通过估计神经网络活动峰所处的相位进行实现。相位估计主要是将积分细胞和校准细胞的神经活动利用正态分布概率模型相乘的方式实现，类似于传统概率模型中加入新的信息能够增加当前估计的可靠性，同时得到一个更加接近真实物理环境中的位置估计。
通过计算当前积分细胞和视觉校准细胞的概率分布情况可以估计当前头朝向细胞的相位，当前的头朝向概率分布可以通过如下方式可以描述：
Figure BDA0001390643840000126
进一步，概率推理可以通过如下方式实现：
Figure BDA0001390643840000131
Figure BDA0001390643840000132
其中，
Figure BDA0001390643840000133
表示估计的权重，
Figure BDA0001390643840000134
表示均值。如何当前估计的位置与注入能量的位置满足了一定的阈值，则认为当前的估计位置就是当前机器人的实际位置，如果不满足阈值条件则直接进入下一循环的信息输入。
步骤6，运行系统。利用一个公开的数据集，将本发明中所此采用的方法进行测试。按照本发明中的模型，设计的机器人导航系统的运行过程如图4A～图4E所示，为运行过程中的系统截图。图4A表示头朝向细胞的神经活动；图4D表示栅格细胞的神经活动；图4B表示机器人在环境探索过程中的俯视图；图4C表示输入的视觉场景(上)，局部视图视觉模板(中)，当前局部视图模板(下)；图中4E表示拓扑地图。
步骤7，认知拓扑地图。进一步的，利用步骤6所提出的机器人导航系统进行拓扑地图的构建，让机器人在一个封闭的环境中运动，如图4A中所示，经过一段时间的探索后，可以得到如图5所示的认知拓扑地图。

Claims (8)

1.基于贝叶斯多模感知融合的类脑机器人导航方法，其特征在于根据贝叶斯吸引子网络模型得到机器人当前的头朝向和位置，并构建地图用于导航，包括以下步骤：
积分细胞进行前庭信息融合：根据获取的前庭信息改变积分细胞的发放率；
校准细胞进行视觉信息融合：当获取的视觉信息与之前的视觉特征一致，并满足阈值时，那么激活与之相关的局部视图细胞并关联相应的栅格细胞和头朝向细胞，通过对栅格细胞网络和头朝向细胞网络进行注入能量，改变积分细胞和校准细胞的发放率；
通过积分细胞和校准细胞进行全局抑制；
通过估计栅格细胞网络和头朝向细胞网络的发放率所处的相位得到当前机器人的实际位置和头朝向；
根据机器人的实际位置和头朝向构建拓扑地图；
所述贝叶斯吸引子网络模型：
pt(θ|cvi，cve)∝pt-1(θ|cvi，vce)pt(θ|cvi)pt(θ|cve)
其中，pt(θ|cvi，cve)表示机器人当前的头朝向位置，pt-1(θ|cvi，cve)是前一个时刻的后验概率分布，pt(θ|cve)是当感知到前庭信息时的似然估计，pt(θ|cvi)是当感知到视觉信息时的似然估计；cve、cvi分别表示前庭信息和视觉信息。
2.根据权利要求1所述的基于贝叶斯多模感知融合的类脑机器人导航方法，其特征在于所述前庭信息融合通过以下公式实现：
Figure FDA0003458048120000011
Figure FDA0003458048120000012
其中，
Figure FDA0003458048120000013
表示积分细胞的均值，
Figure FDA0003458048120000014
表示校准细胞的均值，νt表示当前时刻机器人的速度，Δt表示时刻t与时刻t-1之间的时间间隔。
3.根据权利要求1所述的基于贝叶斯多模感知融合的类脑机器人导航方法，其特征在于所述对栅格细胞网络和头朝向细胞网络进行注入能量，改变积分细胞和校准细胞的发放率通过如下公式实现：
Figure FDA0003458048120000021
Figure FDA0003458048120000022
其中，
Figure FDA0003458048120000023
表示注入能量的强度，
Figure FDA0003458048120000024
表示在一维头朝向神经空间流行上所注入能量的位置；
Figure FDA0003458048120000025
表示当前时刻的校准细胞权重，
Figure FDA0003458048120000026
表示校准细胞的均值。
4.根据权利要求1所述的基于贝叶斯多模感知融合的类脑机器人导航方法，其特征在于所述全局抑制如下：
Figure FDA0003458048120000027
Figure FDA0003458048120000028
Figure FDA0003458048120000029
其中，
Figure FDA00034580481200000210
表示前一时刻的积分细胞权重，而
Figure FDA00034580481200000211
表示前一时刻的校准细胞的权重；
Figure FDA00034580481200000212
表示前一时刻积分细胞和校准细胞的权重总和；
Figure FDA00034580481200000213
表示当前时刻的积分细胞权重，
Figure FDA00034580481200000214
表示当前时刻的校准细胞权重；E表示设定的积分细胞和校准细胞组成网络的总能量。
5.根据权利要求4所述的基于贝叶斯多模感知融合的类脑机器人导航方法，其特征在于所述全局抑制后，积分细胞和校准细胞进行互相抑制，通过如下公式实现：
Figure FDA00034580481200000215
Figure FDA00034580481200000216
其中，Δinte表示校准细胞对积分细胞的抑制强度，Δcali表示积分细胞对校准细胞的抑制强度。
6.根据权利要求1所述的基于贝叶斯多模感知融合的类脑机器人导航方法，其特征在于所述估计栅格细胞网络和头朝向细胞网络的发放率所处的相位包括以下步骤：
当前的发放率概率分布通过如下方式实现：
Figure FDA0003458048120000031
Figure FDA0003458048120000032
其中，
Figure FDA0003458048120000033
表示前一时刻积分细胞和校准细胞的权重总和，
Figure FDA0003458048120000034
表示均值，即编码的相位；
Figure FDA0003458048120000035
表示积分细胞的均值，
Figure FDA0003458048120000036
表示校准细胞的均值，
Figure FDA0003458048120000037
表示当前时刻的积分细胞权重，
Figure FDA0003458048120000038
表示当前时刻的校准细胞权重；
当
Figure FDA0003458048120000039
达到阈值时，则认为当前的估计位置就是当前机器人的实际位置。
7.根据权利要求1所述的基于贝叶斯多模感知融合的类脑机器人导航方法，其特征在于如果当前视觉信息与之前的视觉特征都不同，那么建立新的拓扑结点，不对头朝向细胞网络和栅格细胞网络进行能量注入。
8.根据权利要求1所述的基于贝叶斯多模感知融合的类脑机器人导航方法，其特征在于所述构建拓扑地图具体为：
利用机器人的实际位置和头朝向，在拓扑地图中添加结点、以及与其它结点之间的连接，然后通过通用的图优化方法进行拓扑地图的优化，获得最后的拓扑地图。
CN201710748765.7A 2017-08-28 2017-08-28 基于贝叶斯多模感知融合的类脑机器人导航方法 Active CN109425340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710748765.7A CN109425340B (zh) 2017-08-28 2017-08-28 基于贝叶斯多模感知融合的类脑机器人导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710748765.7A CN109425340B (zh) 2017-08-28 2017-08-28 基于贝叶斯多模感知融合的类脑机器人导航方法

Publications (2)

Publication Number Publication Date
CN109425340A CN109425340A (zh) 2019-03-05
CN109425340B true CN109425340B (zh) 2022-03-22

Family

ID=65502416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710748765.7A Active CN109425340B (zh) 2017-08-28 2017-08-28 基于贝叶斯多模感知融合的类脑机器人导航方法

Country Status (1)

Country Link
CN (1) CN109425340B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112212867B (zh) * 2020-10-19 2024-05-28 中国科学技术大学 一种机器人自定位与导航的方法及系统
CN112648999B (zh) * 2020-11-30 2022-07-22 南京航空航天大学 一种基于多尺度网格细胞路径积分的类脑导航方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915039A (zh) * 2012-11-09 2013-02-06 河海大学常州校区 一种仿动物空间认知的多机器人联合目标搜寻方法
CN106125730A (zh) * 2016-07-10 2016-11-16 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
CN107063260A (zh) * 2017-03-24 2017-08-18 北京工业大学 一种基于鼠脑海马结构认知地图的仿生导航方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915039A (zh) * 2012-11-09 2013-02-06 河海大学常州校区 一种仿动物空间认知的多机器人联合目标搜寻方法
CN106125730A (zh) * 2016-07-10 2016-11-16 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
CN107063260A (zh) * 2017-03-24 2017-08-18 北京工业大学 一种基于鼠脑海马结构认知地图的仿生导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于情景记忆的移动机器人认知地图构建;韩晓东;《中国优秀博硕士学位论文全文数据库 信息科技辑》;20170315(第3期);第10-11，29-36页 *

Also Published As

Publication number Publication date
CN109425340A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
Ivanovic et al. Generative modeling of multimodal multi-human behavior
Yao et al. Path planning method with improved artificial potential field—a reinforcement learning perspective
Mangalam et al. It is not the journey but the destination: Endpoint conditioned trajectory prediction
Zhu et al. Starnet: Pedestrian trajectory prediction using deep neural network in star topology
JP7471397B2 (ja) 道路シーンにおける多様な長期将来軌道のシミュレーション
Liu et al. A survey on deep-learning approaches for vehicle trajectory prediction in autonomous driving
Cheng et al. Pedestrian trajectory prediction via the Social‐Grid LSTM model
Datta et al. Integrating egocentric localization for more realistic point-goal navigation agents
Zeng et al. NeuroBayesSLAM: Neurobiologically inspired Bayesian integration of multisensory information for robot navigation
Wang et al. Deep reinforcement learning based conflict detection and resolution in air traffic control
He et al. IRLSOT: Inverse reinforcement learning for scene‐oriented trajectory prediction
Hu et al. Vehicle trajectory prediction considering aleatoric uncertainty
CN113515131B (zh) 基于条件变分自动编码器的移动机器人避障方法及系统
CN112418421B (zh) 一种基于图注意力自编码模型的路侧端行人轨迹预测算法
CN109425340B (zh) 基于贝叶斯多模感知融合的类脑机器人导航方法
Wang et al. Oracle-guided deep reinforcement learning for large-scale multi-UAVs flocking and navigation
Janjoš et al. StarNet: Joint action-space prediction with star graphs and implicit global-frame self-attention
Pool et al. Crafted vs learned representations in predictive models—A case study on cyclist path prediction
Zhai et al. Peanut: Predicting and navigating to unseen targets
EP4124999A1 (en) Method and system for predicting trajectories of agents
Chen et al. DSTCNN: Deformable spatial-temporal convolutional neural network for pedestrian trajectory prediction
Omidshafiei et al. Semantic-level decentralized multi-robot decision-making using probabilistic macro-observations
Wang et al. Multi-Scale Extension in an entorhinal-hippocampal model for cognitive map building
Li et al. Hybrid Kalman Recurrent Neural Network for Vehicle Trajectory Prediction
CN118393973B (zh) 一种自动驾驶控制方法、装置、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant