CN109240279A - 一种基于视觉感知和空间认知神经机制的机器人导航方法 - Google Patents

Abstract

本发明涉及一种基于视觉感知和空间认知神经机制的机器人导航方法，将采集到的视觉图像经过神经网络转化为表示机器人位置和方向角信息的视觉节点，形成视觉细胞；将视觉细胞的视觉编码转化为对环境的空间描述，构建类似哺乳动物自由运动时在大脑中所形成的认知地图；根据认知地图实现机器人的定位和导航。机器人依据环境感知和空间记忆的神经计算机制，完成了视觉处理、空间表示、自我定位、地图更新等一系列任务，实现了在未知环境中高仿生性、强自主性的机器人导航；相较于传统SLAM技术，本发明回避手工设计视觉特征及特征点匹配等一系列复杂计算，大幅度提高系统在自然环境下对于光照变化、视角变化、物体运动等因素的鲁棒性。

Description

一种基于视觉感知和空间认知神经机制的机器人导航方法

技术领域

本发明涉及的是一种类脑导航方法。具体地说是一种利用视觉感知和空间 认知神经计算机制，用于机器人在未知环境中导航的系统。

背景技术

机器人自主导航研究主要聚焦：“在哪里”(定位)；“应该去哪里”(路径规 划)。现有导航技术虽在一定程度上解决了这两个问题，但仍然存在着极大的缺 陷，如GPS技术定位精度低，在室内、水下、灾后等特殊或隐蔽环境中无法正 常提供导航信息；传统的机器人定位和地图构建技术(SLAM)依赖于里程计、激 光等昂贵的传感器，空间感知信息单一。而视觉导航以其丰富的感知信息源一 跃成为近年来的研究热点。目前的视觉导航常依赖于人工设计的图像特征，通 过特征点之间的匹配实现地图构建，如基于SIFT的视觉SLAM(simultaneous localization and mapping)。这种基于视觉表征的方法相较于传统SLAM大大提高 了导航准确率，但是由于手工设计特征所表达图像信息的局限性，在面临光照强度变化、视角变化等情况时，视觉导航的准确率大幅度下降，从而成为此类 方法继续发展的瓶颈。

随着脑科学和人工智能的融合，仿生视觉导航逐渐吸引了研究人员的注意 力。仿生视觉导航希望从“生物脑”角度出发，借鉴神经生物学关于哺乳动物 如何进行空间认知的研究成果，使机器人能够具有环境感知和空间记忆的神经 计算机制，在未知环境中完成主动探索、位置识别，自定位、更新地图、规划 路径等一系列导航任务。此研究领域对机器人导航技术的进一步发展虽然具有 极大的推动力，但是由于脑科学探索难度高等一系列因素，目前该项研究的突 破性进展仍然较少。

发明内容

针对上述技术不足，本发明的目的在于从“生物脑”角度出发，提供一种 基于视觉感知和空间认知的机器人仿生导航方法。

本发明解决其技术问题所采用的技术方案是：一种基于视觉感知和空间认 知神经机制的机器人导航方法，将采集到的视觉图像经过神经网络转化为表示 机器人位置和方向角信息的视觉节点，形成视觉细胞；将视觉细胞的视觉编码 转化为对环境的空间描述，构建哺乳动物自由运动时在大脑中所形成的认知地 图；根据认知地图实现机器人的定位和导航。

一种基于视觉感知和空间认知神经机制的机器人导航方法，包括以下步骤：

步骤1：将视觉图像利用神经网络VGG-16进行逐层抽象表示，形成表示机 器人位置和方向角信息的M个视觉节点，第j个视觉节点的响应值为f_j；

步骤2：建立环状空间皮层并均匀分布N个位置节点，位置节点i与位置节 点k间以回馈连接w_ika相互抑制放电，求取回馈连接w_ika；

步骤3：视觉节点j经由竞争连接v_ij向位置节点i传送信息，得到此方式对位 置节点响应所贡献的数值m_i；

步骤4：根据回馈连接w_ika和m_i求取环状空间皮层上所有位置节点的响应值；

步骤5：位于环状空间皮层上的位置节点形成认知地图，同时实现机器人定 位；

步骤6：根据预估位置的差值构建拓扑地图，实现机器人的导航。

所述回馈连接w_ika通过以下公式得到：

其中，a为机器人的速度；J₀、J₁为权重调制参数；σ为空间范围调制参数； 位置节点i与位置节点k在环状空间皮层的位置分别为p_i与p_k；t为时刻。

所述对位置节点响应所贡献的数值m_i，通过以下公式得到：

利用位置节点i的短时活动记忆m_i加强对突触后神经元响应m_i的学习，表示 为：

其中η为学习率；

突触后神经元的短时活动记忆m_i表示为：

其中ε表示用于调整突触后神经元响应对短时记忆的影响程度；神经元响应 即对位置节点响应所贡献的数值。

求取对位置节点响应所贡献的数值m_i时，将神经元间的竞争连接v_ij归一化 后带入；归一化为

所述位置节点的响应值h_i：

其中ρ用于调节视觉信息对位置节点响应的贡献值；I调节位置节点响应阈 值；[·]⁺为线性阈值函数；h_k为第k个位置节点的响应值。

所述实现机器人定位，具体为依据位置节点的响应值h_i预估t时刻机器人的 位置

其中，位置节点i与读出节点l间的连接u_li依据随机梯度下降准则得到； l∈{1,2}。

所述根据预估位置的差值构建拓扑地图，实现机器人的导航包括以下步骤：

从某一未知点出发，根据预估位置的差值构建拓扑地图；

当机器人执行导航任务时，若前进道路上出现障碍物，堵塞点所对应的位 置节点响应值h_i降低，引起认知地图及时更新，拓扑地图相应发生变化，进而指 导机器人沿无障碍物道路前进。

本发明具有以下有益效果及优点：

(1)机器人依据环境感知和空间记忆的神经计算机制，完成了视觉处理、 空间表示、自我定位、地图更新等一系列任务，实现了在未知环境中高仿生性、 强自主性的机器人导航；

(2)相较于传统SLAM技术，本发明回避手工设计视觉特征及特征点匹配 等一系列复杂计算，大幅度提高系统在自然环境下对于光照变化、视角变化、 物体运动等因素的鲁棒性。

(3)相较于现有仿生导航技术，本发明直接利用视觉刺激中包含的纹理、 色彩等信息源矫正运动误差，实现了多信息融合的高精度机器人导航方法。

实验所得结果证明：以视觉信息和机器人运动信息为输入，系统可对机器 人所处环境进行空间编码，形成类似神经生物学实验中位置细胞所形成的“位 置野”的放电模式。并且在黑暗环境中，位置结点依然保持稳定的的空间放电 模式，符合位置细胞的放电特性。此外，此类空间编码能够准确地完成机器人 的自定位任务，高精度跟踪机器人运动轨迹。因此本发明成功降低了机器人导 航任务的计算复杂度，提高了机器人自定位和地图构建的仿生性、鲁棒性和自 主性。

附图说明

图1为本发明的基于视觉感知和空间认知的机器人导航工作流程图；

图2为t时刻位置节点在空间皮层上形成的放电峰区(bump)示意图；

图3a为光照情况下，机器人在环境中的运动轨迹示意图；

图3b为光照情况下，bump在环状空间皮层上的运动轨迹展开图；

图3c为光照情况下，机器人与bump在X维度的运动轨迹差示意图；

图3d为光照情况下，机器人与bump在Y维度的运动轨迹差示意图；

图4为光照情况下，位置节点在机器人具有不同方向角时的空间响应示意 图；

图5为机器人运动轨迹追踪结果图；

图6a为黑暗情况下，机器人与bump在X维度的运动速度关系图；

图6b为黑暗情况下，机器人与bump在Y维度的运动速度关系图

图7a为运动噪声影响下，机器人在环境中的运动轨迹示意图；

图7b为运动噪声影响下，bump在环状空间皮层上的运动轨迹展开图；

图7c为运动噪声影响下，机器人与bump在X维度的运动轨迹差示意图；

图7d为运动噪声影响下，机器人与bump在Y维度的运动轨迹差示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

本发明公开了一种基于视觉感知和空间认知神经机制的机器人导航方法。 从“生物脑”角度出发，使机器人完成视觉处理、空间表示、自我定位、地图 更新等导航任务。当机器人在未知环境中自主探索时，通过摄像装置连续采集 到的RGB视觉图像经过神经网络VGG-16的抽象表示，转化为与机器人位置和方 向角信息有关的视觉特征，形成视觉细胞；将视觉细胞的视觉编码转化为对环 境的空间描述，构建类似哺乳动物自由运动时在大脑中所形成的认知地图；根 据认知地图实现机器人自我定位任务。本发明的导航方法具备仿生性；强调自 主学习，降低对人工设计特征的依赖性；面对未知环境中光照变化、物体运动、 视角变化等情况具有较强的鲁棒性。

视觉图像为机器人在环境中看到的墙体及地面信息，其中墙体及地面均有 丰富的纹理信息。视觉图像是彩色的RGB图像。详见附图1中的正方形图片。

当机器人在未知环境中自主探索时，通过摄像装置采集到的RGB视觉图像 经过神经网络VGG-16的抽象表示，转化为与机器人位置和方向角信息有关的 视觉特征，形成视觉细胞，为导航功能细胞提供重要的输入；将视觉细胞的视 觉编码转化为对环境的空间描述，构建类似哺乳动物自由运动时在大脑中所形 成的认知地图；根据认知地图实现机器人自我定位和导航任务。

如图1所示，步骤如下：

步骤1：连续的RGB视觉图像利用预训练过的神经网络VGG-16进行逐层 抽象表示，形成与机器人的位置和方向角信息相关的M个视觉节点，第j个节点 的响应值为f_j(通过VGG-16网络抽象表示得到)；j∈{1,2,3,…M}。

步骤2：根据周期性边界条件(有界二维平面的两组相对边界依次相接，形 成封闭环境)建立环状空间皮层并均匀分布N个位置节点，位置节点i与节点k间 以回馈连接w_ika相互抑制放电，即仅当节点i与k在环状空间皮层的位置p_i与p_k具 有特定关系——第k个节点沿机器人t时刻的移动速度(包括方向)a运动一个 步长恰好到达第i个节点时，两节点间的联系最强；

其中，a为机器人的速度；J₀、J₁为权重调制参数,本例中分别取2.3、78； σ为空间范围调制参数，本例可取2；i，k∈{1,2,3,…N}。

步骤3：借鉴神经生物学中视神经的传递机制，视觉节点j经由竞争连接v_ij向 位置节点i传送视觉信息，此方式对位置节点响应所贡献的数值为m_i

竞争连接依赖于扩展的赫步学习，即利用位置节点i的短时活动记忆m_i加强 对突触后神经元响应的学习，竞争连接v_ij可表示为：

其中η为学习率，本例可取0.0005；

突触后神经元的短时活动记忆可表示为：

其中ε用于调整突触后神经元响应m对短时记忆的影响程度，本例可取 0.6；

为了避免节点持续激活或持续抑制现象，更新得到的竞争连接v_ij需要归一 化至单位长度后才可用于计算m_i(t)。

步骤4：位置节点的响应受到两部分信号激励：其一是步骤1中的视觉信息， 可用于矫正连续积累的运动误差；其二是步骤2中提到的机器人自身移动信息 即速度，在形成及更新认知地图时起到主要作用，因此在环状空间皮层上，第i 个位置节点的响应值h_i可表示为

其中ρ用于调节视觉信息对位置节点响应的贡献值；I调节位置节点响应阈 值；[·]⁺为线性阈值函数；

随着机器人对未知环境的不断探索，每个位置节点可对应未知环境的某一 位置，而所有位于环状空间皮层上的位置节点可形成一张描述环境的认知地图 (认知地图是一种从生物学角度对环境的综合表述，包括环境中某两点间的方 向与距离)；其中位置节点间的连接强弱w_ika代表了两节点所对应位置的距离远 近；

步骤5：在构建认知地图的同时实现机器人定位，即依据位置节点的响应值 h_i预估t时刻机器人的位置形成2个读出节点，分别输出机器人的x、y向坐 标；

位置节点i与读出节点l间的连接u_li依据随机梯度下降准则(SGD)学习， 降低定位误差；l∈{1,2}。

步骤6：

从某一未知点出发，根据预估位置的差值增量式构建拓扑地图； 当机器人执行导航任务时，在熟悉的前进道路上出现障碍物，步骤1中的视觉 节点响应值f_j变化，步骤3中的m_i相应变化，进而步骤4位置节点状态更新， 即堵塞点所对应的位置节点响应值h_i降低，畅通点所对应的位置节点响应值增 大，引起认知地图及时更新，拓扑地图相应发生变化，进而指导机器人沿畅通 道路前进。

下面通过3组实验来验证本发明的仿生性、抗干扰性与精度。为了简化实 验，设置机器人自主探索规则，包括(1)机器人可以探索指定环境中的任意位 置，当距离墙面5个像素值时，以最小旋转代价改变运动方向，防止碰撞；(2) 机器人的探索轨迹不做规定，但每一时刻的运动选择仅有8个方向：东向、南 向、西向、北向、东南向、西南向、西北向、东北向，运动速度为每秒1个像 素单位；(3)头方向(机载摄像头方位)与运动方向一致。

实施例1光照情况下机器人导航

光照情况下，系统受到视觉图像和机器人运动的多信息源刺激。t时刻众多 位置节点形成了如图2所示的放电峰区(bump)。如图3a～3d所示，x、y分别 表示x、y方向上的位置。bump在空间皮层上的运动与机器人在仿真环境中的 运动成正比，归一化差值接近0。因此本发明设计的系统具有动态性，实现了机 器人运动平面与空间皮层的转换，有助于机器人对所处环境学习二维空间认知 地图。参照图4，当机器人处于不同头朝向时，位置节点的空间响应一致，形成 模式类似位置细胞的“位置野”的放电模式。根据位置细胞对空间的编码表示， 参照图5，实验实现了对机器人的自定位及高精度轨迹追踪，误差为3.4％。

实施例2黑暗情况下机器人导航

黑暗情况下，视觉图像对系统的刺激消失，但是t时刻空间皮层中由位置节 点形成的bump依然存在，且如图6a～6b所示具备与实施例1中相似的动态性， 即bump在空间皮层的运动与机器人速度成正比。

实施例3存在运动噪声情况下机器人导航

当机器人的速度信息存在随机噪声时，系统仍然具有抗干扰性，如图7a～ 7d所示，bump的运动与实际机器人运动归一化误差在0附近小范围波动。

上述实验说明了本发明提出的基于视觉感知和空间认知的机器人导航方法 具备合理性、仿生性和抗干扰性。以上所述并不用于限定本发明的保护范围， 凡在本发明的理论框架之内所做的等同替换仿真实验均应包含在本发明的保护 范围之内。

Claims (8)

1.一种基于视觉感知和空间认知神经机制的机器人导航方法，其特征在于：

将采集到的视觉图像经过神经网络转化为表示机器人位置和方向角信息的视觉节点，形成视觉细胞；

将视觉细胞的视觉编码转化为对环境的空间描述，构建哺乳动物自由运动时在大脑中所形成的认知地图；根据认知地图实现机器人的定位和导航。

2.根据权利要求1所述的一种基于视觉感知和空间认知神经机制的机器人导航方法，其特征在于包括以下步骤：

步骤1：将视觉图像利用神经网络VGG-16进行逐层抽象表示，形成表示机器人位置和方向角信息的M个视觉节点，第j个视觉节点的响应值为f_j；

步骤2：建立环状空间皮层并均匀分布N个位置节点，位置节点i与位置节点k间以回馈连接w_ika相互抑制放电，求取回馈连接w_ika；

步骤3：视觉节点j经由竞争连接v_ij向位置节点i传送信息，得到此方式对位置节点响应所贡献的数值m_i；

步骤4：根据回馈连接w_ika和m_i求取环状空间皮层上所有位置节点的响应值；

步骤5：位于环状空间皮层上的位置节点形成认知地图，同时实现机器人定位；

步骤6：根据预估位置的差值构建拓扑地图，实现机器人的导航。

3.根据权利要求2所述的一种基于视觉感知和空间认知神经机制的机器人导航方法，其特征在于所述回馈连接w_ika通过以下公式得到：

其中，a为机器人的速度；J₀、J₁为权重调制参数；σ为空间范围调制参数；位置节点i与位置节点k在环状空间皮层的位置分别为p_i与p_k；t为时刻。

4.根据权利要求2所述的一种基于视觉感知和空间认知神经机制的机器人导航方法，其特征在于所述对位置节点响应所贡献的数值m_i，通过以下公式得到：

利用位置节点i的短时活动记忆加强对突触后神经元响应m_i的学习，表示为：

其中η为学习率；

突触后神经元的短时活动记忆表示为：

其中ε表示用于调整突触后神经元响应对短时记忆的影响程度；神经元响应即对位置节点响应所贡献的数值。

5.根据权利要求4所述的一种基于视觉感知和空间认知神经机制的机器人导航方法，其特征在于求取对位置节点响应所贡献的数值m_i时，将神经元间的竞争连接v_ij归一化后带入；归一化为

6.根据权利要求2所述的一种基于视觉感知和空间认知神经机制的机器人导航方法，其特征在于所述位置节点的响应值h_i：

其中ρ用于调节视觉信息对位置节点响应的贡献值；I调节位置节点响应阈值；[·]⁺为线性阈值函数；h_k为第k个位置节点的响应值。

7.根据权利要求2所述的一种基于视觉感知和空间认知神经机制的机器人导航方法，其特征在于所述实现机器人定位，具体为依据位置节点的响应值h_i预估t时刻机器人的位置

其中，位置节点i与读出节点l间的连接u_li依据随机梯度下降准则得到；l∈{1,2}。

8.根据权利要求2所述的一种基于视觉感知和空间认知神经机制的机器人导航方法，其特征在于所述根据预估位置的差值构建拓扑地图，实现机器人的导航包括以下步骤：

从某一未知点出发，根据预估位置的差值构建拓扑地图；

当机器人执行导航任务时，若前进道路上出现障碍物，堵塞点所对应的位置节点响应值h_i降低，引起认知地图及时更新，拓扑地图相应发生变化，进而指导机器人沿无障碍物道路前进。