CN107179077B - 一种基于elm-lrf的自适应视觉导航方法 - Google Patents

Abstract

本发明基于ELM‑LRF神经网络模型设计了一种机器人的自适应视觉导航方法。该方法分配(s_t,a_t,r_t,s_t+1,Q_t)结构体数据存储空间；令机器人在选定环境中重复运动，获得所需结构体数据，将状态相同的数据通过删除Q值较小的数据进行预处理。然后以s_t作为输入，a_t作为输出完成对ELM‑LRF的训练，建立起当前状态和最优动作的映射关系。最后以机器人能否找到目标来测试机器人的导航能力。本发明在该数据空间下利用ELF‑LRF模型提出的方法大大提高了机器人的导航速度。其中，s_t是当前状态，在这里为拍摄到的照片，a_t是在s_t下机器人的动作(前后左右运动)，r_t是a_t的即时回报，s_t+1是机器人在a_t后的状态，Q为长远回报，Q_t值为在状态s_t下执行a_t后得到的总的长远回报。

Description

一种基于ELM-LRF的自适应视觉导航方法

技术领域

本发明提供一种基于ELM-LRF(基于局部接收野的极限学习机)的自适应视觉导航方法，具体而言就是输入像素数据、输出决策(选择行走动作)，直到找到想要的物体，停下。属于机器学习、神经网络算法、强化学习技术领域。

背景技术

视觉导航是在机器人上安装单目或双目照相机，获取环境中局部图像，实现自我位姿确定和路径识别，从而做出导航决策，与人类视觉反馈导航很类似。从输入图像到输出动作，机器学习是核心。随着计算机计算性能的不断提高和越来越多数据的产生，挖掘数据的价值为人们生活服务成为必然。在此趋势下，“大数据”和“人工智能”成为火热的名词，而机器学习又是其中的核心技术。机器学习主要包括监督学习、无监督学习和强化学习。

监督学习最火热的当属深度学习，深度学习简单说就是多层的神经网络，给定数据和相应标签，给定一个优化目标，采用BP(误差反向传播Error Back Propagation)训练算法来训练神经网络。深度学习算法中最著名是卷积神经网络(CNN)，CNN受启发于人类的视觉皮层，输入至隐藏层采用局部连接。

极限学习机(ELM)，可用于特征学习，聚类，回归和分类。传统观点认为神经网络的隐藏层神经元需要在训练阶段迭代调整，比如BP算法，涉及大量的梯度下降，容易陷入局部最优。ELM理论打破了这种信条，认为隐层神经元虽然很重要，但不需要迭代调整，解决了传统方法的缺陷[1.G.-B.Huang,Q.-Y.Zhu,and C.-K.Siew.Extreme learning machine:Anew learning scheme of feedforward neural networks,in Proc.Int.JointConf.Neural Networks,July 2004,vol.2,pp.985–990.][2.G.-B.Huang,Q.-Y.Zhu,andC.-K.Siew,.Extreme learning machine:Theory and applications,Neurocomputing,vol.70,pp.489–501,Dec.2006.]。隐藏层节点的所有参数(权重W和偏置b)都独立于训练样例，可以随机的(任意连续概率分布)生成，这样的ELM依然具有普适的逼近和分类能力。ELM理论表明，只要隐层神经元的激活函数是非线性分段连续的，神经网络就不需要通过迭代调整网络来获得学习能力。

ELM-LRF[3.G.-B Huang,Z Bai，LLC Kasun,CM Vong.Local Receptive FieldsBased Extreme Learning Machine.[J].IEEE Computational Intelligence Magazine,2015,10(2):18-29]是基于局部感受野的极限学习机，输入与隐藏层间的连接是稀疏的，且由相应的局部感受野(对连续概率分布采样得到)包围。ELM理论证明，隐藏层节点可以按照任意概率分布生成，这里的随机是指：输入与隐藏层节点间的连接密度是根据不同类型的概率分布随机采样得到的，输入与隐藏层节点间的连接权重也是随机生成的。

强化学习是一种重要的机器学习方法,在智能控制、机器人及分析预测等领域有许多应用。在人工智能领域，一般用智能体来表示一个具备行为能力的物体，比如机器人，无人车，人等等。那么强化学习考虑的问题就是智能体和环境之间交互的任务。比如一个机械臂要拿起一个手机，那么机械臂周围的物体包括手机就是环境，机械臂通过外部的比如摄像头来观察环境，然后机械臂需要输出动作来实现拿起手机这个任务。再举玩游戏的例子，比如玩赛车游戏，人们只看到屏幕，这就是环境，然后通过操作键盘来控制车的运动。不管是什么样的任务，都包含了一系列的动作，观察还有反馈值。所谓的反馈值就是智能体执行了动作与环境进行交互后，环境会发生变化，变化的好与坏就用反馈值来表示。如上面的例子，如果机械臂离手机变近了，那么回报值就应该是正的，如果玩赛车游戏赛车越来越偏离跑道，那么回报值就是负的。用了观察一词而不是环境那是因为智能体不一定能得到环境的所有信息，比如机械臂上的摄像头就只能得到某个特定角度的画面。因此，只能用观察来表示智能体获取的感知信息。人与环境的交互就是一个典型的强化学习过程。

深度强化学习(Deep Reinforcement Learning)将深度学习和强化学习结合，这个想法在几年前就有人尝试，但真正成功的开端就是DeepMind在NIPS 2013上发表的[4.VolodymyrMnih,KorayKavukcuoglu,David Silver,Alex Graves,IoannisAntonoglou,DaanWierstra,Martin Riedmiller.Playing Atari with Deep Reinforcement Learning[A].NIPS,2013.]一文，在该文中第一次提出深度强化学习这个名称，并且提出DQN(DeepQ-Network)算法，实现从纯图像输入完全通过学习来玩Atari游戏的成果。之后DeepMind在Nature上发表了改进版的DQN文章[5.Volodymyr Mnih,KorayKavukcuoglu,David Silver,Andrei A.Rusu,Joel Veness,Marc G.Bellemare,Alex Graves,MartinRiedmiller,Andreas K.Fidjeland,Georg Ostrovski,Stig Petersen,Charles Beattie,Amir Sadik,IoannisAntonoglou,Helen King,DharshanKumaran,DaanWierstra,Shane Legg&DemisHassabis,Human-level control through deep reinforcement learning.[J]nature.2015.518:529-541.]，引起了广泛的关注，深度强化学习从此成为深度学习领域的前沿研究方向。2016年9月，Li Feifei组的最新文章[6.Yuke Zhu,RoozbehMottaghi,EricKolve,Joseph J.Lim,Abhinav Gupta,Li Fei-Fei,and Ali Farhadi.Target-drivenvisual navigation in indoor scenes using deep reinforcement learning.CoRR,abs/1609.05143,2016.]使用深度增强学习实现目标驱动的视觉导航。这篇文章中，作者构建了一个虚拟仿真环境，并且通过在高度仿真的环境中训练，然后迁移到真实场景中。这种方法被证明是有效的。深度强化学习可以用来做视觉导航，但有个缺陷就是训练速度非常慢。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于ELM-LRF的自适应视觉导航方法，大大提高了导航速度。

本发明技术解决方案：一种基于ELM-LRF的自适应视觉导航方法,。该方法分配(s_t，a_t，r_t，s_t+1，Q_t)结构体数据存储空间；令机器人在选定环境中重复运动，获得所需结构体数据，将状态相同的数据通过删除Q值较小的数据进行预处理。然后以s_t作为输入，a_t作为输出完成对ELM-LRF的训练，建立起当前状态和最优动作的映射关系。最后以机器人能否找到目标来测试机器人的导航能力。本发明在该数据空间下利用ELF-LRF模型提出的方法大大提高了机器人的导航速度。其中，s_t是当前状态，在这里为拍摄到的照片，a_t是在s_t下机器人的动作(前后左右运动)，r_t是a_t的即时回报，s_t+1是机器人在a_t后的状态，Q为长远回报，Q_t值为在状态s_t下执行a_t后得到的总的长远回报

具体包含如下：

(1)分配存储(s_t，a_t，r_t，s_t+1，Q_t)的空间；(s_t，a_t，r_t，s_t+1，Q_t)是结构体存储，s_t是当前状态，在这里为拍摄到的照片，a_t是在s_t下的动作，r_t是a_t的即时回报，s_t+1是a_t后的状态，Q_t值为在状态s_t下执行a_t后得到的总的长远回报；

(2)机器人在环境中运动，得到一组从初始位置到发现目标物的(s_t，a_t，r_t，s_t+1，Q_t)数据；

(3)机器人重置到初始位置，当在某状态s_t′下得到的Q_t′比之前同状态s_t得到的Q_t大时，删除在s_t状态下得到的(s_t，a_t，r_t，s_t+1，Q_W)数据，否则删除在s_t′下得到的(s_t′，a_t′，r_t′，s_t+1′，Q_t′)；重复多次，从而得到较好的当前状态和最优动作的数据，即得到为训练所提供的更好的样本数据；

(4)在步骤(3)的基础上，完成对基于局部接收野的极限学习机神经网络的训练，即ELM-LRF的训练，建立起当前状态和最优动作的映射关系；

(5)根据步骤(4)的建立起当前状态和最优动作的映射关系，测试机器人导航能力，观察机器人是否能找到目标。

所述步骤(4)的具体实现过程如下：

(4.1)计算隐层输出矩阵H

给定的训练集(x_i,t_i),＝1…L,x_i为步骤(3)得到的s_t，t_i为步骤(3)得到的a_t，

其中，G(a_i,b_i,x)是一个非线性分段连续函数，实际上是将d维的输入空间映射到L维的隐层随机空间，是一个随机特征映射；a_i,b_i是第i个隐藏节点的参数，非线性分段连续函数的参数，非线性分段连续函数有很多种，比如sin(ax+b)，R代表实数；

(4.2)根据步骤(4.1)中的H，求隐藏层至输出的权重β

ELM-LRF的输出函数

其中β_L×m＝[β₁ … β_L]^T

通过求解

来求β，

其中σ₁＞0,σ₂＞0,p,q＞0,C用于控制两项的重要性，T是训练样例的目标矩阵：

当σ₁＝σ₂＝p＝q＝2时，常用的闭式解为：

p,q是范数下标，N是矩阵T的行数，L是矩阵β的行数。

本发明与现有技术相比的优点在于：为了探索输入图像数据输出动作的端到端学习，其中在当前状态和最优动作建立联系时选择了ELM-LRF，而不是CNN。与DQN采用的CNN架构不同的是，CNN采用BP训练，这使得DQN面临BP中的琐碎问题，如：局部最优，慢的收敛速度。而ELM-LRF随机生成输入权重并解析地计算输出权重，也就是计算主要是输出权重的计算，从而ELM-LRF更为高效。

因此，传统方法需要设计特征提取器，而借助ELM-LRF神经网络能实现输入图像到输出动作的映射，并且相比于其他类型神经网络，比如卷积神经网络，ELM-LRF训练速度快，所需计算资源也少，本发明通过仿真试验测试大大提高了导航速度，从而很好的提高导航能力。

附图说明

图1为本发明方法的ELM-LRF神经网络架构；

图2为本发明方法的实现流程图。

具体实施方式

下面结合附图和实施例，对本发明的技术方案做进一步的说明。

如图1所示，ELM-LRF神经网络架构如图1所示，ELM-LRF分为ELM特征学习和ELM特征映射两个阶段，首先随机分配输入向量，局部接收野中的像素是随机选取，输入到隐藏层的权重也是随机给出，接下来进行下采样，最后输出。

如图2所示，本发明一种基于ELM-LRF的自适应视觉导航方法，具体实施例的流程如下：

步骤一：分配能存储(s_t,a_t,r_t,s_t+1,Q_t)结构体的空间。Q_t初始化为0，根据当前所处状态s_t，随机选取运动a_t(机器人可以向前后左右四个方向运动)，机器人在运动a_t下向相应方向走0.5m,得到新状态s_t+1与即时回报r_t。找到目标物回报为1，其他为0。存储(s_t,a_t,r_t,s_t+1,Q_t)，状态图像信息按64×64灰白图存储。

步骤二：重复步骤一，机器人在环境中不断运动，直到机器人找到目标物停止，这时将得到一组从初始位置到发现目标物的(s_t,a_t,r_t,s_t+1,Q_t)数据。每组最后的a_t的即时回报r_t是1，Q_t值也为1，其他状态下通过式(1)更新Q_t的值。

Q_t(s_t,a_t)＝r_t+γmaxQ(s_t+1,a_t+1) (1)

其中，r_t是s_t即时回报，记找到目标物为1，未找到为0。s_t+1,a_t+1为下一个状态与动作,0＜γ＜1为折扣因子，影响决策时的远视程度。当前的动作会影响后续动作。

步骤三：机器人重置到初始位置，回到步骤一继续循环，当在某状态s_t′下得到的Q_t′比之前同状态s_t得到的Q_t大时，删除在s_t状态下得到的(s_t,a_t,r_t,s_t+1,Q_t)数据，否则删除在s_t′下得到的(s_t′,a_t′,r_t＇,s_t+1′,Q_t′)，循环N₀次来获得大量样本数据。

步骤四：将系统所处状态s_t做输入，对应Q_t的动作a_t做输出构造样本，a_t四个方向1,2,3,4用[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]取代。计算隐层输出矩阵H,根据式(2)：计算输出权重β，完成对ELM-LRF的训练，建立起当前状态和最优动作的映射关系。

步骤五：将机器人放到新的出发点，测试其导航能力，观察其是否能找到目标。找不到目标可以增加训练次数，增加步骤三中的N₀，获得更多样本数据，接着重新训练ELM-LRF神经网络。训练之后继续测试，直到测试结果显示能发现目标，则表示用于导航的ELM-LRF神经网络训练好了。

Claims (2)

1.一种基于ELM-LRF的自适应视觉导航方法，其特征在于：步骤如下：

(1)分配存储(s_t，a_t，r_t，s_t+1，Q_t)的空间；(s_t，a_t，r_t，s_t+1，Q_t)是结构体存储，s_t是当前状态，在这里为拍摄到的照片，a_t是在s_t下的动作，r_t是a_t的即时回报，s_t+1是a_t后的状态，Q_t值为在状态s_t下执行a_t后得到的总的长远回报；

(2)机器人在环境中运动，得到一组从初始位置到发现目标物的(s_t，a_t，r_t，s_t+1，Q_t)数据；

(3)机器人重置到初始位置，当在某状态s_t′下得到的Q_t′比之前同状态s_t得到的Q_t大时，删除在s_t状态下得到的(s_t，a_t，r_t，s_t+1，Q_t)数据，否则删除在s_t′下得到的(s_t′，a_t′，r_t′，s_t+1′，Q_t′)；重复多次，从而得到较好的当前状态和最优动作的数据，即得到为训练ELM-LRF所提供的更好的样本数据；

(4)在步骤(3)的基础上，以s_t作为输入，a_t作为输出完成对基于局部接收野的极限学习机神经网络的训练，即ELM-LRF的训练，建立起当前状态和最优动作的映射关系；

(5)根据步骤(4)的建立起当前状态和最优动作的映射关系，测试机器人导航能力，观察机器人是否能找到目标。

2.根据权利要求1所述的基于ELM-LRF的自适应视觉导航方法，其特征在于：所述步骤(4)的具体实现过程如下：

(2.1)计算隐层输出矩阵H

给定的训练集(x_i，t_i)，i＝1…L，x_i为步骤(3)得到的s_t，t_i为步骤(3)得到的a_t，

h₁(x)＝G(a_i，b_i，x)，a_i∈R^d，b_i∈R，i＝1…L

其中，G(a_i，b_i，x)是一个非线性分段连续函数，实际上是将d维的输入空间映射到L维的隐层随机空间，是一个随机特征映射；a_i，b_i是第i个隐藏节点的参数，非线性分段连续函数的参数，R代表实数；

(2.2)根据步骤(2.1)中的H，求隐藏层至输出的权重β，

ELM-LRF的输出函数

即映射关系，其中：

β_L×m＝[β₁ … β_L]^T

通过求解

来求β，

其中σ₁＞0，σ₂＞0，p，q＞0，C用于控制两项的重要性，T是训练样例的目标矩阵：

当σ₁＝σ₂＝p＝q＝2时，常用的闭式解为：

p，q是范数下标，N是矩阵T的行数，L是矩阵β的行数。

Images