CN112212867B - 一种机器人自定位与导航的方法及系统 - Google Patents

一种机器人自定位与导航的方法及系统 Download PDF

Info

Publication number
CN112212867B
CN112212867B CN202011120797.0A CN202011120797A CN112212867B CN 112212867 B CN112212867 B CN 112212867B CN 202011120797 A CN202011120797 A CN 202011120797A CN 112212867 B CN112212867 B CN 112212867B
Authority
CN
China
Prior art keywords
neural network
robot
information
positioning
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011120797.0A
Other languages
English (en)
Other versions
CN112212867A (zh
Inventor
李智军
黄鹏博
高洪波
皮明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202011120797.0A priority Critical patent/CN112212867B/zh
Publication of CN112212867A publication Critical patent/CN112212867A/zh
Application granted granted Critical
Publication of CN112212867B publication Critical patent/CN112212867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种机器人自定位与导航的方法及系统，包括：步骤M1：将机器人的速度信息以及环境视觉信息输入训练后的自定位神经网络，通过自定位神经网络综合计算得到网格编码；步骤M2：通过图像处理神经网络对环境特征信息进行特征提取，得到处理后的环境信息；步骤M3：将网格编码、处理后的环境信息以及机器人当前的方向、速度输入深度神经网络，经过深度神经网络计算得到机器人期望方向和速度信息，动态调整机器人的状态，实现机器人导航功能；本发明使用多个神经网络来协同合作实现了机器人对哺乳动物网格细胞定位与导航功能的模仿，利用不同神经网络的特点来处理不同的信息，比如环境信息、编码信息等。

Description

一种机器人自定位与导航的方法及系统
技术领域
本发明涉及仿生学领域，具体地，涉及一种机器人自定位与导航的方法及系统，更为具体地，涉及一种模仿哺乳动物网格细胞定位与导航功能的机器人自定位与导航方法及系统。
背景技术
对于一只哺乳动物而言，它们能够感知自己所在的位置，能够回想起刚才自己走过的路，并能够根据记忆返回到刚才走过的地方，能够想起“路上的障碍物”，并能够规避障碍物。
已经有研究表明，上述这种对哺乳动物而言比较基本的定位和导航功能，实际上与大脑中的网格细胞有关系。网格细胞可以通过三角坐标系来确定动物本身在空间中的位置，具体是一个个的网格节点将整个空间环境划分为一种规则的网格结构图，简称网格图。网格节点之间形成等边三角形阵型。当空间范围扩大时，网格结构不发生改变，节点之间的距离不变，但节点数量增多，即网格结构密度不变，使位置在网格细胞上的标记具有无限扩大的可能。网格细胞具备一种独特的放电模式，当哺乳动物位于一个特定的运动路径的空间位置时，网格细胞之间会发生重复性规律放电，此时这些相互放电的网格细胞就会构成一个放电区域，多个放电区域相互交叠成一个个节点，即网格节点。动物在活动空间中每个位置都会对应一个网格节点。当相应的网格细胞发生最大放电，表明动物到达了活动空间中的对应位置。虽然具有相同间隔和相同取向的位置都有相同的网格节点细胞放电，但由于它们的时相不同，这样就可以使得环境中的位置都能在网格细胞上被标记。
现有的机器人自定位、导航方法，大多数是利用同步定位与建图(SLAM)方法构建地图，该方法原理为：在未知的环境中，机器人通过自身所携带的内部传感器(编码器、IMU等)和外部传感器(激光传感器或者视觉传感器)来对自身进行定位，并在定位的基础上利用外部传感器获取的环境信息构建环境地图。例如栅格地图，栅格地图依靠摄像头提取周围环境的特征点来构建整个地图，但其对于硬件的计算性能要求很高，并且其只能在已有地图和静态环境中使用，使用起来非常不便。
而哺乳动物体内网格细胞及其自定位与导航功能的功能启发着我们仿照动物网格细胞的自定位、导航等功能，来通过人工神经网络来模拟哺乳动物的大脑，通过神经网络的训练，使机器人能够自主完成更为精确的自定位、导航等功能。
专利文献CN104007760B(201410161463.6)公开了一种自主机器人视觉导航中的自定位方法，是指机器人利用视觉导航方式沿着地面上的导航线行走时，在利用迪杰斯特拉算法进行路径规划后，通过模糊控制规则指导行走，在行走过程中采用在交叉路口设置黑白等间隔环形编码方式，通过对环形编码的识别，进而完成机器人的自主定位和按照规划路径自主行走。本发明的有益效果是：采用人工编码标识，即利用黑白等间隔圆环编码方案来标识不同的交叉路口，可以根据视觉信息实现机器人的自主定位，进而实现按照既定规划路径的自主行走，该方案成本低，易于实施；同时，黑白等间隔环形编码图案可以保证机器人从不同方向识别编码图案时具有相同的结果。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种机器人自定位与导航的方法及系统。
根据本发明提供的一种机器人自定位与导航的方法，包括：自定位神经网络、图像处理神经网络和深度神经网络；
步骤M1：将机器人的速度信息以及环境视觉信息输入训练后的自定位神经网络，通过自定位神经网络综合计算得到网格编码；
步骤M2：通过图像处理神经网络对环境特征信息进行特征提取，得到处理后的环境信息；
步骤M3：将网格编码、处理后的环境信息以及机器人当前的方向、速度输入深度神经网络，经过深度神经网络计算得到机器人期望方向和速度信息，动态调整机器人的状态，实现机器人导航功能；
所述自定位神经网络通过采用长短时神经网络建造和训练，用于机器人的自定位；
所述图像处理神经网络用于辨识环境特征信息，辅助机器人实现导航和自定位功能；
所述深度神经网络综合自定位神经网络输出信息和图像处理神经网络输出信息，调整机器人的方向和速度，实现导航、自定位的功能。
优选地，所述步骤M1中环境视觉信息包括：环境标志信息和障碍物；所述速度信息包括平动速度和角速度；
所述环境视觉信息通过自定位神经网络中的视觉模块获取；所述视觉模块为获取环境视觉信息。
优选地，所述步骤M1包括：
步骤M1.1：在预设环境下随机选取预设数量的点作为起始点，根据速度信息和环境视觉信息，得到预设数量的路径信息；
步骤M1.2：通过路径信息不断训练长短时神经网络，直至通过长短时神经网络预估的路径与实际路径信息误差达到预设值；
步骤M1.3：将机器人的速度信息以及环境视觉信息输入训练后的长短时神经网络，将长短时神经网络的输出再经过线性层处理作用于网格单元，得到网格编码。
优选地，所述网格编码作为机器人位置以及方向的一种代数表示，网格编码包括目标网格编码和当前位置网格编码，目标网格编码作为目标位置以及方向的一种代数表示；当前位置网格编码作为当前位置以及方向的一种代数表示。
优选地，所述步骤M3包括：根据目标网格编码和当前位置网格编码，通过矢量计算来获得目标矢量以及机器人与目标之间的欧几里得距离，求解机器人的期望运动距离和期望转角，以此来调整机器人的当前位置和方向。
根据本发明提供的一种机器人自定位与导航的系统，包括：自定位神经网络、图像处理神经网络和深度神经网络；
模块M1：将机器人的速度信息以及环境视觉信息输入训练后的自定位神经网络，通过自定位神经网络综合计算得到网格编码；
模块M2：通过图像处理神经网络对环境特征信息进行特征提取，得到处理后的环境信息；
模块M3：将网格编码、处理后的环境信息以及机器人当前的方向、速度输入深度神经网络，经过深度神经网络计算得到机器人期望方向和速度信息，动态调整机器人的状态，实现机器人导航功能；
所述自定位神经网络通过采用长短时神经网络建造和训练，用于机器人的自定位；
所述图像处理神经网络用于辨识环境特征信息，辅助机器人实现导航和自定位功能；
所述深度神经网络综合自定位神经网络输出信息和图像处理神经网络输出信息，调整机器人的方向和速度，实现导航、自定位的功能。
优选地，所述模块M1中环境视觉信息包括：环境标志信息和障碍物；所述速度信息包括平动速度和角速度；
所述环境视觉信息通过自定位神经网络中的视觉模块获取；所述视觉模块为获取环境视觉信息。
优选地，所述模块M1包括：
模块M1.1：在预设环境下随机选取预设数量的点作为起始点，根据速度信息和环境视觉信息，得到预设数量的路径信息；
模块M1.2：通过路径信息不断训练长短时神经网络，直至通过长短时神经网络预估的路径与实际路径信息误差达到预设值；
模块M1.3：将机器人的速度信息以及环境视觉信息输入训练后的长短时神经网络，将长短时神经网络的输出再经过线性层处理作用于网格单元，得到网格编码。
优选地，所述网格编码作为机器人位置以及方向的一种代数表示，网格编码包括目标网格编码和当前位置网格编码，目标网格编码作为目标位置以及方向的一种代数表示；当前位置网格编码作为当前位置以及方向的一种代数表示。
优选地，所述模块M3包括：根据目标网格编码和当前位置网格编码，通过矢量计算来获得目标矢量以及机器人与目标之间的欧几里得距离，求解机器人的期望运动距离和期望转角，以此来调整机器人的当前位置和方向。
与现有技术相比，本发明具有如下的有益效果：
1、本发明使用多个神经网络来协同合作实现了机器人对哺乳动物网格细胞定位与导航功能的模仿，利用不同神经网络的特点来处理不同的信息，比如环境信息、编码信息等。
2、本发明为了实现机器人自定位的功能，将传感器测得的平动速度信号、旋转速度信号以及环境信息作为自定位神经网络的输入，模拟出哺乳动物在自然环境中运动的状态：速度、方向、不定时的观察环境获得信息，可以使得训练出的模型更真实可靠、更贴近实际哺乳动物在生活环境中的状态、使得模型更精确可信。
3、本发明为了实现辅助机器人导航的功能，通过把自定位神经网络提供的空间位置分解成多尺度的周期编码，通过检测和比较每一层的目标编码和现在位置编码结合模数等返回一个正确的矢量，可以方便地获得目标的矢量以及欧几里得距离。
4、本发明相较于传统的同步定位与建图(SLAM)方法，不需要建立精确的和完整的地图以及目标点的位置就可以完成机器人的导航，对硬件要求较低，并且可以在动态环境中使用。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的整体架构示意图；
图2为本发明的自定位神经网络模块示意图；
图3为本发明的加上视觉信号的自定位神经网络模块示意图；
图4为本发明的模拟环境信息模型图；
图5为本发明的网格编码比较计算模型图；
图6为本发明的深度神经网络模块示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种机器人自定位与导航的方法，包括：自定位神经网络、图像处理神经网络和深度神经网络；
步骤M1：将机器人的速度信息以及环境视觉信息输入训练后的自定位神经网络，通过自定位神经网络综合计算得到网格编码；
步骤M2：通过图像处理神经网络对环境特征信息进行特征提取，得到处理后的环境信息；
步骤M3：将网格编码、处理后的环境信息以及机器人当前的方向、速度输入深度神经网络，经过深度神经网络计算得到机器人期望方向和速度信息，动态调整机器人的状态，实现机器人导航功能；
所述自定位神经网络通过采用长短时神经网络建造和训练，用于机器人的自定位；
所述图像处理神经网络用于辨识环境特征信息，辅助机器人实现导航和自定位功能；
所述深度神经网络综合自定位神经网络输出信息和图像处理神经网络输出信息，调整机器人的方向和速度，实现导航、自定位的功能。
具体地，所述步骤M1中环境视觉信息包括：环境标志信息和障碍物；所述速度信息包括平动速度和角速度；
所述环境视觉信息通过自定位神经网络中的视觉模块获取；所述视觉模块为获取环境视觉信息。
具体地，所述步骤M1包括：
步骤M1.1：在预设环境下随机选取预设数量的点作为起始点，根据速度信息和环境视觉信息，得到预设数量的路径信息；
步骤M1.2：通过路径信息不断训练长短时神经网络，直至通过长短时神经网络预估的路径与实际路径信息误差达到预设值；
步骤M1.3：将机器人的速度信息以及环境视觉信息输入训练后的长短时神经网络，将长短时神经网络的输出再经过线性层处理作用于网格单元，得到网格编码。
具体地，所述网格编码作为机器人位置以及方向的一种代数表示，网格编码包括目标网格编码和当前位置网格编码，目标网格编码作为目标位置以及方向的一种代数表示；当前位置网格编码作为当前位置以及方向的一种代数表示。
具体地，所述步骤M3包括：根据目标网格编码和当前位置网格编码，通过矢量计算来获得目标矢量以及机器人与目标之间的欧几里得距离，根据目标矢量以及机器人与目标之间的距离求解机器人的期望运动距离和期望转角，为了让机器人沿着目标前进，求解的过程主要利用矢量合成的方法，以此来调整机器人的当前位置和方向。
根据本发明提供的一种机器人自定位与导航的系统，包括：自定位神经网络、图像处理神经网络和深度神经网络；
模块M1：将机器人的速度信息以及环境视觉信息输入训练后的自定位神经网络，通过自定位神经网络综合计算得到网格编码；
模块M2：通过图像处理神经网络对环境特征信息进行特征提取，得到处理后的环境信息；
模块M3：将网格编码、处理后的环境信息以及机器人当前的方向、速度输入深度神经网络，经过深度神经网络计算得到机器人期望方向和速度信息，动态调整机器人的状态，实现机器人导航功能；
所述自定位神经网络通过采用长短时神经网络建造和训练，用于机器人的自定位；
所述图像处理神经网络用于辨识环境特征信息，辅助机器人实现导航和自定位功能；
所述深度神经网络综合自定位神经网络输出信息和图像处理神经网络输出信息，调整机器人的方向和速度，实现导航、自定位的功能。
具体地，所述模块M1中环境视觉信息包括：环境标志信息和障碍物；所述速度信息包括平动速度和角速度；
所述环境视觉信息通过自定位神经网络中的视觉模块获取；所述视觉模块为获取环境视觉信息。
具体地，所述模块M1包括：
模块M1.1：在预设环境下随机选取预设数量的点作为起始点，根据速度信息和环境视觉信息，得到预设数量的路径信息；
模块M1.2：通过路径信息不断训练长短时神经网络，直至通过长短时神经网络预估的路径与实际路径信息误差达到预设值；
模块M1.3：将机器人的速度信息以及环境视觉信息输入训练后的长短时神经网络，将长短时神经网络的输出再经过线性层处理作用于网格单元，得到网格编码。
具体地，所述网格编码作为机器人位置以及方向的一种代数表示，网格编码包括目标网格编码和当前位置网格编码，目标网格编码作为目标位置以及方向的一种代数表示；当前位置网格编码作为当前位置以及方向的一种代数表示。
具体地，所述模块M3包括：根据目标网格编码和当前位置网格编码，通过矢量计算来获得目标矢量以及机器人与目标之间的欧几里得距离，求解机器人的期望运动距离和期望转角，以此来调整机器人的当前位置和方向。
实施例2
实施例2是实施例1的变化例
本发明涉及仿生学领域，具体地说是一种模仿哺乳动物网格细胞定位与导航功能的机器人自定位与导航方法。其基本原理为：当哺乳动物位于不同空间位置时，其大脑中的对应网格细胞会放电，形成放电区域，许多放电区域重合形成一个个正六边形网格，该六边形网格与哺乳动物的运动路径以及具体位置有关。根据哺乳动物的这种特性，本发明提出了一种用于机器人的自定位与导航的方法。该方法利用哺乳动物网格细胞的特性，在机器人控制器中建造了三个神经网络以模仿哺乳动物网格细胞的功能，具体包括自定位神经网络用于机器人的自定位、图像处理神经网络用于处理环境信息和一个深度神经网络用于导航。其中构建的自定位神经网络，其输入为机器人的水平速度和角速度信息以及摄像头环境视觉信息，以此来估计机器人方向、位置和标记障碍物，经过该自定位神经网络计算之后，自定位神经网络输出信息为网格编码其作用是作为机器人位置以及方向的一种代数表示，该网格编码包括目标网格编码其作用是作为目标位置以及方向的一种代数表示和当前位置网格编码其作用是作为当前位置以及方向的一种代数表示。对于图像处理神经网络，该神经网络主要用来辨识环境特征信息，环境特征信息包括标志物识别、障碍物特征提取等，以此来辅助机器人实现导航、自定位的功能。一个深度神经网络为该方法的核心控制器，用于综合自定位神经网络输出信息和图像处理神经网络输出信息，来调整机器人的方向和速度，以实现导航、自定位的功能。该深度神经网络的具体输入为目标网格编码、当前位置网格编码、经过处理后的环境信息、现在的方向和速度状态，这几种输入信息经过深度神经网络的综合计算之后，输出为机器人期望方向和速度信息，以此来调整机器人的当前方向和速度。本发明能够广泛应用于机器人的导航、定位功能的领域。
如图1所示，一种模仿哺乳动物网格细胞定位与导航功能的机器人自定位与导航方法分为三个部分：自定位神经网络部分、深度神经网络部分、图像处理神经网络部分，这三个部分具体包括水平速度和角速度组成的速度模块、由环境信息组成的视觉模块、自定位神经网络、输出网格编码信息、图像处理神经网络、深度神经网络、方向和速度输入信息、方向和速度输出信息。对于自定位神经网络部分，速度模块和视觉模块作为输入，输出为网格编码；对于图像处理神经网络部分，环境信息作为输入，输出为经过特定处理的环境信息；对于深度神经网络部分，输入为目标网格编码、当前网格编码、经处理的环境信息、现在的状态包括速度和方向信息、输出为矫正后的方向和速度。这三个部分如图1那样结合到一块，完成整个自定位与导航功能。
如图1、2所示，一种模仿哺乳动物网格细胞定位与导航功能的机器人自定位与导航方法，为了实现机器人自定位的功能，通过采用长短时神经网络(LSTM)建造和训练一个自定位神经网络来进行路径整合(个体在运动过程中整合路径信息线索，用于在没有地标信息的条件下估计自身与一个目标地点的相对位置)。其中在这个模块中，初始位置和速度信息作为长短时神经网络的输入，神经网络的输出再经过线性层处理作用于网格单元。速度信息包括平动速度和角速度，两者由传感器测得，以此来估计机器人的偏向和位置等位姿，这相当于在哺乳动物大脑中的头部方向细胞和位置细胞可用，通过建造这个自定位神经网络，可以实现机器人自定位的功能；
通过平动速度和角速度信息来估计机器人的偏向和位置，角速度信息计算出来的角度是相对于机器人的角度，将相对机器人的角度转换为相对环境的角度，即头部偏向位置，公式表达如下：
θ＝θ0+θi
其中，θ0为初始的时候头部偏向角，θi为通过传感器测出的偏移角度；θ的取值范围为[0，360°]。
位置根据平动速度信号通过数值积分进行计算。
位置细胞单元Pi以二维各向同性高斯混合模型中各分量的后验概率进行模拟来激活。
头部方向细胞单元Hi以具有集中参数的混合冯米塞斯的每个分量的后验概率来激活。
对于该神经网络的损失，由下面的公式来计算：
当真实值与预测值差别越大，损失越大，训练长短时神经网络的目的就是减少损失。
其中，为位置细胞单元的预测值，/>为头部方向细胞单元的预测值，/>为位置细胞单元的目标值即激活值，/>为头部方向细胞单元的目标值。
通过上面四个参数最小化交叉熵对自定位神经网络的参数进行训练。
除此之外，线性层需要进行正则化处理，设置随机失活(dropout)。
如图1、3、4所示，，一种模仿哺乳动物网格细胞定位与导航功能的机器人自定位与导航方法，为了辅助实现机器人导航的功能，通过对自定位神经网络增加视觉模块的输入，来模拟哺乳动物偶尔不定时的观察环境获取线索，可以获取环境标志信息和障碍物，通过增加这个视觉模块可以辅助机器人达到导航的目的。模拟动物观察环境的这个特点，可以使得训练出的模型更接近真实生活中哺乳动物进行导航时的状态，从而使得模型更准确。
哺乳动物在日常生活中漫无目的的行走或返回刚才自己走的路，在这个过程中，哺乳动物的眼睛会时不时地、不显著地观察环境线索，从而判断自己的位置和头朝向，为了实现这一功能，在这个网格神经网络里面加入了视觉模块，其中环境信息通过卷积神经网络(CNN)被处理，然后判断出头朝向和位置提供给视觉模块，视觉模块则把经卷积神经网络(CNN)处理的环境信息连同速度模块提供给自定位神经网络以纠正自定位神经网络的偏差。
如图1、5所示，一种模仿哺乳动物网格细胞定位与导航功能的机器人自定位与导航方法，为了调整机器人的位置和方向，根据目标网格编码和当前网格编码，通过矢量计算来获得目标矢量和机器人与目标之间的欧几里得距离，以此来调整机器人的位置和方向。
网格细胞能够计算目标导向的矢量，在这个计算过程中，网格细胞是通过比较现在的活动与目标来实现的。通过将网格细胞提供的空间位置分解为多尺度的周期编码，相对的两点能够利用每层的差异以及每个模块的模数来返回正确的向量和获得机器人与目标之间的欧几里得距离。当返回正确的向量之后就会指导机器人的运动状态，从而会调整方向和速度向着目标前进。
如图1、6所示，一种模仿哺乳动物网格细胞定位与导航功能的机器人自定位与导航方法，为了实现机器人导肮的功能，根据上述获得的目标网格编码和当前网格编码，结合当前的速度和方向状态，加上经过图像处理神经网络处理的环境信息，输入到一个深度神经网络里面进行计算和估计，根据计算结果得到此时需要调整的方向和速度信息，然后动态调整机器人的状态，以达到机器人实现导航功能的目的。之所以采用深度神经网络，是因为输入数据的维数比较多，采用深度神经网络可以用较少的参数表示较为复杂的控制函数。
此处深度神经网络利用的是策略长短时神经网络(policy LSTM)，通过回报奖赏值(reward)来评判神经网络模型的好坏，而输入的两种网格编码即是上述提到的自定位神经网络提供的目标网格编码和现在的网格编码，输入的经处理的环境信息则为模拟动物时不时的观察环境获得标志然后经过卷积神经网络(CNN)处理过的环境信息，现在的状态就是指的是包括头部朝向和速度等信息。
在这里，综合利用了环境信息、自身的状态信息、网格信息，综合这三方面的信息可以说是相当于哺乳动物充分利用了自己在外界环境中进行行走或追击目标时自己可以利用的所有信息，通过这一融合，比较具体完善的模拟了动物的网格细胞进行导航、自定位等系统，可以使得我们的模型功能更加完善和精确。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种机器人自定位与导航的方法，其特征在于，包括：自定位神经网络、图像处理神经网络和深度神经网络；
步骤M1：将机器人的速度信息以及环境视觉信息输入训练后的自定位神经网络，通过自定位神经网络综合计算得到网格编码；
步骤M2：通过图像处理神经网络对环境特征信息进行特征提取，得到处理后的环境信息；
步骤M3：将网格编码、处理后的环境信息以及机器人当前的方向、速度输入深度神经网络，经过深度神经网络计算得到机器人期望方向和速度信息，动态调整机器人的状态，实现机器人导航功能；
所述自定位神经网络通过采用长短时神经网络建造和训练，用于机器人的自定位；
所述图像处理神经网络用于辨识环境特征信息，辅助机器人实现导航和自定位功能；
所述深度神经网络综合自定位神经网络输出信息和图像处理神经网络输出信息，调整机器人的方向和速度，实现导航、自定位的功能；
所述步骤M1包括：
步骤M1.1：在预设环境下随机选取预设数量的点作为起始点，根据速度信息和环境视觉信息，得到预设数量的路径信息；
步骤M1.2：通过路径信息不断训练长短时神经网络，直至通过长短时神经网络预估的路径与实际路径信息误差达到预设值；
步骤M1.3：将机器人的速度信息以及环境视觉信息输入训练后的长短时神经网络，将长短时神经网络的输出再经过线性层处理作用于网格单元，得到网格编码。
2.根据权利要求1所述的一种机器人自定位与导航的方法，其特征在于，所述步骤M1中环境视觉信息包括：环境标志信息和障碍物；所述速度信息包括平动速度和角速度；
所述环境视觉信息通过自定位神经网络中的视觉模块获取；所述视觉模块为获取环境视觉信息。
3.根据权利要求1所述的一种机器人自定位与导航的方法，其特征在于，所述网格编码作为机器人位置以及方向的一种代数表示，网格编码包括目标网格编码和当前位置网格编码，目标网格编码作为目标位置以及方向的一种代数表示；当前位置网格编码作为当前位置以及方向的一种代数表示。
4.根据权利要求1所述的一种机器人自定位与导航的方法，其特征在于，所述步骤M3包括：根据目标网格编码和当前位置网格编码，通过矢量计算来获得目标矢量以及机器人与目标之间的欧几里得距离，求解机器人的期望运动距离和期望转角，以此来调整机器人的当前位置和方向。
5.一种机器人自定位与导航的系统，其特征在于，包括：自定位神经网络、图像处理神经网络和深度神经网络；
模块M1：将机器人的速度信息以及环境视觉信息输入训练后的自定位神经网络，通过自定位神经网络综合计算得到网格编码；
模块M2：通过图像处理神经网络对环境特征信息进行特征提取，得到处理后的环境信息；
模块M3：将网格编码、处理后的环境信息以及机器人当前的方向、速度输入深度神经网络，经过深度神经网络计算得到机器人期望方向和速度信息，动态调整机器人的状态，实现机器人导航功能；
所述自定位神经网络通过采用长短时神经网络建造和训练，用于机器人的自定位；
所述图像处理神经网络用于辨识环境特征信息，辅助机器人实现导航和自定位功能；
所述深度神经网络综合自定位神经网络输出信息和图像处理神经网络输出信息，调整机器人的方向和速度，实现导航、自定位的功能；
所述模块M1包括：
模块M1.1：在预设环境下随机选取预设数量的点作为起始点，根据速度信息和环境视觉信息，得到预设数量的路径信息；
模块M1.2：通过路径信息不断训练长短时神经网络，直至通过长短时神经网络预估的路径与实际路径信息误差达到预设值；
模块M1.3：将机器人的速度信息以及环境视觉信息输入训练后的长短时神经网络，将长短时神经网络的输出再经过线性层处理作用于网格单元，得到网格编码。
6.根据权利要求5所述的一种机器人自定位与导航的系统，其特征在于，所述模块M1中环境视觉信息包括：环境标志信息和障碍物；所述速度信息包括平动速度和角速度；
所述环境视觉信息通过自定位神经网络中的视觉模块获取；所述视觉模块为获取环境视觉信息。
7.根据权利要求5所述的一种机器人自定位与导航的系统，其特征在于，所述网格编码作为机器人位置以及方向的一种代数表示，网格编码包括目标网格编码和当前位置网格编码，目标网格编码作为目标位置以及方向的一种代数表示；当前位置网格编码作为当前位置以及方向的一种代数表示。
8.根据权利要求5所述的一种机器人自定位与导航的系统，其特征在于，所述模块M3包括：根据目标网格编码和当前位置网格编码，通过矢量计算来获得目标矢量以及机器人与目标之间的欧几里得距离，求解机器人的期望运动距离和期望转角，以此来调整机器人的当前位置和方向。
CN202011120797.0A 2020-10-19 2020-10-19 一种机器人自定位与导航的方法及系统 Active CN112212867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011120797.0A CN112212867B (zh) 2020-10-19 2020-10-19 一种机器人自定位与导航的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011120797.0A CN112212867B (zh) 2020-10-19 2020-10-19 一种机器人自定位与导航的方法及系统

Publications (2)

Publication Number Publication Date
CN112212867A CN112212867A (zh) 2021-01-12
CN112212867B true CN112212867B (zh) 2024-05-28

Family

ID=74055906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011120797.0A Active CN112212867B (zh) 2020-10-19 2020-10-19 一种机器人自定位与导航的方法及系统

Country Status (1)

Country Link
CN (1) CN112212867B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113376656A (zh) * 2021-06-07 2021-09-10 重庆大学 一种基于lstm预测的多机器人围捕系统
CN116147642B (zh) * 2023-04-12 2023-08-29 中国科学技术大学 融合地形与力的四足机器人可达性地图构建方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4218599A1 (de) * 1992-06-05 1993-12-16 Bodenseewerk Geraetetech Navigations- und Führungssystem für autonome, mobile Roboter
CN107092254A (zh) * 2017-04-27 2017-08-25 北京航空航天大学 一种基于深度增强学习的家用扫地机器人的设计方法
CN107168324A (zh) * 2017-06-08 2017-09-15 中国矿业大学 一种基于anfis模糊神经网络的机器人路径规划方法
CN109240279A (zh) * 2017-07-10 2019-01-18 中国科学院沈阳自动化研究所 一种基于视觉感知和空间认知神经机制的机器人导航方法
CN109425340A (zh) * 2017-08-28 2019-03-05 中国科学院沈阳自动化研究所 基于贝叶斯多模感知融合的类脑机器人导航方法
CN109668566A (zh) * 2018-12-05 2019-04-23 大连理工大学 一种基于鼠脑定位细胞的机器人情景认知地图的构建与导航方法
EP3571664A1 (en) * 2017-01-23 2019-11-27 Oxford University Innovation Limited Determining the location of a mobile device
CN110827415A (zh) * 2019-11-11 2020-02-21 吉林大学 一种全天候未知环境无人自主工作平台
CN111552294A (zh) * 2020-05-14 2020-08-18 山东师范大学 基于时间依赖的室外机器人寻路仿真系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125730B (zh) * 2016-07-10 2019-04-30 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
US20190184561A1 (en) * 2017-12-15 2019-06-20 The Regents Of The University Of California Machine Learning based Fixed-Time Optimal Path Generation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4218599A1 (de) * 1992-06-05 1993-12-16 Bodenseewerk Geraetetech Navigations- und Führungssystem für autonome, mobile Roboter
EP3571664A1 (en) * 2017-01-23 2019-11-27 Oxford University Innovation Limited Determining the location of a mobile device
CN107092254A (zh) * 2017-04-27 2017-08-25 北京航空航天大学 一种基于深度增强学习的家用扫地机器人的设计方法
CN107168324A (zh) * 2017-06-08 2017-09-15 中国矿业大学 一种基于anfis模糊神经网络的机器人路径规划方法
CN109240279A (zh) * 2017-07-10 2019-01-18 中国科学院沈阳自动化研究所 一种基于视觉感知和空间认知神经机制的机器人导航方法
CN109425340A (zh) * 2017-08-28 2019-03-05 中国科学院沈阳自动化研究所 基于贝叶斯多模感知融合的类脑机器人导航方法
CN109668566A (zh) * 2018-12-05 2019-04-23 大连理工大学 一种基于鼠脑定位细胞的机器人情景认知地图的构建与导航方法
CN110827415A (zh) * 2019-11-11 2020-02-21 吉林大学 一种全天候未知环境无人自主工作平台
CN111552294A (zh) * 2020-05-14 2020-08-18 山东师范大学 基于时间依赖的室外机器人寻路仿真系统及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Combined Sensing，Cognition，Learning，and Control for Developing Future Neuro-Robotics Systems:A Survey;Junjun Li Etal.;IEEE transaction and development systems;20190630;第11卷(第2期);全文 *
基于5G的视觉辅助BDS移动机器人融合定位算法;马虹;;计算机科学;20200615(第S1期);全文 *
基于卷积神经网络的仿鼠脑海马结构认知地图构建方法;于乃功;魏雅乾;王林;;模式识别与人工智能;20200115(第01期);全文 *
基于模糊神经网络的六足机器人自主导航闭环控制系统设计;孔令文;李鹏永;杜巧玲;;机器人;20180115(第01期);全文 *
基于编解码双路卷积神经网络的视觉自定位方法;贾瑞明等;北京航空航天大学学报;20191031;第45卷(第10期);全文 *
空间记忆与类脑导航研究进展;斯白露等;人工智能;20200131(第1期);全文 *

Also Published As

Publication number Publication date
CN112212867A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
Sun et al. Motion planning for mobile robots—Focusing on deep reinforcement learning: A systematic review
Surmann et al. Deep reinforcement learning for real autonomous mobile robot navigation in indoor environments
Yu et al. NeuroSLAM: A brain-inspired SLAM system for 3D environments
CN109668566B (zh) 一种基于鼠脑定位细胞的机器人情景认知地图的构建与导航方法
CN105865449B (zh) 基于激光和视觉的移动机器人的混合定位方法
CN106949896B (zh) 一种基于鼠脑海马的情景认知地图构建及导航方法
CN112097769B (zh) 仿信鸽脑-海马的无人机同时定位与建图导航系统及方法
KR101121763B1 (ko) 환경 인식 장치 및 방법
CN112212867B (zh) 一种机器人自定位与导航的方法及系统
CN108362284A (zh) 一种基于仿生海马认知地图的导航方法
Zeng et al. NeuroBayesSLAM: Neurobiologically inspired Bayesian integration of multisensory information for robot navigation
CN110908377A (zh) 一种机器人导航空间约简方法
CN112629542A (zh) 基于ddpg和lstm的无地图机器人路径导航方法及系统
CN112857370A (zh) 一种基于时序信息建模的机器人无地图导航方法
Liu et al. Robotic navigation based on experiences and predictive map inspired by spatial cognition
Zhang et al. A robot navigation system in complex terrain based on statistical features of point clouds
Cao et al. Unsupervised visual odometry and action integration for pointgoal navigation in indoor environment
Maurer A connectionist model of path integration with and without a representation of distance to the starting point
Wu Extending RatSLAM toward a multi-scale model of grid cells
CN114459483A (zh) 基于机器人导航用地标导航地图构建与应用方法、系统
Zhuang et al. A biologically-inspired global localization system for mobile robots using LiDAR sensor
Goldschmidt et al. A neural path integration mechanism for adaptive vector navigation in autonomous agents
Zeno et al. A novel neurophysiological based navigation system
Guo et al. A bio-inspired SLAM system for a legged robot
Yuan et al. Method of robot episode cognition based on hippocampus mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant