CN110307848A - 一种移动机器人导航方法 - Google Patents

一种移动机器人导航方法 Download PDF

Info

Publication number
CN110307848A
CN110307848A CN201910598925.3A CN201910598925A CN110307848A CN 110307848 A CN110307848 A CN 110307848A CN 201910598925 A CN201910598925 A CN 201910598925A CN 110307848 A CN110307848 A CN 110307848A
Authority
CN
China
Prior art keywords
mobile robot
state
mobile
robot
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910598925.3A
Other languages
English (en)
Inventor
唐开强
傅汇乔
王岚
柴昭
杨宇琼
季娟宇
李步印
柯兴萍
车佳嫣
陈春林
朱张青
陈力立
辛博
曲直
闻羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201910598925.3A priority Critical patent/CN110307848A/zh
Publication of CN110307848A publication Critical patent/CN110307848A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种移动机器人导航方法，导航区域上空设置有图像采集装置，包括如下步骤：1、在机器人运动前采集一次移动机器人环境图像；2、根据采集到的环境图像得到环境障碍物信息；3、根据获取的环境障碍物信息建立二值化栅格地图，栅格地图中标注出可通行区域和不可通行区域；4、根据栅格地图建立移动机器人运行规则；5、设置总回合数M和浅尝试学习回合数M1；使用移动机器人运行规则进行浅尝试学习，得到初步的Q表；根据移动机器人初始位置p0采用强化学习对Q表进行更新；6、根据更新后的Q表，获取移动机器人的最优运动策略π*，得到移动机器人的运动路径。该方法使得机器人在训练过程中减少了无效探索，学习效率高，收敛快。

Description

一种移动机器人导航方法
技术领域
本发明涉及一种人类先验知识背景下的强化学习算法，为移动机器人提供有效导航。
背景技术
移动机器人的一项关键技能是能够在其环境中有效导航，并且强化学习广泛用于移动机器人的路径规划。然而，该算法具有慢的收敛速度和大量的迭代。关于如何从基于规则的浅层试验策略中的获取角度有效地提高学习的研究很少。在生物世界中，动物在制定路径规划时依赖于自己的经验知识。人性具有先验知识，对人们的航行有很大帮助。我们采用人类行为的先验知识，并将其表达为浅层规则，然后将基于规则的浅层强化学习应用于机器人的导航学习，有效地提高学习效率。
发明内容
发明目的：将基于规则的浅层强化学习应用于机器人的导航学习，提高机器人导航学习效率。
技术方案：本发明采用如下技术方案：
一种移动机器人导航方法，导航区域上空设置有图像采集装置，包括如下步骤：
(1)所述图像采集装置在机器人运动前采集一次移动机器人环境图像，该图像包括机器人与目的地；
(2)根据采集到的环境图像得到环境障碍物信息；
(3)根据获取的环境障碍物信息建立二值化栅格地图，所述栅格地图中标注出可通行区域和不可通行区域；
(4)根据栅格地图建立移动机器人运行规则；
(5)设置总回合数M，浅尝试学习回合数M1，强化学习回合数M2；M＝M1+M2；使用步骤4中建立的移动机器人运行规则进行浅尝试学习，得到初步的Q表；根据移动机器人初始位置p0，采用强化学习对Q表进行更新；
(6)根据更新后的Q表，获取移动机器人的运动策略π，所述运动策略π由多个动作依次组合，最优运动策略π*为：
其中S为可通行区域； 表示从状态s转移到状态s'的过程，Qπ(s',a')表示在策略π下，Q表中状态s'下选择某一动作a'的价值，r(s,a)表示在状态s下选取动作a所得回报；根据最优运动策略，得到移动机器人的运动路径。
所述步骤(2)采用Mask R-CNN算法将环境图像的像素点分为障碍物像素点、机器人像素点和其它像素点三类，得到环境信息。
所述步骤(3)中建立二值化栅格地图，包括如下步骤：
(3.1)将采集到的机器人环境图像细化分割为等面积的栅格；
(3.2)根据步骤(2)得到的环境障碍物信息，对栅格进行分类；每个栅格中，若障碍物像素点占比超过预设的像素比阈值，将此栅格设为障碍物栅格；障碍物栅格构成不可通行区域；非障碍物栅格构成可通行区域。
所述预设的像素比阈值的取值范围为(45％，55％)。
所述步骤(4)中建立的移动机器人运行规则包括：
(4.1)移动机器人在位置p处如果可以选择多个动作，则采取动作a移动到位置p′，使p≠p′；
(4.2)当移动机器人在二值化栅格地图上的位置p处上下左右四个方向上的临近栅格内均可以移动h步长且仍处于可通行区域时，判断位置p(px,py)和目标点dest(destx,desty)之间的距离：dx＝|px-destx|，dy＝|py-desty|；
当dx>dy时，机器人在X方向上朝目标点移动；当dx<dy时，机器人在Y方向上朝目标点移动；当dx＝dy时，机器人在X或Y两个方向上随机移动朝向目标点；X，Y方向分别是二值化栅格地图的坐标轴。
本发明中，步长数h＝10。
所述步骤(5)中浅尝试学习阶段包括如下步骤：
(A.1)初始化Q表为空，所述Q表中存储移动机器人在各种状态s下的动作a的值函数Q(s,a)；
(A.2)浅尝试学习的一个回合为：
(a)随机生成一个位置作为初始状态s0；
(b)在当前状态st下，使用步骤4中建立的移动机器人运行规则生成动作，随机选择一个生成的动作at，然后执行动作at得到下一个状态st+1和回报r；
在状态st+1下使用步骤4中建立的移动机器人运行规则生成动作，在生成的多个动作中选择使值函数Q(st+1,at+1)最大的动作at+1；更新Q表中Q(st,at)的值：
其中Q(st,at)为更新前Q(st,at)的值，Q(st,at)m为更新后Q(st,at)的值；如果Q表中没有Q(st,at)，则Q(st,at)＝0，并在Q表中增加Q(st,at)m；α表示学习率，γ表示折扣因子；
(c)更新当前状态，令st＝st+1，执行步骤(b)，以此循环，直到状态st为目的地位置；
(A.3)执行M1个浅尝试学习回合，得到学习后的Q表；
所述强化学习阶段包括如下步骤：
(B.1)强化学习的一个回合为：
(u)初始化状态s′0＝p0；
(v)在当前状态st′下，根据Q表使用贪婪策略选择动作，即选择Q表中在状态st′下值函数最大的动作at′；执行动作at′得到下一个状态st+1′和回报r′；
在状态st+1′下根据Q表使用贪婪策略选择动作at+1′；更新Q表中Q(st′,at′)的值：
其中Q(st′,at′)为更新前Q(st′,at′)的值，Q(st′,at′)m为更新后Q(st′,at′)的值；
(w)更新当前状态，令st′＝st+1′，执行步骤(v)，以此循环，直到状态st′为目的地位置；
(B.3)执行M2个强化学习回合，得到更新后的Q表；
本发明中，浅尝试学习回合数M1的取值范围为(0.3M,0.4M)。
有益效果：本发明公开的移动机器人导航方法，在浅尝试学习阶段使用机器人运动规则进行探索，得到初步的Q表；在取消运动规则后，利用强化学习进一步优化Q表，得到训练好的Q表。在对机器人进行导航时，根据训练的Q表，能够快速收敛，得到最优运动策略。该方法使得机器人在训练过程中减少了无效探索，学习效率高，收敛快。
附图说明
图1为本发明的方法流程图；
图2为使用Mask R-CNN对机器人和障碍物的分割结果图；
图3为二值化后的栅格环境地图，其中红色栅格代表起点，绿色栅格代表终点，黑色栅格代表障碍物；
图4为本发明提出的方法与传统Q-learning方法学习收敛速度的对比图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
如图1所示，一种移动机器人导航方法，导航区域上空设置有图像采集装置，包括如下步骤：
步骤1、所述图像采集装置在机器人运动前采集一次移动机器人环境图像，该图像包括机器人与目的地；
步骤2、根据采集到的环境图像得到环境障碍物信息；
采用Mask R-CNN算法将环境图像的像素点分为障碍物像素点、机器人像素点和其它像素点三类，得到环境信息。图2为对机器人1和障碍物2的分割结果图。
步骤3、根据获取的环境障碍物信息建立二值化栅格地图，所述栅格地图中标注出可通行区域和不可通行区域；具体包括如下步骤：
(3.1)将采集到的机器人环境图像细化分割为等面积的栅格；
(3.2)根据步骤(2)得到的环境障碍物信息，对栅格进行分类；每个栅格中，若障碍物像素点占比超过预设的像素比阈值，将此栅格设为障碍物栅格；障碍物栅格构成不可通行区域；非障碍物栅格构成可通行区域。本实施例中，将不可通行区域的栅格设为黑色，可通行区域的栅格设为白色，如图3所示，图中点3为移动机器人的起点位置，点4为目的地位置。以图像中左下角为坐标原点，建立坐标系。本实施例中，预设的像素比阈值的取值范围为(45％，55％)。
步骤4、根据栅格地图建立移动机器人运行规则，包括：
(4.1)移动机器人在位置p处如果可以选择多个动作，则采取动作a移动到位置p′，使p≠p′；
(4.2)当移动机器人在二值化栅格地图上的位置p处上下左右四个方向上的临近栅格内均可以移动h步长且仍处于可通行区域时，判断位置p(px,py)和目标点dest(destx,desty)之间的距离：dx＝|px-destx|，dy＝|py-desty|；
当dx>dy时，机器人在X方向上朝目标点移动；当dx<dy时，机器人在Y方向上朝目标点移动；当dx＝dy时，机器人在X或Y两个方向上随机移动朝向目标点；X，Y方向分别是二值化栅格地图的坐标轴。
本实施例中个，步长数h＝10。
步骤5、设置总回合数M，浅尝试学习回合数M1，强化学习回合数M2；M＝M1+M2；使用步骤4中建立的移动机器人运行规则进行浅尝试学习，得到初步的Q表；根据移动机器人初始位置p0，采用强化学习对Q表进行更新；
浅尝试学习阶段包括如下步骤：
(A.1)初始化Q表为空，所述Q表中存储移动机器人在各种状态s下的动作a的值函数Q(s,a)；
(A.2)浅尝试学习的一个回合为：
(a)随机生成一个位置作为初始状态s0；
(b)在当前状态st下，使用步骤4中建立的移动机器人运行规则生成动作，随机选择一个生成的动作at，然后执行动作at得到下一个状态st+1和回报r；
在状态st+1下使用步骤4中建立的移动机器人运行规则生成动作，在生成的多个动作中选择使值函数Q(st+1,at+1)最大的动作at+1；更新Q表中Q(st,at)的值：
其中Q(st,at)为更新前Q(st,at)的值，Q(st,at)m为更新后Q(st,at)的值；如果Q表中没有Q(st,at)，则Q(st,at)＝0，并在Q表中增加Q(st,at)m；α表示学习率，γ表示折扣因子；
(c)更新当前状态，令st＝st+1，执行步骤(b)，以此循环，直到状态st为目的地位置；
(A.3)执行M1个浅尝试学习回合，得到学习后的Q表；
所述强化学习阶段包括如下步骤：
(B.1)强化学习的一个回合为：
(u)初始化状态s′0＝p0；如图3所示的栅格地图中，s′0＝(0,22)；
(v)在当前状态st′下，根据Q表使用贪婪策略选择动作，即选择Q表中在状态st′下值函数最大的动作at′；执行动作at′得到下一个状态st+1′和回报r′；
在状态st+1′下根据Q表使用贪婪策略选择动作at+1′；更新Q表中Q(st′,at′)的值：
其中Q(st′,at′)为更新前Q(st′,at′)的值，Q(st′,at′)m为更新后Q(st′,at′)的值；
(w)更新当前状态，令st′＝st+1′，执行步骤(v)，以此循环，直到状态st′为目的地位置；
(B.3)执行M2个强化学习回合，得到更新后的Q表；
步骤6、根据更新后的Q表，获取移动机器人的运动策略π，所述运动策略π由多个动作依次组合，最优运动策略π*为：
其中S为可通行区域； 表示从状态s转移到状态s'的过程，Qπ(s',a')表示在策略π下，Q表中状态s'下选择某一动作a'的价值，r(s,a)表示在状态s下选取动作a所得回报；
根据最优运动策略，得到移动机器人的运动路径。
经过浅尝试学习，得到一个初始的Q表，强化学习对Q表进行更新。浅尝试学习的回合数会影响到初始Q表的规模，本实施例中，将浅尝试学习回合数M1的取值范围设为(0.3M,0.4M)，能够在计算量适当的情况下得到较好的结果。
本实施例中对比了本发明公开的方法与传统Q学习方法的学习收敛速度，结果对比如图4所示，其中圆形点曲线表示传统的Q学习收敛，星型点曲线表示本发明公开的移动机器人导航方法的收敛速度，从图中可以看出，本发明公开的方法收敛速度快于传统的Q学习方法。

Claims (8)

1.一种移动机器人导航方法，导航区域上方设置有图像采集装置，其特征在于，包括如下步骤：
(1)所述图像采集装置在机器人运动前采集一次移动机器人环境图像，该图像包括机器人与目的地；
(2)根据采集到的环境图像得到环境障碍物信息；
(3)根据获取的环境障碍物信息建立二值化栅格地图，所述栅格地图中标注出可通行区域和不可通行区域；
(4)根据栅格地图建立移动机器人运行规则；
(5)设置总回合数M，浅尝试学习回合数M1，强化学习回合数M2；M＝M1+M2；使用步骤4中建立的移动机器人运行规则进行浅尝试学习，得到初步的Q表；根据移动机器人初始位置p0，采用强化学习对Q表进行更新；
(6)根据更新后的Q表获取移动机器人的运动策略π，所述运动策略π由多个动作依次组合，最优运动策略π*为：
其中S为可通行区域； 表示从状态s转移到状态s'的过程，Qπ(s',a')表示在策略π下，Q表中状态s'下选择某一动作a'的价值，r(s,a)表示在状态s下选取动作a所得回报；
根据最优运动策略，得到移动机器人的运动路径。
2.根据权利要求1所述的移动机器人导航方法，其特征在于，所述步骤(2)采用Mask R-CNN算法将环境图像的像素点分为障碍物像素点、机器人像素点和其它像素点三类，得到环境信息。
3.根据权利要求2所述的移动机器人导航方法，其特征在于，所述步骤(3)中建立二值化栅格地图，包括如下步骤：
(3.1)将采集到的机器人环境图像细化分割为等面积的栅格；
(3.2)根据步骤(2)得到的环境障碍物信息，对栅格进行分类；每个栅格中，若障碍物像素点占比超过预设的像素比阈值，将此栅格设为障碍物栅格；障碍物栅格构成不可通行区域；非障碍物栅格构成可通行区域。
4.根据权利要求3所述的移动机器人导航方法，其特征在于，所述预设的像素比阈值的取值范围为(45％，55％)。
5.根据权利要求1所述的移动机器人导航方法，其特征在于，所述步骤(4)中建立的移动机器人运行规则包括：
(4.1)移动机器人在位置p处如果可以选择多个动作，则采取动作a移动到位置p′，使p≠p′；
(4.2)当移动机器人在二值化栅格地图上的位置p处上下左右四个方向上的临近栅格内均可以移动h步长且仍处于可通行区域时，判断位置p(px,py)和目标点dest(destx,desty)之间的距离：dx＝|px-destx|，dy＝|py-desty|；
当dx>dy时，机器人在X方向上朝目标点移动；当dx<dy时，机器人在Y方向上朝目标点移动；当dx＝dy时，机器人在X或Y两个方向上随机移动朝向目标点；X，Y方向分别是二值化栅格地图的坐标轴。
6.根据权利要求1所述的移动机器人导航方法，其特征在于，步长数h＝10。
7.根据权利要求1所述的移动机器人导航方法，其特征在于，所述步骤(5)中浅尝试学习阶段包括如下步骤：
(A.1)初始化Q表为空，所述Q表中存储移动机器人在各种状态s下的动作a的值函数Q(s,a)；
(A.2)浅尝试学习的一个回合为：
(a)随机生成一个位置作为初始状态s0；
(b)在当前状态st下，使用步骤4中建立的移动机器人运行规则生成动作，随机选择一个生成的动作at，然后执行动作at得到下一个状态st+1和回报r；
在状态st+1下使用步骤4中建立的移动机器人运行规则生成动作，在生成的多个动作中选择使值函数Q(st+1,at+1)最大的动作at+1；更新Q表中Q(st,at)的值：
Q(st,at)m＝(1-α)Q(st,at)+α(r+γmaxat+1Q(st+1,at+1))
其中Q(st,at)为更新前Q(st,at)的值，Q(st,at)m为更新后Q(st,at)的值；如果Q表中没有Q(st,at)，则Q(st,at)＝0，并在Q表中增加Q(st,at)m；α表示学习率，γ表示折扣因子；
(c)更新当前状态，令st＝st+1，执行步骤(b)，以此循环，直到状态st为目的地位置；
(A.3)执行M1个浅尝试学习回合，得到学习后的Q表；
所述强化学习阶段包括如下步骤：
(B.1)强化学习的一个回合为：
(u)初始化状态s′0＝p0；
(v)在当前状态st′下，根据Q表使用贪婪策略选择动作，即选择Q表中在状态st′下值函数最大的动作at′；执行动作at′得到下一个状态st+1′和回报r′；
在状态st+1′下根据Q表使用贪婪策略选择动作at+1′；更新Q表中Q(st′,at′)的值：
其中Q(st′,at′)为更新前Q(st′,at′)的值，Q(st′,at′)m为更新后Q(st′,at′)的值；
(w)更新当前状态，令st′＝st+1′，执行步骤(v)，以此循环，直到状态st′为目的地位置；
(B.3)执行M2个强化学习回合，得到更新后的Q表。
8.根据权利要求1所述的移动机器人导航方法，其特征在于，浅尝试学习回合数M1的取值范围为(0.3M,0.4M)。
CN201910598925.3A 2019-07-04 2019-07-04 一种移动机器人导航方法 Pending CN110307848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910598925.3A CN110307848A (zh) 2019-07-04 2019-07-04 一种移动机器人导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910598925.3A CN110307848A (zh) 2019-07-04 2019-07-04 一种移动机器人导航方法

Publications (1)

Publication Number Publication Date
CN110307848A true CN110307848A (zh) 2019-10-08

Family

ID=68079641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910598925.3A Pending CN110307848A (zh) 2019-07-04 2019-07-04 一种移动机器人导航方法

Country Status (1)

Country Link
CN (1) CN110307848A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908377A (zh) * 2019-11-26 2020-03-24 南京大学 一种机器人导航空间约简方法
CN110956327A (zh) * 2019-11-29 2020-04-03 上海有个机器人有限公司 一种多机器人自动停靠方法、介质、终端和装置
CN111429386A (zh) * 2020-06-11 2020-07-17 北京云迹科技有限公司 图像处理方法、装置和电子设备
CN111735441A (zh) * 2020-04-08 2020-10-02 腾讯科技（深圳）有限公司 一种终端定位方法、装置及存储介质
CN112344944A (zh) * 2020-11-24 2021-02-09 湖北汽车工业学院 一种引入人工势场的强化学习路径规划方法
CN113359820A (zh) * 2021-05-28 2021-09-07 中国地质大学（武汉） 一种基于dqn的无人机路径规划方法
WO2024000672A1 (en) * 2022-06-29 2024-01-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method of Controlling Movement of a Mobile Robot in the Event of a Localization Failure

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402712A (zh) * 2011-08-31 2012-04-04 山东大学 基于神经网络的机器人强化学习初始化方法
CN102819264A (zh) * 2012-07-30 2012-12-12 山东大学 移动机器人路径规划q学习初始化方法
CN102930561A (zh) * 2012-10-22 2013-02-13 南京大学 一种基于Delaunay三角网的栅格地图矢量化方法
CN104236557A (zh) * 2013-06-18 2014-12-24 杨清玄 轨迹信息处理装置和方法
CN107450555A (zh) * 2017-08-30 2017-12-08 唐开强 一种基于深度强化学习的六足机器人实时步态规划方法
CN107562053A (zh) * 2017-08-30 2018-01-09 南京大学 一种基于模糊q学习的六足机器人避障方法
CN107562052A (zh) * 2017-08-30 2018-01-09 唐开强 一种基于深度强化学习的六足机器人步态规划方法
CN109115209A (zh) * 2018-07-20 2019-01-01 湖南格纳微信息科技有限公司 一种管廊内人员定位方法及装置
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402712A (zh) * 2011-08-31 2012-04-04 山东大学 基于神经网络的机器人强化学习初始化方法
CN102819264A (zh) * 2012-07-30 2012-12-12 山东大学 移动机器人路径规划q学习初始化方法
CN102930561A (zh) * 2012-10-22 2013-02-13 南京大学 一种基于Delaunay三角网的栅格地图矢量化方法
CN104236557A (zh) * 2013-06-18 2014-12-24 杨清玄 轨迹信息处理装置和方法
CN107450555A (zh) * 2017-08-30 2017-12-08 唐开强 一种基于深度强化学习的六足机器人实时步态规划方法
CN107562053A (zh) * 2017-08-30 2018-01-09 南京大学 一种基于模糊q学习的六足机器人避障方法
CN107562052A (zh) * 2017-08-30 2018-01-09 唐开强 一种基于深度强化学习的六足机器人步态规划方法
CN109115209A (zh) * 2018-07-20 2019-01-01 湖南格纳微信息科技有限公司 一种管廊内人员定位方法及装置
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIQIANG TANG,ET AL: "Reinforcement Learning for Robots Path Planning with Rule-basedShallow-trial", 《PROCEEDINGS OF THE 2019 IEEE 16TH INTERNATIONAL CONFERENCE ON NETWORKING》 *
陈慧岩: "《智能车辆理论与应用》", 31 July 2018, 北京理工大学出版社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908377A (zh) * 2019-11-26 2020-03-24 南京大学 一种机器人导航空间约简方法
CN110908377B (zh) * 2019-11-26 2021-04-27 南京大学 一种机器人导航空间约简方法
CN110956327A (zh) * 2019-11-29 2020-04-03 上海有个机器人有限公司 一种多机器人自动停靠方法、介质、终端和装置
CN110956327B (zh) * 2019-11-29 2024-04-26 上海有个机器人有限公司 一种多机器人自动停靠方法、介质、终端和装置
CN111735441A (zh) * 2020-04-08 2020-10-02 腾讯科技（深圳）有限公司 一种终端定位方法、装置及存储介质
CN111735441B (zh) * 2020-04-08 2021-07-06 腾讯科技（深圳）有限公司 一种终端定位方法、装置及存储介质
CN111429386A (zh) * 2020-06-11 2020-07-17 北京云迹科技有限公司 图像处理方法、装置和电子设备
CN111429386B (zh) * 2020-06-11 2020-09-25 北京云迹科技有限公司 图像处理方法、装置和电子设备
CN112344944A (zh) * 2020-11-24 2021-02-09 湖北汽车工业学院 一种引入人工势场的强化学习路径规划方法
CN112344944B (zh) * 2020-11-24 2022-08-05 湖北汽车工业学院 一种引入人工势场的强化学习路径规划方法
CN113359820A (zh) * 2021-05-28 2021-09-07 中国地质大学（武汉） 一种基于dqn的无人机路径规划方法
WO2024000672A1 (en) * 2022-06-29 2024-01-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method of Controlling Movement of a Mobile Robot in the Event of a Localization Failure

Similar Documents

Publication Publication Date Title
CN110307848A (zh) 一种移动机器人导航方法
Ruan et al. Mobile robot navigation based on deep reinforcement learning
CN110083165B (zh) 一种机器人在复杂狭窄环境下路径规划方法
CN107818333A (zh) 基于深度信念网络的机器人避障行为学习和目标搜索方法
CN110837778A (zh) 一种基于骨架关节点序列的交警指挥手势识别方法
WO2023016101A1 (zh) 一种基于启发式偏置采样的室内环境机器人探索方法
CN109945873A (zh) 一种用于室内移动机器人运动控制的混合路径规划方法
CN108279692A (zh) 一种基于lstm-rnn的uuv动态规划方法
CN105005769A (zh) 一种基于深度信息的手语识别方法
CN110084307A (zh) 一种基于深度强化学习的移动机器人视觉跟随方法
CN108582073A (zh) 一种基于改进的随机路标地图法的机械臂快速避障方法
CN110399789A (zh) 行人重识别方法、模型构建方法、装置、设备和存储介质
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN109508686A (zh) 一种基于层次化特征子空间学习的人体行为识别方法
CN110210462A (zh) 一种基于卷积神经网络的仿生海马认知地图构建方法
Zhai et al. Decentralized multi-robot collision avoidance in complex scenarios with selective communication
CN106874961A (zh) 一种采用基于局部感受野的极速学习机的室内场景识别方法
CN110298330A (zh) 一种输电线路巡检机器人单目检测与定位方法
CN111259950B (zh) 一种基于3d模型训练yolo神经网络的方法
CN102401656A (zh) 一种位置细胞仿生机器人导航算法
CN108445894A (zh) 一种考虑无人艇运动性能的二次路径规划方法
Chen et al. Multiagent path finding using deep reinforcement learning coupled with hot supervision contrastive loss
Dong et al. A convolution neural network for parts recognition using data augmentation
Liu et al. A prior information heuristic based robot exploration method in indoor environment
CN114155314A (zh) 基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191008

RJ01 Rejection of invention patent application after publication