CN108776483A - 基于蚁群算法和多智能体q学习的agv路径规划方法和系统 - Google Patents
基于蚁群算法和多智能体q学习的agv路径规划方法和系统 Download PDFInfo
- Publication number
- CN108776483A CN108776483A CN201810935222.0A CN201810935222A CN108776483A CN 108776483 A CN108776483 A CN 108776483A CN 201810935222 A CN201810935222 A CN 201810935222A CN 108776483 A CN108776483 A CN 108776483A
- Authority
- CN
- China
- Prior art keywords
- agv
- path
- study
- group algorithm
- ant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 59
- AMGNHZVUZWILSB-UHFFFAOYSA-N 1,2-bis(2-chloroethylsulfanyl)ethane Chemical compound ClCCSCCSCCCl AMGNHZVUZWILSB-UHFFFAOYSA-N 0.000 title claims abstract description 50
- 238000013439 planning Methods 0.000 title claims abstract description 44
- 230000009471 action Effects 0.000 claims abstract description 37
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 230000004888 barrier function Effects 0.000 claims abstract description 15
- 230000003068 static effect Effects 0.000 claims abstract description 8
- 239000003016 pheromone Substances 0.000 claims description 58
- 230000009191 jumping Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000011835 investigation Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 239000003795 chemical substances by application Substances 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于蚁群算法和多智能体Q学习的AGV路径规划方法和系统，提高了全局优化的能力，将多智能体Q学习引入AGV的路径规划研究中可以实现AGV在交互中学习如何避障，并且能够更好地发挥出AGV的自主性和学习能力。其技术方案为：根据静态环境利用栅格法对AGV作业环境进行建模，设置起始点和目标点；根据AGV的起始点和目标点坐标通过蚁群算法生成全局最优路径；AGV根据全局优化路径向目标点移动，当探测到最小距离内存在动态障碍物时，通过多智能体Q学习对应环境状态进行避障策略的选择，据此作出相应的避障动作，避障结束再返回原来的路径上继续运动。
Description
技术领域
本发明涉及一种AGV路径规划技术，具体涉及动态环境下基于改进的蚁群算法和优化的多智能体Q学习的AGV(Automated Guided Vehicle，自动导引运输车)路径规划方法和系统。
背景技术
路径规划是AGV规划调度中的重要问题，随着越来越多的AGV投入使用，带来了很多新的问题，比如动态变化的环境模型建立的问题；多AGV的路径规划以及避障的问题；多AGV系统的学习性、智能性的发挥问题。已有的AGV路径规划方法有群智能仿生算法，A*、D*算法等，这类单一的全局规划方法往往达不到全局最优，对环境的先验知识要求较高，需要占用较大的存储空间，遇到复杂的动态的环境，这类规划方法的效率会大幅下降。而且这些算法不能体现和发挥AGV系统的智能性和学习能力，缺乏AGV与动态环境的交互和AGV之间的联系。
蚁群算法具有强大的鲁棒性，良好的分布式计算，且它的机制是蚂蚁找到巢与食源之间可行的最短路径，与路径规划的物理过程相吻合，这使得蚁群算法很适合应用在路径规划中，然而典型的蚁群算法容易陷入局部最优解，收敛速度慢。目前对于蚁群算法的改进主要有两个方面，第一个策略集中在蚁群算法本身，例如，重新定义转移概率并建立新的信息素更新方法。第二个策略是将传统的蚁群算法与其他智能算法相结合。例如，遗传算法可以用于获得基于蚁群算法执行优化的初始解。或者将混沌机制加入蚁群算法，提高多样性，跳出局部最优。而后者需要更大的时间空间代价。
人工智能的一个重要目标就是让agent能够拥有自主学习的能力，能够通过与复杂的未知环境交互来获得经验，作为基于行为的移动机器人路径规划，强化学习在路径规划中的应用得到了广泛的关注。其中Q学习算法作为一种强化学习算法，是从环境状态到动作映射的学习，Agent根据最大奖励值采取最优的策略，Q学习算法原理易懂，便于结合实际，适合用于未知环境下的AGV路径规划研究，但是在一个多智能体系统下的智能体不只一个，所以在应用Q学习时需要区别于单智能体Q学习，多智能体需要考虑其他智能体的决策和影响，当环境复杂未知，智能体数量过多时，整个状态空间的维数会迅速增长，出现维度灾难。因此如何提高多智能体Q学习学习效率，降低状态空间的复杂性需要得到解决。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题，提供了一种基于蚁群算法和多智能体Q学习的AGV路径规划方法和系统，提高了全局优化的能力，将多智能体Q学习引入AGV的路径规划研究中可以实现AGV在交互中学习如何避障，并且能够更好地发挥出AGV的自主性和学习能力。
本发明的技术方案为：本发明揭示了一种基于蚁群算法和多智能体Q学习的AGV路径规划方法，包括：
步骤一：根据静态环境利用栅格法对AGV作业环境进行建模，根据AGV作业任务设置起始点和目标点；
步骤二：根据AGV的起始点和目标点坐标通过蚁群算法生成AGV的全局最优路径；
步骤三：AGV根据全局优化路径向目标点移动，当探测到最小距离内存在包括其他AGV在内的动态障碍物时，通过多智能体Q学习对应环境状态进行避障策略的选择，据此作出相应的避障动作，避障结束再返回原来的路径上继续运动。
根据本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例，在步骤二中，蚁群算法中的适应度函数为其中num为AGV走过的栅格数，D为AGV所走路径长度，k表示第k只蚂蚁。
根据本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例，在步骤二中，在蚂蚁k发生位置转移时，蚁群算法中的启发式因子为
其中ηij为位置点i上的蚂蚁选择下一步到相邻位置点j的启发式因子，dij是相邻两位置点i和位置点j的距离，dje是位置点j到目标点的距离；
其中i和j表示栅格位置，xj是位置点j的横坐标，yj是位置点j的纵坐标，(xend，yend)是终点坐标。
根据本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例，在步骤二中，蚁群算法中的信息素更新策略为：
τij(t+n)＝(1-ρ)Δτij(t)+Δτij(t)
其中τij(t+n)是t+n时刻(i，j)处的信息素量，Δτij(t)是t时刻(i，j)处的信息素增量，1-ρ表示残留因子，是蚂蚁k在t时刻经过路径(i，j)留下的信息素，m是指蚁群种群数量。
根据本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例，在步骤二中，蚁群算法中的信息素挥发系数随着迭代次数的增加而自适应的改变，自适应信息素挥发系数的更新规则为：
ρ*＝[1-e(n-N)/N]ρ
其中ρ是信息素挥发系数，n是当前的迭代次数，N是迭代的总数。
根据本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例，步骤二中通过蚁群算法获得当前AGV的全局最优路径的步骤进一步包括：
步骤1：根据蚁群系统的转移概率公式计算每只蚂蚁到达每个节点的概率；
步骤2：一次迭代后更新信息素剩余信息，更新t+n时刻路径path(i，j)上的信息素τij(t+n)和信息素增量θ是用于调整每条路径上的信息素量的衰减系数以表示每条路径上的信息素递减，是调整后的信息素增量，是蚂蚁k经过路径(i，j)时留下的信息素，在一轮循环过后所有的路径长度都被记录在矩阵中，计算这一轮每条路径的平均值
步骤3：判断这一轮的每条路径是否大于平均值若存在比平均值小的路径则调整最优路径，否则跳转到步骤4；
步骤4：输出这一轮的最优解，更新全局最优路径；
步骤5：判断当前的最优路径迭代次数n是否在最大迭代次数N之内，若是则跳转到步骤6，否则自适应调整信息素挥发速率ρ*＝[1-e(n-N)/N]ρ，ρ是信息素挥发系数；
步骤6：判断循环是否结束，若是则跳转到步骤7，若否则跳转到步骤1；
步骤7：得到当前AGV的全局最优路径。
根据本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例，步骤三的多智能体Q学习的过程包括：
初始化每一智能体的状态集、动作集，初始化Q(s，a)表，设置参数，其中Q(s，a)表示智能体的状态和动作的矩阵；
通过决策公式对应状态来选择执行动作策略，观察下一状态的任何阶段和环境信息，选择适当的回报模式获得回报值，同时留下该智能体的信息素；
更新Q值和信息素，考察是否达到结束标准。
根据本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例，决策公式为：其中Pss′为从状态s到s′的转移概率，γ表示折扣因子。
本发明还揭示了一种基于蚁群算法和多智能体Q学习的AGV路径规划系统，包括：
建模模块，根据静态环境利用栅格法对AGV作业环境进行建模，根据AGV作业任务设置起始点和目标点；
路径生成模块，根据AGV的起始点和目标点坐标通过蚁群算法生成AGV的全局最优路径；
避障控制模块，AGV根据全局优化路径向目标点移动，当探测到最小距离内存在包括其他AGV在内的动态障碍物时，通过多智能体Q学习对应环境状态进行避障策略的选择，据此作出相应的避障动作，避障结束再返回原来的路径上继续运动。
本发明还揭示了一种基于蚁群算法和多智能体Q学习的AGV路径规划系统，包括：
处理器；以及
存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，
其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行前述的方法。
本发明对比现有技术有如下的有益效果：本发明改进了传统蚁群算法的启发因子，提出了自适应信息素挥发速率，给出了新的信息素更新规则，避免陷入局部最优，优化了算法的全局搜索能力，并且提高了算法的收敛速度。针对AGV作业环境的复杂情况，在通过蚁群算法生成AGV全局最优路径的基础上，考虑到AGV之间的冲突问题，提出了通过多智能体Q学习进行动态避障，结合多智能体系统的思想，引入信息素的概念加强智能体之间的沟通联系，利用改进的多智能体Q学习对AGV之间的冲突问题做出了避碰策略的研究，这样AGV不仅和环境之间进行交互，还可以从其他AGV的知识中获取经验，提高了Q学习的学习速度和收敛速度，更好的体现了AGV系统的自主性和学习能力。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例的流程图。
图2示出了本发明的改进的蚁群算法的流程图。
图3示出了本发明的AGV避障的流程图。
图4示出了本发明的优化的多智能体Q学习算法的流程图。
图5示出了本发明的基于蚁群算法和多智能体Q学习的AGV路径规划系统的一实施例的原理图。
图6示出了本发明实施例中矩阵记录对应的地图的示例。
图7示出了本发明实施例中得到的全局最优路径的示例。
图8示出了本发明实施例中AGV探测范围的示例。
图9示出了本发明实施例中AGV移动的示例。
图10示出了本发明实施例中AGV方位角的示例。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
图1示出了本发明的基于蚁群算法和多智能体Q学习的AGV路径规划方法的一实施例的流程。请参见图1，下面是对本实施例的AGV路径规划方法的实施步骤的详述。
步骤S1：根据已知的静态环境利用栅格法在二维平面上对AGV作业环境进行建模，初始化栅格信息。
本步骤的处理包括对每个小栅格进行二维坐标的对应，对静态障碍物所在栅格进行标识，由作业任务设置蚁群算法中蚂蚁的起始点和目标点，设置AGV运动的步长。
首先是栅格法建模的过程，AGV的运行环境为二维平面0-XY上的栅格区域，设定AGV的运动步长StepLength为AGV的外接圆直径，将该二维区域划分成若干以步长为边长c的相同大小的方格，如果某一栅格中存在障碍物，则定义此栅格为障碍栅格，反之为自由栅格，采用序号表示法对栅格进行编码，用0和1分别表示障碍栅格和自由栅格，并对栅格依次进行从左到右，从下到上坐标对应。
例如，建立一个3*3，存储栅格信息的矩阵记录为生成地图为图6所示。
以图6所示为例，根据作业任务确定起始点和目标点，例如设置AGV的起始点为(0，4)(左上角)，目标点为(4，0)(右下角)。
步骤S2：根据步骤S1中设置的AGV的起始点和目标点坐标通过蚁群算法生成AGV全局最优路径。
本步骤的处理包括设置快速收敛的蚁群算法中的包括蚂蚁数量、算法最大迭代次数、初始信息素矩阵在内的基本参数，将蚂蚁放在起始点上，以是否最短路径评价蚁群，通过数次信息素的更新和全局最优路径的迭代，生成全局最优路径作为当前AGV的全局优化路径。
如图2所示，改进的蚁群算法生成全局最优路径的具体步骤如下。
S20：首先，初始化蚁群算法参数，包括蚂蚁数量、算法最大迭代次数、信息素权值、信息素衰减系数、每条路径的初始信息素强度、迭代次数等。
例如，初始化蚁群算法参数如下：蚂蚁数量m＝30、算法最大迭代次数N＝50、α＝1、β＝6、ρ＝0.2、Q＝12，(α是信息启发因子，β是期望启发因子，ρ是信息素挥发因子，Q是初始每条路径信息素的量)将蚁群放在起始点上，初始化栅格地图上每条边的信息素强度，以是否最短路径评价蚁群，适应度函数为其中num为AGV走过的栅格数，D为AGV所走路径长度，k表示第k只蚂蚁。
然后就进行下面循环体的迭代(步骤S21～S)，迭代更新全局最优路径，当跳出循环体后即为最终的AGV的全局最优路径。
S21：根据蚁群系统的转移概率公式计算每只蚂蚁到达每个节点的概率。
蚂蚁K的转移概率公式
其中allowed表示蚂蚁k下一步允许选择的位置，α叫做信息启发式因子，反映了路径上信息素的积累对蚂蚁路径选择的影响，β是期望中的启发式因子，表示能见度的相对重要性也就是环境信息对蚂蚁影响力的大小，τij(t)表示t时刻路径path(i，j)上的信息素，τis(t)表示t时刻路径path(i，s)上的信息素。ηij和ηis代表启发因子，为了在转移位置时既要考虑到下一点的距离又要考虑到目标点的距离。本实施例中的启发因子ηij改进为：
其中dij是相邻两点的距离大小，dje是下一点j到目标点的距离，蚂蚁k在选择下一点转移位置时考虑离目标点最近的位置，提高了搜索速度，避免陷入局部最优。其中i和j表示栅格位置，xj是位置点j的横坐标，yj是位置点j的纵坐标，(xend，yend)是终点坐标。
S22：一次迭代后更新信息素剩余信息，更新t+n时刻路径path(i，j)上的信息素量τij(t+n)和改进的信息素增量其中θ为衰减系数，衰减系数用于调整每条路径上的信息素量，表示每条路径上的信息素递减。在一轮循环过后所有的路径长度都被记录在矩阵中，计算这一轮每条路径的平均值
信息素量的调整规则为：
τij(t+n)＝(1-ρ)Δτij(t)+Δrij(t)
其中Δτij(t)是t时刻在path(i，j)处的信息素增量，1-ρ表示残留因子，是蚂蚁k在t时刻在位置path(i，j)处留下的信息素。m是指蚁群种群数量。
S23：(这一步是为了选取最优路径)判断这一轮的每条路径是否大于平均值若存在比平均值小的路径则调整最优路径，否则跳转到步骤S24。
S24：输出这一轮的最优解，更新全局最优路径。
S25：判断产生最优路径的迭代次数n是否在设置的最大迭代次数N之内，若是则跳转到步骤S26，若否则自适应调整信息素挥发速率ρ*＝[1-e(n-N)/N]ρ，其中ρ是信息素挥发系数，为了防止信息的无限积累，ρ区间设为(0，1)，n是当前的迭代次数，N是迭代的总数，这一公式表示蚁群算法的信息素挥发速率可以随着迭代次数的增加而自适应的改变，通过自适应更新信息素挥发系数，避免了信息素均分导致的收敛速度慢的问题。
S26：判断这一轮循环是否结束，若是则跳转到步骤S27，若否则跳转到步骤S21。
S27：得到AGV的全局最优路径。
经过数次迭代后，蚁群收敛到一条路径上，本实施例中由改进的蚁群算法得到的全局路径如图7所示。
步骤S3：AGV根据全局优化路径向目标点移动，亦即，AGV到达目标点(全局最优点)后则退出避障，如果没有到达目标点则继续移动。
步骤S3至后续的S6除了在图1中示出，在图3中也有示出。
步骤S4：在移动过程中，判断设置的最小距离内是否存在动态障碍物(比如其他AGV，本实施例将其他AGV视为方向、速度已知的动态障碍物)。如果没有则继续原始路径，如果有动态障碍物则继续步骤S5。
步骤S5：判断是否会发生碰撞。如果不会碰撞则继续原始路径，如果会发生碰撞则继续步骤S6。
步骤S6：通过多智能体Q学习对应环境状态选择相应的避障动作，通过执行避障动作来进行避让。避障结束后继续原始路径。
在本步骤中，通过多智能体Q学习选择相应的避障动作，比如通过向左、向右、向前一个步长这样的动作设计来进行避让。在多智能体Q学习避障结束后，要返回原始路径，从当前位置到原始路径的最近点设为局部最优路径，利用前述的改进的蚁群算法进行局部的再规划，然后继续原始路径。
Q学习算法作为一种基于环境强化学习算法，是从环境状态到动作映射的学习，AGV作为新型的自动化智能分拣设备，具有一定的自主学习能力，目前可以通过传感器、摄像头等探测设备可以感知障碍物，并且一个AGV系统下所有AGV的运动状态是已知的。为了在复杂的作业环境中，让AGV具备自主避障的能力，本实施例采用了优化的多智能体Q学习来实现AGV的避障。并且为了提高Q学习的学习效率和可靠性，考虑到蚂蚁蚁群和多智能体系统的共性，该方法在多智能体系统中引入了蚁群算法中信息素的概念，将Q学习和蚁群算法结合起来，让系统中的智能体在进行行为决策的时候，不单单依靠环境信息，还需要考虑信息素的综合效应来选择行动。由此，本发明的优化的多智能体Q学习的基本步骤如图4所示：
S61：初始化每一个智能体的状态集、动作集，初始化Q(s,a)表，设置各项参数。其中s是智能体t时刻的状态，a是动作策略。
Q(s,a)是表示智能体的状态和动作的矩阵，在具体实施例中比如a(动作左右前后)，s是状态表示避障情况。在基于当前的Q值估计得出的状态s下选择一个动作a。Q-table(「Q」代表动作的「质量」)可以把Q函数视为一个在Q-table上滚动的读取器，用于寻找与当前状态关联的行以及与动作关联的列。它会从相匹配的单元格中返回Q值。这就是未来奖励的期望。
S62：观察t时刻的状态s。
S63：按照决策公式执行动作a。
决策公式为：其中Pss′为从状态s到s′的转移概率，γ表示折扣因子，决策公式通过计算得到目前的状态。在决策时需要考虑Q值和信息素的综合影响来选择动作执行。
S64：执行所选择的动作，并且观察下一时刻的状态，判断所处的任务阶段和所处的周围环境选择适合当前状态的回报模式得到回报值r，同时在这种状态下遗留该智能体的信息素。
S65：依据决策公式更新Q(s，a)值，更新信息素。
S66：考察是否满足结束条件，若满足则结束学习，若没有满足则回到步骤S62继续重复执行。
举例来说，由于在一个AGV系统中所有AGV速度和方向都是已知的，假设AGV能够探测障碍物的范围是以2c为半径的圆。当AGV位于位置(2，2)时能够探测到的范围如图8所示。
根据图9示出的情形，描述AGV避障过程：在t时刻，AGV1沿全局路径运动到(2，2)处，此位置还未达到全局目标点，并且AGV1探测到位置(4，2)处有AGV2，其运动方向向左，运动路径如图9虚线所示。首先根据障碍物的运动状态判断是否将发生碰撞，判断将在t+1时刻于(3，2)处发生碰撞，于是利用多智能体Q学习选择避障动作。由于此时的环境左右均为障碍格，可以选择的动作策略是后退一步或者原地等待，做出相应的避障动作后，根据环境状态设计相应的奖励值，AGV留下这种环境状态下的信息素。更新Q表更新信息素，然后再次判断当前位置是否还有障碍物可能会发生碰撞，若有则继续避障，若无则返回原始路径最短的位置，继续向目标点移动。
下面列举在本实施例中可能发生的几种情况以及相应的避障过程：
(1)AGV1在t+1时刻执行的避障动作是原地等待，则在t+1时刻AGV1在(2，2)处等待，AGV2移动到(3，2)，而下一时刻t+3仍有可能发生碰撞，需要再次避障，此时的策略可以是AGV1沿原始路径后退到(1，3)或者后退到(1，2)。
(2)AGV1在t+1时刻执行的避障动作是后退到(1，3)，AGV2移动到(3，2)，而判断出下一时刻t+3在(2，2)处仍会发生碰撞，需要再次避障，AGV1若选择继续在(1，3)等待，下一时刻AGV2移动到(2，2)，此时再进行障碍判断时不会发生碰撞了，AGV1就沿原始路径向目标点移动。
(3)AGV1在t+1时刻执行的避障动作是后退到(1，2)，而判断出下一时刻t+3在(2，2)处仍会发生碰撞，AGV1可以选择原地等待或者退回(1，3)或者移动到(0，2)，进行再次避障判断…
不同的避障动作的选择需要耗费的避障时间是不同的，避障移动的步长以及返回原始路径所需要的步长也是不同的，根据下一时刻的状态，设计Q学习的奖励值，从而训练AGV自主选择合适的避障动作的能力。
基于多智能体Q学习的避障动作设计是通过调节AGV的左右轮角速度来控制其运动，考虑到时间问题，设计按照时间-动作的Q表，并将时间进行离散化，离散化后将时刻记为T，由于避障时间有限，设上限为200。
奖励值R的设计要考虑下一状态，下一状态无碰撞可能则视为目标状态，R受到三个条件的限制分别是AGV与动态障碍物的距离d，AGV的方位角θ以及时刻T。
AGV的运动通过左右轮的角速度控制，AGV的方位角如图10所示。
AGV的避障动作设为4个值分别为：a1(左转)、a2(右转)、a3(后退)、a4(原地等待)。
动作选择策略：采用随机策略和贪婪策略。
贪婪策略：Q(s，a)＝maxQ(s，a)，其中s表示状态，a表示动作策略。
随机动作采用玻尔兹曼分布方法，任一动作被选择的概率为：其中q是环境参数。
将二者结合起来，作为新的搜索策略，每一时刻系统选择一个随机数，然后采用轮盘赌选择动作，这样选择每个动作的可能性与动作所对应的概率相同.当AGV在安全范围内则直接按照静态路径向目标前进；如果不是，则前6次学习中采取随机动作，后4次学习中采取贪婪动作。
AGV完成避障后要返回原始路径，将当前位置到原始路径上的最近点看作局部目标点，规划路径，回到原始路径上继续行进直到到达全局目标点。
图5示出了本发明的基于蚁群算法和多智能体Q学习的AGV路径规划系统。请参见图5，本实施例的AGV路径规划系统包括：建模模块、路径生成模块、避障控制模块。
建模模块用于根据静态环境利用栅格法对AGV作业环境进行建模，根据AGV作业任务设置起始点和目标点。
路径生成模块用于根据AGV的起始点和目标点坐标通过蚁群算法生成AGV的全局最优路径。
避障控制模块用于AGV根据全局优化路径向目标点移动，当探测到最小距离内存在包括其他AGV在内的动态障碍物时，通过多智能体Q学习对应环境状态进行避障策略的选择，据此作为相应的避障动作，避障结束再返回原来的路径上继续运动。
此外，本发明还揭示了一种基于蚁群算法和多智能体Q学习的AGV路径规划系统。本实施例的系统包括：处理器和存储器。存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据。当这一系列计算机可执行的指令被处理器执行时，使得处理器进行如前述实施例的基于蚁群算法和多智能体Q学习的AGV路径规划方法。方法的具体步骤已经在前述实施例中详述，在此不再赘述。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
Claims (10)
1.一种基于蚁群算法和多智能体Q学习的AGV路径规划方法，其特征在于，包括：
步骤一：根据静态环境利用栅格法对AGV作业环境进行建模，根据AGV作业任务设置起始点和目标点；
步骤二：根据AGV的起始点和目标点坐标通过蚁群算法生成AGV的全局最优路径；
步骤三：AGV根据全局优化路径向目标点移动，当探测到最小距离内存在包括其他AGV在内的动态障碍物时，通过多智能体Q学习对应环境状态进行避障策略的选择，据此作出相应的避障动作，避障结束再返回原来的路径上继续运动。
2.根据权利要求1所述的基于蚁群算法和多智能体Q学习的AGV路径规划方法，其特征在于，在步骤二中，蚁群算法中的适应度函数为其中num为AGV走过的栅格数，D为AGV所走路径长度，k表示第k只蚂蚁。
3.根据权利要求1所述的基于蚁群算法和多智能体Q学习的AGV路径规划方法，其特征在于，在步骤二中，在蚂蚁k发生位置转移时，蚁群算法中的启发式因子为
其中ηij为位置点i上的蚂蚁选择下一步到相邻位置点j的启发式因子，dij是相邻两位置点i和位置点j的距离，dje是位置点j到目标点的距离；
其中i和j表示栅格位置，xj是位置点j的横坐标，yj是位置点j的纵坐标，(xend，yend)是终点坐标。
4.根据权利要求1所述的基于蚁群算法和多智能体Q学习的AGV路径规划方法，其特征在于，在步骤二中，蚁群算法中的信息素更新策略为：
τij(t+n)＝(1-ρ)Δτij(t)+Δτij(t)
其中τij(t+n)是t+n时刻(i，j)处的信息素量，Δτij(t)是t时刻(i，j)处的信息素增量，1-ρ表示残留因子，是蚂蚁k在t时刻经过路径(i，j)留下的信息素，m是指蚁群种群数量。
5.根据权利要求1所述的基于蚁群算法和多智能体Q学习的AGV路径规划方法，其特征在于，在步骤二中，蚁群算法中的信息素挥发系数随着迭代次数的增加而自适应的改变，自适应信息素挥发系数的更新规则为：
ρ*＝[1-e(n-N)/N]ρ
其中ρ是信息素挥发系数，n是当前的迭代次数，N是迭代的总数。
6.根据权利要求1所述的基于蚁群算法和多智能体Q学习的AGV路径规划方法，其特征在于，步骤二中通过蚁群算法获得当前AGV的全局最优路径的步骤进一步包括：
步骤1：根据蚁群系统的转移概率公式计算每只蚂蚁到达每个节点的概率；
步骤2：一次迭代后更新信息素剩余信息，更新t+n时刻路径path(i，j)上的信息素τij(t+n)和信息素增量θ是用于调整每条路径上的信息素量的衰减系数以表示每条路径上的信息素递减，是调整后的信息素增量，是蚂蚁k经过路径(i，j)时留下的信息素，在一轮循环过后所有的路径长度都被记录在矩阵中，计算这一轮每条路径的平均值
步骤3：判断这一轮的每条路径是否大于平均值若存在比平均值小的路径则调整最优路径，否则跳转到步骤4；
步骤4：输出这一轮的最优解，更新全局最优路径；
步骤5：判断当前的最优路径迭代次数n是否在最大迭代次数N之内，若是则跳转到步骤6，否则自适应调整信息素挥发速率ρ*＝[1-e(n-N)/N]ρ，ρ是信息素挥发系数；
步骤6：判断循环是否结束，若是则跳转到步骤7，若否则跳转到步骤1；
步骤7：得到当前AGV的全局最优路径。
7.根据权利要求1所述的基于蚁群算法和多智能体Q学习的AGV路径规划方法，其特征在于，步骤三的多智能体Q学习的过程包括：
初始化每一智能体的状态集、动作集，初始化Q(s，a)表，设置参数，其中Q(s，a)表示智能体的状态和动作的矩阵；
通过决策公式对应状态来选择执行动作策略，观察下一状态的任何阶段和环境信息，选择适当的回报模式获得回报值，同时留下该智能体的信息素；
更新Q值和信息素，考察是否达到结束标准。
8.根据权利要求7所述的基于蚁群算法和多智能体Q学习的AGV路径规划方法，其特征在于，决策公式为：其中Pss′为从状态s到s′的转移概率，γ表示折扣因子。
9.一种基于蚁群算法和多智能体Q学习的AGV路径规划系统，其特征在于，包括：
建模模块，根据静态环境利用栅格法对AGV作业环境进行建模，根据AGV作业任务设置起始点和目标点；
路径生成模块，根据AGV的起始点和目标点坐标通过蚁群算法生成AGV的全局最优路径；
避障控制模块，AGV根据全局优化路径向目标点移动，当探测到最小距离内存在包括其他AGV在内的动态障碍物时，通过多智能体Q学习对应环境状态进行避障策略的选择，据此作出相应的避障动作，避障结束再返回原来的路径上继续运动。
10.一种基于蚁群算法和多智能体Q学习的AGV路径规划系统，其特征在于，包括：
处理器；以及
存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，
其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810935222.0A CN108776483B (zh) | 2018-08-16 | 2018-08-16 | 基于蚁群算法和多智能体q学习的agv路径规划方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810935222.0A CN108776483B (zh) | 2018-08-16 | 2018-08-16 | 基于蚁群算法和多智能体q学习的agv路径规划方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108776483A true CN108776483A (zh) | 2018-11-09 |
| CN108776483B CN108776483B (zh) | 2021-06-29 |
Family
ID=64029373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810935222.0A Active CN108776483B (zh) | 2018-08-16 | 2018-08-16 | 基于蚁群算法和多智能体q学习的agv路径规划方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776483B (zh) |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109407704A (zh) * | 2018-12-13 | 2019-03-01 | 佛山单常科技有限公司 | 一种智能的无人机返航控制系统 |
| CN109635912A (zh) * | 2018-11-16 | 2019-04-16 | 佛山科学技术学院 | 一种基于双向蚁群与动态规划的管道布设方法及装置 |
| CN109685286A (zh) * | 2019-01-14 | 2019-04-26 | 哈尔滨工程大学 | 未知静态障碍环境下usv基于改进蚁群优化的避碰规划方法 |
| CN109839935A (zh) * | 2019-02-28 | 2019-06-04 | 华东师范大学 | 多agv的路径规划方法及设备 |
| CN109857107A (zh) * | 2019-01-30 | 2019-06-07 | 广州大学 | Agv小车导航方法、装置、系统、介质和设备 |
| CN109945881A (zh) * | 2019-03-01 | 2019-06-28 | 北京航空航天大学 | 一种蚁群算法的移动机器人路径规划方法 |
| CN109974711A (zh) * | 2019-04-12 | 2019-07-05 | 重庆渝博创智能装备研究院有限公司 | 一种面向智慧工厂的agv多目标点自主导航方法 |
| CN110095122A (zh) * | 2019-05-10 | 2019-08-06 | 安徽工程大学 | 一种基于改进蚁群算法的移动机器人路径规划方法 |
| CN110160546A (zh) * | 2019-05-10 | 2019-08-23 | 安徽工程大学 | 一种移动机器人路径规划方法 |
| CN110315258A (zh) * | 2019-07-24 | 2019-10-11 | 广东工业大学 | 一种基于强化学习和蚁群算法的焊接方法 |
| CN110398967A (zh) * | 2019-07-24 | 2019-11-01 | 西安电子科技大学 | 一种采用离散化方法的多机器人协同轨迹信息处理方法 |
| CN110414662A (zh) * | 2019-08-02 | 2019-11-05 | 北京深度奇点科技有限公司 | 数据处理方法及系统 |
| CN110443412A (zh) * | 2019-07-18 | 2019-11-12 | 华中科技大学 | 动态优化加工过程中物流调度及路径规划的强化学习方法 |
| CN110554707A (zh) * | 2019-10-17 | 2019-12-10 | 陕西师范大学 | 一种飞行器姿态控制回路的q学习自动调参方法 |
| CN110727272A (zh) * | 2019-11-11 | 2020-01-24 | 广州赛特智能科技有限公司 | 一种多台机器人的路径规划调度系统及方法 |
| CN111157002A (zh) * | 2019-12-30 | 2020-05-15 | 西安电子科技大学 | 基于多智能体进化算法的飞行器3d路径规划方法 |
| CN111309837A (zh) * | 2020-02-11 | 2020-06-19 | 苏州明逸智库信息科技有限公司 | 智能仓储地图平台搭建及agv路径优化方法 |
| CN111367317A (zh) * | 2020-03-27 | 2020-07-03 | 中国人民解放军国防科技大学 | 基于贝叶斯学习的无人机集群在线任务规划方法 |
| CN111413965A (zh) * | 2020-03-11 | 2020-07-14 | 西安工程大学 | 一种基于uav协同感知的ugv行驶路径规划方法 |
| CN111459108A (zh) * | 2020-04-08 | 2020-07-28 | 北京理工大学 | 拖挂式多agv系统的任务分配及无冲突路径规划方法 |
| CN111830983A (zh) * | 2019-08-06 | 2020-10-27 | 清华大学 | 动态环境下的多智能体群系统导航与避障方法及装置 |
| CN111898727A (zh) * | 2019-05-06 | 2020-11-06 | 清华大学 | 基于短时访问机制的强化学习方法、装置及存储介质 |
| CN112256422A (zh) * | 2020-11-17 | 2021-01-22 | 中国人民解放军战略支援部队信息工程大学 | 基于q学习的异构平台任务调度方法及系统 |
| CN112269382A (zh) * | 2020-10-21 | 2021-01-26 | 桂林电子科技大学 | 一种机器人多目标路径规划方法 |
| CN112486185A (zh) * | 2020-12-11 | 2021-03-12 | 东南大学 | 在未知环境下基于蚁群和vo算法的路径规划方法 |
| CN112698653A (zh) * | 2020-12-23 | 2021-04-23 | 南京中朗智能技术有限公司 | 基于深度学习的机器人自主导航控制方法及系统 |
| CN112835333A (zh) * | 2020-12-31 | 2021-05-25 | 北京工商大学 | 一种基于深度强化学习多agv避障与路径规划方法及系统 |
| CN113093765A (zh) * | 2021-04-16 | 2021-07-09 | 西南交通大学 | 一种通用的agv集群控制系统设计框架及方法 |
| CN113111146A (zh) * | 2021-04-20 | 2021-07-13 | 杭州壹悟科技有限公司 | Agv路线优化方法、系统及装置 |
| CN113156954A (zh) * | 2021-04-25 | 2021-07-23 | 电子科技大学 | 一种基于增强学习的多智能体集群避障方法 |
| CN113177664A (zh) * | 2021-05-20 | 2021-07-27 | 的卢技术有限公司 | 一种以安全性、距离代价为约束的自学习路径规划方法 |
| CN113366497A (zh) * | 2018-11-21 | 2021-09-07 | 伟摩有限责任公司 | 自主载具的智能体优先级划分 |
| CN113625716A (zh) * | 2021-08-12 | 2021-11-09 | 西安电子科技大学 | 一种多智能体动态路径规划方法 |
| CN113687657A (zh) * | 2021-08-26 | 2021-11-23 | 鲁东大学 | 用于多智能体编队动态路径规划的方法和存储介质 |
| CN114296440A (zh) * | 2021-09-30 | 2022-04-08 | 中国航空工业集团公司北京长城航空测控技术研究所 | 一种融合在线学习的agv实时调度方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070237152A1 (en) * | 2003-01-20 | 2007-10-11 | Nanyang Polytechnic | Path Searching System Using Multiple Groups Of Cooperating Agents And Method Thereof |
| CN101854695A (zh) * | 2010-06-12 | 2010-10-06 | 苏州联科盛世科技有限公司 | 基于能量和时延蚁群算法来确定无线传感网络路由的方法 |
| CN104317293A (zh) * | 2014-09-19 | 2015-01-28 | 南京邮电大学 | 一种改进蚁群算法的城市救援智能体动态路径规划方法 |
| CN104486811A (zh) * | 2014-12-09 | 2015-04-01 | 东北大学 | 基于蚁群算法的深空光网络路由方法 |
| CN105589461A (zh) * | 2015-11-18 | 2016-05-18 | 南通大学 | 一种基于改进蚁群算法的泊车系统路径规划方法 |
| CN105717926A (zh) * | 2015-11-09 | 2016-06-29 | 江苏理工学院 | 基于改进蚁群算法的移动机器人旅行商优化方法 |
| CN105760954A (zh) * | 2016-02-15 | 2016-07-13 | 南通大学 | 一种基于改进蚁群算法的泊车系统路径规划方法 |
| CN105938572A (zh) * | 2016-01-14 | 2016-09-14 | 上海海事大学 | 一种物流存储系统预防干涉的多自动导引车路径规划方法 |
| CN107104899A (zh) * | 2017-06-09 | 2017-08-29 | 中山大学 | 一种应用于车载自组织网络中的基于蚁群算法的路由方法 |
-
2018
- 2018-08-16 CN CN201810935222.0A patent/CN108776483B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070237152A1 (en) * | 2003-01-20 | 2007-10-11 | Nanyang Polytechnic | Path Searching System Using Multiple Groups Of Cooperating Agents And Method Thereof |
| CN101854695A (zh) * | 2010-06-12 | 2010-10-06 | 苏州联科盛世科技有限公司 | 基于能量和时延蚁群算法来确定无线传感网络路由的方法 |
| CN104317293A (zh) * | 2014-09-19 | 2015-01-28 | 南京邮电大学 | 一种改进蚁群算法的城市救援智能体动态路径规划方法 |
| CN104486811A (zh) * | 2014-12-09 | 2015-04-01 | 东北大学 | 基于蚁群算法的深空光网络路由方法 |
| CN105717926A (zh) * | 2015-11-09 | 2016-06-29 | 江苏理工学院 | 基于改进蚁群算法的移动机器人旅行商优化方法 |
| CN105589461A (zh) * | 2015-11-18 | 2016-05-18 | 南通大学 | 一种基于改进蚁群算法的泊车系统路径规划方法 |
| CN105938572A (zh) * | 2016-01-14 | 2016-09-14 | 上海海事大学 | 一种物流存储系统预防干涉的多自动导引车路径规划方法 |
| CN105760954A (zh) * | 2016-02-15 | 2016-07-13 | 南通大学 | 一种基于改进蚁群算法的泊车系统路径规划方法 |
| CN107104899A (zh) * | 2017-06-09 | 2017-08-29 | 中山大学 | 一种应用于车载自组织网络中的基于蚁群算法的路由方法 |
Non-Patent Citations (2)
| Title |
|---|
| HANG ZHANG，ET AL.: "Fidelity-Based Ant Colony Optimization for Control of Quantum System", 《2017 INTERNATIONAL CONFERENCE ON SMART GRID AND ELECTRICAL AUTOMATION》 * |
| JINGWEIJIA TAN，ET AL.: "Multi-Agent Q-learning based on quantum theory and ant colony algorithm", 《 2009 INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS》 * |
Cited By (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635912A (zh) * | 2018-11-16 | 2019-04-16 | 佛山科学技术学院 | 一种基于双向蚁群与动态规划的管道布设方法及装置 |
| CN109635912B (zh) * | 2018-11-16 | 2023-10-31 | 佛山科学技术学院 | 一种基于双向蚁群与动态规划的管道布设方法及装置 |
| CN113366497A (zh) * | 2018-11-21 | 2021-09-07 | 伟摩有限责任公司 | 自主载具的智能体优先级划分 |
| CN113366497B (zh) * | 2018-11-21 | 2023-08-22 | 伟摩有限责任公司 | 自主载具的智能体优先级划分 |
| US11815892B2 (en) | 2018-11-21 | 2023-11-14 | Waymo Llc | Agent prioritization for autonomous vehicles |
| CN109407704A (zh) * | 2018-12-13 | 2019-03-01 | 佛山单常科技有限公司 | 一种智能的无人机返航控制系统 |
| CN109685286A (zh) * | 2019-01-14 | 2019-04-26 | 哈尔滨工程大学 | 未知静态障碍环境下usv基于改进蚁群优化的避碰规划方法 |
| CN109685286B (zh) * | 2019-01-14 | 2022-08-02 | 哈尔滨工程大学 | 未知静态障碍环境下usv基于改进蚁群优化的避碰规划方法 |
| CN109857107A (zh) * | 2019-01-30 | 2019-06-07 | 广州大学 | Agv小车导航方法、装置、系统、介质和设备 |
| CN109839935B (zh) * | 2019-02-28 | 2020-08-25 | 华东师范大学 | 多agv的路径规划方法及设备 |
| CN109839935A (zh) * | 2019-02-28 | 2019-06-04 | 华东师范大学 | 多agv的路径规划方法及设备 |
| CN109945881A (zh) * | 2019-03-01 | 2019-06-28 | 北京航空航天大学 | 一种蚁群算法的移动机器人路径规划方法 |
| CN109974711A (zh) * | 2019-04-12 | 2019-07-05 | 重庆渝博创智能装备研究院有限公司 | 一种面向智慧工厂的agv多目标点自主导航方法 |
| CN111898727A (zh) * | 2019-05-06 | 2020-11-06 | 清华大学 | 基于短时访问机制的强化学习方法、装置及存储介质 |
| CN110095122B (zh) * | 2019-05-10 | 2022-05-17 | 安徽工程大学 | 一种基于改进蚁群算法的移动机器人路径规划方法 |
| CN110160546B (zh) * | 2019-05-10 | 2022-05-20 | 安徽工程大学 | 一种移动机器人路径规划方法 |
| CN110160546A (zh) * | 2019-05-10 | 2019-08-23 | 安徽工程大学 | 一种移动机器人路径规划方法 |
| CN110095122A (zh) * | 2019-05-10 | 2019-08-06 | 安徽工程大学 | 一种基于改进蚁群算法的移动机器人路径规划方法 |
| CN110443412A (zh) * | 2019-07-18 | 2019-11-12 | 华中科技大学 | 动态优化加工过程中物流调度及路径规划的强化学习方法 |
| CN110398967B (zh) * | 2019-07-24 | 2021-07-16 | 西安电子科技大学 | 一种采用离散化方法的多机器人协同轨迹信息处理方法 |
| CN110398967A (zh) * | 2019-07-24 | 2019-11-01 | 西安电子科技大学 | 一种采用离散化方法的多机器人协同轨迹信息处理方法 |
| CN110315258A (zh) * | 2019-07-24 | 2019-10-11 | 广东工业大学 | 一种基于强化学习和蚁群算法的焊接方法 |
| CN110414662B (zh) * | 2019-08-02 | 2022-07-01 | 北京深度奇点科技有限公司 | 数据处理方法及系统 |
| CN110414662A (zh) * | 2019-08-02 | 2019-11-05 | 北京深度奇点科技有限公司 | 数据处理方法及系统 |
| CN111830983A (zh) * | 2019-08-06 | 2020-10-27 | 清华大学 | 动态环境下的多智能体群系统导航与避障方法及装置 |
| CN110554707A (zh) * | 2019-10-17 | 2019-12-10 | 陕西师范大学 | 一种飞行器姿态控制回路的q学习自动调参方法 |
| CN110554707B (zh) * | 2019-10-17 | 2022-09-30 | 陕西师范大学 | 一种飞行器姿态控制回路的q学习自动调参方法 |
| CN110727272B (zh) * | 2019-11-11 | 2023-04-18 | 广州赛特智能科技有限公司 | 一种多台机器人的路径规划调度系统及方法 |
| CN110727272A (zh) * | 2019-11-11 | 2020-01-24 | 广州赛特智能科技有限公司 | 一种多台机器人的路径规划调度系统及方法 |
| CN111157002B (zh) * | 2019-12-30 | 2022-09-23 | 西安电子科技大学 | 基于多智能体进化算法的飞行器3d路径规划方法 |
| CN111157002A (zh) * | 2019-12-30 | 2020-05-15 | 西安电子科技大学 | 基于多智能体进化算法的飞行器3d路径规划方法 |
| CN111309837B (zh) * | 2020-02-11 | 2023-12-29 | 苏州明逸智库信息科技有限公司 | 智能仓储地图平台搭建及agv路径优化方法 |
| CN111309837A (zh) * | 2020-02-11 | 2020-06-19 | 苏州明逸智库信息科技有限公司 | 智能仓储地图平台搭建及agv路径优化方法 |
| CN111413965A (zh) * | 2020-03-11 | 2020-07-14 | 西安工程大学 | 一种基于uav协同感知的ugv行驶路径规划方法 |
| CN111367317A (zh) * | 2020-03-27 | 2020-07-03 | 中国人民解放军国防科技大学 | 基于贝叶斯学习的无人机集群在线任务规划方法 |
| CN111459108A (zh) * | 2020-04-08 | 2020-07-28 | 北京理工大学 | 拖挂式多agv系统的任务分配及无冲突路径规划方法 |
| CN112269382A (zh) * | 2020-10-21 | 2021-01-26 | 桂林电子科技大学 | 一种机器人多目标路径规划方法 |
| CN112269382B (zh) * | 2020-10-21 | 2021-06-29 | 桂林电子科技大学 | 一种机器人多目标路径规划方法 |
| CN112256422A (zh) * | 2020-11-17 | 2021-01-22 | 中国人民解放军战略支援部队信息工程大学 | 基于q学习的异构平台任务调度方法及系统 |
| CN112256422B (zh) * | 2020-11-17 | 2023-08-04 | 中国人民解放军战略支援部队信息工程大学 | 基于q学习的异构平台任务调度方法及系统 |
| CN112486185A (zh) * | 2020-12-11 | 2021-03-12 | 东南大学 | 在未知环境下基于蚁群和vo算法的路径规划方法 |
| CN112698653A (zh) * | 2020-12-23 | 2021-04-23 | 南京中朗智能技术有限公司 | 基于深度学习的机器人自主导航控制方法及系统 |
| CN112835333A (zh) * | 2020-12-31 | 2021-05-25 | 北京工商大学 | 一种基于深度强化学习多agv避障与路径规划方法及系统 |
| CN113093765B (zh) * | 2021-04-16 | 2022-04-08 | 西南交通大学 | 一种通用的agv集群控制系统设计框架及方法 |
| CN113093765A (zh) * | 2021-04-16 | 2021-07-09 | 西南交通大学 | 一种通用的agv集群控制系统设计框架及方法 |
| CN113111146A (zh) * | 2021-04-20 | 2021-07-13 | 杭州壹悟科技有限公司 | Agv路线优化方法、系统及装置 |
| CN113156954A (zh) * | 2021-04-25 | 2021-07-23 | 电子科技大学 | 一种基于增强学习的多智能体集群避障方法 |
| CN113177664A (zh) * | 2021-05-20 | 2021-07-27 | 的卢技术有限公司 | 一种以安全性、距离代价为约束的自学习路径规划方法 |
| CN113177664B (zh) * | 2021-05-20 | 2024-03-19 | 的卢技术有限公司 | 一种以安全性、距离代价为约束的自学习路径规划方法 |
| CN113625716A (zh) * | 2021-08-12 | 2021-11-09 | 西安电子科技大学 | 一种多智能体动态路径规划方法 |
| CN113687657A (zh) * | 2021-08-26 | 2021-11-23 | 鲁东大学 | 用于多智能体编队动态路径规划的方法和存储介质 |
| CN114296440A (zh) * | 2021-09-30 | 2022-04-08 | 中国航空工业集团公司北京长城航空测控技术研究所 | 一种融合在线学习的agv实时调度方法 |
| CN114296440B (zh) * | 2021-09-30 | 2024-04-09 | 中国航空工业集团公司北京长城航空测控技术研究所 | 一种融合在线学习的agv实时调度方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108776483B (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776483A (zh) | 基于蚁群算法和多智能体q学习的agv路径规划方法和系统 | |
| Jiang et al. | Path planning for intelligent robots based on deep Q-learning with experience replay and heuristic knowledge | |
| CN102799179B (zh) | 基于单链序贯回溯q学习的移动机器人路径规划算法 | |
| CN102778229B (zh) | 未知环境下基于改进蚁群算法的移动Agent路径规划方法 | |
| Fong et al. | A review of metaheuristics in robotics | |
| CN110134140A (zh) | 一种环境信息未知连续状态下基于势函数奖赏dqn的无人机路径规划方法 | |
| CN110231824A (zh) | 基于直线偏离度方法的智能体路径规划方法 | |
| CN105717926A (zh) | 基于改进蚁群算法的移动机器人旅行商优化方法 | |
| CN113391633A (zh) | 一种面向城市环境的移动机器人融合路径规划方法 | |
| Parhi et al. | Navigation of multiple humanoid robots using hybrid adaptive swarm‐adaptive ant colony optimisation technique | |
| Showalter et al. | Neuromodulated multiobjective evolutionary neurocontrollers without speciation | |
| Zhang et al. | An efficient planning method based on deep reinforcement learning with hybrid actions for autonomous driving on highway | |
| He et al. | Decentralized exploration of a structured environment based on multi-agent deep reinforcement learning | |
| Likhachev et al. | Planning for Markov decision processes with sparse stochasticity | |
| CN113790729B (zh) | 一种基于强化学习算法的无人天车路径规划方法及装置 | |
| Jin et al. | A multi-objective multi-agent framework for traffic light control | |
| Tang et al. | Reinforcement learning for robots path planning with rule-based shallow-trial | |
| Leonard et al. | Bootstrapped Neuro-Simulation as a method of concurrent neuro-evolution and damage recovery | |
| CN115097814A (zh) | 基于改进pso算法的移动机器人路径规划方法、系统及应用 | |
| Queißer et al. | Bootstrapping of parameterized skills through hybrid optimization in task and policy spaces | |
| Shi et al. | Adaptive reinforcement q-learning algorithm for swarm-robot system using pheromone mechanism | |
| Yu et al. | An intelligent robot motion planning method and application via lppo in unknown environment | |
| Mitić et al. | Empirical control system development for intelligent mobile robot based on the elements of the reinforcement machine learning and axiomatic design theory | |
| CN114489035B (zh) | 一种基于累积迹强化学习的多机器人协同搜索方法 | |
| Kumar et al. | A Novel Algorithm for Optimal Trajectory Generation Using Q Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |