CN116483086A - 一种边冲突和点冲突解耦的长期多智能体路径规划方法 - Google Patents

Abstract

本发明涉及智能控制技术领域，具体的说是一种边冲突和点冲突解耦的长期多智能体路径规划方法，包括边冲突避免的滚动时间窗K鲁棒静态路径规划和点冲突避免的实时智能体路径协同，所述K鲁棒边冲突避免的静态路径规划为每当有新任务发布，算法为执行新任务的智能体a_i规划一条从当前位置到达目标位置的静态路径，该静态路径能保证智能体在理想运行中不与其他智能体发生边冲突且在发生K个意外延迟的情况下不影响整个路径规划方案的执行，所述点冲突避免的实时智能体路径协同为智能体在沿静态路径移动的过程中，与近邻智能体交换信息，在智能体路径执行的过程中实现动态的顶点冲突避免，使得智能体可以更好地适应实时改变的路况。

Description

一种边冲突和点冲突解耦的长期多智能体路径规划方法

技术领域

本发明涉及一种边冲突和点冲突解耦的长期多智能体路径规划方法，属于智能控制技术领域。

背景技术

智能仓储是一种使用物联网、信息化和人工智能等技术实现物品运输、存储等一系列操作自动化的新兴仓储模式，与传统仓储对比，智能仓储节约70％的空间及80％的劳动力成本。由于全球化程度、电商需求、物流需求的急遽增长，仓库必须扩大规模、提高运行效率，因此仓储智能化将会成为未来一大热门趋势。在智能仓储场景中，调度系统会不断为智能体分配新的搬运任务，每个任务包含一个装货地点和一个卸货地点，并由智能体将货物从装货地点搬运至卸货地点。由于智能仓储运行中存在大量的智能体同时执行任务协同运动，为了保证智能仓储系统的高效性和可靠性，要求算法为所有智能体规划不发生冲突(主要包括点、边冲突)的路径，同时最小化路径总成本、平均任务完成时间或是最大化系统吞吐量。

经典的多智能体路径规划问题是某时段内的静态问题，问题描述如下：在一个无权无向图G＝(V,E)中(V为表示图中位置的顶点集合，E为表示图中两个相邻位置之间的连接的边集合)，有一组智能体{a₁,a₂...a_n}，每个智能体a_i被分配一个起始位置(即装货地点，下文都将使用起始位置来表示)和一个目标位置/>(即卸货位置，下文都将使用目标位置来表示)，问题需要为所有智能体规划从起始位置到目标位置且不和其他智能体发生冲突的路径集，并设置优化目标(最小化总路径成本、最小化平均任务完成时间或最大化系统吞吐量)。为了方便求解，问题一般采用离散的时间模型，即将连续的时间离散成时间步长，在每个时间步长内，智能体可以移动到相邻位置或在当前位置等待。冲突的类型分为点冲突和边冲突两种，其中：点冲突<a₁,a₂,v₁,t>是指智能体a₁和智能体a₂在第t个时间步同时到达位置v₁，边冲突<a₁,a₂,v₁,v₂,t>则是指智能体a₁和智能体a₂在第t个时间步沿相反方向从位置v₁到位置v₂之间的边E<v₁,v₂>。经典的多智能体路径规划问题中，智能体到达其目标位置则视为任务完成，智能体将不再执行其他动作。在实际仓储场景中，任务是接连不断发布的，智能体在完成当前任务后有可能被分配新的任务，因此需要算法长期、频繁地为执行新任务的智能体规划路径，这类在实际仓储中的智能体规划问题被称为长期多智能体路径规划问题。

现有方法大都是将长期多智能体优化问题转化为某时段内的静态多智能体路径规划问题，利用传统的多智能体路径规划方法求解，主要方法包括：

(1)使用MAPF求解器在每个时间步为智能体重规划路径，该方法需要耗费大量的时间开销。

(2)使用优先规划的方法，即在每个时间步仅对接收到新任务的智能体进行重规划，该方法无法保证规划路径的最优性与完备性。

(3)使用有限窗口解决冲突的方法，算法以固定的周期对智能体路径进行重规划，每次重规划只解决给定时间窗口内的冲突，该方法避免了一部分由于重规划带来的冗余计算，然而由于智能体无法预知有限窗口外的情况，在一些情况下智能体将会贪心地选择等待来解决短期内的冲突，因此无法保证路径规划的最优性和完备性。

以上方法无法高效地解决长期多智能体路径规划问题，随着问题规模的扩大和任务发布频率的增加，一方面频繁地重规划需要消耗大量的计算资源，无法保障长期多智能体路径规划的实时性；另一方面仅进行局部调整无法保证路径规划的完备性。

有鉴于此特提出本发明来帮助解决上述问题。

发明内容

本发明的目的就在于为了解决上述问题而提供一种边冲突和点冲突解耦的长期多智能体路径规划方法，在智能体规划路径时预测并消解未来可能发生的边冲突，并使用实时智能体路径协同的方法在智能体移动过程中通过近邻智能体信息交换实现点冲突避免。

本发明通过以下技术方案来实现上述目的，一种边冲突和点冲突解耦的长期多智能体路径规划方法，包括边冲突避免的滚动时间窗K鲁棒静态路径规划和点冲突避免的实时智能体路径协同，所述K鲁棒边冲突避免的静态路径规划为每当有新任务发布，算法为执行新任务的智能体a_i规划一条从当前位置到达目标位置/>的静态路径，该静态路径能保证智能体在理想运行中不与其他智能体发生边冲突且在发生K个意外延迟的情况下不影响整个路径规划方案的执行，所述点冲突避免的实时智能体路径协同为智能体在沿静态路径移动的过程中，与近邻智能体交换信息，在智能体路径执行的过程中实现动态的顶点冲突避免。

进一步的，所述K鲁棒边冲突避免的静态路径规划包括以下步骤：

Sa1、底层路径规划器：初始建立一个空的约束集，使用时空A*算法为当前智能体a_c规划一条满足约束集的路径，A*算法是一种经典的搜索算法，执行由f(v_c)＝g(v_c)+h(v_c)引导的最佳优先搜索，其中v_c为当前位置，g(v_c)为从起始位置到当前位置v_c已产生的消耗，h(v_c)是从当前位置v_c到目标位置的启发式函数，时空A*算法是经典A*算法的拓展，A*算法仅在空间位置上进行搜索，最终搜索得到的是一个位置序列，如：{v₁,v₂,v₃}，而时空A*算法增加了时间搜索维度，其最终得到的是一个有时间戳的位置序列，如{(v₁,t₁),(v₁,t₂),(v₂,t₃),(v₃,t₄)}；为实现路径搜索的多样性，避免某个位置被频繁经过，算法为每个位置设置路由值Via，用于记录该位置被经过次数，算法使用路由值Via作为时空A*算法同优先级下的打破原则，在具有相同f值的节点选择时，为路由值Via较小的节点设置更高的优先级；

Sa2、滚动时间窗的边冲突检测：将当前规划好的路径与还未执行完任务的其他智能体的剩余静态路径进行边冲突检测及预测；

Sa3、添加约束：检测到边冲突<a_c,a_o,v_x,b_y,t>时，为当前规划路径的智能体a_c添加约束<a_c,v_x,t>，其中：约束<a_c,v_x,t>是指不允许智能体a_c在时间步t时经过位置v_x，

Sa4、重复步骤Sa1至步骤Sa3，直至在步骤Sa2时检测不到可能存在的冲突，将满足当前约束集的路径去掉时间维度作为静态路径，

进一步的，所述步骤Sa2中的预测方法包括以下步骤：

Sa11、对于所有已规划路径的智能体集合A，其静态路径为一系列位置组成的序列，如智能体a_i的静态路径为，其中p_i为a_i静态路径的长度，对于a_i静态路径中的任意位置/>，认为a_i可以在理想到达时间的K步内到达规划位置，即智能体a_i可能在时间窗[t,t+K]内到达位置/>(其中，t为无延迟情况下智能体a_i到达位置/>的时间)；

Sa12、当前规划路径P是由一系列时间位置对组成的序列{(v₁,t₁),(v₂,t₂),...,(v_m,t_m)}，其中t_p+1＝t_p+1，令t＝t₁；

Sa13、检测当前智能体a_c路径P在时间窗[t,t+K]中的部分路径与t时刻其他智能体位置是否存在边冲突，若检测到a_c与某智能体a_o在边E<v_x,v_y>处发生边冲突，算法结束，返回检测到的边冲突<a_c,a_o,v_x,v_y,t>并结束算法；

Sa14、令t＝t+1，若t>t_m算法结束，否则转步骤Sa13继续执行，

进一步的，所述点冲突避免的实时智能体路径协同包括以下步骤：

Sb1、对于任意智能体a_i，在每个时间步，智能体a_i对其静态路径中的下一个位置v_next发出预约申请；

Sb2、根据不同预约情况判断预约是否成功：

(1)若位置v_next已被其他智能体a_j成功申请，智能体a_i将和智能体a_j进行信息交换，若智能体a_i和智能体a_j在同一时间步开始对位置v_next进行申请，则剩余路径较短的智能体申请成功，否则，先申请的智能体申请成功；

(2)若位置v_next被其他智能体a_k占用，智能体a_i将和智能体a_k进行信息交换，若a_k在下一个时间步将离开v_next，则a_i申请成功，否则申请失败；

(3)若位置v_next无智能体占用并且无其他智能体申请，则智能体a_i申请成功；

Sb3、预约成功的智能体在下一个时间步将移动到静态路径中的下一个位置，预约失败的智能体在下一个时间步将在原位置等待。

本发明的技术效果和优点：

1、本发明提出边、点冲突分开解决的方法，为每个新任务仅规划一次路径，不需要进行多次重规划，极大程度减小了路径规划的计算量，提高了系统响应单智能体路径规划请求的速度。

2、本发明提出滚动时间窗K鲁棒的边冲突避免静态路径规划，能够保证实际执行过程中智能体在K个时间步中延迟也依旧能够保证规划方案的可行性，保障了长期多智能体路径规划的稳定性。

3、本发明提出实时智能体路径协同的点冲突避免方式，使得智能体在长期运行中根据实际环境调整路径执行方案，更能适应长期多智能体路径规划问题中任务实时发布、未来情况难以预测的特点，同时最小化智能体之间的交换信息量。

附图说明

图1为本发明K鲁棒边冲突避免的静态路径规划流程图。

图2为本发明点冲突避免的实时智能体路径协同流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种边冲突和点冲突解耦的长期多智能体路径规划方法，如图1、2所示，包括边冲突避免的滚动时间窗K鲁棒静态路径规划和点冲突避免的实时智能体路径协同，所述K鲁棒边冲突避免的静态路径规划为每当有新任务发布，算法为执行新任务的智能体a_i规划一条从当前位置到达目标位置/>的静态路径，该静态路径能保证智能体在理想运行中不与其他智能体发生边冲突且在发生K个意外延迟的情况下不影响整个路径规划方案的执行，所述点冲突避免的实时智能体路径协同为智能体在沿静态路径移动的过程中，与近邻智能体交换信息，在智能体路径执行的过程中实现动态的顶点冲突避免，使得智能体可以更好地适应实时改变的路况。

在滚动时间窗内检测由于智能体发生K步内延迟而引起的边冲突，通过对当前规划路径P添加约束的方法进行冲突解决，静态路径仅由位置序列组成而不含时间维度，智能体将沿为其规划好的静态路径移动，并保证在发生K个意外延迟的情况下仍不与其他智能体发生边冲突，各步骤流程图如图1，所述K鲁棒边冲突避免的静态路径规划包括以下步骤：

Sa1、底层路径规划器：初始建立一个空的约束集，使用时空A*算法为当前智能体a_c规划一条满足约束集的路径，A*算法是一种经典的搜索算法，执行由f(v_c)＝g(v_c)+h(v_c)引导的最佳优先搜索，其中v_c为当前位置，g(v_c)为从起始位置到当前位置v_c已产生的消耗，h(v_c)是从当前位置v_c到目标位置的启发式函数，时空A*算法是经典A*算法的拓展，A*算法仅在空间位置上进行搜索，最终搜索得到的是一个位置序列，如：{v₁,v₂,v₃}，而时空A*算法增加了时间搜索维度，其最终得到的是一个有时间戳的位置序列，如{(v₁,t₁),(v₁,t₂),(v₂,t₃),(v₃,t₄)}；为实现路径搜索的多样性，避免某个位置被频繁经过，算法为每个位置设置路由值Via，用于记录该位置被经过次数，算法使用路由值Via作为时空A*算法同优先级下的打破原则，在具有相同f值的节点选择时，为路由值Via较小的节点设置更高的优先级；

Sa2、滚动时间窗的边冲突检测：将当前规划好的路径与还未执行完任务的其他智能体的剩余静态路径进行边冲突检测及预测；

由于智能体未来的移动情况会不断地随着新任务发布而改变，算法无法进行精准的冲突检测，考虑到这些问题，本发明采取了一个具有良好效果的预测方法，预测方法包括以下步骤：

Sa11、对于所有已规划路径的智能体集合A，其静态路径为一系列位置组成的序列，如智能体a_i的静态路径为其中p_i为a_i静态路径的长度，对于a_i静态路径中的任意位置/>认为a_i可以在理想到达时间的K步内到达规划位置，即智能体a_i可能在时间窗[t,t+K]内到达位置/>(其中，t为无延迟情况下智能体a_i到达位置/>的时间)；

Sa12、当前规划路径P是由一系列时间位置对组成的序列{(v₁,t₁),(v₂,t₂),...,(v_m,t_m)}，其中t_p+1＝t_p+1，令t＝t₁；

Sa13、检测当前智能体a_c路径P在时间窗[t,t+K]中的部分路径与t时刻其他智能体位置是否存在边冲突，若检测到a_c与某智能体a_o在边E<v_x,v_y>处发生边冲突，算法结束，返回检测到的边冲突<a_c,a_o,v_x,v_y,t>并结束算法；

Sa14、令t＝y+1，若y>t_m算法结束，否则转步骤Sa13继续执行；

Sa3、添加约束：检测到边冲突<a_c,a_o,v_x,v_y,t>时，为当前规划路径的智能体a_c添加约束<a_c,v_x,t>，其中：约束<a_c,v_x,t>是指不允许智能体a_c在时间步t时经过位置v_x，

Sa4、重复步骤Sa1至步骤Sa3，直至在步骤Sa2时检测不到可能存在的冲突，将满足当前约束集的路径去掉时间维度作为静态路径，

所述点冲突避免的实时智能体路径协同包括以下步骤：

Sb1、对于任意智能体a_i，在每个时间步，智能体a_i对其静态路径中的下一个位置v_next发出预约申请；

Sb2、根据预约情况进行分类，预约分为以下几种情况：

1)若位置v_next无智能体占用并且无其他智能体预约，则智能体a_i预约成功；

2)若位置v_next已被其他智能体a_j成功预约，智能体a_i将和智能体a_j进行信息交换，若智能体a_i和智能体a_j在同一时间步开始对位置v_next进行预约，则剩余路径较短的智能体预约成功，否则，先预约的智能体预约成功，

3)若位置v_next被其他智能体a_k占用，智能体a_i将和智能体a_k进行信息交换，若a_k在下一个时间步将离开v_next，则a_i预约成功，否则预约失败；

Sb3、预约成功的智能体在下一个时间步将移动到静态路径中的下一个位置，预约失败的智能体在下一个时间步将在原位置等待。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种边冲突和点冲突解耦的长期多智能体路径规划方法，其特征在于：包括边冲突避免的滚动时间窗K鲁棒静态路径规划和点冲突避免的实时智能体路径协同，所述K鲁棒边冲突避免的静态路径规划为每当有新任务发布，算法为执行新任务的智能体a_i规划一条从当前位置到达目标位置/>的静态路径，该静态路径能保证智能体在理想运行中不与其他智能体发生边冲突且在发生K个意外延迟的情况下不影响整个路径规划方案的执行，所述点冲突避免的实时智能体路径协同为智能体在沿静态路径移动的过程中，与近邻智能体交换信息，在智能体路径执行的过程中实现动态的顶点冲突避免。

2.根据权利要求1所述的一种边冲突和点冲突解耦的长期多智能体路径规划方法，其特征在于：所述K鲁棒边冲突避免的静态路径规划包括以下步骤：

Sa1、底层路径规划器：初始建立一个空的约束集，使用时空A*算法为当前智能体a_c规划一条满足约束集的路径，A*算法是一种经典的搜索算法，执行由f(v_c)＝g(v_c)+h(v_c)引导的最佳优先搜索，其中v_c为当前位置，g(v_c)为从起始位置到当前位置v_c已产生的消耗，h(v_c)是从当前位置vc到目标位置的启发式函数，时空A*算法是经典A*算法的拓展，A*算法仅在空间位置上进行搜索，最终搜索得到的是一个位置序列，如：{v₁，v₂，v₃}，而时空A*算法增加了时间搜索维度，其最终得到的是一个有时间戳的位置序列，如{(v₁，t₁)，(v₁，t₂)，(v₂，t₃)，(v₃，t₄)}；为实现路径搜索的多样性，避免某个位置被频繁经过，算法为每个位置设置路由值Via，用于记录该位置被经过次数，算法使用路由值Via作为时空A*算法同优先级下的打破原则，在具有相同f值的节点选择时，为路由值Via较小的节点设置更高的优先级；

Sa2、滚动时间窗的边冲突检测：将当前规划好的路径与还未执行完任务的其他智能体的剩余静态路径进行边冲突预测；

Sa3、添加约束：检测到边冲突<a_c，a_o，v_x，v_y，t>时，为当前规划路径的智能体a_c添加约束<a_c，v_x，t>，其中：约束<a_c，v_x，t>是指不允许智能体a_c在时间步t时经过位置v_x，

Sa4、重复步骤Sa1至步骤Sa3，直至在步骤Sa2时检测不到可能存在的冲突，将满足当前约束集的路径去掉时间维度作为静态路径。

3.根据权利要求1所述的一种边冲突和点冲突解耦的长期多智能体路径规划方法，其特征在于：所述步骤Sa2中的边冲突预测方法包括以下步骤：

Sa11、对于所有已规划路径的智能体集合A，其静态路径为一系列位置组成的序列，如智能体a_i的静态路径为其中p_i为a_i静态路径的长度，对于a_i静态路径中的任意位置/>认为a_i可以在理想到达时间的K步内到达规划位置，即智能体a_i可能在时间窗[t，t+K]内到达位置/>(其中，t为无延迟情况下智能体a_i到达位置/>约时间)；

Sa12、当前规划路径P是由一系列时间位置对组成的序列{(v₁，t₁)，(v₂，t₂)，...，(v_m，t_m)}，其中t_p+1＝t_p+1，令t＝t₁；

Sa13、检测当前智能体a_C路径P在时间窗[t，t+K]中的部分路径t与其他智能体静态路径中的第t个边是否存在边冲突，若检测到a_c与某智能体a_o在边E<v_x，v_y>处发生边冲突，算法结束，返回检测到的边冲突<a_c，a_o，v_x，v_y，t>并结束算法；

Sa14、令t＝t+1，若t＞t_m算法结束，否则转步骤Sa13继续执行。

4.根据权利要求1所述的一种边冲突和点冲突解耦的长期多智能体路径规划方法，其特征在于：所述点冲突避免的实时智能体路径协同包括以下步骤：

Sb1、对于任意智能体a_i，在每个时间步，智能体a_i对其静态路径中的下一个位置v_next发出预约申请；

Sb2、根据不同预约情况判断预约是否成功：

(1)若位置v_next已被其他智能体a_j成功申请，智能体a_i将和智能体aj进行信息交换，若智能体a_i和智能体在同一时间步开始对位置v_next进行申请，则剩余路径较短的智能体申请成功，否则，先申请的智能体申请成功；

(2)若位置v_next被其他智能体a_k占用，智能体a_i将和智能体a_k进行信息交换，若a_k在下一个时间步将离开v_next，则a_i申请成功，否则申请失败；

(3)若位置v_next无智能体占用并且无其他智能体申请，则智能体a_i申请成功；

Sb3、预约成功的智能体在下一个时间步将移动到静态路径中的下一个位置，预约失败的智能体在下一个时间步将在原位置等待。