CN107895225A

CN107895225A - 一种多Agent无冲突的合作型任务分配方法

Info

Publication number: CN107895225A
Application number: CN201711053079.4A
Authority: CN
Inventors: 张洪光; 李嘉珂; 吴帆; 范文浩; 刘元安
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2017-11-01
Filing date: 2017-11-01
Publication date: 2018-04-10
Anticipated expiration: 2037-11-01
Also published as: CN107895225B

Abstract

本发明实施例提供了一种多agent无冲突的合作型任务分配方法，方法包括：对多agent网络进行任务建模；对于场景的位置，使用栅格进行资源建模；规划agent与各个任务之间的路径，得到各位置点间的最优路径；根据移动路径计算agent与各个任务间的时间消耗；对于所诉场景中智能体协同执行的任务，将这类任务分解为多个简单任务；在编码过程中，修复不合理编码，确定各种编码的合理性；使用智能进化算法分析任务分配问题，得到当前步骤的最优解；分析最优解中的路径资源冲突，检测并避免资源冲突；通过整个算法流程，完成多agent系统无冲突的合作型任务分配。利用本发明实施例，提高了复杂的任务分配场景中任务分配执行的效率，并避免了共享资源冲突。

Description

一种多Agent无冲突的合作型任务分配方法

技术领域

本发明涉及多Agent任务分配领域，更具体地说，涉及一种避免共享资源冲突的多Agent合作型任务分配方法。

背景技术

合作型任务分配是指一组agent合作解决一项任务，即agent为达到共同的目标而合作协同。对于不能由单一的agent完成的任务，由agent协作可以增加agent的效率并允许执行更加复杂的任务。agent协作的优点有以下几个：对于一个agent来说，独立完成某些复杂任务是不可能的，因为单agent的空间受限。使用多个简单的agent比使用一个复杂的agent可能更加便宜、简单。多agent系统比单agent系统更加灵活，容错性更强。

现阶段研究实验过程中，为了使得多agent能够协同的完成任务，在构建多agent以及任务的模型中，只考虑到了任务执行过程中的时间因素，即多agent完成任务时间或者行驶路程是唯一标准。但是在实际应用中，系统除了要考虑多agent完成任务所需的时间代价、路程代价之外，往往在任务完成过程中的路径冲突避免也显得尤为重要，即保证agent在任务执行过程中进行无冲突的移动。

然而，冲突避免与时耗代价通常是多agent在执行任务过程中的两个不可比而又相互冲突的方面，即很难同时兼顾时间消耗最小，且避免冲突，也即在多agent完成某一任务过程中，为了使花费的时间代价比较少，都会选择最优路径，但是这种情况下不可避免的会造成agent之间的冲突。因此，为了更全面、更系统化的讨论多agent系统中的任务分配问题，有必要建立一种多agent完成任务过程中能够有效避免共享资源冲突的机制(比如将无冲突作为效用函数的约束条件)，从而增加一个基于该机制的条件约束，实现提高任务分配结果的科学性与合理性。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种共享资源无冲突的多agent任务分配方法，该方法在agent完成任务过程中能够有效体现时间消耗评价机制，使得在快速得到最优任务分配方案集的同时，能够大大降低共享资源冲突概率，提高任务的完成效率；同时，本发明在任务分配问题中同时兼顾到agent在完成任务过程中所获得的时间效用以及资源冲突约束，可更全面、更系统化的解决多agent系统中的任务分配问题，实现提高任务分配结果的科学性与合理性。

为了达到上述目的，本发明通过提出一种共享资源无冲突的多agent任务分配方法予以实现，其特征在于：采用栅格坐标对任务环境进行建模，将任务坐标、agent坐标、障碍物坐标用坐标轴坐标表示；并通过采用多图的概念将路径冲突避免转换为多条边之间的抉择问题；进而实现了多agent无冲突的任务分配；其中时间消耗是评价agent在完成任务过程中的效用函数指标，冲突避免是agent在完成任务过程中的冲突次数指标。

在实际应用中，多agent系统(尤其是实体多机器人系统)的各agent在完成系统交给的各项任务时，时耗和冲突是评价任务完成效果的两项重要指标。因此，若在多agent系统的任务分配问题中同时考虑时耗和冲突问题，完美的分配方案追求的是尽量不产生资源冲突、时耗尽量的低。由于这两个优化目标的改善可能会相互抵触，因此，本发明的方法将冲突避免作为时耗效用函数的约束条件，在多agent系统的任务分配问题中同时兼顾到agent在完成任务过程中的时间因素和资源冲突因素，不仅能够快速得到多agent的最有任务分配方案集、大大降低任务分配时间、提高任务完成效率，而且还对资源冲突进行专业约束，进而提高任务分配结果的科学性与合理性。

所诉采用栅格坐标对任务环境进行建模，将任务坐标、agent坐标、障碍物坐标进行表示；在通过采用多图的概念将路径冲突避免转换为多条边之间的抉择问题；进而实现了多agent无冲突的任务分配。具体包括以下步骤：

步骤S101，建立环境及资源模型：

具体的，将环境资源使用栅格表示，并将agent位置以及任务位置映射到栅格点上：

A＝{a_xy|a_xy∈{0,1},x∈{1,L^x},y∈{1,L^y}}，其中a_xy＝1表示栅格点(x,y)可以通过，a_xy＝0表示栅格点(x,y)不可以通过；

L_x：表示横坐标方向栅格点的数量；

L_y：表示纵坐标方向栅格点的数量；

S_R＝{s_r1,s_r2,...,s_ri...,s_rn}：表示agent初始位置集，其中，S_ri表示agent集中的r_i初始位置；

S_T＝{s_t1,s_t2,...,s_tj...,s_tm}：表示任务初始位置集，其中，S_tj表示任务t_j初始位置。

步骤S102，建立多Agent任务分配方案，并建立任务模型：

具体的，结合多图模型构建多选择的任务模型，并将agent以及任务映射到顶点集，将任务分配方案映射到边集：

G＝{R,T,E}：表示无向、无标识的多重图；

R＝{r₁,r₂,...r_i,...,r_n}：表示agent顶点集，其中，r_i表示为第i个agent；

N＝|R|为R集中顶点数量，即agent数量；

T＝{t₁,t₂,...,t_j,...,t_m}：表示任务顶点集，其中，t_j表示为任务；

M＝|T|，为T集中顶点数量，即任务数量；

E＝{e_ijk|i∈{1,n},j∈{1,m},k∈{1,p}}：表示边集，e_ijk表示为第i个agent到任务t_j的第k条路径；

Q＝{q₁,q₂,...,q_j,...,q_m}：表示机器人协同数目集，其中，q_j表示执行任务t_j所需的机器人数量；

C＝{c_ijk|c_ijk＞0}：表示时间消耗集；

其中，c_ijk表示第i个agent通过e_ijk边执行任务t_j的时间。

由于，简单任务是同构的，复杂任务对应的简单任务也是同构的，因此，每个任务执行的时间是完全相同的，因此任务完成时间只与agent到达任务点的时间相关。

步骤S103，建立目标优化函数：

具体的，结合agent与任务之间的路径，以及任务分配方案，建立目标优化效用函数：

任务分配模型的解空间用矩阵X表示：若任务t_j分配给第i个agent执行，且r_i选择与t_j之间的第k条路径执行该任务，则x_ijk＝1；否则x_ijk＝0。

因此任务分配模型效用函数可以表示为

步骤S104，建立任务分配的约束条件：

具体的，根据任务类型和agent的个数设定任务分配模型的约束条件：

1)h_xy＜＝1,x∈{1,L^x},y∈{1,L^y}：表示任意时刻任意坐标的agent数目小于2，否则产生路径资源冲突；

2)表示每个任务都需要执行，且仅执行一次；

3)表示每一个agent在任意时刻最多执行一个任务；

4)表示对于t_j任务，只有当该任务需要的所有agent到达该任务栅格点时，该任务才开始执行。

步骤S105：利用智能进化算法优化：

具体的，通过模型的效用函数进行多agent的任务分配以及避免资源冲突：

Step1：根据坐标集，计算各个agent至各个任务点的最优路径集合；

Step2：根据坐标集，计算各个任务点至其他任务点的最优路径集合；

Step3：根据Step1、Step2步骤的结果，计算各个路径的时间消耗；

Step4：通过智能进化算法求解系统最优任务分配方案集；

若完成进化算法的所有流程，直接跳转Step6；

得出当前种群中最优的分配方案：

Step5：判断当前方案是否产生资源冲突：

若产生资源冲突，对冲突的agent路径进行多选择规划，选择非最优路径，以此避免该时间段内的共享资源冲突。将修改后的方案当作当前种群最优的时耗方案，同时跳转到step4；

若没有产生资源冲突，则直接跳转到step4；

Step6：结束。

步骤S106：通过任务分配的消耗，决策每一时刻的最优方案：

具体的，对于当前种群中的每个个体，对基因型进行编码，计算该个体对应分配方案的效用函数J。如果当前种群最优个体的任务完成时间小于A_opt方案的完成时间，则更新A_opt。

所诉智能进化算法是指遗传算法、粒子群优化算法或改进粒子群优化算法。

与现有技术相比，本发明具有如下优点及有益效果：

1、本发明基于一种共享资源无冲突的多agent协同任务分配问题方法，该方法在多agent完成任务过程中，能够有效体现时间消耗的评价机制，使得计算时间少，并可快速得到最优任务分配方案集，从而大大降低任务分配时间，提高任务完成效率。

2、本发明的方法着重考虑了任务分配过程中的共享资源冲突问题，可以保证有效减少或者避免路径冲突的出现，为agent完成执行任务过程中提供保证，更全面系统化的解决多agent系统中的任务分配问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是栅格环境示意图。

图2是多选择的任务分配的示意图。

图3是多agent无冲突的合作型任务分配方法流图。

具体实施方式

下面结合附图与具体实施对本发明做进一步的详细详述：

实施例为：将8个任务分配到3个agent上，其中有两个复杂任务各需要两个agent协同执行。

步骤S101，建立环境及资源模型，将环境资源使用栅格表示，并将agent位置以及任务位置映射到栅格点上：

L_x：表示横坐标方向栅格点的数量，L_x＝10；

L_y：表示纵坐标方向栅格点的数量，L_y＝16；

步骤S102，建立多Agent任务分配方案，并建立任务模型：

G＝{R,T,E}：表示无向、无标识的多重图；

N＝3为R集中顶点数量，即agent数量；

M＝8，为T集中顶点数量，即任务总数量。

Q＝{q₁,q₂,...,q_j,...,q_m}：表示机器人协同数目集；

具体的Q＝{1,1,1,1,1,1,2,2}；

C＝{c_ijk|c_ijk＞0}：表示时间消耗集；

其中，c_ijk表示第i个agent通过e_ijk边执行任务t_j的时间。

步骤S103，建立目标优化函数：

因此任务分配模型效用函数可以表示为

步骤S104，建立任务分配的约束条件：

2)表示每个任务都需要执行，且仅执行一次；

3)表示每一个agent在任意时刻最多执行一个任务；

步骤S105：利用智能进化算法优化：

步骤(5.1)：设置模型各个参数，包括：种群代数iter、种群大小pop_size、精英个体个数eli_cnt、突变概率p_m、基因分摊概率p_a、终止条件gen_num；

步骤(5.2)：根据参数pop_size初始化种群个体，并根据编码方法，随机产生每个个体的染色体和基因分布；

步骤(5.3)：设置最优方案A_opt为空集合，设置最优方案的完成时间为无穷大；

步骤(5.4)：对于当前种群中的每个个体，对基因型进行编码，计算该个体对应分配方案的效用函数J。如果当前种群最优个体的任务完成时间小于A_opt方案的完成时间，则更新A_opt：

A_opt＝Best_now

步骤(5.5)：为每一个父代的个体生成一个对应的子代个体，具体的生成方法包括：使用突变概率p_m对父染色体进行变异操作；使用基因分摊概率p_a生成新的基因型；

步骤(5.6)：对步骤5.5生成的子代个体执行步骤5.4，直到完成iter代数的计算过程，最后输出结果A_opt。

步骤S106：通过任务分配的消耗，决策每一时刻的最优方案：

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种应用于多agent协同场景无冲突的任务分配方法，其特征在于：对环境资源进行建模，将环境中的agent、任务等位置点使用栅格表示；对任务进行建模，通过使用多图模型，得到多选择的任务分配模型；采用所诉的栅格环境模型进行路径规划并计算任务执行过程中时间消耗、资源冲突。

步骤(1)，建立资源模型，将环境资源使用栅格表示，并将agent位置以及任务位置映射到栅格点上：

A＝{a_xy|a_xy∈{0,1},x∈{1,L^x},y∈{1,L^y}}：表示栅格环境；

S_R＝{s_r1,s_r2,...,s_ri...,s_rn}：表示agent位置集；

S_T＝{s_t1,s_t2,...,s_tj...,s_tm}：表示任务位置集。

步骤(2)，建立任务模型，结合多图模型构建多选择的任务模型，并将agent以及任务映射到顶点集，将任务分配方案映射到边集：

G＝{R,T,E}：表示无向、无标识的多重图；

R＝{r₁,r₂,...r_i,...,r_n}：表示机器人顶点集；

T＝{t₁,t₂,...,t_j,...,t_m}：表示任务顶点集；

E＝{e_ijk|i∈{1,n},j∈{1,m},k∈{1,p}}：表示边集。

步骤(3)，结合agent与任务之间的路径，以及任务分配方案，建立目标优化效用函数，得到任务分配的多选择优化模型；任务分配的效用函数以时间消耗作为评估指标，具体表示为

其中，c_ijk表示agent r_i通过e_ijk边执行任务t_j的时间；x_ijk表示一种任务分配方案，具体为：若任务t_j分配给r_i agent执行，且r_i选择与t_j之间的第k条路径执行该任务，则x_ijk＝1。

步骤(4)，根据任务类型和agent的个数设定任务分配模型的约束条件：

步骤(5)，利用智能进化算法对任务分配方案进行更新，并进行资源冲突检测以及冲突避免，优化出每一步骤的最优解。

2.根据权利要求1所诉的多agent协同场景无冲突的任务分配方法，其特征在于步骤(1)中建立资源模型：

第一步，将所诉环境资源使用栅格表示，包括：针对任务执行的实际环境，计算环境的横坐标方向长度与纵坐标方向长度，并转换为坐标轴中对应方向的最大值。具体为：每个栅格表示单位距离，环境横坐标方向的长度设置为MAX_X，环境纵坐标方向的长度设置为MAX_Y。

第二步，将环境中的障碍物或者其他无法行驶的位置，进行特殊标注，明确标注为其不可作为agent任务执行过程中的移动路径。包括：将agent所在位置标注为2，将障碍或者其他不能通行的栅格点标注为-1，将其余所有位置标注为1，将环境表示为参考坐标系。

第三步，对环境中的agent及任务点位置坐标做标注。包括：设置agent、任务的初始位置集，将其(x,y)坐标分别添加到对应的位置集合S_R，S_T中。

3.根据权利要求1所诉的多agent协同场景无冲突的任务分配方法，其特征在于步骤(2)中建立任务模型：

第一步，对agent协同执行的任务进行编码，通过用不同的任务序号标注复杂任务的子任务，将各个子任务与其他只需一个agent执行的简单任务同时进行任务分配，但是要求复杂任务的子任务必须同时执行。

具体步骤包括：首先，将已知任务分为两类，第一类简单任务只需要一个agent执行，第二类复杂任务需要多个agent协同执行。然后，根据实际的环境以及任务坐标，将复杂任务分为多个子任务，子任务数目与所需agent的数目相同，将子任务分配给每一个agent，每个子任务对应一个栅格点。最后，子任务之间受agent协同执行的约束，即一个复杂任务需要agent同时到达各个子任务点才可以执行。

第二步，对所有简单任务、复杂任务对应的子任务进行实数编码，并根据agent的数量，切割为相等数量的小组。每一种编码结果对应一种分配方案。将任务集中需要多个agent协同执行的任务进行特殊分析。

第三步，检测任务模型中的不合理编码，防止将复杂任务中的多个子任务全部分配给同一个agent或者出现任务执行中的死锁问题，每一种分配方案必须将协作执行的任务恰当的分配于给不同的agent，并保证能够顺利执行。具体步骤包括：首先，对不合理编码进行分类，分为协同不合理的编码与调度不合理的编码；然后，检测分配方案是否为一种合理分配方案；最后，对不合理编码分配方案进行修复。

4.根据权利要求1所诉的多agent协同场景无冲突的任务分配方法，其特征在于步骤(3)中建立目标优化效用函数为：

<mrow> <mi>J</mi> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>p</mi> </munderover> <msub> <mi>c</mi> <mrow> <mi>i</mi> <mi>j</mi> <mi>k</mi> </mrow> </msub> <mo>*</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mi>j</mi> <mi>k</mi> </mrow> </msub> </mrow>

其中，n表示agent个数，m表示任务个数，p表示多选择的路径个数，c_ijk表示第i个agent在j任务上通过k路径的时间消耗，x_ijk表示第i个agent在j任务上通过k路径执行，J表示优化后的任务完成的总时间。

具体的，目标函数中的x_ijk为：

x_ijk＝1：表示任务t_j分配给agent r_i执行，且r_i选择与t_j之间的第k条路径执行任务；

x_ijk＝0：表示两种情况：1)任务t_j没有分配给agent r_i执行2)任务t_j分配给r_i执行，r_i没有选择与t_j之间的第k条路径执行任务。

5.根据权利要求1所诉的多agent协同场景无冲突的任务分配方法，其特征在于步骤(4)中设定任务分配模型的约束条件：

第一步，对任务进行约束：

表示每个任务都需要执行，且仅执行一次；

第二步，对agent进行约束：

表示每一个agent在任意时刻最多执行一个任务；

第三步，对agent协同执行的任务进行约束：

表示对于t_j任务，只有当该任务需要的所有agent到达该任务栅格点时，该任务才开始执行；

第四步，对共享资源冲突进行约束：

h_xy＜＝1,x∈{1,L^x},y∈{1,L^y}：表示任意时刻任意坐标的agent数目小于2，否则产生资源冲突；其中h_xy表示栅格点(x,y)处的agent数量。

6.根据权利要求1所诉的多agent协同场景无冲突的任务分配方法，其特征在于步骤(5)中智能进化算法的步骤：

智能进化算法包括全局搜索与局部搜索两个阶段；全局搜索负责快速收敛可行解空间的规模，提高算法的效率；局部搜索负责计算精确值，在一定规模的可行解空间中寻找最优解，提高算法的准确性。

所诉的智能进化算法的具体步骤为：

A_opt＝Best_now

步骤(5.6)：对步骤(5.5)生成的子代个体执行步骤5.4，直到完成iter代数的计算过程，最后输出结果A_opt。

7.根据权利要求1所诉的多agent协同场景无冲突的任务分配方法，其特征在于步骤(5)中资源冲突检测以及冲突避免的步骤：

第一步，进行冲突检测：在每个时间间隔检查每个agent的位置坐标。如果两个agent的位置坐标在某一特定时间相匹配，那么它们就会产生碰撞。

所诉中的资源冲突具体表示为：多个agent在同一时间到达了同一个栅格点，则认为是一次资源冲突，资源冲突的类型为路径资源；每个时刻需要求出当前的冲突次数，若当前时刻判断为发生了路径冲突，则需要进入冲突避免阶段，利用冲突避免方法进行修复完善。

第二步，进行冲突避免：利用多选择的任务分配方法进行冲突避免。

具体方法为：将发生路径资源冲突的两个agent冲突时间段内的路径进行重新规划。由于A_opt分配方案将最优路径作为实际的路径，因此，在冲突避免阶段，采用多图的思想，选取agent至同一任务点之间的不同路径避免路径冲突，即选择一种次优的路径作为另一种移动方式；采用多选择的路径移动方式，可以保证有效避免潜在的共享资源冲突。

8.根据权利要求3所诉的任务模型构建方法，其特征在于对不合理编码分配方案进行修复：

第一步，修复协同不合理的编码，具体操作如为：

对一个复杂任务T＝{t₁,t₂}，若将T任务内的两个子任务t₁、t₂均分配给同一个agent，则视为协同不合理的编码。

修复操作为：从剩余任务中任意选择一个任务t_k，将t_k与T中的任意一个子任务交换，这样可以解决协同不合理问题。

第二步，修复调度不合理的编码，具体操作如为：

对于两个复杂任务T1＝{t₁,t₂}，T2＝{t₃,t₄}，若将T₁、T₂分配给agent1、agent2。且分配方案为：agent1＝{t₁,t₄}，agent2＝{t₃,t₂}；对于agent1，先执行t₁再执行t₄；对于agent2，先执行t₃，再执行t₁。但是由于T₁、T₂均需要两个agent能够同时开始执行自己内部的子任务时才能够执行，因此，T₁、T₂无法执行，这视为调度不合理的编码。

修复操作为：将产生调度不合理的两个复杂任务内的子任务顺序进行交换，即agent1＝{t₁,t₄}，agent2＝{t₂,t₃}或者agent1＝{t₄,t₁}，agent2＝{t₃,t₂}，这样可以解决调度不合理问题。