CN110717670A - 基于ma与合同网的多uav协同对地物资投放规划方法 - Google Patents

Abstract

本发明提供了一种基于MA与合同网的多UAV协同对地物资投放规划方法，在传统合同网的基础上改变了无人机对于任务执行能力的计算模型以及对关联任务执行能力的计算模型，建立基于MA与合同网的多UAV协同对地物资投放规划方法，使参与执行任务的无人机集群中的每一个无人机能够按照自身执行不同任务执行能力竞争任务，使待执行的全部任务得到合理、有序的无人机资源分配，并且针对无人机损坏或任务完成度不足的情况进行任务重分配，提高任务的执行效率以及完成率。

Description

基于MA与合同网的多UAV协同对地物资投放规划方法

技术领域

本发明涉及一种多无人机协同对地物资投放规划方法。

背景技术

随着无人机技术的发展和日趋完善，无人机在军事领域和民用市场都得到了广泛的应用。由于无人机拥有造价低廉、起降简单、操作灵活等等优点，在信息科技以及消费电子产业等领域的推动下，无人机的民用市场已经迅速的崛起，在航拍摄影、电力巡检、新闻报道、环境检测乃至个人用户方面，无人机都发挥着越来越重要的作用。近年来，国内外对使用无人机运送救灾物资进行了越来越多的尝试，为了更好地发挥无人机的优点，利用多架无人机进行妥善协调，使用合理的决策使得多架无人机之间相互配合完成多个任务也逐渐成为了无人机发展的热点研究问题。

传统的基于合同网方法的任务分配只是针对单个任务的寻求最优解，并不能针对具有关联关系(即两个任务相互关联，需要按照时序或一定规则执行，其中主要是时序关系)的任务得出局部最优解；此外，在传统的任务规划结果中，并不涉及到无人机损坏情况下或任务没有合理分配情况下的任务再分配，导致任务的完成率和完成效率降低。

发明内容

为了克服现有技术的不足，本发明提供一种基于MA(Mutli-Agent，多智能体)与合同网的多UAV(Unmanned Aerial Vehicle,无人机)协同对地物资投放规划的方法，建立基于MA与合同网的任务分配模型，在传统合同网的基础上改变了无人机对于任务执行能力的计算模型以及对关联任务执行能力的计算模型，针对无人机损坏或任务完成度不足所带来的任务重新分配问题，给出任务重分配模型，提高任务的执行效率以及完成率。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1，将执行对地物资投放任务的无人机集群中的每一个无人机视为一个独立无人机Agent，建立无人机的三自由度运动模型；根据不同的任务种类确定无人机Agent的功能以及无人机Agent包含参数，功能包括环境侦查、物资提取、物资投递和投取效果评估，参数包括无人机位置、可执行任务、携带能力、自身状态和巡航速度；

步骤2，任务发布者Agent将对地物资投放任务列表中包含的任务按照任务序号顺序发布任务信息进行招标，并接受无人机Agent发送的投标信息，选择在符合任务要求基础上执行能力最强的无人机Agent，并与选中的无人机Agent进行对接确认该任务加入无人机Agent的任务列表；在无人机Agent执行任务的过程中，处理无人机的状态信息，若有无人机发生了故障，则重新分配该无人机Agent出故障时刻下没有完成的剩余任务；

步骤3，定义无人机Agent与任务发布者Agent之间的数据传输要求；

步骤4，假设存在n架无人机，m个任务。建立基于MA与合同网的任务分配流程如下：

A、任务发布者Agent记录所有需要执行的对地物资投放任务，按照数据传输要求将任务按照任务顺序对所有无人机Agent进行广播；若要发布的任务i与下一个要发布的任务i+1之间存在关联关系，则在发布任务i信息时，同时将任务i+1的信息发布，最多同时发布一个后续序号且与其相关的任务信息；

B、无人机Agent j获取任务发布者Agent发布的任务i的信息，计算执行该任务的执行能力并反馈给任务发布者Agent；

1)若任务发布者Agent发布的不是关联任务的信息，则无人机j的执行能力E_i,j＝a₁×t_{fly_i,j}+a₂×(t_{wait_i,j}+V_{r_p_i,j})，式中，t_{fly_i,j}为无人机j执行该任务i所需要的飞行时间，t_{wait_i,j}为无人机j执行任务i时的需要等待时间，V_{r_p_i,j}为无人机j执行任务i奖励值或惩罚值，若无人机j可以在任务i预计执行时间点前到达任务点，则V_{r_p_i,j}为奖励值，V_{r_p_i,j}＝-t_{wait_i,j}×0.05，若无人机j在任务i预计执行时间点后到达任务点，造成任务i执行时间的延后，则V_{r_p_i,j}为惩罚值，V_{r_p_i,j}＝t_{wait_i,j}×0.05；

2)若任务发布者Agent同时发布了关联任务信息，则同时具有执行发布的两种任务功能的无人机Agent k先计算当前状态下执行任务i的执行能力，再以执行任务i后的自身状态信息计算执行任务i+1的执行能力，将两者求平均值作为无人机k执行任务i的修正执行能力值；

3)若无人机j没有执行发布的任务i所需功能要求或者该具有该功能要求但该功能相匹配的携带载荷已消耗完毕，则E_i,j＝0；

C、无人机Agent将计算得出的执行能力发送给任务发布者Agent，由任务发布者Agent根据任务需要选择执行能力的无人机Agent执行该任务，若任务需要多架无人机共同执行任务，则依次选择执行能力强的无人机；并与选择的无人机Agent对接确认；

D、执行同一任务的无人机Agent通过自身载荷剩余量以及到达目标的先后和执行该任务的无人机的数量确定该无人机预分配的载荷使用数量；如果是消耗类型的载荷，其预分配的载荷使用数量

其中，

是无人机Agentj分配任务i时预分配的消耗类载荷的需要量，是任务i要求需要的消耗类载荷最少数量，arrive_order_j是无人机j在执行该任务的无人机组中到达任务目标点的顺序；task_i_uavneed是任务i需要的无人机Agent的数量；

在无人机Agent飞到任务点时，结合任务分配时设置的预分配的数量和自身该类型载荷的剩余数量选择发射该类型载荷的数量，实际载荷使用数量

其中，是无人机j执行任务i时使用的消耗类的载荷的数量，W_owe是执行同一任务的提前到达目标的无人机Agent攻击目标时载荷消耗数目缺口，

是无人机j拥有的该类型载荷数量；

E、任务发布者Agent在所有任务发布并分配结束后，等待是否发生无人机Agent产生故障或者有任务没有完成的情况，统计发生该情况时的任务完成情况，并返回步骤A，将没有完成的任务进行重新发布；

步骤5，当任务分配结束后，每一个无人机按照分配的任务信息以及时序信息执行任务；彼此之间关联的任务按照任务先后开始执行；彼此不关联的任务则由不同的无人机并联执行；若发生无人机Agent产生故障或最终没有执行完任务的情况，返回步骤4中的A过程，重新分配未完成的任务。

所述的步骤1中无人机的三自由度运动模型如下：

式中，(x,y,z)表示无人机在地理坐标系中的三向坐标，N_x为无人机在飞机坐标系中的切向过载，N_y为无人机在飞机坐标系中的法向过载，v为无人机的速度，θ为无人机的航迹倾斜角，ψ_c为无人机的航迹偏转角，γ_c为无人机的速度倾斜角，m为无人机质量，g为重力加速度，P为发动机推力，Y为无人机所受的空气升力，Q为无人机所受的空气阻力。

所述的步骤2将地面站视为任务发布者Agent。

所述的步骤2中，任务发布者Agent发布的任务信息包括①任务序号，指某一任务发布的顺序序号；②任务类型，指该对地投放任务所属的任务种类，包括环境侦查、物资提取、物资投放、投取效果评估；③任务需求无人机数量，指希望协同执行该对地投放任务的无人机的架数；④执行该任务所需的对应类型载荷数量，指该对地投放任务所需的投放物资的数量；⑤任务位置，指该任务所在的位置；⑥该任务与其他任务的关联关系，指该任务与任务列表中其他任务相互之间的关联关系；关联关系由任务之间的时序约束以及对地投放任务的流程顺序决定，若任务之间需要按照时序进行执行或任务之间存在流程的约束关系时，将相关任务按照约束条件进行关联。

所述的步骤3根据对地投放任务的四种任务种类来分别定义无人机Agent和任务发布者Agent通信内容包含信息：

A、无人机Agent的通信内容包含信息：

①uav_Msg_type，指无人机Agent发送的消息类型，包括询问个体、询问全部；

②uav_reply_with_type，指无人机Agent发送的信息希望得到的消息类型，包括希望得到回答、不需要回答；

③sender，指发送的无人机Agent的编号；

④receiver，指接收信息的无人机的编号；

⑤uav_Msg_cheak_num，用于和接收方确认信息的正确传递；

⑥uav_content，包含无人机所要发送出去的消息的内容，包括无人机对招标任务的投标值、无人机预计使用的载荷的数量；

B、任务发布者Agent的通信内容包含信息：

①task_Msg_type，指任务发布者Agent发送的消息类型，包括询问个体、询问全部；

②task_reply_with_type，指任务发布者Agent发送的信息希望得到的消息类型，包括希望得到回答、不需要回答；

③sender，指任务发送者Agent的编号；

④receiver，指接收信息的无人机的编号；

⑤task_Msg_cheak_num，用于和接收方确认信息的正确传递；

⑥task_content，包含需要发送的具体的任务的信息，当任务发布者Agent对任务进行招标时，该信息包含该任务的具体信息，即前面定义的任务信息包含内容；当任务发布者Agent与中标的无人机进行对接时，该信息包含中标无人机的相关信息。

本发明的有益效果是：

1)本发明根据对地投放任务执行流程阶段对存在关联关系的任务加入额外的关联信息，在任务分配后的执行过程中，彼此不关联的任务可以由不同的无人机并联执行(多架无人机同时在执行多个不关联的任务)，可有效降低了执行完所有任务的总时间。

2)本发明能够针对关联任务得出更接近实际人为分配的规划方案，即，分配给同时具有已发布的两个关联任务的功能需求的无人机Agent执行相互关联的任务，避免任务发布者Agent为相互关联的两个任务选择不同的无人机执行而导致的无人机资源的消耗。

3)本发明能够针对无人机Agent发生故障的情况或者因为某些无人机携带能力不足的原因导致的任务没有完成的情况，进行未完成任务重新分配。提高了任务的完成率。

附图说明

图1是无人机对地投放任务分解框架图；

图2是无人机空对地投放流程阶段划分示意图；

图3是关联任务举例示意图；

图4是基于MA与合同网的任务分配流程图；

图5是无人机Agent执行能力计算模型示意图；

图6是无人机Agent执行能力中等待时间与奖惩计算关系示意图；

图7是关联任务执行能力计算过程示意图。

具体实施方式

本发明针对多UAV协同对地物资投放任务规划问题，建立基于MA与合同网的多UAV协同对地物资投放规划方法，使参与执行任务的无人机集群中的每一个无人机能够按照自身执行不同任务执行能力竞争任务，使待执行的全部任务得到合理、有序的无人机资源分配，并且针对无人机损坏或任务完成度不足的情况进行任务重分配，提高任务的执行效率以及完成率。

为了实现上述目的，本发明采用以下技术方案：

步骤1、设定现阶段对地物资投放任务所包含的任务种类，确定无人机集群智能协同对地投放任务规划问题求解空间；设计对地投放任务执行流程，约束对地投放任务执行顺序，生成后续对地投放任务关联关系依据。

A、确定无人机对地投放任务种类包含以下四种：

①环境侦查、②物资提取、③物资投放、④投/取效果评估

B、根据对地物资投放任务种类，设计无人机对地投放流程如下：

①准备阶段(环境侦查阶段)：进入投递的目标区域，无人机利用机载设备对投递区域进行天气以及环境的监测，确保后续进行投/取任务的无人机拥有安全的任务执行环境、提高任务完成的成功率。

②物资提取：若无人机没有可投放的物资或者携带的物资投放完毕的情况下，无人机飞往指定地点进行物资的提取。

③物资投递：当投放路线区域的环境适合投放任务执行时，无人机飞到指定任务空域，将要投递的物资送到要投递的区域。

④投/取效果评估：对投放、提取任务的完成情况进行评估。

⑤返航阶段：飞机完成既定的任务返回基地。

可以根据不同的环境或任务背景来确定对地任务包含的不同任务种类，并以此来确定无人机的功能种类，不能以此来限定本发明的权利范围。

步骤2、建立无人机Agent模型以及任务发布者Agent模型。

A、将执行对地物资投放任务的无人机集群中的每一个无人机视为一个独立无人机Agent，建立无人机的三自由度运动模型，并根据不同的任务种类确定无人机Agent的功能以及无人机Agent包含参数：

1)、建立无人机的三自由度运动模型如下：

式中，(x,y,z)表示无人机在地理坐标系中的三向坐标，N_x为无人机在飞机坐标系中的切向过载，N_y为无人机在飞机坐标系中的法向过载，v为无人机的速度，θ为无人机的航迹倾斜角，ψ_c为无人机的航迹偏转角，γ_c为无人机的速度倾斜角，m为无人机质量，g为重力加速度。N_x，N_y的定义如公式(2)所示：

式中，P为发动机推力，Y为无人机所受的空气升力，Q为无人机所受的空气阻力。

2)、根据步骤1中的四种任务种类来确定无人机Agent的功能和包含的参数信息。

定义无人机Agent模型的功能如表格1所示：

表格1无人机Agent功能

无人机Agent功能	对应含义
		环境侦察功能	对应对地投放任务框架中的环境侦察任务，简称侦察功能
物资提取功能	对应对地投放任务框架中的物资提取任务，简称取件功能
		物资投放功能	对应对地投放任务框架中的物资投放任务，简称投件功能
效果评估功能	对应对地投放任务框架中的投/取效果评估任务，简称评估功能

定义无人机Agent包含的参数信息如表格2所示：

表格2无人机Agent包含参数信息

无人机Agent包含参数信息	参数信息含义
		无人机位置	无人机出发后所处的基地位置或出发后执行任务的位置
无人机可执行任务	预置可以执行的无人机功能中包含的某几项功能
		无人机携带能力	无人机可携带的物资的数量
无人机状态	无人机自身的状态，包括在基地、飞行中、发生故障等等
		无人机巡航速度	无人机执行任务时的飞行速度

B、可由地面站统一承担任务的发布工作，将地面站视为任务发布者Agent，定义任务发布者Agent的功能如下：

任务发布者Agent负责对地物资投放任务列表中包含的任务按照任务序号顺序进行招标，并接受无人机Agent发送的投标信息，综合任务信息选择出符合任务要求基础上执行能力最强(由公式(3)得出求解的最小值)的无人机Agent，并与选中的无人机Agent进行对接确认该任务加入无人机Agent的任务列表；在无人机Agent执行任务的过程中，负责处理无人机的状态信息，当有无人机发生了故障，则重新分配该无人机Agent出故障时刻下没有完成的剩余任务。

定义任务发布者Agent发布的任务信息包含内容如下：

①任务序号，指的是某一任务发布的顺序序号；②任务类型，指的是该对地投放任务所属的任务种类，包括环境侦查、物资提取、物资投放、投/取效果评估；③任务需求无人机数量，指的是希望协同执行该对地投放任务的无人机的架数；④执行该任务所需的对应类型载荷数量，指的是该对地投放任务所需的投放物资的数量；⑤任务位置，指的是该任务所在的位置；⑥该任务与其他任务的关联关系，指的是该任务与任务列表中其他任务相互之间的关联关系。

关联关系由任务之间的时序约束以及对地投放任务的流程顺序决定。若任务之间需要按照时序进行执行或任务之间存在流程的约束关系(如无人机需要先进行物资投放再对投放效果进行评估，则这两个任务之间存在流程约束)时，将相关任务按照约束条件进行关联。

步骤3、定义无人机Agent与任务发布者Agent之间的数据传输要求，根据对地投放任务的四种任务种类来分别定义无人机Agent和任务发布者Agent通信内容包含信息。

A、定义无人机Agent的通信内容包含信息：

①uav_Msg_type，指无人机Agent发送的消息类型，有询问个体(ask_one)、询问全部(ask_all)等等；

②uav_reply_with_type，指的是无人机Agent发送的信息希望得到的消息类型，如希望得到回答(reply)、不需要回答(null)等等；

③sender，指发送的无人机Agent的编号；

④receiver，指接收信息的无人机的编号；

⑤uav_Msg_cheak_num，用于和接收方确认信息的正确传递；

⑥uav_content，包含无人机所要发送出去的消息的内容。包括无人机对招标任务的投标值(执行能力值)、无人机预计使用的载荷的数量等等。

B、定义任务发布者Agent的通信内容包含信息：

①task_Msg_type，指的是任务发布者Agent发送的消息类型，有询问个体(ask_one)、询问全部(ask_all)等等；

②task_reply_with_type，指的是任务发布者Agent发送的信息希望得到的消息类型，如希望得到回答(reply)、不需要回答(null)等等；

③sender，指的是任务发送者Agent的编号，用0表示；

④receiver，指的是接收信息的无人机的编号；

⑤task_Msg_cheak_num，用于和接收方确认信息的正确传递；

⑥task_content，包含的是需要发送的具体的任务的信息。当任务发布者Agent对任务进行招标时，该信息包含该任务的具体信息，即前面定义的任务信息包含内容；当任务发布者Agent与中标的无人机进行对接时，该信息包含中标无人机的相关信息。

步骤4、假设存在n架无人机，m个任务。建立基于MA与合同网的任务分配流程如下：

A、任务发布者Agent记录所有需要执行的对地物资投放任务，按照数据传输要求将任务按照任务顺序对所有无人机Agent进行广播；若要发布的任务i(1≤i≤m)与下一个要发布的任务i+1(i+1≤m)之间存在关联关系，则在发布任务i信息时，同时将任务i+1的信息发布。同时，若接下来的任务i+2(i+2≤m)与任务i、任务i+1同时存在关联关系，任务i+2不参与任务i的招标过程。即在当前任务进行招标时，最多同时发布一个后续序号且与其相关的任务信息。因此在生成任务列表时，需要将具有关联关系的任务置于连续顺序。

B、无人机Agent(编号j(j＝1,2,...,n)，以下简称无人机j)获取任务发布者Agent发布的任务i的信息，包括任务位置、任务类型、任务所需无人机数量以及任务所需载荷数量和任务之间的关联关系，并利用自身信息，包括自身位置，可执行的任务类型，载荷剩余量信息，计算执行该任务的执行能力并反馈给任务发布者Agent。执行能力的计算公式如公式(3)所示，若无人机j没有执行发布的任务i所需功能要求或者该具有该功能要求但该功能相匹配的携带载荷已消耗完毕，则E_i,j＝0。

1)若任务发布者Agent发布的不是关联任务的信息，则无人机j的执行能力计算函数如公式(3)所示：

E_i,j＝a₁×t_{fly_i,j}+a₂×(t_{wait_i,j}+V_{r_p_i,j}) (3)

式中，t_{fly_i,j}为无人机j执行该任务i所需要的飞行时间，计算方法如公式(4)所示：

l_i,j为无人机j当前位置到目标任务i位置的距离，V为无人机j的巡航速度。

t_{wait_i,j}为无人机j执行任务i时的需要等待时间，指的是因为无人机j到达任务i位置的时间与任务i开启的时间的冲突而造成无人机j需要在空中悬停等待的时间。V_{r_p_i,j}为无人机j执行任务i奖励值或惩罚值(Rewards or punishments)，根据等待时间不同类别决定，具体判断如下：

①若无人机j可以在任务i预计执行时间点前到达任务点，则V_{r_p_i,j}为奖励值，计算如公式(5)所示：

V_{r_p_i,j}＝-t_{wait_i,j}×0.05 (5)

②若无人机j在任务i预计执行时间点后到达任务点，造成任务i执行时间的延后，则V_{r_p_i,j}为惩罚值，计算如公式(6)所示：

V_{r_p_i,j}＝t_{wait_i,j}×0.05 (6)

2)若任务发布者Agent同时发布了关联任务信息，则同时具有执行发布的两种(最多同时发布两个任务的相关信息)任务功能的无人机Agent(编号k(k≠j,k＝1,2,...n)，以下简称无人机k)先计算当前状态下执行任务i的执行能力，再以执行任务i后的自身状态信息计算执行任务i+1的执行能力，将两者求平均值作为无人机k执行任务i的修正执行能力值。执行能力的计算分别按照公式(3)计算。最终无人机k执行关联任务中任务i的执行能力的计算函数如公式(7)所示：

E′_i,k＝(E_i,k+E_i+1,k)/2 (7)

E_i,k为无人机k执行关联任务中任务i的执行能力。E_i+1,k无人机k执行关联任务中任务i+1的执行能力。E′_i,k指的是无人机k执行关联任务中任务i的修正后的执行能力值。若不满足同时具有执行发布的两种任务功能的无人机Agent按照公式(3)计算执行任务i的执行能力。

C、无人机Agent将计算得出的执行能力按照数据传输格式发送给任务发布者Agent，由任务发布者Agent根据任务需要选择执行能力最强(即计算值最小，由公式(3)计算得出)的无人机Agent执行该任务(若任务需要多架无人机共同执行任务，则依次选择执行能力强的无人机)，并与选择的无人机Agent对接确认。

D、执行同一任务的无人机Agent通过自身载荷剩余量以及到达目标的先后和执行该任务的无人机的数量确定该无人机预分配的载荷使用数量。如果是非消耗类型的载荷不会消耗；如果是消耗类型的载荷(在执行完任务之后该载荷不可再次使用)，其预分配的载荷使用数量计算公式如下：

指的是无人机Agent(编号j以下简称无人机j)分配任务i时预分配的消耗类载荷的需要量；

指的是任务i要求需要的消耗类载荷最少数量；

arrive_order_j，指的是无人机j在执行该任务的无人机组中到达任务目标点的顺序；

task_i_uavneed，指的是任务i需要的无人机Agent的数量。

在无人机Agent飞到任务点时，结合任务分配时设置的预分配的数量和自身该类型载荷的剩余数量选择发射该类型载荷的数量。实际载荷使用数量计算公式如下：

指的是无人机j执行任务i时使用的消耗类的载荷的数量。

W_owe，指的是执行同一任务的提前到达目标的无人机Agent攻击目标时载荷消耗数目缺口：当提前到达目标的无人机Agent执行任务i时使用的消耗类的载荷数量小于预分配的载荷数量时，向执行同一任务的无人机Agent广播自身载荷的消耗数目缺口，并由之后到达的无人机Agent承担相应的载荷消耗量。

指的是无人机j拥有的该类型载荷数量。若无人机Agent某类型的载荷数量消耗完毕，则可作为单一功能的无人机执行其他任务，若携带的载荷都已经使用完毕之后，则可以返回基地重新加载载荷。

E、任务发布者Agent在所有任务发布并分配结束后，等待是否发生无人机Agent产生故障或者有任务没有完成的情况，统计发生该情况时的任务完成情况，并返回步骤A，将没有完成的任务进行重新发布。

步骤5、当任务分配结束后，每一个无人机按照分配的任务信息以及时序信息执行任务。彼此之间关联的任务按照任务先后开始执行；彼此不关联的任务则由不同的无人机并联执行。若发生无人机Agent产生故障或最终没有执行完任务的情况，返回步骤4中的A过程，重新分配未完成的任务。

下面结合实施例、附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供一种基于MA与合同网的无人机集群智能协同对地物资投放规划方法，包括以下内容：

步骤1、根据现阶段的对地物资投放任务进行解析，确定现阶段对地物资投放任务所包含的任务种类，用于无人机集群智能协同对地投放任务规划问题求解空间；设计对地投放任务执行流程，来对对地投放任务的执行顺序进行约束，作为确定后续对地投放任务关联关系的依据。

A、对空对地投放任务进行解析，确定现阶段对地物资投放任务所包含的任务种类。

在现代灾后救援行动中，空对地投放任务由于已经不再是单一的将物资空投在某一片区域，而是以对地投放为基础，多种模式组合起来完成对地物资投放任务。对地物资投放任务包含以下几个主要方面：①信息侦察处理、②信息传输、③决策指挥控制、④物资提取、⑤物资投放、⑥后勤保障。

在本发明中规定无人机对地物资投放任务种类包含以下四种任务，见附图1：

①环境侦查、②物资提取、③物资投放、④投/取效果评估

B、根据对地物资投放任务种类，设计无人机对地投放流程如下，见附图2：

①准备阶段(环境侦查阶段)：进入投递的目标区域，无人机利用机载设备对投递区域进行天气以及环境的监测，确保后续进行投/取任务的无人机拥有安全的任务执行环境、提高任务完成的成功率。

②物资提取：若无人机没有可投放的物资或者携带的物资投放完毕的情况下，无人机飞往指定地点进行物资的提取。

③物资投递：当投放路线区域的环境适合投放任务执行时，无人机飞到指定任务空域，将要投递的物资送到要投递的区域。

④投/取效果评估：对投放、提取任务的完成情况进行评估。

⑤返航阶段：飞机完成既定的任务返回基地。

可以根据不同的环境或任务背景来确定任务包含的不同任务种类，并以此来确定无人机的功能种类，不能以此来限定本发明的权利范围。

步骤2、建立无人机Agent模型以及任务发布者Agent模型。

A、将执行对地物资投放任务的无人机集群中的每一个无人机视为一个独立无人机Agent，建立无人机的三自由度运动模型，并根据不同的任务种类确定无人机Agent的功能以及无人机Agent包含的参数：

1)、建立无人机的三自由度运动模型如下：

式中，(x,y,z)表示无人机在地理坐标系中的三向坐标，N_x为无人机在飞机坐标系中的切向过载，N_y为无人机在飞机坐标系中的法向过载，v为无人机的速度，θ为无人机的航迹倾斜角，ψ_c为无人机的航迹偏转角，γ_c为无人机的速度倾斜角，m为无人机质量，g为重力加速度。N_x，N_y的定义如公式(11)所示：

式中，P为发动机推力，Y为无人机所受的空气升力，Q为无人机所受的空气阻力。

2)、根据步骤1中的四种任务类型来确定无人机Agent的功能和包含的参数信息。

定义无人机Agent模型的功能如表格3所示：

表格3无人机Agent功能

无人机Agent功能	对应含义
		环境侦察功能	对应对地投放任务框架中的环境侦察任务，简称侦察功能
物资提取功能	对应对地投放任务框架中的物资提取任务，简称取件功能
		物资投放功能	对应对地投放任务框架中的物资投放任务，简称投件功能
效果评估功能	对应对地投放任务框架中的投/取效果评估任务，简称评估功能

定义无人机Agent包含的参数信息如表格4所示：

表格4无人机Agent包含的参数信息

无人机Agent包含参数信息	参数信息含义
		无人机位置	无人机出发后所处的基地位置或出发后执行任务的位置
无人机可执行任务	预置可以执行的无人机功能中包含的某几项功能
		无人机携带能力	无人机可携带的物资的数量
无人机状态	无人机自身的状态，包括在基地、飞行中、发生故障等等
		无人机巡航速度	无人机执行任务时的飞行速度

B、由地面站统一承担任务的发布工作，将地面站视为任务发布者Agent，定义任务发布者Agent的功能如下：

任务发布者Agent负责对对地物资投放任务列表中包含的任务按照任务序号的顺序进行招标，并接受无人机Agent发送的投标信息，综合任务信息选择出符合任务要求基础上执行能力值最小(即执行能力最强，由公式(12)计算得出)的无人机Agent，并与选中的无人机Agent进行对接确认该任务加入无人机Agent的任务列表；在无人机Agent执行任务的过程中，负责处理无人机的状态信息，当有无人机发生了故障，则重新分配该无人机Agent出故障时刻下没有完成的剩余任务。

定义任务发布者Agent发布的任务信息包含内容如下：

①任务序号，指的是某一任务的发布的顺序序号；②任务类型，指的是该对地投放任务所属的任务种类，包括环境侦查、物资提取、物资投放、投/取效果评估；③任务需要的无人机数量，指的是希望协同执行该对地投放任务的无人机的架数；④执行该任务所需的对应类型载荷数量，指的是该对地投放任务所需的投放物资的数量；⑤任务位置，指的是该任务所在的位置；⑥该任务与其他任务的关联关系，指的是该任务与任务列表中其他任务相互之间的关联关系。

关联关系由任务之间的时序约束以及对地投放任务的流程顺序决定。若任务之间需要按照时序进行执行或任务之间存在流程的约束关系(如无人机需要先进行物资投放再对投放效果进行评估，则这两个任务之间存在流程约束)时，将相关任务按照约束条件进行关联。关联任务举例见附图3。其中任务1、2、5存在关联关系约束；任务3、4存在关联关系约束。

步骤3、定义无人机Agent与任务发布者Agent之间的数据传输要求，根据对地投放任务的四种任务种类来分别定义无人机Agent和任务发布者Agent通信内容包含信息。

A、定义无人机Agent的通信内容包含信息：

①uav_Msg_type，指无人机Agent发送的消息类型，有询问个体(ask_one)、询问全部(ask_all)等等；

②uav_reply_with_type，指的是无人机Agent发送的信息希望得到的消息类型，如希望得到回答(reply)、不需要回答(null)等等；

③sender，指发送的无人机Agent的编号；

④receiver，指接收信息的无人机的编号；

⑤uav_Msg_cheak_num，用于和接收方确认信息的正确传递；

⑥uav_content，包含无人机所要发送出去的消息的内容。包括无人机对招标任务的投标值(执行能力值)、无人机预计使用的载荷的数量等等。

B、定义任务发布者Agent的通信内容包含信息：

①task_Msg_type，指的是任务发布者Agent发送的消息类型，有询问个体(ask_one)、询问全部(ask_all)等等；

②task_reply_with_type，指的是任务发布者Agent发送的信息希望得到的消息类型，如希望得到回答(reply)、不需要回答(null)等等；

③sender，指的是任务发送者Agent的编号，用0表示；

④receiver，指的是接收信息的无人机的编号；

⑤task_Msg_cheak_num，用于和接收方确认信息的正确传递；

⑥task_content，包含的是需要发送的具体的任务的信息。当任务发布者Agent对任务进行招标时，该信息包含该任务的具体信息，即前面定义的任务信息包含内容；当任务发布者Agent与中标的无人机进行对接时，该信息包含中标无人机的相关信息。

步骤4、假设存在n架无人机，m个任务。建立基于MA与合同网的任务分配流程如下：

A、任务发布者Agent记录所有需要执行的对地物资投放任务，按照数据传输要求将任务按照任务顺序对所有无人机Agent进行广播；若要发布的任务i(1≤i≤m)与下一个要发布的任务i+1(i+1≤m)之间存在关联关系，则在发布任务i信息时，同时将任务i+1的信息发布。同时，若接下来的任务i+2(i+2≤m)与任务i、任务i+1同时存在关联关系，任务i+2不参与任务i的招标过程。即在当前任务进行招标时，最多同时发布一个后续序号且与其相关的任务信息。因此在生成任务列表时，需要将具有关联关系的任务置于连续顺序。

B、无人机Agent(编号j(j＝1,2,...,n)，以下简称无人机j)获取任务发布者Agent发布的任务i的信息，包括任务位置、任务类型、任务所需无人机数量以及任务所需载荷数量和任务之间的关联关系，并利用自身信息，包括自身位置，可执行的任务类型，载荷剩余量信息，计算执行该任务的执行能力并反馈给任务发布者Agent。执行能力的计算公式如公式(12)所示，若无人机j没有执行发布的任务i所需功能要求或者该具有该功能要求但该功能相匹配的携带载荷已消耗完毕，则E_i,j＝0。

1)、若任务发布者Agent发布的不是关联任务的信息，则无人机j的执行能力计算函数如公式(12)所示：

E_i,j＝a₁×t_{fly_i,j}+a₂×(t_{wait_i,j}+V_{r_p_i,j}) (12)

式中，t_{fly_i,j}为无人机j执行该任务i所需要的飞行时间，计算方法如公式(13)所示：

l_i,j表示的是无人机j当前位置到目标任务i位置的距离，V为无人机j的巡航速度。

t_{wait_i,j}为无人机j执行任务i时需要的等待时间，指的是因为无人机j到达任务i位置的时间与任务i开启的时间的冲突而造成无人机j需要在空中悬停等待的时间。V_{r_p_i,j}为无人机j执行任务i奖励值或惩罚值(Rewards or punishments)，根据等待时间不同类别决定，具体判断如下：

①若无人机j可以在任务i预计执行时间点前到达任务点，则V_{r_p_i,j}为奖励值，计算如公式(14)所示：

V_{r_p_i,j}＝-t_{wait_i,j}×0.05 (14)

②若无人机j在任务i预计执行时间点后到达任务点，造成任务i执行时间的延后，则V_{r_p_i,j}为惩罚值，计算如公式(15)所示：

V_{r_p_i,j}＝t_{wait_i,j}×0.05 (15)

2)、若任务发布者Agent同时发布了关联任务信息，则同时具有执行发布的两种(最多同时发布两个任务的相关信息)任务功能的无人机Agent(编号k(k≠j,k＝1,2,...n)，以下简称无人机k)先计算当前状态下执行任务i的执行能力，再以执行任务i后的自身状态信息计算执行任务i+1的执行能力，将两者求平均值作为无人机k执行任务i的修正执行能力值。两次执行能力的计算分别按照公式(12)计算。最终无人机k执行关联任务中任务i的执行能力的计算函数如公式(16)所示：

E′_i,k＝(E_i,k+E_i+1,k)/2 (16)

E_i,k为无人机k执行关联任务中任务i的执行能力。E_i+1,k无人机k执行关联任务中任务i+1的执行能力。E′_i,k指的是无人机k执行关联任务中任务i的修正后的执行能力值。若不满足同时具有执行发布的两种任务功能的无人机Agent按照公式(12)计算执行任务i的执行能力。

C、无人机Agent将计算得出的执行能力按照数据传输格式发送给任务发布者Agent，由任务发布者Agent根据任务需要选择执行能力最强(即计算值最小，由公式(12)计算得出)的无人机Agent执行该任务(若任务需要多架无人机共同执行任务，则依次选择执行能力强的无人机)，并与选择的无人机Agent对接确认。

D、执行同一任务的无人机Agent通过自身载荷剩余量以及到达目标的先后和执行该任务的无人机的数量确定该无人机预分配的载荷使用数量。如果是非消耗类型的载荷不会消耗；如果是消耗类型的载荷(在执行完任务之后该载荷不可再次使用)，其预分配的载荷使用数量计算公式如下：

指的是无人机Agent(编号j)分配任务i时预分配的消耗类载荷的需要量；

指的是任务i要求需要的消耗类载荷的最少数量；

arrive_order_j，指的是无人机j在执行该任务的无人机组中到达任务目标点的顺序；

task_i_uavneed，指的是任务i需要的无人机Agent的数量。

在无人机Agent飞到任务点时，结合任务分配时设置的预分配的数量和自身该类型载荷的剩余数量选择发射该类型载荷的数量。实际载荷使用数量计算公式如下：

指的是无人机j执行任务i时使用的消耗类的载荷的数量。

W_owe，指的是执行同一任务的提前到达目标的无人机Agent攻击目标时载荷消耗数目缺口：当提前到达目标的无人机Agent执行任务i时使用的消耗类的载荷数量小于预分配的载荷数量时，向执行同一任务的无人机Agent广播自身载荷的消耗数目缺口，并由之后到达的无人机Agent承担相应的载荷消耗量。

指的是无人机j拥有的该类型的载荷的数量。若无人机Agent某类型的载荷数量消耗完毕，则可作为单一功能的无人机执行其他任务，若携带的载荷都已经使用完毕之后，则可以返回基地重新加载载荷。

E、任务发布者Agent在所有任务发布并分配结束后，等待是否发生无人机Agent产生故障或者有任务没有完成的情况，统计发生该情况时的任务的完成情况，并返回步骤A，将没有完成的任务进行重新发布。

步骤5、当任务分配结束后，每一个无人机按照分配的任务信息以及时序信息执行任务。彼此之间关联的任务按照任务先后开始执行；彼此不关联的任务则由不同的无人机并联执行。若发生无人机Agent产生故障或最终没有执行完任务的情况，返回步骤4中的A过程，重新分配未完成的任务。

本方法针对无人机集群智能协同对地物资投放任务规划问题，建立基于MA与合同网的任务分配模型，在传统合同网的基础上改变无人机对于任务执行能力计算模型以及对关联任务执行能力计算模型，针对无人机失效所带来的任务重新分配问题，给出任务重分配模型，提高任务的完成效率以及完成率。

Claims (5)

1.一种基于MA与合同网的多UAV协同对地物资投放规划方法，其特征在于包括以下步骤：

步骤1，将执行对地物资投放任务的无人机集群中的每一个无人机视为一个独立无人机Agent，建立无人机的三自由度运动模型；根据不同的任务种类确定无人机Agent的功能以及无人机Agent包含参数，功能包括环境侦查、物资提取、物资投递和投取效果评估，参数包括无人机位置、可执行任务、携带能力、自身状态和巡航速度；

步骤2，任务发布者Agent将对地物资投放任务列表中包含的任务按照任务序号顺序发布任务信息进行招标，并接受无人机Agent发送的投标信息，选择在符合任务要求基础上执行能力最强的无人机Agent，并与选中的无人机Agent进行对接确认该任务加入无人机Agent的任务列表；在无人机Agent执行任务的过程中，处理无人机的状态信息，若有无人机发生了故障，则重新分配该无人机Agent出故障时刻下没有完成的剩余任务；

步骤3，定义无人机Agent与任务发布者Agent之间的数据传输要求；

步骤4，假设存在n架无人机，m个任务。建立基于MA与合同网的任务分配流程如下：

A、任务发布者Agent记录所有需要执行的对地物资投放任务，按照数据传输要求将任务按照任务顺序对所有无人机Agent进行广播；若要发布的任务i与下一个要发布的任务i+1之间存在关联关系，则在发布任务i信息时，同时将任务i+1的信息发布，最多同时发布一个后续序号且与其相关的任务信息；

B、无人机Agent j获取任务发布者Agent发布的任务i的信息，计算执行该任务的执行能力并反馈给任务发布者Agent；

1)若任务发布者Agent发布的不是关联任务的信息，则无人机j的执行能力E_i,j＝a₁×t_{fly_i,j}+a₂×(t_{wait_i,j}+V_{r_p_i,j})，式中，t_{fly_i,j}为无人机j执行该任务i所需要的飞行时间，t_{wait_i,j}为无人机j执行任务i时的需要等待时间，V_{r_p_i,j}为无人机j执行任务i奖励值或惩罚值，若无人机j可以在任务i预计执行时间点前到达任务点，则V_{r_p_i,j}为奖励值，V_{r_p_i,j}＝-t_{wait_i,j}×0.05，若无人机j在任务i预计执行时间点后到达任务点，造成任务i执行时间的延后，则V_{r_p_i,j}为惩罚值，V_{r_p_i,j}＝t_{wait_i,j}×0.05；

2)若任务发布者Agent同时发布了关联任务信息，则同时具有执行发布的两种任务功能的无人机Agent k先计算当前状态下执行任务i的执行能力，再以执行任务i后的自身状态信息计算执行任务i+1的执行能力，将两者求平均值作为无人机k执行任务i的修正执行能力值；

3)若无人机j没有执行发布的任务i所需功能要求或者该具有该功能要求但该功能相匹配的携带载荷已消耗完毕，则E_i,j＝0；

C、无人机Agent将计算得出的执行能力发送给任务发布者Agent，由任务发布者Agent根据任务需要选择执行能力的无人机Agent执行该任务，若任务需要多架无人机共同执行任务，则依次选择执行能力强的无人机；并与选择的无人机Agent对接确认；

D、执行同一任务的无人机Agent通过自身载荷剩余量以及到达目标的先后和执行该任务的无人机的数量确定该无人机预分配的载荷使用数量；如果是消耗类型的载荷，其预分配的载荷使用数量

其中，

是无人机Agent j分配任务i时预分配的消耗类载荷的需要量，W_{taski_need}是任务i要求需要的消耗类载荷最少数量，arrive_order_j是无人机j在执行该任务的无人机组中到达任务目标点的顺序；task_i_uavneed是任务i需要的无人机Agent的数量；

在无人机Agent飞到任务点时，结合任务分配时设置的预分配的数量和自身该类型载荷的剩余数量选择发射该类型载荷的数量，实际载荷使用数量

其中，

是无人机j执行任务i时使用的消耗类的载荷的数量，W_owe是执行同一任务的提前到达目标的无人机Agent攻击目标时载荷消耗数目缺口，是无人机j拥有的该类型载荷数量；

E、任务发布者Agent在所有任务发布并分配结束后，等待是否发生无人机Agent产生故障或者有任务没有完成的情况，统计发生该情况时的任务完成情况，并返回步骤A，将没有完成的任务进行重新发布；

步骤5，当任务分配结束后，每一个无人机按照分配的任务信息以及时序信息执行任务；彼此之间关联的任务按照任务先后开始执行；彼此不关联的任务则由不同的无人机并联执行；若发生无人机Agent产生故障或最终没有执行完任务的情况，返回步骤4中的A过程，重新分配未完成的任务。

2.根据权利要求1所述的基于MA与合同网的多UAV协同对地物资投放规划方法，其特征在于：所述的步骤1中无人机的三自由度运动模型如下：

式中，(x,y,z)表示无人机在地理坐标系中的三向坐标，N_x为无人机在飞机坐标系中的切向过载，

N_y为无人机在飞机坐标系中的法向过载，

v为无人机的速度，θ为无人机的航迹倾斜角，ψ_c为无人机的航迹偏转角，γ_c为无人机的速度倾斜角，m为无人机质量，g为重力加速度，P为发动机推力，Y为无人机所受的空气升力，Q为无人机所受的空气阻力。

3.根据权利要求1所述的基于MA与合同网的多UAV协同对地物资投放规划方法，其特征在于：所述的步骤2将地面站视为任务发布者Agent。

4.根据权利要求1所述的基于MA与合同网的多UAV协同对地物资投放规划方法，其特征在于：所述的步骤2中，任务发布者Agent发布的任务信息包括①任务序号，指某一任务发布的顺序序号；②任务类型，指该对地投放任务所属的任务种类，包括环境侦查、物资提取、物资投放、投取效果评估；③任务需求无人机数量，指希望协同执行该对地投放任务的无人机的架数；④执行该任务所需的对应类型载荷数量，指该对地投放任务所需的投放物资的数量；⑤任务位置，指该任务所在的位置；⑥该任务与其他任务的关联关系，指该任务与任务列表中其他任务相互之间的关联关系；关联关系由任务之间的时序约束以及对地投放任务的流程顺序决定，若任务之间需要按照时序进行执行或任务之间存在流程的约束关系时，将相关任务按照约束条件进行关联。

5.根据权利要求1所述的基于MA与合同网的多UAV协同对地物资投放规划方法，其特征在于：所述的步骤3根据对地投放任务的四种任务种类来分别定义无人机Agent和任务发布者Agent通信内容包含信息：

A、无人机Agent的通信内容包含信息：

①uav_Msg_type，指无人机Agent发送的消息类型，包括询问个体、询问全部；

②uav_reply_with_type，指无人机Agent发送的信息希望得到的消息类型，包括希望得到回答、不需要回答；

③sender，指发送的无人机Agent的编号；

④receiver，指接收信息的无人机的编号；

⑤uav_Msg_cheak_num，用于和接收方确认信息的正确传递；

⑥uav_content，包含无人机所要发送出去的消息的内容，包括无人机对招标任务的投标值、无人机预计使用的载荷的数量；

B、任务发布者Agent的通信内容包含信息：

①task_Msg_type，指任务发布者Agent发送的消息类型，包括询问个体、询问全部；

②task_reply_with_type，指任务发布者Agent发送的信息希望得到的消息类型，包括希望得到回答、不需要回答；

③sender，指任务发送者Agent的编号；

④receiver，指接收信息的无人机的编号；

⑤task_Msg_cheak_num，用于和接收方确认信息的正确传递；

⑥task_content，包含需要发送的具体的任务的信息，当任务发布者Agent对任务进行招标时，该信息包含该任务的具体信息，即前面定义的任务信息包含内容；当任务发布者Agent与中标的无人机进行对接时，该信息包含中标无人机的相关信息。

Images