CN109756946A - 一种多智能体协同调控编队方法 - Google Patents

Abstract

本发明提供一种多智能体协同调控编队方法，包括多智能体系统完成编队初始化后进行编队，完成节点之间信息交互；各跟随节点从接收信息中解调出两跳内邻居节点时隙表信息，完成分布式组网的网络维护，解调出两跳内邻居节点三阶状态信息，基于预测机制完成对于时延状态信息的二阶信息的修正，将预测结果作为节点实时状态，完成对于两跳内邻居节点状态信息更新；将更新后的两跳内邻居节点状态信息输入一致性调控机制中，基于两跳邻居节点状态信息完成节点控制输出的更新，将控制输出结果输入跟随节点的动力系统作为跟随节点的加速度；循环执行编队过程，直至任务结束。该方法能够有效对抗网络环境下信息交互时延约束，保证无人系统的编队实现。

Description

一种多智能体协同调控编队方法

技术领域

本发明属于网络化控制技术领域，更具体地，涉及一种多智能体协同调控编队方法。

背景技术

多智能体协同控制理论是多智能体集群系统编队控制的基础，其主要任务是智能体节点的运动协调。在基于一致性理论的调控机制领域中，智能体节点与系统内的节点进行信息交互，基于交互结果与期望编队目标完成对于节点自身的控制输出更新，进而实现期望编队。多智能体实现期望编队是执行后续任务的基础。可以说，多智能体协同调控技术的性能直接影响到整个系统的整体表现。

作为人类作战的替身，主要由无人机、无人战车和机器人等组成的空地一体化无人编队将成为未来战场的新主体，其具有分散突防集中打击、纵深同时打击、高可靠度和冗余度、广域侦查、协同作战、作战范围大且精度高等功能特点。针对战场环境下地形复杂，变化时空跨度、电波传输受限、电磁干扰严重、拓扑快变等不确定因素，传统的多智能体系统的集中式控制方式因其抗损毁能力差，可拓展能力弱，对恶劣网络条件的鲁棒性差的缺陷难以适应复杂的战场环境。因此，未来的多智能体协同调控一定是基于具有更强抗损毁能力与可拓展性的分布式自主组网架构之上的。基于分布式无中心网络的协同调控系统中，智能体节点必须面临组网环境下带来的信息交互约束，即网络环境中的时延，误码等因素。多智能体调控系统在网络环境下能否实现在有限时间内向期望编队的收敛取决于多智能体协同调控机制的收敛性能与鲁棒性能。此外，战场环境下的分布式组网系统具有频谱资源紧张，节点密度大的特征，为了避免传输碰撞造成资源浪费，因此一般采用选举预约的资源调度方式，在选举预约的调度方式中，帧结构与调度周期的设计是与多智能体协同系统的控制机制相关的。因此多智能体的自主组网与任务调控协同技术设计是多智能体协同编队的核心问题。

给出编队系统中多智能体系统的一般模型：多智能体系统中存在的节点数量为N，给定x_i∈R^m，v_i∈R^m分别对应第i个智能体节点的空间状态，速度状态，u_i∈R^m对应第i个智能体节点的控制输出，节点间存在组网架构和对应连通拓扑。

同时在真实物理环境中，系统总是离散的获取系统状态。则类似的给出无人机群二阶离散动态方程：

ν_i[k+1]＝ν_i[k]+Tμ_i[k]

在多智能体编队的协同调控领域中，基于一致性理论的控制机制设计是学界的重点研究领域。基于一致性的领航跟随者调控机制一般形式如下：

其中，h为交互周期；β为控制输出增益；γ为速度差向量/位置差向量权重比例系数；a_ij＝1为节点j与节点i间存在通信链路；x^*∈R^m为领航者空间状态；v^*∈R^m为领航者速度状态。

在以上调控机制中，智能体节点与系统内的邻居节点完成信息交互，将节点间的空间状态特征与期望编队目标的差值与速度状态的差值作为控制输入决定节点的控制输出使系统内的节点通过控制加速度实现向期望编队的收敛。在控制层面，学界对于调控机制的系统稳定性，收敛速度，收敛精度等问题进行了详尽建模与分析。

智能体节点间的信息交互不可避免的会涉及到网络传输的问题，近几年，学界的研究重点转向了网络环境下组网性能参数(时延、误码、吞吐量等)约束下的多智能体调控机制的设计与性能分析，与传统控制机制相比，引入组网约束参数的调控机制分析更契合真实环境，具有更强的研究价值和实用价值。以引入网络时延的调控系统为例，引入时延参数的基于一致性的调控机制一般形式如下：

其中，h为交互周期；m为信息交互时延；β为控制输出增益；γ为速度差向量/位置差向量权重比例系数；a_ij＝1表示节点j与节点i间存在通信链路；x^*∈R^m为领航者空间状态；v^*∈R^m为领航者速度状态。

组网环境下，智能体节点接收到的邻居节点的信息是存在时延的，节点接收的信息与其实时信息间存在差值，网络时延会影响调控系统的稳定性能与系统的收敛性能。针对网络环境下节点接受信息与实时信息间存在差值引起的系统稳定性能与收敛性能受到影响问题，为了对抗网络时延，基于节点的离散运动模型，控制学界提出了以预测机制为代表的增强调控机制对网络时延鲁棒性的相关算法。基于预测机制，节点使用接收到的邻居节点过去的三阶状态信息完成对于邻居节点一个交互调度周期后的二阶实时信息的预测，进而减小接收信息与实时信息的差值，从而增强调控机制对网络时延的鲁棒性，完成向期望编队的收敛。

面向组网约束的调控机制分析与基于预测机制的优化理论尚未建立合理的模型，控制学界对于网络时延参数存在不合理的假设，譬如认为网络时延具有周期性，网络时延大于一个交互周期等，同时没有建立网络时延参数与控制系统参数的关系，而网络时延是与系统拓扑与系统业务量等参数相关的，基于控制系统参数的网络时延模型的建立与引入工作十分重要。

进一步的，调控机制只考虑了网络参数约束对控制系统的影响，尚未建立基于分布式网络模型的调控机制的具体形式的针对性设计。在分布式组网中，基于选举预约的调度协议能够有效的避免传输碰撞造成的资源浪费，选举预约的组网调度中，组网节点需要维护两跳范围内邻居节点的时隙表(节点接收发送信息的时间规划)来完成组网维护与资源调度。调度周期为选举预约的控制时隙与传输信息的数据时隙组成。控制时隙包括NENT(Mesh Network Entry)：新节点网络接入消息；MSH-NCFG(Mesh Network Configuration)：网络配置消息；MSH-DSCH(Mesh Distributed Scheduling)：分布式调度消息。其中MSH-DSCH包含时隙表的交互。在控制时隙内节点通过选举机制进行资源调度，在数据时隙内基于控制时隙的预约时隙进行数据传输。因此在分布式组网中，拓扑跳数等效为对应跳数交互周期的时延，同时节点需要周期性的使用广播的形式维护两跳邻居范围内的节点调度状态。这对于控制系统时延模型的建立与控制机制的设计存在重要影响。

因此，为了实现未来战场环境下空天地多智能体一体化编队自主协同作战的目标，需要提供一种能够对抗网络环境下信息交互时延的多智能体系统调控方法。

发明内容

本发明的目的在于提供一种多智能体协同调控编队方法，能够有效对抗网络环境下信息交互时延约束，进而保证复杂战场环境下空天地一体化无人系统的编队实现。

为达到上述目的，本发明采用下述技术方案：

一种多智能体协同调控编队方法，该方法适用的多智能体系统由领航节点和跟随节点构成，包括如下步骤：

一、多智能体系统接收编队指令，完成编队初始化过程；

二、多智能体系统开始进行编队，完成节点之间信息交互，所述信息包括自身与一跳邻居节点时隙表及状态信息；

三、各跟随节点从接收信息中解调出两跳内邻居节点时隙表信息，完成分布式组网的网络维护，解调出两跳内邻居节点三阶状态信息，基于预测机制完成对于时延状态信息的二阶信息的修正，将预测结果作为节点实时状态，完成对于两跳内邻居节点状态信息更新；

四、将更新后的两跳内邻居节点状态信息输入一致性调控机制中，基于两跳邻居节点状态信息完成节点控制输出的更新，将控制输出结果输入跟随节点的动力系统作为跟随节点的加速度；

五、循环执行编队过程，直至任务结束。

进一步地，本发明所述步骤三中所述预测机制如下：

其中，h表示交互周期，k表示迭代次数，x_i表示节点的位置，v_i表示节点的速度，u_i表示节点的加速度，表示节点位置预测值，表示节点速度预测值。

进一步地，本发明所述步骤四中一致性调控机制形式如下：

其中，δ_i＝1为节点i通过一跳连接领航者节点；为节点i通过两跳连接领航者节点；Δ_i ^*为期望编队下节点i与领航者位置向量差；Δ_ij为期望编队下节点i与节点j坐标向量差；h为交互周期；β为控制输出增益；γ为速度差向量/位置差向量权重比例系数；a_ij＝1为节点j与节点i通过一跳连接；w_ij＝1为节点j与节点i通过两跳连接；x^*∈R^m为领航者位置状态；v^*∈R^m为领航者速度状态。

进一步地，本发明所述权重比例γ和控制增益β满足如下条件：

其中，h为交互周期；γ为权重比例；β为控制增益；λ(Δ₁+L₁)为两跳拓扑特征根；λ(Δ+L)为一跳拓扑特征根。

进一步地，本发明所述信息交互为通过MSH-DSCH发送。

有益效果：

本发明多智能体协同调控编队方法，在不改变系统拓扑联通性的情况下，基于两跳邻居信息维护完成了不增加网络时延，提升了系统的编队收敛速度。同时基于分布式网络架构的时延模型实现基于预测机制的对于节点接收邻居节点状态信息的修正，减小接收信息与实时信息间的误差，增强系统对网络交互时延的鲁棒性能。

附图说明

图1示出多智能体协同调控编队方法流程示意图；

图2示出多智能体系统示意图；

图3示出多智能体期望编队目标示意图；

图4示出帧结构示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

图1示出多智能体协同调控编队方法的流程图，该方法适用的多智能体系统由领航节点和跟随节点构成，具体过程为：

S1：多智能体系统中N个节点获取必要配置消息，所述必要配置消息包括分布式网络拓扑信息、路由信息、帧结构、频谱带宽、调度周期、领航节点实现任务目标过程中的飞行状态。分布式网络拓扑信息包括领航节点通过一跳连接的拓扑矩阵与通过两跳连接的拓扑矩阵。领航节点实现任务目标过程中的飞行状态包括领航者的空间状态、速度状态、加速度状态、加速度变化剧烈程度。

S2：多智能体系统编队初始化过程，包括：

S201：多智能体系统接收编队指令，接收指令的节点全局广播编队指令，领航节点接收编队指令，明确编队目标。

S202：根据多智能体系统一跳拓扑矩阵与两跳拓扑矩阵的特征根、交互周期、编队任务性能要求完成调控机制参数设计，所述调控机制参数包括权重比例、控制增益。

参数设计满足以下条件：

其中，h为交互周期；γ为权重比例；β为控制增益；λ(Δ₁+L₁)为两跳拓扑矩阵特征根；λ(Δ+L)为一跳拓扑矩阵特征根。

S3：多智能体系统开始进行编队过程，包括：

S301:多智能体系统开始运动，多智能体系统各节点获取自身空间状态、速度状态及加速度状态；

S302:各节点将自身与一跳邻居节点时隙表及节点状态信息(空间状态、速度状态、加速度状态)打包并通过MSH-DSCH(分布式调度消息，Mesh Distributed Scheduling)发送给邻居节点，如图4所示，同时完成节点信息交互的发送过程。

S4:多智能体系统各跟随节点接收邻居节点MSH-DSCH数据包，解调出两跳内邻居节点时隙表信息，完成分布式组网进行网络维护；同时解调出两跳内邻居节点三阶状态信息，基于预测机制完成对于时延状态信息的二阶信息的修正。预测机制形式如下：

其中，h表示交互周期，k表示迭代次数，x_i表示第i个节点的位置，v_i表示第i个节点的速度，u_i表示第i个节点的加速度。

将预测结果作为节点实时状态，完成对于两跳内邻居节点状态信息更新。

S5：将更新后的两跳内邻居节点状态信息输入一致性调控机制中，控制机制形式如下：

其中，δ_i＝1为节点i通过一跳连接领航者节点；为节点i通过两跳连接领航者节点；Δ_i ^*为期望编队下节点i与领航者位置向量差；Δ_ij为期望编队下节点i与节点j坐标向量差；h为交互周期；β为控制输出增益；γ为速度差向量/位置差向量权重比例系数；a_ij＝1为节点j与节点i通过一跳连接；w_ij＝1为节点j与节点i通过两跳连接；x^*∈R^m为领航者位置状态；v^*∈R^m为领航者速度状态。

基于两跳邻居节点状态信息完成节点控制输出的更新，将控制输出结果输入跟随节点的动力系统作为跟随节点的加速度。返回S301，循环执行编队过程。

S6：多智能体系统接收到新的编队指令，返回S2，完成编队队形变换。

实施例1：

一：给定开阔无障碍空间环境10km*10km*10km，给定可供使用的频谱带宽10MHz。如图2所示，多智能体系统为无人机集群，集群节点总数为36，无人机性能限制为速度小于100m/s，加速度小于40m/s²。无人机集群各节点在试验场内随机分配节点ID，生成空间状态与速度状态。全局明确领航节点ID，领航节点明确基于实现任务目标的飞行规划的速度与加速度状态。

二：任意无人机节点对间以0.1的概率联通生成系统拓扑。无人机集群基于系统拓扑进行分布式自主组网，完成路由建立，基于选举预约的方式完成帧结构设计，帧长度50ms，单个时隙长度为414us。

三：如图3所示，地面指挥台发布编队指令，部分无人机节点接收到编队指令，向邻居节点进行广播，领航节点均接收到编队指令，明确编队任务。根据多智能体系统一跳拓扑矩阵与两跳拓扑矩阵的特征根、调度周期、编队任务性能要求完成调控机制参数设计，调控机制控制增益与权重比例分别为0.5与2。

四：各节点开始运动，获取节点自身空间状态、速度状态及加速度状态。

各节点将自身的运动状态与时隙表打包入MSH-DSCH向邻居节点广播。各节点接收到邻居节点运动状态与时隙表，将自身与邻居节点的运动状态与时隙表打包入MSH-DSCH广播向邻居节点，进行分布式组网的网络维护，与节点信息交互的发送过程。

五：节点接收MSH-DSCH，解出一跳邻居与两跳邻居的时隙表，完成网络维护，同时解出一跳邻居一个调度周期前的运动状态与两跳邻居两个运动周期前的三阶运动状态。

六：基于节点的运动模型与邻居节点的三阶运动状态，使用预测机制对邻居节点完成一个调度周期后的运动状态的预测，完成节点对一跳邻居节点实时的二阶运动状态的更新与两跳节点的一个周期时延的二阶运动状态更新。

将预测结果作为节点实时状态，完成对于两跳内邻居节点状态信息更新。

七：将节点自身的运动状态、邻居节点的运动状态，期望编队、系统拓扑、调度周期、控制增益、权重比例系数作为控制输入带入调控机制，将得到的控制输出输入动力系统，对节点加速度进行更新。返回步骤四循环执行，直至形成编队。

八：接收到新的编队指令，则执行编队变换流程，返回步骤三重新开始编队流程。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (5)

1.一种多智能体协同调控编队方法，该方法适用的多智能体系统由领航节点和跟随节点构成，其特征在于，包括如下步骤：

一、多智能体系统接收编队指令，完成编队初始化过程；

二、多智能体系统开始进行编队，完成节点之间信息交互，所述信息包括自身与一跳邻居节点时隙表及状态信息；

三、各跟随节点从接收信息中解调出时隙表，完成分布式组网的网络维护，解调出两跳内邻居节点三阶状态信息，基于预测机制完成对于时延状态信息的二阶信息的修正，将预测结果作为节点实时状态，完成对于两跳内邻居节点状态信息更新；

四、将更新后的两跳内邻居节点状态信息输入一致性调控机制中，基于两跳邻居节点状态信息完成节点控制输出的更新，将控制输出结果输入跟随节点的动力系统作为跟随节点的加速度；

五、循环执行编队过程，直至任务结束。

2.根据权利要求1所述多智能体协同调控编队方法，其特征在于，所述步骤三中所述预测机制如下：

其中，h表示交互周期，k表示迭代次数，x_i表示节点的位置，v_i表示节点的速度，u_i表示节点的加速度，表示节点位置预测值，表示节点速度预测值。

3.根据权利要求2所述多智能体协同调控编队方法，其特征在于，所述步骤四中一致性调控机制形式如下：

其中，δ_i＝1为节点i通过一跳连接领航者节点；为节点i通过两跳连接领航者节点；Δ_i ^*为期望编队下节点i与领航者位置向量差；Δ_ij为期望编队下节点i与节点j坐标向量差；h为交互周期；β为控制输出增益；γ为速度差向量/位置差向量权重比例系数；a_ij＝1为节点j与节点i通过一跳连接；w_ij＝1为节点j与节点i通过两跳连接；x^*∈R^m为领航者位置状态；v^*∈R^m为领航者速度状态。

4.根据权利要求3所述多智能体协同调控编队方法，其特征在于，所述权重比例γ和控制增益β满足如下条件：

其中，h为交互周期；γ为权重比例；β为控制增益；λ(Δ₁+L₁)为两跳拓扑特征根；λ(Δ+L)为一跳拓扑特征根。

5.根据权利要求1所述多智能体协同调控编队方法，其特征在于，所述信息交互为通过MSH-DSCH发送。