CN113110039A - 一种多智能体系统的有限时间分布式聚合优化方法 - Google Patents

Abstract

本发明提供一种多智能体系统的有限时间分布式聚合优化方法，涉及控制和信息技术领域。该方法首先构造多智能体系统的网络拓扑结构图，并确定其邻接矩阵；建立多智能体系统的状态方程；定义考虑智能体聚合信息的多智能体系统的全局目标函数的函数表达式；然后根据多智能体系统的邻接矩阵、状态方程、全局目标函数和有限时间内Lyapunov稳定性理论设计分布式聚合优化算法；最后设定多智能体系统的初始值信息，运行分布式聚合优化算法，使每个智能体与邻居之间进行信息交换；并根据运行结果修正算法，直至达到优化目标，得到多智能体系统的全局最优解。该方法在线性收敛的基础上，完成了有限时间内的收敛，减小了运行时间，减轻了多智能体网络的通信负担。

Description

一种多智能体系统的有限时间分布式聚合优化方法

技术领域

本发明涉及控制和信息技术领域，尤其涉及一种多智能体系统的有限时间分布式聚合优化方法。

背景技术

多智能体网络是由多个智能的、具有一定自主计算能力和通信能力的智能体组成的网络。每个智能体都具有一定的感知能力、通信能力、计算能力以及学习和执行能力这四大特点。它能通过传感器感知外界环境，并与其它智能体进行通信，交流信息；也能通过感知和通信所获得的信息去调整自己的行为和状态；同时也能学习知识，适应新的环境。多智能体系统因为具备上述优势，已经在军事、交通、电力等诸多领域得到广泛应用。

近年来，多智能体系统的分布式协同控制已经成为控制领域研究的一个热点，研究内容越来越丰富，主要涉及的问题包含一致性、协调跟踪、编队控制、分布式优化、分布式平均跟踪等。其中，随着高科技的蓬勃发展，特别是云计算和大数据等新兴领域的出现，分布式优化理论和应用得到了越来越多的重视，并逐渐渗透到科学研究、工程应用和社会生活的各个方面。分布式优化通过多智能体之间的合作协调有效地实现优化的任务，可用来解决许多集中式算法难以胜任的大规模复杂的优化问题。然而，在某些应用场景下，智能体的状态信息不仅包括单一的自己可测的局部信息，还包括较难获得的全局信息，我们称之为聚合信息。此外，还有一些应用场景需要在有限时间内完成分布式优化，我们称这种复杂的情况为有限时间内分布式聚合优化。现有的技术框架下尚无法实现上述复杂的优化任务。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种多智能体系统的有限时间分布式聚合优化方法，控制智能体的聚合信息在有限时间内达到一致性，进而根据有限时间Lyapunov稳定性理论使多智能体网络中所有智能体能够在有限时间内收敛到全局最优解这一目标。

为解决上述技术问题，本发明所采取的技术方案是：一种多智能体系统的有限时间分布式聚合优化方法，包括以下步骤：

步骤1：构造描述多智能体系统的网络拓扑结构图，每个节点代表一个智能体，每条边代表智能体间的信息交互；

构造的多智能体系统的网络拓扑结构图是无向图，记为：G＝{V,E(t)}，其中，

表示节点的集合,

表示边的集合，N_i(t)表示节点i邻居节点的集合；因为构造的图是无向图，所以若j∈N_i成立，则i∈N_j；

步骤2：确定所构造的多智能体系统的网络拓扑结构的邻接矩阵；

构造的多智能体系统的网络拓扑结构的邻接矩阵A如下公式所示：

其中，邻接矩阵中的元素a_ij代表节点i,j之间边的权重值；如果节点i,j之间有边相连，则a_ij>0，j≠i；如果节点i,j之间没有边相连，则a_ij＝0；同时，设定智能体不存在自环，即a_ii＝0；对于无向图存在a_ij＝a_ji；

步骤3：建立多智能体系统的状态方程；

建立多智能体系统的状态方程，如下公式所示：

其中，

为第i个智能体t时刻的状态，

表示n维实数域，

为第i个智能体t时刻的控制输入；

步骤4：定义考虑智能体聚合信息的多智能体系统的全局目标函数的函数表达式，即描述智能体系统所要优化的代价函数的表达式；

考虑智能体存在聚合信息的情况，故多智能体系统优化的目标函数满足以下条件：

其中，f(x)为多智能体系统的全局目标函数，x＝col(x₁,…,x_n)为多智能体系统全局状态量，col表示列向量，f_i(x_i,σ(x))为第i个智能体的目标函数，φ_i(x_i)为仅与第i个智能体的状态有关的函数，σ(x)为多智能体系统的全局状态信息；

步骤5：根据多智能体系统的邻接矩阵、状态方程、全局目标函数和有限时间内Lyapunov稳定性理论设计分布式聚合优化算法，如下公式所示：

其中，u_i为第i个智能体的控制输入，k₁，k₂为任意正常数，

为第i个智能体的目标函数对局部状态信息x_i求偏导，

为第i个智能体的目标函数对全局状态信息σ(x)的估计σ_i求偏导；σ_i对全局状态信息σ(x)进行动态平均跟踪，y_i、y_j分别表示第i个智能体和其邻居智能体对

这个全局状态信息进行动态平均跟踪；a_ij为多智能体系统的网络拓扑结构G对应邻接矩阵A中的元素，sig^α(x)＝|x|^αsgn(x)，

选取0<α<1，sgn(x)为符号函数；

步骤6：设定多智能体系统的初始值信息，运行步骤5设计的分布式聚合优化算法算法；并根据运行结果不断修正算法，直至达到优化目标，得到多智能体系统的全局最优解；

设定多智能体系统中各智能体的初始值信息，执行步骤5涉及的分布式聚合优化算法，每个智能体与邻居之间进行信息交换，并在控制算法的作用下，最终达到全局最优解。

采用上述技术方案所产生的有益效果在于：本发明提供的一种多智能体系统的有限时间分布式聚合优化方法，引入了聚合信息，使每一个智能体中不仅有局部信息还有全局信息，更符合工业工程中的实际情况；对网络拓扑结构的要求简单，适用性强，易于实现；解决的是有限时间内的优化问题，即使得所有智能体的状态可以在有限时间内收敛到最优解，这满足实际操作中的需求，且相比于一般的线性收敛，有限时间内的收敛具备更好的抗干扰性和鲁棒性。

同时，本发明方法中设计了基于有限时间的Lyapunov稳定性理论实现有限时间内的分布式聚合优化算法。该算法可以使得智能体状态在含有聚合信息的情况下完成有限时间内的分布式优化。对于现有的分布式优化算法，基本智能体状态都只含有自己的局部信息，很少有含有这种聚合信息的情况。而相比于现有的分布式聚合优化算法，此算法在线性收敛的基础上，进一步完成了有限时间内的收敛，大大减小了运行时间，减轻了大规模多智能体网络的通信负担。

附图说明

图1为本发明实施例提供的一种多智能体系统的有限时间分布式聚合优化方法的流程图；

图2为本发明实施例提供的一种多智能体系统的有限时间分布式聚合优化方法的详细流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例中，一种多智能体系统的有限时间分布式聚合优化方法，如图1、2所示，包括以下步骤：

步骤1：构造描述多智能体系统的网络拓扑结构图，每个节点代表一个智能体，每条边代表智能体间的信息交互；

构造的多智能体系统的网络拓扑结构图是无向图，记为：G＝{V,E(t)}，其中，

表示节点的集合,

表示边的集合，N_i(t)表示节点i邻居节点的集合；如果定义的多智能体系统网络结构拓扑图是时不变的，则t可以省略；因为构造的图是无向图，所以若j∈N_i成立，则i∈N_j；

步骤2：确定所构造的多智能体系统的网络拓扑结构的邻接矩阵；

构造的多智能体系统的网络拓扑结构的邻接矩阵A如下公式所示：

其中，邻接矩阵中的元素a_ij代表节点i,j之间边的权重值；如果节点i,j之间有边相连，则a_ij>0，j≠i；如果节点i,j之间没有边相连，则a_ij＝0；同时，设定智能体不存在自环，即a_ii＝0；对于无向图存在a_ij＝a_ji；

步骤3：建立多智能体系统的状态方程；

建立多智能体系统的状态方程，如下公式所示：

其中，

为第i个智能体t时刻的状态，

表示n维实数域，

为第i个智能体t时刻的控制输入；

步骤4：定义考虑智能体聚合信息的多智能体系统的全局目标函数的函数表达式，即描述智能体系统所要优化的代价函数的表达式；

考虑智能体存在聚合信息的情况，故多智能体系统优化的目标函数满足以下条件：

其中，f(x)为多智能体系统的全局目标函数，x＝col(x₁,…,x_n)为多智能体系统全局状态量，col表示列向量，f_i(x_i,σ(x))为第i个智能体的目标函数，φ_i(x_i)为仅与第i个智能体的状态有关的函数，σ(x)为多智能体系统的全局状态信息；因为每个智能体的目标函数中，既有自己的一部分状态信息，还有一部分多智能体系统的全局状态信息，故我们称这种优化为聚合优化。

步骤5：根据多智能体系统的邻接矩阵、状态方程、全局目标函数和有限时间内Lyapunov稳定性理论设计分布式聚合优化算法，如下公式所示：

其中，u_i为第i个智能体的控制输入，k₁，k₂为任意正常数，

为第i个智能体的目标函数对局部状态信息x_i求偏导，

为第i个智能体的目标函数对全局状态信息σ(x)的估计σ_i求偏导；σ_i对全局状态信息σ(x)进行动态平均跟踪，y_i、y_j分别表示第i个智能体和其邻居智能体对

这个全局状态信息进行动态平均跟踪；a_ij为多智能体系统的网络拓扑结构G对应邻接矩阵A中的元素，sig^α(x)＝|x|^αsgn(x)，

选取0<α<1，sgn(x)为符号函数，具有以下形式：

步骤6：设定多智能体系统的初始值信息，运行步骤5设计的分布式聚合优化算法；并根据运行结果不断修正算法，直至达到优化目标，得到多智能体系统的全局最优解；

设定多智能体系统中各智能体的初始值信息，执行步骤5涉及的分布式聚合优化算法，每个智能体与邻居之间进行信息交换，并在控制算法的作用下，最终达到全局最优解。

本发明方法的目标是设计一个有限时间的分布式聚合优化算法，使多智能体系统中的智能体在含有聚合信息的情况下在有限时间内收敛到全局最优解，即存在有限时间t^*和一个实数x^*，使得当t≥t^*时，x_j(t)＝x^*且f(x^*)＝f^*，f^*为目标函数的全局最优解。本实施例就此目标对该算法进行简要的证明：

首先，因为给出的网络拓扑是时不变的无向图，即a_ij＝a_ji，可以得到

再通过给定初值条件使

可以证明在有限时间内

对于所有的i＝1,…,n都成立，即σ_i对全局信息σ(x)可在有限时间内跟踪上，同理可证y_i对

这个全局信息在有限时间内能跟踪上。

然后，将σ_i与y_i代入到(5)式中，选择合适的Lyapunov备选函数，可以证明所有智能体状态在有限时间内是有界的，然后再根据Lyapunov有限时间稳定性理论可以证明所有智能体的状态在有限时间内能达到一致性，最后再根据智能体聚合信息的梯度选择一个新的Lyapunov备选函数即可证明所有智能体状态在含有聚合信息的情况下，可以在有限时间内收敛到全局最优解，完成目标。

上述步骤6为执行环节，包括：设定多智能体的初始值信息即设定

聚合信息的表达式是已知的,有具体的表达式。执行分布式聚合优化算法，每个智能体与邻居之间进行信息交换，并在控制算法的作用下，最终达到全局最优解。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种多智能体系统的有限时间分布式聚合优化方法，其特征在于：包括以下步骤：

步骤1：构造描述多智能体系统的网络拓扑结构图，每个节点代表一个智能体，每条边代表智能体间的信息交互；

步骤2：确定所构造的多智能体系统的网络拓扑结构的邻接矩阵；

步骤3：建立多智能体系统的状态方程；

步骤4：定义考虑智能体聚合信息的多智能体系统的全局目标函数的函数表达式，即描述智能体系统所要优化的代价函数的表达式；

步骤5：根据多智能体系统的邻接矩阵、状态方程、全局目标函数和有限时间内Lyapunov稳定性理论设计分布式聚合优化算法；

步骤6：设定多智能体系统的初始值信息，运行步骤5设计的分布式聚合优化算法，使每个智能体与邻居之间进行信息交换；并根据运行结果不断修正算法，直至达到优化目标，得到多智能体系统的全局最优解。

2.根据权利要求1所述的一种多智能体系统的有限时间分布式聚合优化方法，其特征在于：所述步骤1构造的多智能体系统的网络拓扑结构图是无向图，记为：G＝{V,E(t)}，其中，

表示节点的集合,

表示边的集合，N_i(t)表示节点i邻居节点的集合；因为构造的图是无向图，所以若j∈N_i成立，则i∈N_j。

3.根据权利要求2所述的一种多智能体系统的有限时间分布式聚合优化方法，其特征在于：所述步骤2确定的多智能体系统的网络拓扑结构的邻接矩阵A如下公式所示：

其中，邻接矩阵中的元素a_ij代表节点i,j之间边的权重值；如果节点i,j之间有边相连，则a_ij>0，j≠i；如果节点i,j之间没有边相连，则a_ij＝0；同时，设定智能体不存在自环，即a_ii＝0；对于无向图存在a_ij＝a_ji。

4.根据权利要求3所述的一种多智能体系统的有限时间分布式聚合优化方法，其特征在于：所述步骤3建立的多智能体系统的状态方程，如下公式所示：

其中，

为第i个智能体t时刻的状态，

表示n维实数域，

为第i个智能体t时刻的控制输入。

5.根据权利要求4所述的一种多智能体系统的有限时间分布式聚合优化方法，其特征在于：所述步骤4考虑智能体存在聚合信息的情况，故多智能体系统优化的目标函数满足以下条件：

其中，f(x)为多智能体系统的全局目标函数，x＝col(x₁,…,x_n)为多智能体系统全局状态量，col表示列向量，f_i(x_i,σ(x))为第i个智能体的目标函数，φ_i(x_i)为仅与第i个智能体的状态有关的函数，σ(x)为多智能体系统的全局状态信息。

6.根据权利要求5所述的一种多智能体系统的有限时间分布式聚合优化方法，其特征在于：所述步骤5设计的分布式聚合优化算法如下公式所示：

其中，u_i为第i个智能体的控制输入，k₁，k₂为任意正常数，

为第i个智能体的目标函数对局部状态信息x_i求偏导，

为第i个智能体的目标函数对全局状态信息σ(x)的估计σ_i求偏导；σ_i对全局状态信息σ(x)进行动态平均跟踪，y_i、y_j分别表示第i个智能体和其邻居智能体对

这个全局状态信息进行动态平均跟踪；a_ij为多智能体系统的网络拓扑结构G对应邻接矩阵A中的元素，

选取0<α<1，sgn(x)为符号函数。

Images