CN108430047A - 一种基于固定拓扑下多智能体的分布式优化方法 - Google Patents

Abstract

本发明公开了一种基于固定拓扑下多智能体的分布式优化方法，属于分布式优化领域。考虑在无线传感器网络中，利用网络中的传感器实时监测和采集多种数据信息，并且将采集到的数据信息与相邻的传感器进行交互计算，这里的无线传感器网络就是一个多智能体系统，每个传感器就是一个智能体。在每个传感器的代价函数不平滑的情况下，所要解决的问题就是最小化传感器的代价函数和。本发明考虑通信带宽的限制，并且考虑对于固定拓扑下的多智能体网络的优化问题。利用随机免梯度的算法，并设计量化器，确保智能体的状态收敛到平均值附近，目标函数近似收敛到最优值，并且给出了目标函数与最优值之间的误差关系。

Description

一种基于固定拓扑下多智能体的分布式优化方法

技术领域

本发明属于网络化控制与复杂系统领域，涉及一种基于固定拓扑下多智能体的分布式优化方法。

背景技术

近年来，随着科技的蓬勃发展，尤其是云计算以及大数据等新兴领域的出现，分布式优化理论和应用得到了越来越多的重视，并且逐渐渗透到科学研究、工程应用和社会生活的各个方面。所谓的分布式优化就是指通过一群具备一定感知、通信、计算和执行能力的智能体通过通讯等方式解决许多集中式算法无法处理的大规模复杂的优化算法。分布式优化理论和应用已经成为当代系统和控制科学的重要发展方向之一，在控制科学与工程领域，随着传感器网络、数字通信网络的发展，控制系统的基本结构与运行方式也发生了根本的改变。一个控制系统不再由单一的受控对象、传感器或控制器组成,而是由多个智能体集成一个复杂的控制网络，这些智能体通过相互连接，按照一定的通信协议完成给定的任务。整个控制与决策的过程就是每个智能体之间相互协作的过程。因此，较于传统的控制系统，一个多智能体系统它将控制系统和通信系统完全融于一体。

目前，对于多智能体的分布式优化算法的设计已经取得了许多重要的成果。但就目前热门的研究成果来说，仍存在以下的问题：

考虑在无线传感器网络中，利用网络中的传感器实时监测和采集多种数据信息，并且将采集到的数据信息与相邻的传感器进行交互计算，这里的无线传感器网络就是一个多智能体系统，每个传感器就是一个智能体。对于一个由传感器组成的多智能体系统，每个传感器往往有一个代价函数，并且整个网络的代价由这些个体的代价函数和来表示，这类问题的目的是需要设计分布式算法最小化该和函数。现有的方法大都是利用计算出代价函数的梯度或者次梯度的算法来处理，但是对于一个不可导的函数，计算出它的次梯度或者梯度是非常困难的，甚至是不可能的。

另一方面，智能体之间通过通信的方式传递信息，通常情况下，智能体在通信时都会受到通信带宽的限制，因此在对设计的优化算法收敛性分析时带来量化误差。

发明内容

本发明所要解决的技术问题是为了解决现有技术的不足，针对固定拓扑下的多智能体系统在通信带宽受限以及每个智能体代价函数不平滑的情况，设计量化器，并且利用随机免梯度算法，使得代价和函数收敛到最优值附近。

本发明为解决上述技术问题采用以下技术方案

一种基于固定拓扑下多智能体的分布式优化方法，具体包含如下步骤；

步骤一：将无线传感器信息监控问题转化为目标函数，具体如下：

其中，m为智能体的个数，x表示的是智能体状态的估计值，X表示的是智能体状态的约束集合，f_i(x)表示智能体i的代价函数，表示需要优化的目标函数；

步骤二：将不可导的目标函数平滑化；

步骤三：设计量化器，具体计算如下：

其中，x_i(k)是一个向量，表示智能体i在k时刻的状态估计值，且sgn(*)是符号函数，参数l表示量化区间的长度，d是量化器发送信息的比特数，1∈Rⁿ表示n维的向量，且向量中所有的元素都等于1；

步骤四：智能体状态估计值的迭代；

步骤五：随机免梯度预测值；

步骤六：获取智能体状态估计值的量化误差，完成智能体的分布式优化。

作为本发明一种基于固定拓扑下多智能体的分布式优化方法的进一步优选方案，所述步骤2具体计算如下：

则：

其中，表示智能体i的代价函数f_i(x)的高斯近似函数，且σ_i是函数的平滑因子，且σ_i≥0。

作为本发明一种基于固定拓扑下多智能体的分布式优化方法的进一步优选方案，在步骤4中，智能体状态估计值的迭代，具体步骤如下：

其中，Π_X[*]表示将*映射到约束集X中，W表示智能体进行信息交换的权重矩阵，γ_k表示在k次迭代时的搜索步长，Q_k(x_i(k))表示智能体i在k时刻的状态估计值的量化值。

作为本发明一种基于固定拓扑下多智能体的分布式优化方法的进一步优选方案，所述步骤5具体如下：

其中，随机数列{u_i(k)}_k≥0满足独立同分布，满足高斯分布。

作为本发明一种基于固定拓扑下多智能体的分布式优化方法的进一步优选方案，在步骤6中，量化误差的具体计算如下：

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明研究的是信息受限下分布式多智能体优化算法的设计与分析，这里的信息受限主要涉及两个方面，其一：由于通信带宽的限制，智能体之间只能传输量化后的信息；其二：受代价函数的限制，我们研究的是代价函数不平滑的情况；

(2)本发明由于通信带宽的限制，我们设计一个量化器，假设通信过程中传输的比特率是一个固定的常数，并且初始化量化区间，来确保智能体的代价函数能近似收敛到最优值；

(3)本发明相比于一般的分布式优化算法设计，大都是利用次梯度的方法去解决优化问题；这样就会带来两个问题：其一，计算一个目标函数的次梯度，往往求得的解不止一个，至于选择哪一个作为梯度估计器，这样就对算法的设计带来困难；其二，一般的分布式优化问题考虑的是代价函数是平滑的情况，如果代价函数是不平滑的，计算它的次梯度就很困难，甚至是不可求得，因此我们提出一个随机免梯度的方法，利用随机免梯度预测值去替代次梯度，这样可以放宽对目标函数的要求。

具体实施方式

下面对本发明的技术方案做进一步的详细说明：

现对本发明的具体实施方式做进一步详细的说明。为了本领域普通技术人员可以更好地了解本发明的实施。

本发明是基于多智能体系统在通信带宽受限下的分布式优化算法，包括以下步骤：

步骤一：将实际问题转化为数学问题，具体如下：

这里我们假设智能体的个数为m个，每个智能体带有一个目标函数f_i(x)，x表示的是智能体状态的估计值，因为我们讨论的是有约束情况下的多智能体优化算法的设计，因此X表示的是智能体状态的约束集合，这里假设每个智能体状态约束相同，f_i(x)表示的是智能体i的代价函数，因此表示的是代价和函数，也就是我们想要优化的目标函数。

步骤二：将不可导的目标函数定义为平滑的函数：

并且有：

这里的表示的是智能体i的代价函数f_i(x)的高斯近似函数，并且有σ_i≥0是函数的平滑因子。

步骤三：设计量化器：

这里的x_i(k)是一个向量，表示的是智能体i在k时刻的状态估计值，并且sgn(*)是符号函数，参数l表示的是量化区间的长度，d是量化器发送信息的比特数。1∈Rⁿ表示的是n维的向量，并且向量中所有的元素都等于1。

步骤四：智能体状态估计值的迭代：

这里的Π_X[*]表示将*映射到约束集X中，W表示的是智能体进行信息交换的权重矩阵，这里仅考虑固定拓扑的情况，并且权重矩阵满足双随机的特性。γ_k表示在k次迭代时的搜索步长，根据步骤三量化器的设计，Q_k(x_i(k))表示智能体i在k时刻的状态估计值的量化值。

步骤五：随机免梯度预测值：

这里的随机数列{u_i(k)}_k≥0满足独立同分布，满足高斯分布。

步骤六：量化误差

根据步骤三、四，智能体状态估计值的量化误差满足：

收敛性分析前，对问题做一些假设：

假设1：每个智能体的代价函数F_i(x)都满足Lipschitz连续，并且有|F_i(x)-F_i(y)|≤G_ix-y。我们取

假设2：智能体状态的约束集X是有界的，对于任意的x,y∈X，我们有||x-y||₂≤R，并且0∈X。

假设3：连接智能体信息交换的权重矩阵是双随机的。对于一个标量ω≥0，权重矩阵的对角线上的元素满足W_ii≥ω；此外，如果W_ij≥0，我们有W≥ω。

步骤七：设计的算法的收敛性分析：

在设计的算法收敛性分析前，我们介绍一些引理，方便后面的证明：

引理1：对于凸的并且可微的函数满足

引理2：对与免梯度估计值满足

引理3：我们有

根据步骤四中，智能体状态的迭代算法，智能体在k+1时刻的状态值将收敛到平均值附近。这里我们使得权重矩阵W＝I-εL，这里的L为多智能体系统拓扑图的拉普拉斯矩阵，并且这里的α_max指的是多智能体网络最大的度，我们有然后我们对免梯度预测值定界，估计量化误差的范围，并且利用权重矩阵的特性，得到智能体在k+1时刻的状态值与智能体状态平均值的关系：

这里的目标函数也收敛到最优值附近：

这里我们假设目标函数F(x)的最优解为x^*，问题(1)的最优值为F(x^*)。我们通过对随机免梯度预测值以及量化误差定界，分析智能体的状态最终收敛到平均值附近，并且目标函数近似收敛到最优值，收敛误差与目标函数的平滑因子σ、Lipschitz常数量化区间l有关以及权重矩阵的谱半径ρ有关。由此我们可得：

本发明未详细说明部分都属于领域技术人员公知常识，以上所述仅为本发明的一个具体实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于固定拓扑下多智能体的分布式优化方法，其特征在于：具体包含如下步骤；

步骤一：将无线传感器信息监控问题转化为目标函数，具体如下：

其中，m为智能体的个数，x表示的是智能体状态的估计值，X表示的是智能体状态的约束集合，f_i(x)表示智能体i的代价函数，表示需要优化的目标函数；

步骤二：将不可导的目标函数平滑化；

步骤三：设计量化器，具体计算如下：

其中，x_i(k)是一个向量，表示智能体i在k时刻的状态估计值，且sgn(*)是符号函数，参数l表示量化区间的长度，d是量化器发送信息的比特数，1∈Rⁿ表示n维的向量，且向量中所有的元素都等于1；

步骤四：智能体状态估计值的迭代；

步骤五：随机免梯度预测值；

步骤六：获取智能体状态估计值的量化误差，完成智能体的分布式优化。

2.根据权利要求1所述的一种基于固定拓扑下多智能体的分布式优化方法，其特征在于：所述步骤2具体计算如下：

则：

其中，表示智能体i的代价函数f_i(x)的高斯近似函数，且σ_i是函数的平滑因子，且σ_i≥0。

3.根据权利要求2所述的一种基于固定拓扑下多智能体的分布式优化方法，其特征在于：在步骤4中，智能体状态估计值的迭代，具体步骤如下：

其中，Π_X[*]表示将*映射到约束集X中，W表示智能体进行信息交换的权重矩阵，γ_k表示在k次迭代时的搜索步长，Q_k(x_i(k))表示智能体i在k时刻的状态估计值的量化值。

4.根据权利要求3所述的一种基于固定拓扑下多智能体的分布式优化方法，其特征在于：所述步骤5具体如下：

其中，随机数列{u_i(k)}_k≥0满足独立同分布，满足高斯分布。

5.根据权利要求4所述的一种基于固定拓扑下多智能体的分布式优化方法，其特征在于：在步骤6中，量化误差的具体计算如下：