CN103995750B - 一种多Agent系统非对称分布式约束优化方法 - Google Patents

Abstract

本发明提出了一种多Agent系统非对称分布式约束优化方法，包括如下步骤：控制器接收Agent信息并获得非对称关系，构建Agent连接图；根据Agent连接图中的节点间的连接关系，建立基于排序的链式结构；将Agent连接图按照深度优先的方式构造深度优先树；通过分枝定界策略，计算不同深度优先树的根节点的权重值，最终获取更优的树形结构；依赖得到更优的树形结构，调整多Agent系统中的Agent行为参数。本发明针对多Agent系统的非对称特征，引入预测机制，弥补不完全信息决策的不足，使Agent能预估自己行为的影响，获取更有效的策略，在一定程度上改变收益非单调特性，达到个体利益和全局利益的平衡。

Description

一种多Agent系统非对称分布式约束优化方法

技术领域

本发明涉及一种非对称分布式约束优化方法，特别涉及一种多Agent系统非对称分布式约束优化方法。

背景技术

多Agent系统是研究在一群自治的Agent之间如何协调它们的知识、目标、技能和相互规划采取行动或解决问题。该系统目前已逐步应用在了任务调度、资源分配、传感器网络、交通管理、微网配置等实际应用中。但是，当前在这些应用领域中，对于多Agent系统仍然使用的是“对称性”特性，即认为各Agent对与其有约束关系的其他Agent的特征、取值(策略)空间及代价(收益)函数有准确的信息，每个Agent没有个人的偏好信息和隐私性，进而简化了其求解的过程。

但是，在实际问题中，大多数的多Agent系统都具有非对称特征，即每个个体具有自己的偏好且不希望与其他个体共享。例如，在微网控制中，每个分布式电源(DG)由于各自的特性不同(如风能或水电站电源等等)，彼此之间的影响是不同的，在相同网络配置下相邻DG的收益也不相同，而每个DG并不清楚其他DG的收益情况。因此，现实情况使得在此类多Agent系统中，需要充分考虑其非对称性特征。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种多Agent系统非对称分布式约束优化方法，解决Agent非对称不完全信息的响应、双向代价求解和个体收益的私密性的组合问题以及如何设计Agent组织结构和策略并且使它们能达到较好的匹配问题。

为了实现本发明的上述目的，本发明提供了一种多Agent系统非对称分布式约束优化方法，其包括如下步骤：

S1，控制器接收Agent信息，根据所述Agent信息获得非对称关系，判断各个Agent之间是否存在约束关系，如果存在，则在有约束关系的两个Agent间搭建一条边，从而构建Agent连接图，其中，各个Agent之间的约束关系决定了Agent节点之间的连接关系，并判定所述连接图为稀疏图还是稠密图；

S2，根据Agent连接图中的节点间的连接关系，采用单枝的构造策略，建立基于排序的链式结构，每个Agent节点作为链式结构中的一环，由于Agent间约束关系的稀疏紧密程度不同，Agent在链中的不同位置及其邻居关系会导致整个链式结构的不同分布；

S3，将步骤S1中所述Agent连接图按照深度优先的方式构造深度优先树，首先对根进行选择时，采用了约束关系最多的节点作为根，然后根据约束边的数量和有无回边确定子节点，构造深度优先树；

S4，通过分枝定界策略，计算不同深度优先树的根节点的权重值，在计算根节点权重时，采用分枝定界遍历的方式，通过设置阈值，并计算每个Agent节点的上下界来进行剪枝，以最终获取更优的树形结构；

S5，依赖步骤S4中得到的所述更优的树形结构，调整多Agent系统中的Agent的行为参数。

本发明的多Agent系统非对称分布式约束优化方法针对多Agent系统的非对称特征，引入预测机制，弥补不完全信息决策的不足，使Agent能预估自己行为的影响，获取更有效的策略，在一定程度上改变收益非单调特性，达到个体利益和全局利益的平衡。

在本发明的一种优选实施方式中，在步骤S2中，在形成链的过程中，统计每个Agent的约束关系数量，约束关系最多的Agent排列在最前，随着约束关系的降低依次排列，约束关系最少的Agent排列在最后，建立基于排序的链式结构。

在本发明的另一种优选实施方式中，在步骤S2中，在形成链的过程中，统计每个Agent的约束关系数量，约束关系最多的Agent排列在最前，选择与排列好的Agent链中的最后一个Agent向后相邻的邻居中约束关系最多的Agent排列在后，建立基于排序的链式结构。

通过建立链式结构，每个Agent节点作为链式结构中的一环，其在链中的不同位置会造成整个链式结构的不同权重分布。

另外，在形成链的过程中，本发明会尝试通过“按约束关系多优先排序”或“按约束关系多优先排序+邻居关系”的方式来构建链式结构，快速准确。

在本发明的一种优选实施方式中，由于该链式结构有存在回路的很大可能性，在排序构造链式结构的过程中，增加了反向检测搜索和阶段搜索，用以解决某个Agent节点或某些Agent节点进入链之后可能出现的回路情况，以获取更优的链式结构。

在本发明的一种优选实施方式中，在步骤S3中将所述Agent连接图按照深度优先的方式构造深度优先树的方法为：

S31，将约束关系最多的Agent选择为根节点，令根节点为参考节点；

S32，将与参考节点有连接关系的所有节点建立节点集；

S33，选择所述节点集中与参考节点连接的约束边最多的节点作为子节点，在选择时需判断该节点的加入会否造成出现交叉回边或伪树；

S34，当S33中构造的深度优先树出现交叉回边或伪树时，则放弃选择最后纳入树的该节点，而重新选择其他Agent节点作为子节点来继续构造深度优先树，新的节点选择规则仍然是判断是否有与参考节点连接的约束边次多的节点，如果有，则选择与参考节点连接的约束边次多的节点作为子节点，令子节点为参考节点，返回步骤S32，如果没有，则执行步骤S35；

S35，将其他没有在树中出现的Agent根据约束边的连接关系与树中的节点相连。

从而构造出树型结构。

在本发明的一种优选实施方式中，根据当前节点在步骤S2中得到的链式结构中该节点的前后节点次序，选择与该节点紧邻的向下一个节点作为子节点，如果当有交叉回边和伪树时，则选择与该节点紧邻的向下第二个节点作为子节点。

在本发明的一种优选实施方式中，在步骤S4中分枝定界策略，计算不同深度优先树的根节点的权重值的方法为：

对每个Agent_i定义了上下界：

其中，i为Agent的序号，i为正整数，δ_i是Agenti的本地代价(比如硬件磨耗、内存占用、电量消耗等等)，children_i为Agenti的子节点的数量，j＝1，......，children_i，LB_j(d)为i＝d时Agenti中第j个子节点的下界，D_i为Agenti形成的集合，LB_i ^CPA(d)为Agentd的下界，LB_i ^CPA为Agenti的下界，

UB_j(d)为i＝d时Agenti中第j个子节点的上界，UB_i ^CPA(d)为Agentd的上界，UB_i ^CPA为Agenti的上界；LB是一个待定权重，仅为节点间属性的交集中的属性赋值，UB是该节点的全局解，CPA表示祖先给出的部分赋值；

为了有效截枝，Agenti引进阈值TH_i，

lb(d,j)≤t(d,j)≤ub(d,j)

其中，lb(d,j)和ub(d,j)分别是Agenti的子节点j在Agenti取d时的下界和上界，t(d,j)为介于lb和ub之间的一个值，用户可自行设置为在区间中的一个任意随机数。

如果d∈D_i满足LB_i ^CPA(d)≥min{TH_i,UB_i ^CPA}，可以判定此d非优，那么就让Agenti取另一个较优值，这个较优值通过预测模型选择，所述预测模型：

prev_d＝u_i(CPA,s_i＝d)

其中，prevd表示当Agenti选择d时，在CPA下获得的权重代价，futured表示当Agenti选择d时，可能引起的子节点的变化，

s_i表示第i个节点，表示该节点所取的最好值，为当第i个节点正好取好值时其子节点的个数，λ_i为一个随机调整数，u_i(CPA,s_i＝d)为当s_i为d时的所有上层节点的所有相关的代价之和，d'为当S_i取d时，其子节点S_j的值，u_i(j)为代价，p(s_j＝d'|s_i＝d)为S_i取d时，其子节点S_j取d’的概率。

本发明计算不同深度优先树的根节点的权重值，以选取最优的多Agent树形结构关系。在计算根节点权重时，采用分枝定界遍历的方式，通过设置阈值，并计算每个Agent节点的上下界来进行剪枝，以最终获取更优的树形结构。

本发明采用下面方法提高运行效率：①依靠上界UB和下界LB以及阈值TH剪枝；②依靠预测模型尽量先遍历可能的更优取值，这样在遍历后面更差的取值时可以快速检测或依靠更优的上界直接舍弃。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明多Agent系统非对称分布式约束优化方法的组织结构与策略分析图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明提供了一种多Agent系统非对称分布式约束优化方法，其包括如下步骤：

第一步，控制器接收Agent信息，并根据Agent信息获得非对称关系，判断各个Agent之间是否存在约束关系，如果存在，则在有约束关系的两个Agent间搭建一条边，从而构建Agent连接图，其中，各个Agent之间的约束关系决定了Agent节点之间的连接关系，并判定所述连接图为稀疏图还是稠密图。

在本实施方式中，由于每个Agent信息彼此之间独立运行，信息并不完全相同，信息不对称，控制器接收Agent信息会体现出不同Agent非对称关系，例如以微网配置应用为例，在有多个分布式电源(DG)的情况下，在各分布式电源都不公开自身属性(比如发电性价比等)，信息不对称，系统如何通过各分布式电源公开的参数指标，结合预测模型，合理调配各个分布式电源的发电与否及能力预期状态，实现整体性价比最高是本发明在本实实施方式中的目的。

在本实施方式中，Agent之间的约束关系是指对多有Agent运行参数的整体要求，例如以微网配置应用为例，电网中的功率要求、频率要求以及相位关系都可以作为约束关系，在本发明另外的优选实施方式中，约束关系可根据具体的应用环境和条件进行选择。

第二步，根据Agent连接图中的节点间的连接关系，采用单枝的构造策略，建立基于排序的链式结构，每个Agent节点作为链式结构中的一环，由于Agent间约束关系的稀疏紧密程度不同，Agent在链中的不同位置及其邻居关系会导致整个链式结构的不同分布。

在本实施方式中，在形成链的过程中，统计每个Agent的约束关系数量，约束关系最多的Agent排列在最前，随着约束关系的降低依次排列，约束关系最少的Agent排列在最后，建立基于排序的链式结构。

在本发明另外的优选实施方式中，也可以在形成链的过程中，统计每个Agent的约束关系数量，约束关系最多的Agent排列在最前，选择与排列好的Agent链中的最后一个Agent向后相邻的邻居中约束关系最多的Agent排列在后，建立基于排序的链式结构。

每个agent节点作为链式结构中的一环，其在链中的不同位置会造成整个链式结构的不同权重分布。在形成链的过程中，本发明会尝试通过“按约束关系多优先排序”或“按约束关系多优先排序+邻居关系”的方式来构建链式结构。

在本实施方式中，在排序构造链式结构的过程中，增加了反向检测搜索和阶段搜索，以获取更优的链式结构。由于该链式结构有存在回路的很大可能性，因此，在排序构造链式结构的过程中，增加了反向检测搜索和阶段搜索的辅助手段，用以解决某个Agent节点或某些Agent节点进入链之后可能出现的回路情况，以获取更优的链式结构。链式结构获得的优化结果会直接传递给树形结构，以优化该树的构成。在本实施方式中，采用的反向检测搜索和阶段搜索方法为现有的反向检测搜索和阶段搜索方法。

在本实施方式中，根据当前节点在链式结构中该节点的前后节点次序，选择与该节点紧邻的向下一个节点作为子节点，如果当有交叉回边和伪树时，则选择与该节点紧邻的向下第二个节点作为子节点。在本实施方式中，交叉回边和伪树的判断方法也采用现有的交叉回边和伪树判断方法。

第三步，将第一步中Agent连接图按照深度优先的方式构造深度优先树，首先对根进行选择时，采用了约束关系最多的节点作为根，然后根据约束边的数量和有无回边确定子节点，构造深度优先树。具体的方法为：

S31，将约束关系最多的Agent选择为根节点，令根节点为参考节点；

S32，将与参考节点有连接关系的所有节点建立节点集；

S33，选择所述节点集中与参考节点连接的约束边最多的节点作为子节点，在选择时需判断该节点的加入会否造成出现交叉回边或伪树；

S34，当S33中构造的深度优先树出现交叉回边或伪树时，则放弃选择最后纳入树的该节点，而重新选择其他Agent节点作为子节点来继续构造深度优先树，新的节点选择规则仍然是判断是否有与参考节点连接的约束边次多的节点，如果有，则选择与参考节点连接的约束边次多的节点作为子节点，令子节点为参考节点，返回步骤S32，如果没有，则执行步骤S35；

S35，将其他没有在树中出现的Agent根据约束边的连接关系与树中的节点相连。

通过第三步的操作，可能构建不同的深度优先树。接下来通过分枝定界策略，计算不同深度优先树的根节点的权重值，以选取最优的多Agent树形结构关系。在计算根节点权重时，采用分枝定界遍历的方式，通过设置阈值，并计算每个Agent节点的上下界来进行剪枝，以最终获取更优的树形结构。

第四步，通过分枝定界策略，计算不同深度优先树的根节点的权重值，在计算根节点权重时，采用分枝定界遍历的方式，通过设置阈值，并计算每个Agent节点的上下界来进行剪枝，以最终获取更优的树形结构。具体方法为：

对每个Agent_i定义了上下界：

其中，i为Agent的序号，i为正整数，δ_i是Agenti的本地代价(比如硬件磨耗、内存占用、电量消耗等等)，children_i为Agenti的子节点的数量，j＝1，......，children_i，LB_j(d)为i＝d时Agenti中第j个子节点的下界，D_i为Agenti形成的集合，LB_i ^CPA(d)为Agentd的下界，LB_i ^CPA为Agenti的下界，UB_j(d)为i＝d时Agenti中第j个子节点的上界，UB_i ^CPA(d)为Agentd的上界，UB_i ^CPA为Agenti的上界；LB是一个待定权重，仅为节点间属性的交集中的属性赋值，UB是该节点的全局解，其初始为正无穷，随着其子节点的构建和计算逐渐变小，并最终收敛于其子树结构完成的终值，CPA表示祖先给出的部分赋值；

为了有效截枝，Agenti引进阈值TH_i，

lb(d,j)≤t(d,j)≤ub(d,j)

其中，lb(d,j)和ub(d,j)分别是Agenti的子节点j在Agenti取d时的下界和上界，t(d,j)为介于lb和ub之间的一个值，用户可自行设置为在区间中的一个任意随机数。

如果d∈D_i满足LB_i ^CPA(d)≥min{TH_i,UB_i ^CPA}，可以判定此d非优，那么就让Agenti取另一个较优值，这个较优值通过预测模型选择，所述预测模型：

prev_d＝u_i(CPA,s_i＝d)

其中，prevd表示当Agenti选择d时，在CPA下获得的权重，futured表示当Agenti选择d时，可能引起的子节点的变化。

s_i表示第i个节点，表示节点s_i所取的当前权重最好值，即由该节点的子树计算得到的该节点当前权重的最优值，该值的计算与该节点的子树的取值有关，且由于子树的不同，值的大小也不同，在本实施方式中，该最好值实质是截止当前，该节点所取得的权重最大值。为当第i个节点正好取最好值时其子节点的个数，λ_i为一个随机调整数，u_i(CPA,s_i＝d)为当s_i为d时的所有上层节点的所有相关的代价之和，d'为当S_i取d时，其子节点S_j的值，u_i(j)为代价，p(s_j＝d'|s_i＝d)为S_i取d时，其子节点S_j取d’的概率。

第五步，依赖第四步中得到的所述更优的树形结构，调整多Agent系统中的Agent行为参数。

本发明根据图的稀疏程度，采取不同的排序策略构造链式结构，在搜索策略中采用已用于非对称分布式约束优化问题的反向搜索策略和阶段策略，同时考虑同步和异步响应机制。在树型结构的生成，本发明采用深度优先遍历，并根据不同的构建策略控制树的结构。搜索策略中本发明利用最佳优先搜索和深度优先搜索并结合同步和异步响应机制来实验分析非对称分布式约束优化问题中树结构和搜索策略的关系。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种多Agent系统非对称分布式约束优化方法，其特征在于，包括如下步骤：

S1，控制器接收Agent信息，根据所述Agent信息获得非对称关系，判断各个Agent之间是否存在约束关系，如果存在，则在有约束关系的两个Agent间搭建一条边，从而构建Agent连接图，其中，各个Agent之间的约束关系决定了Agent节点之间的连接关系，并判定所述连接图为稀疏图还是稠密图；

S2，根据Agent连接图中的节点间的连接关系，采用单枝的构造策略，建立基于排序的链式结构，每个Agent节点作为链式结构中的一环，由于Agent间约束关系的稀疏紧密程度不同，Agent在链中的不同位置及其邻居关系会导致整个链式结构的不同分布；

S3，将步骤S1中所述Agent连接图按照深度优先的方式构造深度优先树，首先对根进行选择时，采用了约束关系最多的节点作为根，然后根据约束边的数量和有无回边确定子节点，构造深度优先树，具体方法为：

S31，将约束关系最多的Agent选择为根节点，令根节点为参考节点；

S32，将与参考节点有连接关系的所有节点建立节点集；

S33，选择所述节点集中与参考节点连接的约束边最多的节点作为子节点，在选择时需判断该节点的加入会否造成出现交叉回边或伪树；

S34，当S33中构造的深度优先树出现交叉回边或伪树时，则放弃选择最后纳入树的该节点，而重新选择其他Agent节点作为子节点来继续构造深度优先树，新的节点选择规则仍然是判断是否有与参考节点连接的约束边次多的节点，如果有，则选择与参考节点连接的约束边次多的节点作为子节点，令子节点为参考节点，返回步骤S32，如果没有，则执行步骤S35；

S35，将其他没有在树中出现的Agent根据约束边的连接关系与树中的节点相连；

S4，通过分枝定界策略，计算不同深度优先树的根节点的权重值，在计算根节点权重时，采用分枝定界遍历的方式，通过设置阈值，并计算每个Agent节点的上下界来进行剪枝，以最终获取更优的树形结构，具体方法为：

对每个Agent_i定义了上下界：

${\mathrm{LB}}_i^{CPA}\left(d\right)=\underset{j\∈{\mathrm{children}}_i}{\Σ}{\mathrm{LB}}_j\left(d\right)+{\mathrm{\δ}}_i$

${\mathrm{LB}}_i^{CPA}=\underset{d\∈D_i}{min}\left\{{\mathrm{LB}}_i^{CPA}\left(d\right)\right\}$

${\mathrm{UB}}_i^{CPA}\left(d\right)=\underset{j\∈{\mathrm{children}}_i}{\Σ}{\mathrm{UB}}_j\left(d\right)+{\mathrm{\δ}}_i$

${\mathrm{UB}}_i^{CPA}=\underset{d\∈D_i}{min}\left\{{\mathrm{UB}}_i^{CPA}\left(d\right)\right\}$

其中，i为Agent的序号，i为正整数，δ_i是Agenti的本地代价，children_i为Agenti的子节点的数量，j＝1，......，children_i，LB_j(d)为i＝d时Agenti中第j个子节点的下界，D_i为Agenti形成的集合，为Agentd的下界，为Agenti的下界，

UB_j(d)为i＝d时Agenti中第j个子节点的上界，UB_i ^CPA(d)为Agentd的上界，为Agenti的上界；LB是一个待定权重，仅为节点间属性的交集中的属性赋值，UB是该节点的全局解，CPA表示祖先给出的部分赋值；

为了有效截枝，Agenti引进阈值TH_i，

${\mathrm{TH}}_i={\mathrm{\δ}}_i\left(d\right)+\underset{j\∈{\mathrm{Children}}_i}{\Σ}t(d,j)$

lb(d,j)≤t(d,j)≤ub(d,j)

其中，lb(d,j)和ub(d,j)分别是Agenti的子节点j在Agenti取d时的下界和上界，t(d,j)为介于lb和ub之间的一个值，用户可自行设置为在区间中的一个任意随机数；

如果d∈D_i满足可以判定此d非优，那么就让Agenti取另一个较优值，这个较优值通过预测模型选择，所述预测模型：

${\mathrm{prev}}_d+{\mathrm{future}}_d\≤{\mathrm{mu}}_i(s_i=s_i^{*})+{\mathrm{\λ}}_i$

prev_d＝u_i(CPA,s_i＝d)

${\mathrm{future}}_d=\underset{j\∈{\mathrm{children}}_i,d^{\′}\∈D_j}{\Σ}p(s_j=d^{\′}|s_i=d)\·u_{i\left(j\right)}(s_i=d,s_j=d^{\′})$

其中，prevd表示当Agenti选择d时，在CPA下获得的权重代价，futured表示当Agenti选择d时，可能引起的子节点的变化，

s_i表示第i个节点，表示该节点所取的最好值，为当第i个节点正好取好值时其子节点的个数，λ_i为一个随机调整数，u_i(CPA,s_i＝d)为当s_i为d时的所有上层节点的所有相关的代价之和，d'为当S_i取d时，其子节点S_j的值，u_i(j)为代价，p(s_j＝d'|s_i＝d)为S_i取d时，其子节点S_j取d’的概率；

S5，依赖步骤S4中得到的所述更优的树形结构，调整多Agent系统中的Agent行为参数。

2.如权利要求1所述的多Agent系统非对称分布式约束优化方法，其特征在于：在步骤S2中，在形成链的过程中，统计每个Agent的约束关系数量，约束关系最多的Agent排列在最前，随着约束关系的降低依次排列，约束关系最少的Agent排列在最后，建立基于排序的链式结构。

3.如权利要求1所述的多Agent系统非对称分布式约束优化方法，其特征在于：在步骤S2中，在形成链的过程中，统计每个Agent的约束关系数量，约束关系最多的Agent排列在最前，选择与排列好的Agent链中的最后一个Agent向后相邻的邻居中约束关系最多的Agent排列在后，建立基于排序的链式结构。

4.如权利要求1所述的多Agent系统非对称分布式约束优化方法，其特征在于：在排序构造链式结构的过程中，增加了反向检测搜索和阶段搜索，用以解决某个Agent节点或某些Agent节点进入链之后可能出现的回路情况，以获取更优的链式结构。

5.如权利要求1所述的多Agent系统非对称分布式约束优化方法，其特征在于：根据当前节点在步骤S2中得到的链式结构中该节点的前后节点次序，选择与该节点紧邻的向下一个节点作为子节点，如果当有交叉回边和伪树时，则选择与该节点紧邻的向下第二个节点作为子节点。