CN112396187A - 基于动态协作图的多智能体强化学习方法 - Google Patents

Abstract

本发明公开了一种基于动态协作图的多智能体强化学习方法，首先，结合注意力机制对多智能体协作图进行动态构建；其次，基于当前状态下构造的协作图，结合启发式规则进行显式分组；再其次，对于智能体小组内部的智能体采用max‑plus算法进行组内全局最优策略搜索；最后，采用超网络结合全局状态信息估计各组局部联合动作价值，进行信度分配。与现有技术相比，本发明针对多智能体系统提出的算法，在降低计算量的前提下，有效的提高了智能体之间的合作。

Description

基于动态协作图的多智能体强化学习方法

技术领域

本发明涉及多智能体强化学习领域领域，特别是涉及一种多智能体强化学习方法。

背景技术

基于协作图的强化学习中的稀疏协作Q学习(sparse cooperative Q-learning)技术，将所有智能体的信息和相关关系表征在图表中，但是很难扩展到更大位的状态和动作空间动作值网络的表征能力(The Representational Capacity of Action-ValueNetworks)。使用神经网络近似不同尺寸大小的内在关系，但是仅仅在一次性决策博弈上进行了验证深度协作图(deep coordination graph)。基于Q学习端对端训练的值函数，结合max-plus算法将协作图扩展到深度学习下的连续决策任务下，但是由于该方法使用了完全连接协作图的原因，算法的可扩展性收到了一定的限制。多智能体强化学习系统中，常见的做法就是假设所有智能体之间都存在着隐式合作关系，利用智能体独立的动作值函数与两两智能体之间的局部联合动作值函数之和作为全局联合动作值函数进行策略估计。

基于值函数分解的强化学习中的值分解网络(Value Decomposition Network)采用单独动作值函数求和的方式计算联合动作值函数，训练过程中利用联合动作值函数对神经网络进行更新，执行时则基于单独动作值函数选择最优动作与环境交互。然而由于该方法假设联合动作值函数和单独动作值函数存在可加性假设，过于严格的限制以及对全局状态的忽略导致在某些较为复杂的任务上无法达到期望的效果。

QMIX算法针对值分解网络(VDN)的问题提出解决方案。为更准确的预测联合动作值函数，QMIX在集中式训练解决引入全局状态s进行训练，利用超网络将全局状态s映射到多维正值向量上，作为单独动作值函数的权重和偏置。基于这种方式对单独动作值函数进行加权求和，在放松可加性约束的同时利用全局信息提高值函数预测准确性。在一些值分解网络无法有效学习的环境上有较好的实验效果。

Qtran算法的提出是为了解决基于可加性约束的值分解网络和基于单调性约束的QMIX对于不满足其约束性的可分解任务无法做到有效的联合动作值函数分解的此类问题，但该方法计算量过大，且较为宽松的约束使得其在多数任务上无法获得较好的表现。

现有算法将多智能体系统类比为协作图。具体的，将智能体类比为协作图中的节点，智能体之间的合作关系类比为协作图的边。这些方法往往将协作图设计为完全连接的图结构，通过将联合动作状态值函数分解为智能体独立的动作值函数与两两智能体之间的局部联合动作值函数的方式，更准确的预测独立动作价值和联合动作价值，从而提高智能体之间的合作能力；另一方面，隐式的信度分配机制也能有效的避免智能体选择损害合作行为的动作。但是智能体之间的关系往往是动态变化的，某些时刻合作关系并不存在于任意两个智能体之间。显然，更为准确的协作图的构建会带来更准确的值函数的表达，进而学习到更接近最优策略的联合动作决策。

发明内容

本发明旨在解决多智能体系统下智能体之间的合作效率问题，而提出了一种基于动态协作图的多智能体强化学习方法，结合注意力机制提取智能体之间的动态合作关系，进一步结合max-plus算法和超网络进行智能体策略提升，有效促进了智能体之间的合作。

1.本发明的一种基于动态协作图的多智能体强化学习方法，其特征在于，该方法具体包括以下步骤：

步骤1、基于多智能体系统构建动态协作图：

将多智能体系统中的智能体作为图结构中的节点，节点信息为智能体的局部观察o；对智能体局部观察及其属性信息进行隐式特征提取，使相关智能体的特征信息相似度尽可能的增大，明确当前状态下的合作关系之后，采用注意力机制来构建多智能体系统动态协作图；动态协作图构建及多智能体分组过程如下：

步骤1-1、进行智能体特征的提取，输出信息为该智能体的隐式特征信息x_i，公式如下：

x_i＝embedding(a_i,o_i) (1)

其中，o_i表示智能体的局部观察及其属性信息，a_i表示智能体基于局部观察和策略所选择的动作，embedding表示多层神经元感知器，隐藏层激活函数为relu；

步骤1-2、基于注意力机制计算智能体之间的合作关系权重w_i,j，公式如下：

其中，V_Q表示智能体的特征矩阵，V_K表示除了当前智能体外其余智能体的特征矩阵，通过矩阵相乘计算两两智能体之间的相似度，softmax将相似度值进行归一化，同满足其他所有智能体的相关权重之和为1的约束；

完成合作关系权重的计算后，设置阈值ρ，筛选掉权重较小的关系，基于较大权重w_i，j连接协作图内的节点，构建动态协作图；

步骤1-3、完成动态协作图的构建后，将智能体动态的进行启发式分组，进一步在保证高效合作的条件下提升训练效率，具体步骤如下：

将多智能体系统中智能体之间的关系比作动态的协作图，协作图中的节点表示智能体，边则表示智能体之间的隐式关系；以对抗单位为中心，智能体的视野距离为半径作圆，圆内存在的智能体作为同组智能体，对于处于多个组内的智能体则依据合作关系权重分配到与其权重之和最大的组内；对于不包含在任何小组的智能体采取上述同样的分组机制；

步骤2、进行组内联合最优策略搜索：每个智能体i重复地向其相关智能体j发送消息μ_i，j(α_j)；其中，μ_i，j将代理j的动作a_j映射到一个实数，如下所示：

其中，Γ(i)\j表示与智能体i相连所有智能体中，除了智能体j的任意其他智能体k，c_i,j表示归一化向量；

直到收敛；

步骤3、进行组间信度分配：采用集中式训练分布式执行的训练范式，各组智能体的集中式价值网络收集各组联合状态和联合动作信息，得到对应组的价值函数；于此同时，利用超网络对全局状态进行提取，网络输入全局状态信息，分别输出第一层网络权重和偏差以及第二层网络权重和偏差，并对各参数进行绝对值运算，以满足价值分解的单调性假设；然后分别利用两层权重和偏差对各个小组局部联合动作价值的权重完成两次加权求和运算，层间激活函数采用relu进行非线性变换；最终从全局的角度将全局价值分解成以组为最小单位的局部价值，完成隐式的信度分配过程，从而提升合作质量。

与现有技术相比，本发明针对多智能体系统提出的算法，在降低计算量的前提下，有效的提高了智能体之间的合作。

附图说明

图1为本发明的基于动态协作图的多智能体强化学习方法整体流程示意图；

图2为本发明的基于动态协作图的多智能体强化学习方法实施例示意图；

图3为动态协作图构建及多智能体分组过程示意图；

图4为启发式分组示意图；

图5为局部最优策略搜索示意图

图6为超网络示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案进一步说明。

本发明基于现实场景中智能体之间的关系会随着状态的变化发生改变的特点，结合注意力机制对多智能体协作图进行动态构建；其次，基于当前状态下构造的协作图，结合启发式规则进行显式分组；再其次，对于智能体小组内部的智能体采用max-plus算法进行组内全局最优策略搜索；最后，采用超网络结合全局状态信息估计各组局部联合动作价值，进行信度分配。

由于多智能体之间的关系并不是一直存在的，因此如何提取当前状态下的隐式合作关系成为了本发明的关键。如图1所示，为本发明的基于动态协作图的多智能体强化学习方法整体流程示意图。具体流程如下：

步骤1、基于多智能体系统构建动态协作图：

将多智能体系统中的智能体作为图结构中的节点，节点信息为智能体的局部观察o；对智能体局部观察及其属性信息进行隐式特征提取，使相关智能体的特征信息相似度尽可能的增大，明确当前状态下的合作关系之后，采用注意力机制来构建多智能体系统动态协作图；动态协作图构建及多智能体分组过程如下：

步骤1-1、进行智能体特征的提取，输出信息为该智能体的隐式特征信息x_i，公式如下：

x_i＝embedding(a_i,o_i) (1)

其中，o_i表示智能体的局部观察及其属性信息,a_i表示智能体基于局部观察和策略所选择的动作，embedding表示多层神经元感知器，隐藏层激活函数为relu。

步骤1-2、基于注意力机制计算智能体之间的合作关系权重w_i,j，公式如下：

其中，V_Q表示智能体的特征矩阵，V_K表示除了当前智能体外其余智能体的特征矩阵，通过矩阵相乘计算两两智能体之间的相似度，softmax将相似度值进行归一化，同满足其他所有智能体的相关权重之和为1的约束；

完成合作关系权重的计算后，设置阈值ρ，筛选掉权重较小的关系，基于较大权重w_i，j连接协作图内的节点，构建动态协作图；

步骤1-3、完成动态协作图的构建后，本发明创新地的采用启发式的方法将智能体动态的进行分组，进一步在保证高效合作的条件下提升训练效率，具体步骤如下：

将多智能体系统中智能体之间的关系比作动态的协作图，协作图中的节点表示智能体，边则表示智能体之间的隐式关系；以对抗单位为中心，智能体的视野距离为半径作圆，圆内存在的智能体作为同组智能体，对于处于多个组内的智能体则依据合作关系权重分配到与其权重之和最大的组内；对于不包含在任何小组的智能体采取上述同样的分组机制；如图3所示，为动态协作图构建及多智能体分组过程示意图。如图4所示，为启发式分组示意图。

步骤2、进行组内联合最优策略搜索：每个智能体i重复地向其相关智能体j发送消息μ_i，j(α_j)；其中，μ_i，j将代理j的动作α_j映射到一个实数，如下所示：

其中，Γ(i)\j表示与智能体i相连所有智能体中，除了智能体j的任意其他智能体k，c_i,j表示归一化向量；

消息μ_i，j(α_j)为对于相关智能体j的给定动作，任意智能体i可以获得的最大回报。它可以通过最大化回报函数f_i和f_i，j，以及所有传到i的消息(除了来自j)的总和来计算。智能体之间不断交换消息，直到收敛。

如图5所示，从智能体2的角度来看，智能体2会收到来自于智能体1、智能体3以及智能体4传来的信息，该部分信息可以理解为智能体2根据与组内其他智能体局部联合最优动作价值函数对应的动作选择其动作，此外，会发送当前动作选择信息来指导智能体1、智能体3和智能体4的动作选择，多次迭代后传递的信息会逐渐收敛，最终完成组内的最优联合动作选择。

步骤3、进行组间信度分配：采用集中式训练分布式执行的训练范式，各组智能体的集中式价值网络收集各组联合状态和联合动作信息，得到对应组的价值函数。于此同时，利用超网络对全局状态进行提取，网络输入全局状态信息，分别输出第一层网络权重和偏差以及第二层网络权重和偏差，并对各参数进行绝对值运算，以满足价值分解的单调性假设。然后分别利用两层权重和偏差对各个小组局部联合动作价值的权重完成两次加权求和运算，层间激活函数采用relu进行非线性变换。最终从全局的角度将全局价值分解成以组为最小单位的局部价值，完成隐式的信度分配过程，从而提升合作质量。

本发明主要解决多智能体系统中，智能体如何有效提取实际存在的合作关系以及如何结合信度分配机制更准确的预测智能体的动作价值的问题，最终目的是加速策略收敛的同时使得智能体达到更高水平的合作。

Claims (1)

1.一种基于动态协作图的多智能体强化学习方法，其特征在于，该方法具体包括以下步骤：

步骤1、基于多智能体系统构建动态协作图：

将多智能体系统中的智能体作为图结构中的节点，节点信息为智能体的局部观察o；对智能体局部观察及其属性信息进行隐式特征提取，使相关智能体的特征信息相似度尽可能的增大，明确当前状态下的合作关系之后，采用注意力机制来构建多智能体系统动态协作图；动态协作图构建及多智能体分组过程如下：

步骤1-1、进行智能体特征的提取，输出信息为该智能体的隐式特征信息x_i，公式如下：

x_i＝embedding(a_i，o_i) (1)

其中，o_i表示智能体的局部观察及其属性信息，a_i表示智能体基于局部观察和策略所选择的动作，embedding表示多层神经元感知器，隐藏层激活函数为relu；

步骤1-2、基于注意力机制计算智能体之间的合作关系权重w_i，j，公式如下：

其中，V_Q表示智能体的特征矩阵，V_K表示除了当前智能体外其余智能体的特征矩阵，通过矩阵相乘计算两两智能体之间的相似度，softmax将相似度值进行归一化，同满足其他所有智能体的相关权重之和为1的约束；

完成合作关系权重的计算后，设置阈值ρ，筛选掉权重较小的关系，基于较大权重w_i，j连接协作图内的节点，构建动态协作图；

步骤1-3、完成动态协作图的构建后，将智能体动态的进行启发式分组，进一步在保证高效合作的条件下提升训练效率，具体步骤如下：

将多智能体系统中智能体之间的关系比作动态的协作图，协作图中的节点表示智能体，边则表示智能体之间的隐式关系；以对抗单位为中心，智能体的视野距离为半径作圆，圆内存在的智能体作为同组智能体，对于处于多个组内的智能体则依据合作关系权重分配到与其权重之和最大的组内；对于不包含在任何小组的智能体采取上述同样的分组机制；

步骤2、进行组内联合最优策略搜索：每个智能体i重复地向其相关智能体j发送消息μ_i，j(a_j)；其中，μ_i，j将代理j的动作a_j映射到一个实数，如下所示：

其中，Γ(i)\j表示与智能体i相连所有智能体中，除了智能体j的任意其他智能体k，c_i，j表示归一化向量；

直到收敛；

步骤3、进行组间信度分配：采用集中式训练分布式执行的训练范式，各组智能体的集中式价值网络收集各组联合状态和联合动作信息，得到对应组的价值函数；于此同时，利用超网络对全局状态进行提取，网络输入全局状态信息，分别输出第一层网络权重和偏差以及第二层网络权重和偏差，并对各参数进行绝对值运算，以满足价值分解的单调性假设；然后分别利用两层权重和偏差对各个小组局部联合动作价值的权重完成两次加权求和运算，层间激活函数采用relu进行非线性变换；最终从全局的角度将全局价值分解成以组为最小单位的局部价值，完成隐式的信度分配过程，从而提升合作质量。

Images