CN113780576A - 基于奖励自适应分配的合作多智能体强化学习方法 - Google Patents

Abstract

针对完全合作式多智能体强化学习过程中，由于每个智能体获得一个共同的全局奖励，无法确定自身动作对整体奖励的影响，导致算法模型的训练效率低下及最终性能不佳的问题，本发明提供了一种基于奖励自适应分配的合作多智能体强化学习方法，根据环境的变化能够自适应将全局奖励分配给单个智能体，使得智能体能够据此选择对全局有利的动作，从而提高算法模型的训练效率及最终的性能。

Description

基于奖励自适应分配的合作多智能体强化学习方法

技术领域

本发明属于智能体强化学习技术领域，更具体地，涉及一种基于奖励自适应分配的合作多智能体强化学习方法。

背景技术

近年来，随着单智能体深度强化学习技术广泛取得的突破性进展，也推动了多智能体强化学习的发展和研究，在实际情形中，往往存在多个独立自主决策的智能体，因此，多智能体强化学习的研究具有十分重要的应用价值。

完全合作式多智能体与环境的交互过程如附图1所示，环境中一共有n个独立自主决策的智能体，过程主要如下：(1)在时刻t，智能体i感知当前的环境状态s_t，得到自身的局部观测信息

(2)智能体根据当前的局部观测信息

及当前采取的策略从动作空间A中选择一个动作

组成联合动作

(3)当多智能体的联合动作作用于环境时，环境转移到新状态s_t+1，并给出一个全局奖励回报值r_t；如此循环。

其中，奖励回报指的是智能体在与环境的交互中获得的来自环境的评价性质的反馈信号。智能体通过强化学习方法，确定如何在环境中采取一系列行为动作，使长期的累积回报最大化。由于在完全合作式多智能体强化学习中只能获得全局回报，单个智能体无法确定自身动作对整体回报的影响，单个智能体学习的方向不明确，导致算法模型训练效率低下，甚至无法收敛。

目前常用的方法是采用值分解方法隐式的解决奖励分配问题，但是这类方法需要联合训练全局值函数、每个智能体的局部值函数以及二者之间的关系参数，存在训练效率低、多智能体之间协作能力不足、无法适应大规模场境的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于奖励自适应分配的合作多智能体强化学习方法，根据观测到的环境状态自适应计算单个智能体的子奖励回报权重，并据此计算分配给单个智能体的局部奖励回报，即由子奖励回报值与子奖励回报的权重相乘得到的加权和，根据环境的变化能够自适应将全局奖励分配给单个智能体，使得智能体能够据此选择对全局有利的动作，从而提高算法模型的训练效率及最终的性能。

为实现上述目的，本发明提供了一种基于奖励自适应分配的合作多智能体强化学习方法，包括如下步骤：

(1)根据先验知识将全局回报划分为m类子奖励回报，并设置对应的子奖励回报函数；

(2)初始化模型参数；

(3)对每一个智能体i，每隔K个时间步长，根据智能体i观察到的环境状态oⁱ，计算智能体i的子奖励回报权重向量

π(oⁱ|θ)是智能体的子奖励回报权重生成策略函数，θ是其参数；

(4)对每一个智能体i，在每个时间步长，根据智能体i观察到的环境状态oⁱ，根据智能体的局部状态-动作值函数

计算状态-动作值，按照贪心策略选取智能体该时刻t将执行的动作

是其参数；

(5)将所有智能体产生的动作联合动作

输入到环境中执行，得到所有智能体的全局奖励r，根据子奖励回报函数得到每个智能体的子奖励回报值为

以及对新的环境状态的观察为o′＝(o′₁,……,o′_n)；

(6)对每一个智能体i，每个时间步长，根据步骤(5)中得到的子奖励回报值及步骤(3)中得到的子奖励回报权重向量计算每个智能体i的局部奖励值

(7)每个时间步长，更新每个智能体的局部状态-动作值函数

的参数，

其中oⁱ为智能体i观察的环境状态，

为选择的动作，L是损失函数，

其中，λ是学习率，γ∈(0,1]是折扣因子，oⁱ⁺¹是智能体对下一时刻的环境状态的观察；

(8)每隔K个时间步长，更新子奖励回报权重评价器Q^tot(o,w|θ^h)的参数θ^h，

其中o＝(o₁,……,o_n)是所有智能体的联合观察状态，

是所有智能体的联合子奖励回报权重向量，L^h是损失函数，L^h对参数θ^h连续可导，

λ是学习率，γ∈(0，1]是折扣因子，R^K＝∑_Kr为前K个时间步长的累积回报，o′＝(o′₁,……,o′_n)是所有智能体对新的环境状态的观察；

(9)每隔K个时间步长，更新子奖励回报权重生成策略函数W(oⁱ|θ)的参数θ，

其中λ是子奖励回报权重生成策略函数的学习率；

(10)学习过程收敛或者达到最大迭代次数，则结束，否则返回步骤(3)。

本发明的一个实施例中，所述多智能体是完全合作关系，即具有一个共同的目标。

本发明的一个实施例中，所述步骤(4)中计算智能体该时刻将执行的动作

使用基于值函数的方法。

本发明的一个实施例中，所述步骤(2)中，初始化的模型参数包括：子奖励回报权重生成策略函数π(oⁱ|θ)的参数θ，智能体的局部状态-动作值函数

的参数

子奖励回报权重评价器Q^tot(o,w|θ^h)的参数θ^h。

本发明的一个实施例中，所述步骤(6)中，根据步骤(5)中得到的子奖励回报值

及步骤(3)中得到的子奖励回报权重向量

计算每个智能体i的局部奖励值为：

本发明的一个实施例中，间隔步长数5≤K≤20。

本发明的一个实施例中，子奖励回报权重生成策略函数π(oⁱ|θ)、智能体的局部状态-动作值函数

子奖励回报权重评价器Q^tot(o,w|θ^h)均为循环神经网络。

本发明的一个实施例中，所述智能体的可执行的动作为离散的动作，且数量≤5。

本发明的一个实施例中，所述步骤(1)中子奖励回报的种类数量为4≤m≤10。

本发明的一个实施例中，所述智能体的数量不大于10。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：

(1)显式的对全局奖励回报进行分配得到单个智能体的局部奖励回报，能够引导单个智能体根据环境的变化做出有利于全局任务的行动，提高了多智能体的协作能力；

(2)通过显式的奖励分配使得单个智能体的学习具有目的性，能够提升模型算法的训练效率和最终的性能。

附图说明

图1是完全合作式多智能体强化学习中交互过程示意图；

图2是本发明提供的基于奖励自适应分配的合作多智能体强化学习方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图2所示，本发明提供了一种基于奖励自适应分配的合作多智能体强化学习方法，包括如下步骤：

(1)根据先验知识将全局回报划分为m类子奖励回报，并设置对应的子奖励回报函数；

例如，子奖励回报的种类数量为4≤m≤10；

(2)初始化模型参数；

具体地，初始化的模型参数包括：子奖励回报权重生成策略函数π(oⁱ|θ)的参数θ，智能体的局部状态-动作值函数

的参数

子奖励回报权重评价器Q^tot(o,w|θ^h)的参数θ^h；

(3)对每一个智能体i，每隔K个时间步长，根据智能体i观察到的环境状态oⁱ，计算智能体i的子奖励回报权重向量

π(oⁱ|θ)是智能体的子奖励回报权重生成策略函数，θ是其参数；

其中，所述多智能体是完全合作关系，即具有一个共同的目标；

一般地，所述智能体的数量不大于10；

(4)对每一个智能体i，在每个时间步长，根据智能体i观察到的环境状态oⁱ，根据智能体的局部状态-动作值函数

计算状态-动作值，按照贪心策略选取智能体该时刻t将执行的动作

是其参数；

其中，计算智能体该时刻将执行的动作

一般使用基于值函数的方法；

(5)将所有智能体产生的动作联合动作

输入到环境中执行，得到所有智能体的全局奖励为r，根据子奖励回报函数得到每个智能体的子奖励回报值为

以及对新的环境状态的观察为o′＝(o′₁,……,o′_n)；

(6)对每一个智能体i，每个时间步长，根据步骤(5)中得到的子奖励回报值及步骤(3)中得到的子奖励回报权重向量计算每个智能体i的局部奖励值

其中，根据步骤(5)中得到的子奖励回报值

及步骤(3)中得到的子奖励回报权重向量

计算每个智能体i的局部奖励值为：

(7)每个时间步长，更新每个智能体的局部状态-动作值函数

的参数，

其中oⁱ为智能体i观察的环境状态，

为选择的动作，L是损失函数，

其中，λ是学习率，γ∈(0，1]是折扣因子，oⁱ⁺¹是智能体对下一时刻的环境状态的观察；

(8)每隔K个时间步长，更新子奖励回报权重评价器Q^tot(o,w|θ^h)的参数θ^h，

其中o＝(o₁,……,o_n)是所有智能体的联合观察状态，

是所有智能体的联合子奖励回报权重向量，L^h是损失函数，L^h对参数θ^h连续可导，

λ是学习率，γ∈(0，1]是折扣因子，R^K＝∑_Kr为前K个时间步长的全局累积回报，o′＝(o′₁,……,o′_n)是所有智能体对新的环境状态的观察；

(9)每隔K个时间步长，更新子奖励回报权重生成策略函数π(oⁱ|θ)的参数θ，

其中λ是子奖励回报权重生成策略函数的学习率；

(10)学习过程收敛或者达到最大迭代次数，则结束，否则返回步骤(3)。

进一步地，本发明实施例中，间隔步长数5≤K≤20；

进一步地，子奖励回报权重生成策略函数π(oⁱ|θ)、智能体的局部状态-动作值函数

子奖励回报权重评价器Q^tot(o,w|θ^h)均为循环神经网络；

进一步地，所述智能体的可执行的动作为离散的动作，且数量≤5。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，包括如下步骤：

(1)根据先验知识将全局回报划分为m类子奖励回报，并设置对应的子奖励回报函数；

(2)初始化模型参数；

(3)对每一个智能体i，每隔K个时间步长，根据智能体i观察到的环境状态oⁱ，计算智能体i的子奖励回报权重向量

π(oⁱ|θ)是智能体的子奖励回报权重生成策略函数，θ是其参数；

(4)对每一个智能体i，在每个时间步长t，根据智能体i观察到的环境状态oⁱ，根据智能体的局部状态-动作值函数

计算状态-动作值，按照贪心策略选取智能体该时刻t将执行的动作

是其参数；

(5)将所有智能体产生的动作联合动作

输入到环境中执行，得到所有智能体的全局奖励r，根据子奖励回报函数得到每个智能体的子奖励回报值为

以及对新的环境状态的观察为o′＝(o′₁,……，o′_n)；

(6)对每一个智能体i，每个时间步长，根据步骤(5)中得到的子奖励回报值及步骤(3)中得到的子奖励回报权重向量计算每个智能体i的局部奖励值

(7)每个时间步长，更新每个智能体的局部状态-动作值函数

的参数，

其中oⁱ为智能体i观察的环境状态，

为选择的动作，L是损失函数，

其中，λ是学习率，γ∈(0，1]是折扣因子，oⁱ⁺¹是智能体对下一时刻的环境状态的观察；

(8)每隔K个时间步长，更新子奖励回报权重评价器Q^tot(o，w|θ^h)的参数θ^h，

其中o＝(o₁,……,o_n)是所有智能体的联合观察状态，

是所有智能体的联合子奖励回报权重向量，L^h是损失函数，L^h对参数θ^h连续可导，

λ是学习率，γ∈(0，1]是折扣因子，R^K＝∑_Kr为前K个时间步长的全局累积回报，o′＝(o′₁,……,o′_n)是所有智能体对新的环境状态的观察；

(9)每隔K个时间步长，更新子奖励回报权重生成策略函数π(oⁱ|θ)的参数θ，

其中λ是子奖励回报权重生成策略函数的学习率；

(10)学习过程收敛或者达到最大迭代次数，则结束，否则返回步骤(3)。

2.如权利要求1或2所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，所述多智能体是完全合作关系，即具有一个共同的目标。

3.如权利要求1所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，所述步骤(4)中计算智能体该时刻将执行的动作

使用基于值函数的方法。

4.如权利要求1或2所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，所述步骤(2)中，初始化的模型参数包括：子奖励回报权重生成策略函数π(oⁱ|θ)的参数θ，智能体的局部状态-动作值函数

的参数

子奖励回报权重评价器Q^tot(o，w|θ^h)的参数θ^h。

5.如权利要求1或2所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，所述步骤(6)中，根据步骤(5)中得到的子奖励回报值

及步骤(3)中得到的子奖励回报权重向量

计算每个智能体i的局部奖励值为：

6.如权利要求1或2所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，间隔步长数5≤K≤20。

7.如权利要求1或2所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，子奖励回报权重生成策略函数π(oⁱ|θ)、智能体的局部状态-动作值函数

子奖励回报权重评价器Q^tot(o，w|θ^h)均为循环神经网络。

8.如权利要求1或2所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，所述智能体的可执行的动作为离散的动作，且数量≤5。

9.如权利要求1或2所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，所述步骤(1)中子奖励回报的种类数量为4≤m≤10。

10.如权利要求1或2所述的基于奖励自适应分配的合作多智能体强化学习方法，其特征在于，所述智能体的数量不大于10。

Images