CN110919659A - 一种基于ddgpes的机器人控制方法 - Google Patents

Abstract

一种基于DDGPES的机器人控制方法，涉及一种机器人的控制方法，属于控制领域。本发明是为了解决现有的机器人控制方法中存在策略参数调整和均匀采样“无效”动作问题，以及Agent容易陷入局部最优的问题。本发明将机器人的控制决策系统记为智能体Agent；针对Agent，利用DQN网络进行决策，进而实现机器人进行控制。DQN网络应用中，结合DDES策略和GPES策略，GPES策略通过计算difference的值，根据Agent学习的过程动态的调整ε‑greedy策略中的ε参数，以1‑ε的概率执行argmax_a∈A Q(s,a_i)动作，Agent以ε的概率进行探索。同时，采用DDES探索利用策略确定损失函数L_D＝L‑E_{π′∈Π′}[αD(π,π′)]。主要用于机器人的控制。

Description

一种基于DDGPES的机器人控制方法

技术领域

本发明涉及一种机器人的控制方法，属于控制领域。

背景技术

随着计算机图形技术、网络技术和人机交互技术的发展，视频游戏的研究也进入到了一个全新的阶段。近年来，DRL(Deep Reinforcement Learning)在机器人导航、指挥决策、视频游戏等多个应用领域受到关注。随着机器人技术的发展，将DRL应用于机器人(或智能体Agent)的控制也取得了一定的成果，但是将DRL应用于于机器人时，现有的基于深度学习的控制中，深度强化学习在选择何种行动策略时，不可避免地会遇到强化学习的难点之一，即探索与利用的平衡策略。目前主流深度强化学习算法中用于解决此问题的方法ε-greedy策略，因实现简单，可以在一定程度上平衡探索利用的问题而被广泛使用。

ε-greedy策略具体如下所示：

其中rand是随机数。ε-greedy策略的原理是：按概率1-ε选取Q值中最大的动作并执行。然而，在这些等概率的动作中往往存在“坏”动作，即：有些动作对算法的训练是无效的甚至延缓算法的收敛，会增加Agent到达目标点的代价的问题。同时，ε值在训练初期接近1，同时随着Agent不断探索对环境不断学习，ε值需要不断手动设置减小，对于动态的学习过程，不能实时的根据Agent的学习过程调整ε的值，其探索与利用问题仍然存在，在一定程度上将会影响算法的学习速率和效率。

同时，对于欺骗性的局部最优值或稀疏奖励信号的复杂环境，探索仍然是一个主要的挑战。在具有欺骗性报酬的环境中，代理可能陷入局部最优，并且永远不会发现其他策略来寻找更大的报酬。例如，在MuJoCo的HalfCheetah中，agent很快学会了翻转，然后“摇摆”前进，这是次优策略。此外，只有稀疏奖励的环境提供的训练信号很少，使得agent很难发现可行的策略。

发明内容

本发明是为了解决现有的机器人控制方法中存在策略参数调整和均匀采样“无效”动作问题，以及Agent容易陷入局部最优的问题。

一种基于DDGPES的机器人控制方法，具体包括以下步骤：

将机器人的控制决策系统记为智能体Agent；

针对Agent，利用DQN网络进行决策，进而实现机器人进行控制；

DQN网络中，采用DDES探索利用策略确定损失函数L_D：

L_D＝L-E_{π′∈Π′}[αD(π,π′)]

其中，L表示为DRL算法中用于更新当前策略网络的损失函数；π是Agent当前的策略，π′是有限策略集合Π′的一个样本，D(π,π′)是π和π′之间的度量距离，α是D的比例因子，E[·]表示期望，E_{π′∈Π′}[·]表示π′∈Π′条件下对应的E[·]；

在利用DQN网络进行决策时，使用波尔茲曼策略选择行动，包括以下步骤：

生成随机数，判断随机数与概率ε的大小；

当随机数大于等于概率ε时，计算

并判断是否达到目标状态；其中，Q(·)为Q函数，表示某一刻状态下采用动作能够获得收益的期望值；a_i表示当前状态s下所有可以选择的动作，i＝1,2,3…；A为当前状态s下所有可以选择的动作的集合；

所述概率ε为ε-greedy策略中ε参数，具体为

其中，D为环比增长率，difference＝Qmax_t(s,a_i)-Qmax_t-1(s,a_i)，Qmax_t(s,a_i)为状态动作对(s,a_i)当前时间步下的最大收益的期望值，Qmax_t-1(s,a_i)为状态动作对(s,a_i)上一时间步对应的最大收益的期望值；

否则，计算

根据p(s,a_i)执行动作；然后判断是否达到目标状态，并更新difference。

有益效果：

利用本发明对机器人进行控制时，由于本发明将GPES策略和GPES策略相结合进行优势互补，DDES策略通过计算difference＝Qmax_t(s,a_i)-Qmax_t-1(s,a_i)的值，根据Agent学习的过程动态的调整ε-greedy策略中的ε参数，以1-ε的概率执行argmax_a∈A Q(s,a_i)动作，Agent以ε的概率进行探索，为了防止“坏”动作影响算法的学习速率和效率，GPES策略改变传统等概率探索的做法，而是计算该状态下每个动作的Q值在所有动作Q值加和的概率，进行动作的选择。DDES策略是在计算损失函数阶段，通过优化策略网络参数θ的过程中，根据当前策略π与之前策略π′之间的KL-divergence距离通过影响损失函数，进而影响反向梯度更新θ来激励Agent在与环境交互的过程中不断探索，解决深度强化学习在欺骗性的局部最优值或稀疏奖励信号的复杂环境中训练速度慢，容易陷入局部最优的问题。

附图说明

图1为DDGPES的网络结构示意图；

图2为GPES探索利用策略流程图；

图3为SOBTPER-DDGPES网络结构示意图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，

本实施方式为一种基于DDGPES的机器人控制方法，DDGPES即基于多样性驱动和贪婪波尔茲曼的探索策略(Based on Diversity-Driven and Greedy Poltzman'sExploration Strategy，简写为DDGPES)，具体包括以下步骤：

将机器人的控制决策系统记为智能体Agent；

针对Agent，利用DQN进行决策，进而实现机器人进行控制；

在深度强化学习中，Agent对于外界环境是未知的，所以Agent必须通过探索来获取相关的环境知识，过分的探索会影响强化学习的收敛速度，而过分利用会使强化学习容易陷入局部最优解，有效的探索仍然是一个具有挑战性的研究问题，特别是当Agent处于欺骗性的或稀疏的奖赏环境中时。为了解决这一问题，本发明提出了一种多样性驱动的探索利用策略(Diversity-Driven Exploration Strategy，简写为DDES探索利用策略)，主要特点是在原始DRL算法的损失函数基础上减去KL-divergence距离，其目的是鼓励DRL中的Agent在训练的过程中尝试采取与以前的策略所不同的策略，对于激励Agent训练过程中探测出更丰富的状态集是一种有效的方法，该方法可以显著地增强Agent对环境的搜索行为，从而避免了陷入局部最优的策略。

DDES探索利用策略的实现是基于修改损失函数L来实现，DDES探索利用策略的损失函数L_D公式如下：

L_D＝L-E_{π′∈Π′}[αD(π,π′)] (1)

其中，L＝E_s,a,r,s′[(y-Q(s,a；θ))²]表示原始DRL算法中用于更新当前策略网络的损失函数，s为机器人的状态，a为机器人的动作，θ为网络参数，Q(·)为Q函数，表示某一刻状态下采用动作能够获得收益的期望；y是DQN中利用target策略网络μ′和target Q网络Q′得到的计算结果；r为奖励值，s′为转移后的状态，E[·]表示期望，E_s,a,r,s′[·]为s,a,r,s′条件下对应的E[·]；

π是Agent当前的策略，π′是有限策略集合Π′的一个样本，D是π和π′之间的度量距离，α是D的比例因子，E_{π′∈Π′}[·]表示π′∈Π′条件下对应的E[·]。公式中第二项鼓励Agent向各个梯度方向更新策略π，以至于π与策略集合Π′中的策略样本是发散的。

原始DQN算法及其变体算法是通过损失函数L不断迭代更新当前策略网络，本发明在此基础上引入E_{π′∈Π′}[αD(π,π′)]，π′和π分布越相似，E_{π′∈Π′}[αD(π,π′)]的值越小，L_D的值越大，说明当前策略π需要反向梯度调整的幅度越大；当前策略π与最近策略π′分布差异越大，L_D的值越小，说明当前π正在不断探索新的策略，需要反向梯度小幅度调整。

公式(1)提供了如下几个对Agent与环境交互过程中非常有利的性质。

(1)它会驱使Agent主动尝试新策略，增加访问新状态的机会，即使没有从环境ε中获取奖励信号。这个特征属性在稀疏奖励的环境中是特别有用的。

(2)通过修改代理的当前策略π，度量距离D可以激发探索，而不是随机改变Agent其行为。

(3)在训练阶段，它允许Agent执行贪婪策略或随机策略进行有效的探索。对于greedy策略，由于D需要Agent每次更新后来调整π，对于一个状态的greedy动作可能会相应的发生变化，潜在地指示代理探索未知的状态。这个特征属性也确保Agent在熟悉的状态始终如一的执行动作，因为π和π′对于那些状态有相同的输出结果。

DDES探索利用策略的实现需要将过去的Q-values(表示为Q′(s,a))存储在经验回放池中，用softmax函数来表示Q-values，如下所示：

公式(1)中的度量距离使用KL-divergence距离，可以用D_KL表示。KL-divergence距离(相对熵)是对两个概率分布间差异的非对称性度量。其中，参与计算的一个概率分布为真实分布，另一个分布为理论(拟合)分布，相对熵表示在理论分布与真实分布拟合的过程中产生的信息损耗。设P(x)与Q(x)分别表示离散随机变量X上的概率分布，相对熵的为：

因此，本发明结合上述相对熵和softmax表示的Q-values可以对公式(1)中的D和π、π′进行替代，过程如下所示：

L_D＝L-E_{π′∈Π′}[αD(π,π′)] (5)

针对上述ε-greedy策略的两个问题，本发明还提出了贪婪波尔茲曼探索利用策略(Greedy Poltzman's Exploration Strategy，简写为GPES探索利用策略)，GPES探索利用策略流程图如图2所示，该策略在ε-greedy策略的基础上进行了两处创新，首先，本发明提出以Agent在各状态下的学习状况为依据，对参数进行自适应调整，解决ε参数根据运行时间或运行的帧数设置无法根据Agent运行的状态动态调整的问题；针对ε-greedy策略中，Agent以概率ε等概率探索“坏”动作会增加学习者到达目标点的代价问题，本发明采用了波尔茲曼策略，该策略对Agent所处状态下的所有动作的Q(s,a_i)值进行判断，最后选择概率p(s,a_i)，使Agent在探索的过程中有目的、有针对的进行探索，保证Agent优先探索价值大的动作的同时，也保证了探索的多样性，减少低价值探索的可能。其中ε-greedy策略为全局的选择策略，玻尔兹曼为局部的选择策略，过程如下：

其中，a_i表示当前状态S_t下所有可以选择的动作，i＝1,2,3…。p(s,a_i)代表选择动作a_i的概率，即通过对各个动作a_i对应的Q(s,a_i)，按照p(s,a_i)进行动作选择。

difference用来分类Agent在各个状态下的学习状况，该值状态动作对(s,a_i)当前时间步下的最大收益的期望值Qmax_t(s,a_i)与(s,a_i)上一时间步对应的最大收益的期望值Qmax_t-1(s,a_i)的差值构成，具体如下所示：

difference＝Qmax_t(s,a_i)-Qmax_t-1(s,a_i) (8)

本发明将状态学习状况分为三种情况，具体如下所示：

(1)当difference＝0，说明Agent当前学习策略已经收敛或者上一个时间步所执行的动作并不是最好的选择。无论属于哪种情况，此刻Agent应该侧重保持探索的状态；

(2)当difference＜0，说明上一个时间步，Agent根据行动策略选择的动作是“坏”的或者选择的动作当前对学习策略无贡献，所以当前时间步的动作应该侧重利用现有“经验知识”来摆脱这种困境；

(3)当difference＞0，说明上一个时间步，Agent根据策略选择的动作是“好”的，此时本发明使用环比增长率D判断difference增长情况，若D值比较大，说明Agent在此状态并没有收敛，需要侧重探索，反之，侧重使用学习到的策略。

综上所述，参数ε的调整表达式如所示：

本发明将DDES和GPES相结合，提出了混合的探索利用策略，即：基于多样性驱动和贪婪波尔茲曼的探索策略(Based on Diversity-Driven and Greedy Poltzman'sExploration Strategy，简写为DDGPES探索利用策略)。

该策略在Agent与环境进行交互的过程中，将DDES策略和GPES策略相结合进行优势互补，GPES策略通过计算difference＝Qmax_t(s,a_i)-Qmax_t-1(s,a_i)的值，根据Agent学习的过程动态的调整ε-greedy策略中的ε参数，以1-ε的概率执行argmax_a∈A Q(s,a_i)动作，Agent以ε的概率进行探索，为了防止“坏”动作影响算法的学习速率和效率，GPES策略改变传统等概率探索的做法，而是计算该状态下每个动作的Q值在所有动作Q值加和的概率，进行动作的选择。DDES策略是在计算损失函数阶段，通过优化策略网络参数θ的过程中，根据当前策略π与之前策略π′之间的KL-divergence距离通过影响损失函数，进而影响反向梯度更新θ来激励Agent在与环境交互的过程中不断探索，解决深度强化学习在欺骗性的局部最优值或稀疏奖励信号的复杂环境中训练速度慢，容易陷入局部最优的问题。π和π′中可执行动作Q值分布越相似，说明π执行的策略越接近学习到的策略，KL-divergence距离越小，L_D的值越大，反向梯度调整当前的策略幅度越大，激励算法不断探索新的状态；相反，π和π′中可执行动作Q值分布差别越大，说明π执行的策略是不断探索的新的策略，KL-divergence距离越大，L_D的值越小，反向梯度调整当前的策略幅度越小，激励算法保持探索新的状态。

实施例

结合图3说明本实施例，利用本发明对机器人进行控制，具体过程包括以下步骤：

步骤一、初始化：当前值网络Q与目标值网络Q′的权重分别为θ与θ′，经验回放池E通过智能体Agent与环境交互存储样本序列，二级优先级

初始化临时经验回放池

为空，并构建用于存储单个样本序列的经验回放池h；

步骤二、将当前状态S_m输入当前值网络Q，m＝1,2,…,t；

利用探索利用策略GPES选择Agent执行的动作A_m，根据当前状态S_m和动作A_m获得即时奖赏R_m和状态S_m+1；将样本数据＜S_m；A_m；S_m+1；R_m＞存储到经验回放池h中，并赋予当前经验回放池中最大的优先级为

代表第m个样本数据的优先级；

探索利用策略GPES选择Agent执行的动作A_m的过程如下：

生成随机数，判断随机数与概率ε的大小；

当随机数大于等于概率ε时，计算argmax_ai∈AQ(s,a_i)，并判断是否达到目标状态；其中，Q(·)为Q函数，表示某一刻状态下采用动作能够获得收益的期望值；a_i表示当前状态s下所有可以选择的动作，i＝1,2,3…；A为当前状态s下所有可以选择的动作的集合；

所述概率ε为ε-greedy策略中ε参数，具体为

其中，D为环比增长率，difference＝Qmax_t(s,a_i)-Qmax_t-1(s,a_i)，Qmax_t(s,a_i)为状态动作对(s,a_i)当前时间步下的最大收益的期望值，Qmax_t-1(s,a_i)为状态动作对(s,a_i)上一时间步对应的最大收益的期望值；

否则，计算

根据p(s,a_i)执行动作；然后判断是否达到目标状态，并更新difference。

步骤三、判断状态S_t是否达到中止状态，若状态S_t达到中止状态，将经验回放池h中样本数据组成的样本序列l₁＝{＜S₁；A₁；S₂；R₁＞,＜S₂；A₂；S₃；R₂＞,…,＜S_t；A_t；S_t+1；R_t＞}保存到经验回放池E中，并清空经验回放池h，执行步骤十二；

步骤四、若状态S_t未达到中止状态，则判断是否满足t％K＝0，其中：t％K＝0表示t对K取余等于0，K为训练频率；

若不满足t％K＝0，则执行步骤十和步骤十一；

若满足t％K＝0，则计算出经验回放池E中包含的样本序列的数量M，并执行步骤五至步骤十一；

步骤五、分别计算出经验回放池E中每个样本序列的累计奖赏值，根据每个样本序列的累计奖赏值计算出每个样本序列的优先级；具体过程为：

经验回放池E中第j个样本序列l_j的累计奖赏值G_j为：

其中：γ为折扣因子，T′为第j个样本序列l_j中的样本数据总个数；

经验回放池E中第j个样本序列l_j的优先级p_j为：

p_j＝G_j+ε

步骤六、分别根据步骤五计算出的每个样本序列的优先级来计算每个样本序列被采样的概率；具体过程为：

第j个样本序列l_j被采样的概率P(j)为：

其中：p_k′代表第k′个样本序列l_k′的优先级，M代表经验回放池E中样本序列的总个数，α代表比例系数；

步骤七、根据步骤六计算出的每个样本序列被采样的概率，对经验回放池E中的样本序列进行采样，将采样出来的样本序列放入临时经验回放池

中，得到临时经验回放池

中含有的样本数据的个数

临时经验回放池

中每个样本数据的采样概率，具体过程为：

临时经验回放池

中第e个样本数据的采样概率

为：

其中：

为第e个样本数据的优先级，

为第n个样本数据的优先级，α为常数，α的取值为[0,1]。

步骤八、计算步骤七临时经验回放池

中每个样本数据的采样概率，根据每个样本数据的采样概率，从临时经验回放池

的

个样本数据中抽取出k个样本数据；

再计算每个抽取出的样本数据的采样重要性系数ω_e以及TD-errorδ_e，根据TD-errorδ_e计算出每个抽取出的样本数据的优先级；

根据每个抽取出的样本数据在经验回放池

中的样本序列中的位置，进行反向更新优先级；具体过程为：

对于抽取出的k个样本数据中的任意一个样本数据，若该样本数据是所在样本序列中的第i个样本数据，则该样本数据的优先级会向前以衰减的形式传播；

该样本数据所在样本序列中的第i-1个样本数据的优先级p_i-1为：

p_i-1＝max{p_i·ρ¹,p_i-1}

其中：p_i为该样本数据的优先级，p_i-1为第i-1个样本数据的原优先级，ρ为衰减因子；

该样本数据所在样本序列中的第i-2个样本数据的优先级p_i-2为：

p_i-2＝max{p_i·ρ²,p_i-2}

其中：p_i-2为第i-2个样本数据的原优先级，ρ为衰减因子；

且定义该样本数据的优先级向前传播的窗口容量W为：

同理，计算出窗口容量W内，该样本数据前面的其他样本数据的优先级；

从经验回放池的策略集合Π中抽取策略π′，计算E_{π′∈Π′}[αD(π,π′)]；

根据采样重要性系数ωe和TD-errorδe计算每个抽取出的样本数据的累计梯度；计算累计的过程采用DDES策略进行，L_D＝L-E_{π′∈Π′}[αD(π,π′)]；

步骤九、根据步骤八计算出的累计梯度更新当前值网络Q的权重θ；

步骤十、当t％L＝0时，更新目标值网络Q′的权重为：当前值网络Q的当前权重；其中：L为目标值网络Q′的权重更新频率；

步骤十一、令S_m＝S_m+1，重复执行步骤二至步骤十一，如此循环，直至达到设置的最大迭代次数时停止执行，获得训练好的当前值网络Q与目标值网络Q′；

步骤十二、本次指挥决策过程结束，将S_m设置初始状态进行下一次指挥决策过程。

Claims (4)

1.一种基于DDGPES的机器人控制方法，具体包括以下步骤：

将机器人的控制决策系统记为智能体Agent；

针对Agent，利用DQN网络进行决策，进而实现机器人进行控制；

其特征在于，DQN网络中，采用DDES探索利用策略确定损失函数L_D：

L_D＝L-E_{π′∈Π′}[αD(π,π′)]

其中，L表示为DRL算法中用于更新当前策略网络的损失函数；π是Agent当前的策略，π′是有限策略集合Π′的一个样本，D(π,π′)是π和π′之间的度量距离，α是D的比例因子，E[·]表示期望，E_{π′∈Π′}[·]表示π′∈Π′条件下对应的E[·]；

在利用DQN网络进行决策时，使用波尔茲曼策略选择行动，包括以下步骤：

生成随机数，判断随机数与概率ε的大小；

当随机数大于等于概率ε时，计算

并判断是否达到目标状态；其中，Q(·)为Q函数，表示某一刻状态下采用动作能够获得收益的期望值；a_i表示当前状态s下所有可以选择的动作，i＝1,2,3…；A为当前状态s下所有可以选择的动作的集合；

所述概率ε为ε-greedy策略中ε参数，具体为

其中，D为环比增长率，difference＝Qmax_t(s,a_i)-Qmax_t-1(s,a_i)，Qmax_t(s,a_i)为状态动作对(s,a_i)当前时间步下的最大收益的期望值，Qmax_t-1(s,a_i)为状态动作对(s,a_i)上一时间步对应的最大收益的期望值；

否则，计算

根据p(s,a_i)执行动作；然后判断是否达到目标状态，并更新difference。

2.根据权利要求1所述的一种基于DDGPES的机器人控制方法，其特征在于，所述度量距离D(π,π′)使用KL-divergence距离。

3.根据权利要求1或2所述的一种基于DDGPES的机器人控制方法，其特征在于，所述的L＝E_s,a,r,s′[(y-Q(s,a；θ))²]，其中，s为机器人的状态，a为机器人的动作，θ为网络参数，Q(·)为Q函数，表示某一刻状态下采用动作能够获得收益的期望；y是DDPG中利用target策略网络μ′和target Q网络Q′得到的计算结果；r为奖励值，s′为转移后的状态，E[·]表示期望，E_s,a,r,s′[·]为s,a,r,s′条件下对应的E[·]。

4.一种基于DDGPES的机器人控制方法，具体包括以下步骤：

步骤一、初始化：当前值网络Q与目标值网络Q′的权重分别为θ与θ′，经验回放池E通过智能体Agent与环境交互存储样本序列，二级优先级

初始化临时经验回放池

为空，并构建用于存储单个样本序列的经验回放池h；

步骤二、将当前状态S_m输入当前值网络Q，m＝1,2,…,t；

利用探索利用策略GBES选择Agent执行的动作A_m，根据当前状态S_m和动作A_m获得即时奖赏R_m和状态S_m+1；将样本数据＜S_m；A_m；S_m+1；R_m＞存储到经验回放池h中，并赋予当前经验回放池中最大的优先级为

代表第m个样本数据的优先级；

探索利用策略GPES选择Agent执行的动作A_m的过程如下：

生成随机数，判断随机数与概率ε的大小；

当随机数大于等于概率ε时，计算

并判断是否达到目标状态；其中，Q(·)为Q函数，表示某一刻状态下采用动作能够获得收益的期望值；a_i表示当前状态s下所有可以选择的动作，i＝1,2,3…；A为当前状态s下所有可以选择的动作的集合；

所述概率ε为ε-greedy策略中ε参数，具体为

其中，D为环比增长率，difference＝Q max_t(s,a_i)-Q max_t-1(s,a_i)，Q max_t(s,a_i)为状态动作对(s,a_i)当前时间步下的最大收益的期望值，Q max_t-1(s,a_i)为状态动作对(s,a_i)上一时间步对应的最大收益的期望值；

否则，计算

根据p(s,a_i)执行动作；然后判断是否达到目标状态，并更新difference；

步骤三、判断状态S_t是否达到中止状态，若状态S_t达到中止状态，将经验回放池h中样本数据组成的样本序列l₁＝{＜S₁；A₁；S₂；R₁＞,＜S₂；A₂；S₃；R₂＞,…,＜S_t；A_t；S_t+1；R_t＞}保存到经验回放池E中，并清空经验回放池h，执行步骤十二；

步骤四、若状态S_t未达到中止状态，则判断是否满足t％K＝0，其中：t％K＝0表示t对K取余等于0，K为训练频率；

若不满足t％K＝0，则执行步骤十和步骤十一；

若满足t％K＝0，则计算出经验回放池E中包含的样本序列的数量M，并执行步骤五至步骤十一；

步骤五、分别计算出经验回放池E中每个样本序列的累计奖赏值，根据每个样本序列的累计奖赏值计算出每个样本序列的优先级；

步骤六、分别根据步骤五计算出的每个样本序列的优先级来计算每个样本序列被采样的概率；

步骤七、根据步骤六计算出的每个样本序列被采样的概率，对经验回放池E中的样本序列进行采样，将采样出来的样本序列放入临时经验回放池

中，得到临时经验回放池

中含有的样本数据的个数

步骤八、计算步骤七临时经验回放池

中每个样本数据的采样概率，根据每个样本数据的采样概率，从临时经验回放池

的

个样本数据中抽取出k个样本数据；

再计算每个抽取出的样本数据的采样重要性系数ω_e以及TD-errorδ_e，根据TD-errorδ_e计算出每个抽取出的样本数据的优先级；

根据每个抽取出的样本数据在经验回放池

中的样本序列中的位置，进行反向更新优先级；

从经验回放池的策略集合Π中抽取策略π′，计算E_{π′∈Π′}[αD(π,π′)]；

根据采样重要性系数ω_e和TD-errorδ_e计算每个抽取出的样本数据的累计梯度；计算累计的过程采用DDES策略进行，L_D＝L-E_{π′∈Π′}[αD(π,π′)]；

步骤九、根据步骤八计算出的累计梯度更新当前值网络Q的权重θ；

步骤十、当t％L＝0时，更新目标值网络Q′的权重为：当前值网络Q的当前权重；其中：L为目标值网络Q′的权重更新频率；

步骤十一、令S_m＝S_m+1，重复执行步骤二至步骤十一，如此循环，直至达到设置的最大迭代次数时停止执行，获得训练好的当前值网络Q与目标值网络Q′；

步骤十二、本次指挥决策过程结束，将S_m设置初始状态进行下一次指挥决策过程。

Images