CN108038545A - 基于Actor-Critic神经网络连续控制的快速学习算法 - Google Patents

Abstract

本发明涉及一种Actor‑Critic神经网络连续控制的快速学习算法，经验池初始化、神经网络初始化、构造输出干扰、积累经验池、根据优先数prop采样及训练深度强化学习神经网络，根据由TD_diff、sigmoid_TD和使用迹UT计算出来的优先数prop来优化采样的算法，TD_error的收敛速度加快，使得算法的学习速度加快。

Description

基于Actor-Critic神经网络连续控制的快速学习算法

技术领域

本发明属于强化学习算法技术领域，具体涉及一种基于Actor-Critic神经网络连续控制的快速学习算法。

背景技术

近年来，深度强化学习大放异彩，Google研发的围棋程序AlphaGo成功打败世界顶级棋手李世石，在世界范围掀起了人工智能的热潮，而AlphaGo的成功，归功于深度强化学习算法。现在的深度强化学习算法大多使用了记忆回放(memory replay)这一方法。记忆回放的概念在1993年便被提出，到2013年随着DQN算法的提出，记忆回放在深度强化学习的各个方面被广泛使用。但由于记忆回放往往采取随机取样的方式，导致神经网络对某些状态重复学习，优先状态学习不到，并且经验池中一些较优的历史数据不能得到优先采样。因此，如何优化经验池采样是深度强化学习算法提示的一个关键。

经验池优化采样的方法不多，有构造具有状态序列对的最大数量μ_rms和试验最大次数K_num两个参数约束的容器来使经验池保留一些较优的历史数据的方法，还有根据仅TD_error的大小的优先采样的方法。仅根据时间差分误差TD_error大小的方法有时的表现还不如随机采样，导致学习效率低。

发明内容

本发明的目的就是针对上述技术的不足，提供一种基于Actor-Critic神经网络连续控制的快速学习算法。

为实现上述目的，本发明所设计的基于Actor-Critic神经网络连续控制的快速学习算法，包括如下步骤：

步骤1)初始化

1.1)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+3，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息、使用迹和时间差分错误的空间；

1.2)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θ^μ)网络、μ(s|θ^μ′)网络、Q(s,a|θ^Q)网络及Q(s,a|θ^Q′)网络共四个网络，其中，μ(s|θ^μ)网络为行为估计网络、μ(s|θ^μ′)网络为行为目标网络、Q(s,a|θ^Q)网络为评价估计网络、Q(s,a|θ^Q′)网络为评价目标网络；

随机初始化μ(s|θ^μ)网络的参数θ^μ和随机初始化Q(s,a|θ^Q)网络的参数θ^Q，然后将μ(s|θ^μ)网络的参数θ^μ值赋予行为目标网络，θ^μ′←θ^μ，将Q(s,a|θ^Q)网络的参数θ^Q值赋予评价目标网络，θ^Q′←θ^Q；

步骤2)构造输出干扰

根据当前输入状态s_t，通过网络得到动作a_t′，再设定一个均值为a_t′、方差为var²的随机正态分布从随机正态分布中随机得到一个实际输出动作a_t，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；

步骤3)积累经验池

3.1)根据当前输入状态s_t，通过网络得到动作a_t′，再根据步骤2)构造的输出干扰得到实际输出动作a_t，并从环境中得到奖励r_t和后续输入状态s_t+1，将当前输入状态s_t，实际输出动作a_t，奖励r_t和后续输入状态s_t+1存储在经验池中，并将当前输入状态s_t、实际输出动作a_t、奖励r_t、后续输入状态s_t+1统称为状态转移信息transition；

3.2)计算状态转移信息transition的时间差分错误TD_error1

3.3)储存信息

在经验池中存储步骤3.1)中状态转移信息transition和状态转移信息transition对应的时间差分错误TD_error1，并初始化状态转移信息transition的使用迹UT为1，并将使用迹UT存储在经验池中；

3.4)将后续输入状态s_t+1当做现在的当前输入状态s_t，重复步骤3.1)～步骤3.3)，将计算得到的状态转移信息transition、状态转移信息transition对应的时间差分错误TD_error1和使用迹UT存储在经验池中；

3.5)重复步骤3.4)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤3.4)便跳转执行一次步骤4)和步骤5)；

步骤4)根据优先数prop采样

4.1)采样

从经验池中取出2×batch组样本，batch代表自然数；

4.2)对采样中的每组样本分别计算时间差分错误TD_error2

4.3)计算每组样本中变换后时间差分错误TD_error记为TD_diff；

同时，计算每组样本中经过变换后的时间差分错误TD_error2′记为sigmoid_TD；

4.4)计算每组样本中的优先数prop

4.5)取样

完成步骤4.1)～步骤4.4)后，根据优先数prop大小优先采样的原则，按从大到小的顺序取出前几组batch组样本供神经网络学习；

4.6)更新使用迹UT

步骤5)训练深度强化学习神经网络

5.1)对评价网络参数进行更新

5.2)对行为估计网络参数进行更新

5.3)对目标网络参数进行更新

5.4)分为xm回合，每个回合重复步骤5.1)～5.3)xn次，每次重复5.1)～5.3)后，输出干扰的var值更新为var＝max{0.1，var＝var×gamma}，其中xm、xn代表自然数，gamma为大于零小于1的有理数。

进一步地，所述步骤3.2)中，计算状态转移信息transition的时间差分错误TD_error1具体过程为：

根据当前输入状态s_t、实际输出动作a_t通过网络得到估计Q值即eval_Q，根据后续输入状态s_t+1、奖励r_t通过网络得到目标Q值即target_Q；再根据时间差分错误TD_error1＝eval_Q-target_Q，得到时间差分错误TD_error1，其中代表t时刻评价估计网络的参数，代表t时刻评价目标网络的参数，t为当前输入状态的时刻。

进一步地，所述步骤4.2)中，对采样中的每组样本分别计算时间差分错误TD_error2具体过程为：

根据每组样本中的状态转移信息transition通过网络和网络得到对应的时间差分错误TD_error2，t′为步骤3.5)中经验池空间被存储满后执行步骤3.4)的输入状态时刻，也就是说步骤3.5)中经验池空间被存储满后每执行一次步骤3.4)时的输入状态时刻即为t′。

进一步地，所述步骤4.3)中，

将时间差分错误TD_error的变化记为TD_diff，TD_diff＝|TD_error2-TD_error1|；

将变换后的时间差分错误TD_error2′记为sigmoid_TD，sigmoid_TD＝1/(1+e^{-TD_error 2})；

进一步地，所述步骤4.4)中，每组样本中优先数prop的计算公式为：prop＝sigmoid_TD×TD_diff×UT，UT为步骤3.3)中的使用迹UT。

进一步地，所述步骤4.6)中，更新步骤4.5)中取样的前几组batch组样本使用迹UT，更新后的使用迹UT′＝UT×λ，其中λ为自然数，代表衰减系数。

进一步地，所述步骤5.1)中，对评价网络参数进行更新的具体过程为：

根据步骤4)中优先数prop取样得到的前几组batch组样本状态转移信息transition通过网络和网络分别得到每组状态转移信息对应的估计Q′值eval_Q′和目标Q′值target_Q′，进而得到时间差分错误TD_error′，TD_error′＝target_Q′-eval_Q′；t′为步骤3.5)中经验池空间被存储满后执行步骤3.4)的输入状态时刻，也就是说步骤3.5)中经验池空间被存储满后每执行一次步骤3.4)时的输入状态时刻即为t′；

根据时间差分错误TD_error′构造出损失函数Loss，Loss＝∑TD_error′/batch；

根据损失函数Loss使用梯度下降法对评价估计网络参数θ^Q进行更新。

进一步地，所述步骤5.2)中，对行为估计网络参数进行更新的具体过程为：

每batch组样本状态转移信息transition中的s_t通过网络和输出干扰得到对应的实际输出动作a_t，根据网络的估计Q′值eval_Q′对实际输出动作a_t求导数，得到估计Q′值对实际输出动作a_t的梯度 代表对动作a_t求导数；根据网络的实际输出动作a_t值对网络参数求导数，得到实际输出动作a_t值对网络参数的梯度其中代表着对行为估计网络的参数求导数；

估计Q值对实际输出动作a_t的梯度和实际输出动作a_t值对行为估计网络参数的梯度的乘积即为估计Q值对行为估计网络参数的梯度；

使用梯度上升法对行为估计网络参数进行更新。

进一步地，所述步骤5.3)中，目标网络参数进行更新的具体过程为：

每间隔J回合，actor_eval的网络参数赋值给actor_target，每间隔K回合，critic_eval的网络参数赋值给critic_target，其中，J≠K。

本发明与现有技术相比，具有以下优点：采用上述基于Actor-Critic神经网络连续控制的快速学习算法，根据由TD_diff、sigmoid_TD和使用迹UT计算出来的优先数prop来优化采样的算法，TD_error的收敛速度加快，使得算法的学习速度加快。

附图说明

图1是本发明基于Actor-Critic神经网络连续控制的快速学习算法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示为基于Actor-Critic神经网络连续控制的快速学习算法的流程示意图，包括如下步骤：

步骤1)初始化

1.1)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+3，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息、使用迹和时间差分错误的空间，n＝2×state_dim+action_dim+3这个公式中的3即为存储奖励信息、使用迹和时间差分错误这三项的预留空间；

1.2)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θ^μ)网络、μ(s|θ^μ′)网络、Q(s,a|θ^Q)网络及Q(s,a|θ^Q′)网络共四个网络，即μ(s|θ^μ)网络为行为估计网络、μ(s|θ^μ′)网络为行为目标网络、Q(s,a|θ^Q)网络为评价估计网络、Q(s,a|θ^Q′)网络为评价目标网络；随机初始化μ(s|θ^μ)网络的参数θ^μ和随机初始化Q(s,a|θ^Q)网络的参数θ^Q，然后将μ(s|θ^μ)网络的参数θ^μ值赋予行为目标网络，即θ^μ′←θ^μ，将Q(s,a|θ^Q)网络的参数θ^Q值赋予评价目标网络，即θ^Q′←θ^Q；

步骤2)构造输出干扰

根据当前输入状态s_t，通过网络得到动作a_t′，再设定一个均值为a_t′、方差为var²的随机正态分布从随机正态分布中随机得到一个实际输出动作a_t，随机正态分布对动作a_t′施加了干扰，用于探索环境，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；

步骤3)积累经验池

3.1)根据当前输入状态s_t，通过网络得到动作a_t′，再根据步骤2)建立的输出干扰得到实际输出动作a_t，并从环境中得到奖励r_t和后续输入状态s_t+1，将当前输入状态s_t，实际输出动作a_t，奖励r_t和后续输入状态s_t+1存储在经验池中，并将当前输入状态s_t、实际输出动作a_t、奖励r_t、后续输入状态s_t+1统称为状态转移信息transition；

3.2)计算状态转移信息transition的时间差分错误TD_error1；

根据当前输入状态s_t、实际输出动作a_t通过网络得到估计Q值即eval_Q，根据后续输入状态s_t+1、奖励r_t通过网络得到目标Q值及target_Q；再根据时间差分错误TD_error1＝eval_Q-target_Q(-为减号)，得到时间差分错误TD_error1，其中代表t时刻评价估计网络的参数，代表t时刻评价目标网络的参数，t为当前输入状态的时刻；

3.3)储存信息

在经验池中存储步骤3.1)中状态转移信息transition和状态转移信息transition对应的时间差分错误TD_error1，并初始化状态转移信息transition的使用迹UT为1，并将使用迹UT存储在经验池中；

3.4)将后续输入状态s_t+1当做现在的当前输入状态s_t，重复步骤3.1)～步骤3.3)，将计算得到的状态转移信息transition、状态转移信息transition对应的时间差分错误TD_error1和使用迹UT存储在经验池中；

3.5)重复步骤3.4)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤3.4)便跳转执行一次步骤4)和步骤5)；

步骤4)根据优先数prop采样

4.1)采样

从经验池中取出2×batch组样本，batch代表自然数；

4.2)对采样中的每组样本分别计算时间差分错误TD_error2

根据每组样本中的状态转移信息transition通过网络和网络得到对应的时间差分错误TD_error2，t′为步骤3.5)中经验池空间被存储满后执行步骤3.4)的输入状态时刻，也就是说步骤3.5)中经验池空间被存储满后每执行一次步骤3.4)时的输入状态时刻即为t′；

4.3)计算每组样本中时间差分错误TD_error的变化：将时间差分错误TD_error的变化记为TD_diff，TD_diff＝|TD_error2-TD_error1|；

同时，计算每组样本中经过变换后的时间差分错误TD_error2′：将变换后的时间差分错误TD_error2′记为sigmoid_TD，sigmoid_TD＝1/(1+e^{-TD_error 2})；

4.4)计算每组样本中的优先数prop

每组样本中优先数prop的计算公式为：prop＝sigmoid_TD×TD_diff×UT，UT为步骤3.3)中的使用迹UT；

4.5)取样

完成步骤4.1)～步骤4.4)后，根据优先数prop大小优先采样的原则，按从大到小的顺序取出前几组batch组样本供神经网络学习；

4.6)更新使用迹UT

更新步骤4.5)中取样的前几组batch组样本使用迹UT，更新后的使用迹UT′＝UT×λ，其中λ为自然数，代表衰减系数；

步骤5)训练深度强化学习神经网络

5.1)对评价网络参数进行更新

根据步骤4)中优先数prop取样得到的前几组batch组样本状态转移信息transition通过网络和网络分别得到每组状态转移信息对应的估计Q′值eval_Q′和目标Q′值target_Q′，进而得到时间差分错误TD_error′，TD_error′＝target_Q′-eval_Q′；t′为步骤3.5)中经验池空间被存储满后执行步骤3.4)的输入状态时刻，也就是说步骤3.5)中经验池空间被存储满后每执行一次步骤3.4)时的输入状态时刻即为t′；

根据时间差分错误TD_error′构造出损失函数Loss，Loss＝∑TD_error′/batch；

根据损失函数Loss使用梯度下降法对评价估计网络参数θ^Q进行更新；

5.2)对行为估计网络参数进行更新

每batch组样本状态转移信息transition中的s_t通过网络和输出干扰得到对应的实际输出动作a_t，根据网络的估计Q′值eval_Q′对实际输出动作a_t求导数，得到估计Q′值对实际输出动作a_t的梯度 代表对实际输出动作a_t求导数；根据网络的实际输出动作a_t值对网络参数求导数，得到实际输出动作a_t值对网络参数的梯度其中代表着对行为估计网络的参数求导数；

估计Q值对实际输出动作a_t的梯度和实际输出动作a_t值对行为估计网络参数的梯度的乘积即为估计Q值对行为估计网络参数的梯度；

使用梯度上升法对行为估计网络参数进行更新；

5.3)对目标网络参数进行更新

每间隔J回合，actor_eval的网络参数赋值给actor_target，每间隔K回合，critic_eval的网络参数赋值给critic_target，其中，J≠K。

采用上述基于Actor-Critic神经网络连续控制的快速学习算法，根据由TD_diff、sigmoid_TD和使用迹UT计算出来的优先数prop来优化采样的算法，TD_error的收敛速度加快，使得算法的学习速度加快；

5.4)分为xm回合，每个回合重复步骤5.1)～5.3)xn次，每次重复5.1)～5.3)后，输出干扰的var值更新为var＝max{0.1，var＝var×gamma}，即var值取0.1和上一时刻的var值经过衰减后的最大值，其中xm、xn代表自然数，gamma为大于零小于1的有理数。

实验数据比较

实验目标为在SCARA机械人仿真环境中，机械臂末端稳定在目标范围内持续50步或以上时间，实验设置为600回合，一个回合200步，即要求每回合最后四分之一及以上的时间机械臂末端稳定在目标范围内，可以验证该算法的可靠性，并不是漫无目的随意摆动凑巧达到。

表1回合数对比

算法	DDPG	DDPG-TD	DDPG-OS
				均值/回合数	285	非常高	266

表1中，DDPG代表着DDPG算法、DDPG-TD代表根据TD-error的大小来优先采样的算法、DDPG-OS代表本发明提出的根据TD-error的变化和TD-error相结合，综合考虑使用迹，根据优先数prop的大小来优先采样的算法；

由表1可得，DDPG-OS算法与DDPG算法相比，提升了约10％的效率，而DDPG-TD算法的效果极差更，说明仅基于TD_error的采样方法的泛化性能较差，而本发明提出的算法极为有效。

Claims (9)

1.一种基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述快速学习算法包括如下步骤：

步骤1)初始化

1.1)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+3，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息、使用迹和时间差分错误的空间；

1.2)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θ^μ)网络、μ(s|θ^μ′)网络、Q(s,a|θ^Q)网络及Q(s,a|θ^Q′)网络共四个网络，其中，μ(s|θ^μ)网络为行为估计网络、μ(s|θ^μ′)网络为行为目标网络、Q(s,a|θ^Q)网络为评价估计网络、Q(s,a|θ^Q′)网络为评价目标网络；

随机初始化μ(s|θ^μ)网络的参数θ^μ和随机初始化Q(s,a|θ^Q)网络的参数θ^Q，然后将μ(s|θ^μ)网络的参数θ^μ值赋予行为目标网络，θ^μ′←θ^μ，将Q(s,a|θ^Q)网络的参数θ^Q值赋予评价目标网络，θ^Q′←θ^Q；

步骤2)构造输出干扰

根据当前输入状态s_t，通过网络得到动作a_t′，再设定一个均值为a_t′、方差为var²的随机正态分布从随机正态分布中随机得到一个实际输出动作a_t，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；

步骤3)积累经验池

3.1)根据当前输入状态s_t，通过网络得到动作a_t′，再根据步骤2)建立的输出干扰得到实际输出动作a_t，并从环境中得到奖励r_t和后续输入状态s_t+1，将当前输入状态s_t，实际输出动作a_t，奖励r_t和后续输入状态s_t+1存储在经验池中，并将当前输入状态s_t、实际输出动作a_t、奖励r_t、后续输入状态s_t+1统称为状态转移信息transition；

3.2)计算状态转移信息transition的时间差分错误TD_error1

3.3)储存信息

在经验池中存储步骤3.1)中状态转移信息transition和状态转移信息transition对应的时间差分错误TD_error1，并初始化状态转移信息transition的使用迹UT为1，并将使用迹UT存储在经验池中；

3.4)将后续输入状态s_t+1当做现在的当前输入状态s_t，重复步骤3.1)～步骤3.3)，将计算得到的状态转移信息transition、状态转移信息transition对应的时间差分错误TD_error1和使用迹UT存储在经验池中；

3.5)重复步骤3.4)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤3.4)便跳转执行一次步骤4)和步骤5)；

步骤4)根据优先数prop采样

4.1)采样

从经验池中取出2×batch组样本，batch代表自然数；

4.2)对采样中的每组样本分别计算时间差分错误TD_error2

4.3)计算每组样本中时间差分错误TD_error的变化记为TD_diff；

同时，计算每组样本中经过变换后的时间差分错误TD_error2′记为sigmoid_TD；

4.4)计算每组样本中的优先数prop

4.5)取样

完成步骤4.1)～步骤4.4)后，根据优先数prop大小优先采样的原则，按从大到小的顺序取出前几组batch组样本供神经网络学习；

4.6)更新使用迹UT

步骤5)训练深度强化学习神经网络

5.1)对评价网络参数进行更新

5.2)对行为估计网络参数进行更新

5.3)对目标网络参数进行更新

5.4)分为xm回合，每个回合重复步骤5.1)～5.3)xn次，每次重复5.1)～5.3)后，输出干扰的var值更新为var＝max{0.1，var＝var×gamma}，其中xm、xn代表自然数，gamma为大于零小于1的有理数。

2.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤3.2)中，计算状态转移信息transition的时间差分错误TD_error1具体过程为：

根据当前输入状态s_t、实际输出动作a_t通过网络得到估计Q值即eval_Q，根据后续输入状态s_t+1、奖励r_t通过网络得到目标Q值及target_Q；再根据时间差分错误TD_error1＝eval_Q-target_Q，得到时间差分错误TD_error1，其中代表t时刻评价估计网络的参数，代表t时刻评价目标网络的参数，t为当前输入状态的时刻。

3.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤4.2)中，对采样中的每组样本分别计算时间差分错误TD_error2具体过程为：

根据每组样本中的状态转移信息transition通过网络和网络得到对应的时间差分错误TD_error2，t′为步骤3.5)中经验池空间被存储满后执行步骤3.4)的输入状态时刻，也就是说步骤3.5)中经验池空间被存储满后每执行一次步骤3.4)时的输入状态时刻即为t′。

4.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤4.3)中，

将时间差分错误TD_error的变化记为TD_diff，TD_diff＝|TD_error2-TD_error1|；

将变换后的时间差分错误TD_error2′记为sigmoid_TD，sigmoid_TD＝1/(1+e^{-TD_error 2})。

5.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤4.4)中，每组样本中优先数prop的计算公式为：prop＝sigmoid_TD×TD_diff×UT，UT为步骤3.3) 中的使用迹UT。

6.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤4.6)中，更新步骤4.5)中取样的前几组batch组样本使用迹UT，更新后的使用迹UT′＝UT×λ，其中λ为自然数，代表衰减系数。

7.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤5.1)中，对评价网络参数进行更新的具体过程为：

根据步骤4)中优先数prop取样得到的前几组batch组样本状态转移信息transition通过网络和网络分别得到每组状态转移信息对应的估计Q′值eval_Q′和目标Q′值target_Q′，进而得到时间差分错误TD_error′，TD_error′＝target_Q′-eval_Q′；t′为步骤3.5)中经验池空间被存储满后执行步骤3.4)的输入状态时刻，也就是说步骤3.5)中经验池空间被存储满后每执行一次步骤3.4)时的输入状态时刻即为t′；

根据时间差分错误TD_error′构造出损失函数Loss，Loss＝∑TD_error′/batch；

根据损失函数Loss使用梯度下降法对评价估计网络参数θ^Q进行更新。

8.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤5.2)中，对行为估计网络参数进行更新的具体过程为：

每batch组样本状态转移信息transition中的s_t通过网络和输出干扰得到对应的实际输出动作a_t，根据网络的估计Q′值eval_Q′对实际输出动作a_t求导数，得到估计Q′值对实际输出动作a_t的梯度 代表对实际输出动作a_t求导数；根据网络的实际输出动作a_t值对网络参数求导数，得到实际输出动作a_t值对网络参数的梯度其中代表着对行为估计网络的参数求导数；

估计Q值对实际输出动作a_t的梯度和实际输出动作a_t值对行为估计网络参数的梯度的乘积即为估计Q值对行为估计网络参数的梯度；

使用梯度上升法对行为估计网络参数进行更新。

9.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤5.3)中，目标网络参数进行更新的具体过程为：

每间隔J回合，actor_eval的网络参数赋值给actor_target，每间隔K回合，critic_eval的网络参数赋值给critic_target，其中，J≠K。