CN113253605A - 基于ddpg参数优化的自抗扰无人驾驶横向控制方法 - Google Patents

Abstract

本发明公开了一种基于DDPG参数优化的自抗扰无人驾驶横向控制方法，其包括以下步骤：S1、构建车辆动力学模型，获取前轮转角和横摆角速度的微分方程；S2、获取串联积分型形式下的前轮转角和横摆角速度的微分方程；S3、获取自抗扰控制器输出的前轮转角；S4、采用深度确定性策略梯度算法优化自抗扰控制器在非线性状态误差反馈率环节中的参数，完成自抗扰无人驾驶横向控制。本发明设计自抗扰控制器来实现对无人驾驶汽车的横向控制，并通过DDPG对自抗扰控制器中的参数进行优化，可以提高无人驾驶的跟踪控制效果，对模型的依赖性小，扰动抑制效果好，对系统运行环境的不确定性有很强的适应性。

Description

基于DDPG参数优化的自抗扰无人驾驶横向控制方法

技术领域

本发明涉及汽车无人驾驶领域，具体涉及一种基于DDPG参数优化的自抗扰无人驾驶横向控制方法。

背景技术

随着现代科技和人工智能技术的发展，无人驾驶技术得到了越来越快的发展，对交通运输行业产生了深远的影响。

无人驾驶控制系统模拟人类的驾驶方式，由传感器、控制器、执行器组成，与感知、决策和执行的三个功能模块相对应。无人驾驶控制技术是在环境感知技术的基础之上，根据决策规划得到目标轨迹，通过纵向和横向两个方向的控制系统配合使无人驾驶汽车能够按照目标轨迹准确稳定地行驶。无人驾驶控制技术的核心是车辆的纵向控制和横向控制。纵向控制，是在车辆运行方向上的控制，也即车辆的驱动与制动，对应于驱动电机、发动机、传动和制动系统的控制；横向控制，是在垂直于车辆运动方向上的控制，也即车辆的转向，对应于方向盘角度的调整以及轮胎力的控制。实现了纵向和横向自动控制，就可以按照给定目标轨迹和约束自动控制汽车运行。

对于纵向和横向控制，目前在无人驾驶领域所用到的控制方法主要包括传统的PID控制、线性控制方法，包括线性二次调节器控制(Linear Quadratic Regulator,LQR)等，非线性控制方法，包括模型预测控制(Model Predictive Control,MPC)、滑模控制和自适应控制等。传统的PID控制方法虽然简单，但依赖于实时误差测量，无法处理复杂的系统。其他的控制方法虽然也有不错的控制效果，但大多数都需要建立非常精确的数学模型，或者需要非常大的实时计算量，然而对于无人驾驶领域，车辆本身的建模非常复杂，存在高度的非线性，同时行驶环境也存在着很强的不确定性，因而在工程运用上有一定的难度和挑战。

自抗扰控制(Active disturbance rejection control,ADRC)旨在解决经典PID控制的缺陷，引入现代控制理论中的状态观测器的思想，核心思想在于将系统模型的未知性、参数的不确定性所造成的“内扰”和系统外部运行环境的所造成的“外扰”统称为“总扰动”，通过扩张观测器(Extended State Observe,ESO)进行观测并通过控制律予以消除。自抗扰控制的优势在于对模型的依赖性小，对外界不确定性有很强的适应性，具有优良的控制跟踪特性，已经得到了广泛的应用。但同时，自抗扰控制也面临着参数较多、配置复杂的问题，因此，自抗扰控制器的参数优化仍然是其应用所需要解决的关键问题之一，对于其控制性能的改善和应用的推广有着至关重要的作用和意义。

发明内容

针对现有技术中的上述不足，本发明提供的基于DDPG参数优化的自抗扰无人驾驶横向控制方法解决了现有自抗扰横向控制效果差的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于DDPG参数优化的自抗扰无人驾驶横向控制方法，其包括以下步骤：

S1、构建车辆动力学模型，获取前轮转角和横摆角速度的微分方程；

S2、获取串联积分型形式下的前轮转角和横摆角速度的微分方程；

S3、构建自抗扰控制器，基于串联积分型形式下的前轮转角和横摆角速度的微分方程，将期望横摆角速度作为自抗扰控制器的输入，获取自抗扰控制器输出的前轮转角；

S4、将自抗扰控制器输出的前轮转角作为车辆横向控制系统的输入，并采用深度确定性策略梯度算法优化自抗扰控制器在非线性状态误差反馈率环节中的参数，完成自抗扰无人驾驶横向控制。

进一步地，步骤S1的具体方法为：

根据公式：

构建车辆动力学模型的微分方程；其中δ_F为前轮转角；ω为横摆角速度；

为横摆角速度ω的一阶导数；l_F为前轴中心到车辆质心的距离；C_F为前轮胎的侧偏刚度；l_R为后轴中心到车辆质心的距离；C_R为后轮胎的侧偏刚度；I_Z为车辆绕z轴的转动惯量；V_x为车辆纵向速度；β为车辆的侧偏角；

为β的一阶导数；M为车身的质量；

根据公式：

获取前轮转角与横摆角速度的微分方程；其中a₁、a₂、b₁和b₂均为中间参数；

为δ_F的一阶导数；

为

的一阶导数，即ω的二阶导数；L为前轴到后轴的距离。

进一步地，步骤S2的具体方法为：

根据公式：

将前轮转角和横摆角速度的微分方程转化为串联积分型数据；其中：

x₁和x₂均为车辆横向控制系统的状态变量，x₁为横摆角速度，x₂为横摆角速度的一阶导数，x₃和F(·)均表示车辆横向控制系统总扰动，包括已经建模、未建模部分以及外部扰动的总和；f(·)为F(·)的导数；y为车辆横向控制系统的输出，即横摆角速度；车辆横向控制系统的输入为前轮转角。

进一步地，步骤S3的具体方法包括以下子步骤：

S3-1、根据公式：

构建非线性最速综合函数f_st(·)；其中m、n、r和h₀均为非线性最速综合函数f_st(·)的输入变量；r为速度因子，决定跟踪速度；h₀为滤波因子；d、d₀、y₁、a₀、a和f_st均为非线性最速综合函数f_st(·)的中间运算值；f_h1为非线性最速综合函数f_st(·)的输出值；sgn(·)为sgn函数；

S3-2、根据公式：

建立跟踪微分器，获取期望横摆角速度为v₀时的跟踪信号v₁和微分信号v₂；其中v₀(k)表示k时刻的期望横摆角速度；v₁(k)表示k时刻的跟踪信号；v₂(k)表示k时刻的微分信号；v₂(k+1)表示k+1时刻的微分信号；v₁(k+1)表示k+1时刻的跟踪信号；h为积分步长；

S3-3、根据公式：

构建非线性函数fal(·)；其中α、δ和e均为非线性函数fal(·)的输入；

S3-4、根据公式：

构建扩张观测器，分别采用z₁、z₂和z₃来估计车辆横向控制系统的第一状态变量x₁、第二状态变量x₂和作用于车辆横向控制系统的总扰动x₃；其中ε₁为中间参数；z₁(k)为k时刻的第一状态变量；y(k)为自抗扰控制器在k时刻的输出；z₁(k+1)为k+1时刻的第一状态变量；z₂(k)为k时刻的第二状态变量；β₀₁为常数；z₂(k+1)为k+1时刻的第二状态变量；z₃(k)为k时刻的总扰动；β₀₂为常数；b₀为常数；z₃(k+1)为k+1时刻的总扰动；β₀₃为常数；

S3-5、根据公式：

采用非线性状态误差反馈率获取误差控制量u₀；其中e₁为中间参数；ζ₁、ζ₂、α₁和α₂均为非线性状态误差反馈率环节中的参数，即常数；

S3-6、根据公式：

获取自抗扰控制器输出的前轮转角

进一步地，步骤S4中采用深度确定性策略梯度算法优化自抗扰控制器在非线性状态误差反馈率环节中的参数的具体方法包括以下子步骤：

S4-1、建立当前状态s_t，初始化深度确定性策略梯度算法中的Critic网络、Actor网络、目标Critic网络和目标Actor网络；初始化经验缓存R；

S4-2、初始化随机噪声N_t，并通过Actor网络产生引入随机噪声N_t的动作a_t；

S4-3、根据公式：

对自抗扰控制器在非线性状态误差反馈率环节中的参数ζ₁和ζ₂进行更新；其中ζ₀₁和ζ₀₂分别为参数ζ₁和ζ₂的当前值，

和

为对ζ₀₁和ζ₀₂更新后得到的值；d₁和d₂为常数；

S4-4、获取并根据参数

和

对自抗扰控制器性能的影响，得到对应的奖励r_t和下一个状态s_t+1；

S4-5、将状态动作组合(s_t,a_t,r_t,s_t+1)存储到经验缓存R中；

S4-6、对经验缓存R进行随机采样，得到N个状态动作组合，并计算每个动作期望回报；

S4-7、采用最小化损失函数对Critic网络参数进行更新；采用策略梯度对Actor网络参数进行更新；更新目标Critic网络参数和目标Actor网络参数；

S4-8、判断是否终止自抗扰无人驾驶横向控制，若是则结束；否则基于当前的Critic网络、Actor网络、目标Critic网络和目标Actor网络并返回步骤S4-2。

本发明的有益效果为：本方法设计自抗扰控制器来实现对无人驾驶汽车的横向控制，并通过DDPG对自抗扰控制器中的参数进行优化，可以提高无人驾驶的跟踪控制效果，对模型的依赖性小，扰动抑制效果好，对系统运行环境的不确定性有很强的适应性。

附图说明

图1为本方法的流程示意图；

图2为车辆动力学模型；

图3为车辆横向控制系统框图；

图4为自抗扰控制器的结构示意图；

图5为DDPG算法和系统框图；

图6为跟踪正弦参考输入，传统ADRC与本发明的仿真结果对比。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该基于DDPG参数优化的自抗扰无人驾驶横向控制方法包括以下步骤：

S1、构建车辆动力学模型，获取前轮转角和横摆角速度的微分方程；

S2、获取串联积分型形式下的前轮转角和横摆角速度的微分方程；

S3、构建自抗扰控制器，基于串联积分型形式下的前轮转角和横摆角速度的微分方程，将期望横摆角速度作为自抗扰控制器的输入，获取自抗扰控制器输出的前轮转角；

S4、将自抗扰控制器输出的前轮转角作为车辆横向控制系统的输入，并采用深度确定性策略梯度算法优化自抗扰控制器在非线性状态误差反馈率环节中的参数，完成自抗扰无人驾驶横向控制。

步骤S1的具体方法为：汽车的动力学模型旨在研究汽车在各种力的作用下的动态响应特性。然而，在实际应用中，如果对汽车所有的受力进行分析，将会大大增加模型的复杂度，增加控制算法的运行负担，因而无法保证控制的实时性。因此，需要在保证其动力学特性的前提下，尽可能的简化车辆模型的复杂程度。在简化的车辆模型中，将两个前轮和两个后轮组合成单个前轮和后轮，简化成二自由度车辆模型，如图2所示，并做出如下假设：忽略转向系统和悬架的影响；保持车辆的纵向速度恒定，只需考虑车辆沿y轴的横向运动及绕z轴的横摆运动；忽略横向和纵向的空气动力学带来的影响；在分析轮胎受力情况时，仅仅考虑轮胎的侧偏特性XOY坐标系是固定静止的大地坐标系。xoy为车身坐标系，车身坐标系随着车身的运动而变化。对模型进行y轴和z轴受力分析：

M为车身的质量，a_y为基于车身坐标系下的车辆沿y轴方向加速度，F_CF和F_CR分别为车辆的前轮和后轮所受到的横向轮胎力，δ_F为前轮转角，ω为横摆角速度，I_Z为车辆绕z轴的转动惯量，l_F为前轴中心到车辆质心的距离，l_R为后轴中心到车辆质心的距离，V_x为车辆纵向速度。

当前轮转角δ_F和侧偏角β较小情况下，轮胎侧偏特性处于线性范围，即

其中C_F和C_R分别表示前、后轮胎的侧偏刚度，由于前轮和后轮各有两个，所以作用力为单个轮胎所受力的2倍。α_F和α_R分别为前、后轮胎的侧滑角，在小角度下，两个角的大小可近似表示为：

综合以上各式，可得车辆动力学模型的微分方程：

在车辆实际运动过程中，车辆的横摆角速度是衡量车辆横向运动稳定性的重要参数，因此，本发明将车辆的实际横摆角速度ω作为控制目标，通过设计自抗扰控制器，跟踪期望横摆角速度ω_des，根据车辆的动力学特性，通过控制车辆的前轮转角δ_F实现横摆角速度ω的跟踪控制，车辆横向控制系统框图如图3所示。

其中，期望横摆角速度ω_des可通过下式计算得到

ω_des＝v_desk_des

v_des是期望车速，k_des是期望道路曲率，二者由上层的路径规划模块设置，若路径规划期望曲线为y＝f(x)，则期望道路曲率k_des可表示为

对于被控车辆而言，横向控制的输入为前轮转角δ_F；输出为横摆角速度ω，根据车辆动力学模型，可得到系统输出ω和输入δ_F之间的方程：

其中，

其中δ_F为前轮转角；ω为横摆角速度；

为横摆角速度ω的一阶导数；l_F为前轴中心到车辆质心的距离；C_F为前轮胎的侧偏刚度；l_R为后轴中心到车辆质心的距离；C_R为后轮胎的侧偏刚度；V_x为车辆纵向速度；β为车辆的侧偏角；

为β的一阶导数；M为车身的质量；

根据公式：

获取前轮转角与横摆角速度的微分方程；其中a₁、a₂、b₁和b₂均为中间参数；

为δ_F的一阶导数；

为

的一阶导数，即ω的二阶导数；L为前轴到后轴的距离。

步骤S2的具体方法为：根据公式：

将前轮转角和横摆角速度的微分方程转化为串联积分型数据；其中：

x₁和x₂均为车辆横向控制系统的状态变量，x₁为横摆角速度，x₂为横摆角速度的一阶导数，x₃和F(·)均表示车辆横向控制系统总扰动，包括已经建模、未建模部分以及外部扰动的总和；f(·)为F(·)的导数；y为车辆横向控制系统的输出，即横摆角速度；车辆横向控制系统的输入为前轮转角。

步骤S3中所构建的自抗扰控制器的结构如图4所示，获取自抗扰控制器输出的前轮转角的具体方法包括以下子步骤：

S3-1、根据公式：

构建非线性最速综合函数f_st(·)；其中m、n、r和h₀均为非线性最速综合函数f_st(·)的输入变量；r为速度因子，决定跟踪速度；h₀为滤波因子；d、d₀、y₁、a₀、a和f_st均为非线性最速综合函数f_st(·)的中间运算值；f_h1为非线性最速综合函数f_st(·)的输出值；sgn(·)为sgn函数；

S3-2、根据公式：

建立跟踪微分器，获取期望横摆角速度为v₀时的跟踪信号v₁和微分信号v₂；其中v₀(k)表示k时刻的期望横摆角速度；v₁(k)表示k时刻的跟踪信号；v₂(k)表示k时刻的微分信号；v₂(k+1)表示k+1时刻的微分信号；v₁(k+1)表示k+1时刻的跟踪信号；h为积分步长；

S3-3、根据公式：

构建非线性函数fal(·)；其中α、δ和e均为非线性函数fal(·)的输入；

S3-4、根据公式：

构建扩张观测器，分别采用z₁、z₂和z₃来估计车辆横向控制系统的第一状态变量x₁、第二状态变量x₂和作用于车辆横向控制系统的总扰动x₃；其中ε₁为中间参数；z₁(k)为k时刻的第一状态变量；y(k)为自抗扰控制器在k时刻的输出；z₁(k+1)为k+1时刻的第一状态变量；z₂(k)为k时刻的第二状态变量；β₀₁为常数；z₂(k+1)为k+1时刻的第二状态变量；z₃(k)为k时刻的总扰动；β₀₂为常数；b₀为常数；z₃(k+1)为k+1时刻的总扰动；β₀₃为常数；

S3-5、根据公式：

采用非线性状态误差反馈率获取误差控制量u₀；其中e₁为中间参数；ζ₁、ζ₂、α₁和α₂均为非线性状态误差反馈率环节中的参数，即常数；

S3-6、根据公式：

获取自抗扰控制器输出的前轮转角

DDPG算法和系统框图如图5所示，步骤S4中采用深度确定性策略梯度算法优化自抗扰控制器在非线性状态误差反馈率环节中的参数的具体方法包括以下子步骤：

S4-1、建立当前状态s_t，初始化深度确定性策略梯度算法中的Critic网络Q(s,a|θ^Q)、Actor网络μ(s,a|θ^μ)、目标Critic网络Q'(s,a|θ^Q')和目标Actor网络μ'(s,a|θ^μ')；初始化经验缓存R；

S4-2、初始化随机噪声N_t，并通过Actor网络产生引入随机噪声N_t的动作a_t，a_t＝μ(s_t|θ^μ)+N_t；

S4-3、根据公式：

对自抗扰控制器在非线性状态误差反馈率环节中的参数ζ₁和ζ₂进行更新；其中ζ₀₁和ζ₀₂分别为参数ζ₁和ζ₂的当前值，

和

为对ζ₀₁和ζ₀₂更新后得到的值；d₁和d₂为常数；

S4-4、获取并根据参数

和

对自抗扰控制器性能的影响，得到对应的奖励r_t和下一个状态s_t+1；

S4-5、将状态动作组合(s_t,a_t,r_t,s_t+1)存储到经验缓存R中；

S4-6、对经验缓存R进行随机采样，得到N个状态动作组合，并计算每个动作期望回报y_i＝r_i+γQ'(s_i+1|θ^μ')|θ^Q')；

S4-7、采用最小化损失函数对Critic网络参数进行更新：

采用策略梯度对Actor网络参数进行更新：

更新目标Critic网络参数和目标Actor网络参数：

S4-8、判断是否终止自抗扰无人驾驶横向控制，若是则结束；否则基于当前的Critic网络、Actor网络、目标Critic网络和目标Actor网络并返回步骤S4-2。

在具体实施过程中，图6为跟踪输入信号，传统ADRC自抗扰控制器与本发明的仿真结果对比，输入参考信号为正弦信号和阶跃信号的叠加，可以得出本发明提出的方法比传统ADRC自抗扰控制器对参考信号的跟踪效果好。

综上所述，本发明设计自抗扰控制器来实现对无人驾驶汽车的横向控制，并通过DDPG对自抗扰控制器中的参数进行优化，可以提高无人驾驶的跟踪控制效果，对模型的依赖性小，扰动抑制效果好，对系统运行环境的不确定性有很强的适应性。

Claims (5)

1.一种基于DDPG参数优化的自抗扰无人驾驶横向控制方法，其特征在于，包括以下步骤：

S1、构建车辆动力学模型，获取前轮转角和横摆角速度的微分方程；

S2、获取串联积分型形式下的前轮转角和横摆角速度的微分方程；

S3、构建自抗扰控制器，基于串联积分型形式下的前轮转角和横摆角速度的微分方程，将期望横摆角速度作为自抗扰控制器的输入，获取自抗扰控制器输出的前轮转角；

S4、将自抗扰控制器输出的前轮转角作为车辆横向控制系统的输入，并采用深度确定性策略梯度算法优化自抗扰控制器在非线性状态误差反馈率环节中的参数，完成自抗扰无人驾驶横向控制。

2.根据权利要求1所述的基于DDPG参数优化的自抗扰无人驾驶横向控制方法，其特征在于，步骤S1的具体方法为：

根据公式：

构建车辆动力学模型的微分方程；其中δ_F为前轮转角；ω为横摆角速度；

为横摆角速度ω的一阶导数；l_F为前轴中心到车辆质心的距离；C_F为前轮胎的侧偏刚度；l_R为后轴中心到车辆质心的距离；C_R为后轮胎的侧偏刚度；I_Z为车辆绕z轴的转动惯量；V_x为车辆纵向速度；β为车辆的侧偏角；

为β的一阶导数；M为车身的质量；

根据公式：

获取前轮转角与横摆角速度的微分方程；其中a₁、a₂、b₁和b₂均为中间参数；

为δ_F的一阶导数；

为

的一阶导数，即ω的二阶导数；L为前轴到后轴的距离。

3.根据权利要求2所述的基于DDPG参数优化的自抗扰无人驾驶横向控制方法，其特征在于，步骤S2的具体方法为：

根据公式：

将前轮转角和横摆角速度的微分方程转化为串联积分型数据；其中：

x₁和x₂均为车辆横向控制系统的状态变量，x₁为横摆角速度，x₂为横摆角速度的一阶导数，x₃和F(·)均表示车辆横向控制系统总扰动，包括已经建模、未建模部分以及外部扰动的总和；f(·)为F(·)的导数；y为车辆横向控制系统的输出，即横摆角速度；车辆横向控制系统的输入为前轮转角。

4.根据权利要求3所述的基于DDPG参数优化的自抗扰无人驾驶横向控制方法，其特征在于，步骤S3的具体方法包括以下子步骤：

S3-1、根据公式：

构建非线性最速综合函数f_st(·)；其中m、n、r和h₀均为非线性最速综合函数f_st(·)的输入变量；r为速度因子，决定跟踪速度；h₀为滤波因子；d、d₀、y₁、a₀、a和f_st均为非线性最速综合函数f_st(·)的中间运算值；f_h1为非线性最速综合函数f_st(·)的输出值；sgn(·)为sgn函数；

S3-2、根据公式：

建立跟踪微分器，获取期望横摆角速度为v₀时的跟踪信号v₁和微分信号v₂；其中v₀(k)表示k时刻的期望横摆角速度；v₁(k)表示k时刻的跟踪信号；v₂(k)表示k时刻的微分信号；v₂(k+1)表示k+1时刻的微分信号；v₁(k+1)表示k+1时刻的跟踪信号；h为积分步长；

S3-3、根据公式：

构建非线性函数fal(·)；其中α、δ和e均为非线性函数fal(·)的输入；

S3-4、根据公式：

构建扩张观测器，分别采用z₁、z₂和z₃来估计车辆横向控制系统的第一状态变量x₁、第二状态变量x₂和作用于车辆横向控制系统的总扰动x₃；其中ε₁为中间参数；z₁(k)为k时刻的第一状态变量；y(k)为自抗扰控制器在k时刻的输出；z₁(k+1)为k+1时刻的第一状态变量；z₂(k)为k时刻的第二状态变量；β₀₁为常数；z₂(k+1)为k+1时刻的第二状态变量；z₃(k)为k时刻的总扰动；β₀₂为常数；b₀为常数；z₃(k+1)为k+1时刻的总扰动；β₀₃为常数；

S3-5、根据公式：

采用非线性状态误差反馈率获取误差控制量u₀；其中e₁为中间参数；ζ₁、ζ₂、α₁和α₂均为非线性状态误差反馈率环节中的参数，即常数；

S3-6、根据公式：

获取自抗扰控制器输出的前轮转角

5.根据权利要求4所述的基于DDPG参数优化的自抗扰无人驾驶横向控制方法，其特征在于，步骤S4中采用深度确定性策略梯度算法优化自抗扰控制器在非线性状态误差反馈率环节中的参数的具体方法包括以下子步骤：

S4-1、建立当前状态s_t，初始化深度确定性策略梯度算法中的Critic网络、Actor网络、目标Critic网络和目标Actor网络；初始化经验缓存R；

S4-2、初始化随机噪声N_t，并通过Actor网络产生引入随机噪声N_t的动作a_t；

S4-3、根据公式：

对自抗扰控制器在非线性状态误差反馈率环节中的参数ζ₁和ζ₂进行更新；其中ζ₀₁和ζ₀₂分别为参数ζ₁和ζ₂的当前值，

和

为对ζ₀₁和ζ₀₂更新后得到的值；d₁和d₂为常数；

S4-4、获取并根据参数

和

对自抗扰控制器性能的影响，得到对应的奖励r_t和下一个状态s_t+1；

S4-5、将状态动作组合(s_t,a_t,r_t,s_t+1)存储到经验缓存R中；

S4-6、对经验缓存R进行随机采样，得到N个状态动作组合，并计算每个动作期望回报；

S4-7、采用最小化损失函数对Critic网络参数进行更新；采用策略梯度对Actor网络参数进行更新；更新目标Critic网络参数和目标Actor网络参数；

S4-8、判断是否终止自抗扰无人驾驶横向控制，若是则结束；否则基于当前的Critic网络、Actor网络、目标Critic网络和目标Actor网络并返回步骤S4-2。

Images