CN111132074B

CN111132074B - 车联网环境下多接入边缘计算卸载和帧时隙资源分配方法

Info

Publication number: CN111132074B
Application number: CN201911363066.6A
Authority: CN
Inventors: 黄磊; 胡斌杰
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2023-03-28
Anticipated expiration: 2039-12-26
Also published as: CN111132074A

Abstract

本发明公开了一种车联网环境下多接入边缘计算卸载和帧时隙资源分配方法，该方法的应用场景为部署边缘服务器的单基站及其覆盖范围内所有高速运动车辆节点。步骤如下：将多节点时隙资源分配和计算卸载问题建模为一个混合整数规划问题，系统目标函数为最大化基站覆盖范围内所有节点吞吐量之和；对车辆运动节点产生的无线时变信道做信道预处理；使用深度增强学习感知所有车辆节点的预处理信道，得到备选卸载向量集；得出的每一组卸载向量可将系统目标函数转换为凸函数，使用拉格朗日乘子法求解时隙分配策略，最终选出最大系统吞吐量；建立有序卸载队列，按序进行卸载。该方法时间复杂度低，能够快速适应不断时变的复杂信道特征。

Description

车联网环境下多接入边缘计算卸载和帧时隙资源分配方法

技术领域

本发明涉及无线通信与车联网技术领域，具体涉及一种车联网环境下多接入边缘计算卸载和帧时隙资源分配方法。

背景技术

车辆通信因其在提高道路安全和交通效率方面的潜力以及提供更丰富的信息娱乐体验而受到人们的关注。第三代伙伴关系项目(3GPP)和欧盟移动和无线通信促进者2020年信息社会(METIS)项目中指出，在未来的一代无线网络中实现高效和可靠的车辆通信。信息娱乐应用程序和流量效率消息通常需要频繁访问Internet或远程服务器，用于流媒体、内容共享等，涉及大量数据交换，因此，选择一种高容量的车辆到基础设施(V2I)链接是理想的支持方式。

移动边缘计算(mobile edge computing，MEC)逐渐成为无线网络数据计算的核心技术之一，并为车联网系统提供了低延时、高可靠的研究方案。MEC服务器的部署更靠近于终端用户，其可允许当前存储设备将计算任务卸载到MEC服务器上并执行该计算任务，从而更经济、有效地解决数据计算问题。边缘计算可以提供快速访问和信息分发机制，最基本的包括用户的位置在安全警报、其他车辆(如透明用例)和障碍物(如实时态势感知用例)。而MEC提供了理想的环境促进减少回程消耗带宽，靠近用户设备的智能交通系统(ITS)。3GPP在很多场景下提出了车联网的应用场景，包括：实时态势感知和高清晰度(本地)地图、透视(传递)、弱势道路使用者发现以及在当今流行的自动驾驶中的应用。

在单基站多节点或多基站多节点的边缘计算场景中，通常将卸载问题建模为一个结合耗能、时延x_i＝{0,1}的本地计算或卸载的问题。该问题因引入x_i变量通常是一个非凸问题。对于这类问题，通常使用动态规划和分支定界等算法求解，但是计算复杂度高。为了降低复杂度，使用了启发式局部搜索的算法或解松弛的算法来解决这一问题，但是带来的问题是迭代次数较高，不适合车联网这一信道快速衰落实时性强的场景。同时，相较其他车联网环境下边缘计算方法，大多没有考虑到汽车移动带来的信道老化问题。

发明内容

本发明的目的是为了在低时间复杂度下解决多接入边缘计算系统内吞吐量最大化问题，提供一种车联网环境下多接入边缘计算卸载和帧时隙资源分配方法，能快速适应无线信道环境变化得到卸载策略和帧时隙资源分配策略的车联网环境下的多接入边缘计算系统，在低时间复杂度下解决多接入边缘计算系统内吞吐量最大化问题。

本发明的目的可以通过采取如下技术方案达到：

一种车联网环境下多接入边缘计算卸载和帧时隙资源分配方法，该方法的应用场景为道路一侧部署基站，基站内部有边缘计算服务器，基站覆盖半径为R，基站覆盖范围内存在M个车辆节点均匀分布在车道两侧以速度V行驶，车辆节点选择本地计算或卸载到边缘服务器进行计算，对于卸载节点i，基站采用TDMA方式分配通信及计算时隙，TDMA单帧时隙长度为T，卸载节点i分配时隙比例因子为τ_i,0≤τ_i≤1，则其分配卸载时隙长度为τ_iT，该方法包括以下步骤：

S1、确定帧时隙资源分配和计算卸载模型的优化目标，根据本地计算模型、卸载计算模型，建立所有车辆节点的吞吐量之和最大化的系统目标函数；

S2、对各节点的信道进行预处理得到信道预处理向量h；

S3、将上述各节点预处理后的信道预处理向量h作为深度增强学习框架输入进行训练，得到多组备选卸载向量集{x₁,x₂,…,x_k,…}；

S4、将上述每个卸载向量x_k代入系统目标函数，计算得到时隙分配策略，将备选卸载策略和时隙分配策略代入系统目标函数，选出最大吞吐量解；

S5、建立有序卸载队列，按序进行卸载。

进一步地，所述的步骤S1过程如下：

S11、建立本地计算模型：

r_L,i表示本地执行速率，计算公式如下：

其中，f表示本地运算CPU频率，

表示处理一比特所需要CPU数量，M₀表示本地计算的节点集合；

S12、建立卸载计算模型：

r_O,i表示节点i在当前时隙卸载节点总吞吐量：

r_O,i＝r_up+r_mec+r_down

其中，r_up表示上传速率，由香农计算公式得到，r_mec表示边缘计算速率，r_down表示回传速率。在本场景中有r_up＞＞r_mec+r_down，因此对于卸载用户，r_O,i＝r_up作为卸载节点的吞吐量；

b_i表示当前时隙传输的比特数，因此，对于节点i在时隙T内b_i计算公式如下：

其中，v_u>1表示传输需要的通信传输开销，B表示系统传输带宽，E表示每个节点的发射耗能，N₀表示系统内高斯白噪声，h_i表示节点i在第t时隙的信道，M₁表示卸载节点集合；

则节点i在当前时隙的通信速率为：

S13、系统总吞吐量Q(τ,x,h)计算公式如下：

其中，τ为当前时隙的时隙分配向量，τ＝{τ₁,τ₂,…,τ_i,…}，对于卸载节点所分配时隙τ_i有：

x为当前时隙的卸载向量，x＝{x₁,x₂,…,x_i,…}，x_i＝1表示节点i进行卸载，x_i＝0表示本地计算，i＝1,2,…,M，h为当前时隙的信道预处理向量；

将r_L,i，r_O,i代入系统总吞吐量Q(τ,x,h)得：

其中，

建立多接入边缘计算系统目标函数的优化目标计算公式如下：

x_i∈{0,1}.

上述优化目标Q^*(h)为混合整数规划问题，是一个非凸问题。

进一步地，所述的步骤S2中预处理过程包括：

对各节点进行下一帧时隙的信道预测并计算本时隙的平均信道大小；

依据每一节点前序时隙h_t-L,…h_t-1,h_t使用支持向量机对信道h_t+1进行预测，其中L为边缘服务器缓存信道时隙的长度；

计算当前时隙节点i的信道平均值

计算公式为：

本时隙信道预处理向量为:

进一步地，所述的步骤S3中，使用深度增强学习框架训练多接入边缘计算系统，将当前的状态作为输入数值，输入到神经网络量化得到动作和对应的系统总吞吐量Q(τ,x,h)值，通过更新神经网络里的参数来训练神经网络，从而优化模型得到最优解，具体如下：

S31、训练：

输入状态为信道预处理向量h_t，奖励函数为系统总吞吐量Q(τ,x,h)，输出动作为一组松弛解

表示节点i的松弛解，

i＝1,2,3…,M。

S32、松弛解量化：

使用KNN(K-Nearnest Neighbor)量化算法得到备选卸载向量集{x₁,x₂,…,x_k,…}，对于其中任意一个向量x_k＝{x₁,x₂,…,x_i,…}，x_i＝{0,1},i＝1,2,3…,M；

S33、参数更新：

经验池batch存储增强学习不断更新的训练集样本<h,x^*>，在后续步骤S4求解得到最优解Q^*(τ^*,x^*,h)后，将样本<h,x^*>存入经验池batch中进行在线训练，不断更新神经网络参数，其中x^*＝argmax(Q^*(τ^*,x^*,h))，argmax表示对Q^*(τ^*,x^*,h)求参数x^*。

进一步地，所述的步骤S4中，使用拉格朗日法求解系统目标函数，具体如下：

代入备选卸载向量x_k，将多接入边缘计算系统目标函数转换为一个凸函数；

当

时，满足对偶条件，使用对偶法求解问题，得到时隙分配策略

代入每组备选卸载向量和对应的时隙分配策略，可求得Q(τ,x,h)；

取最大Q^*(τ^*,x^*,h)作为本次系统优化目标的解。

进一步地，所述的步骤S5中，使用一元线性回归法对各路节点信道前序时隙h_t-L…h_t-1,h_t进行线性拟合，求解其斜率k；

根据斜率大小从小到大排序构成卸载队列；

按照该入队顺序作为TDMA帧时隙的顺序，进行卸载。

进一步地，该方法在执行过程中，迭代步骤S2-S5，随着环境的改变不断更新深度增强学习框架状态参数。

本发明相对于现有技术具有如下的优点及效果：

(1)满足了车联网中多接入边缘计算系统所有节点吞吐量之和最大化，充分利用了边缘计算的计算资源及节点的信道信息。

(2)通过增强学习的在线学习框架，能够快速适应公路上节点快速运动产生的复杂多变的散布情况。

(3)相较使用坐标下降法和动态规划法求解卸载策略，基于神经网络的增强学习框架的时间复杂度低；同时，又能保证其求得的解接近全局最优解。

(4)通过信道预处理手段，能够适应因汽车节点高速运动产生信道老化情况，为多接入边缘计算系统性能提供了有效准确的信息源。

附图说明

图1是本发明实施例中应用场景的模型图；

图2是本发明中公开的车联网环境下多接入边缘计算卸载和帧时隙资源分配方法的流程图；

图3是本发明实施例中卸载队列流程示意图；

图4是本发明实施例中车联网系统运行16000时隙内吞吐量比值的示意图；

图5是本发明实施例中信道预处理前后的性能对比图；

图6是本发明实施例中预测长度和均方误差的关系示意图；

图7是本发明实施例中预测长度和时间消耗的关系示意图；

图8是本发明实施例中自然顺序卸载和有序队列卸载吞吐量关系示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，应用场景为道路一侧部署基站，基站部署边缘计算服务器。基站覆盖半径为R，基站覆盖范围内存在M个车辆节点均匀分在车道两侧以速度V行驶。车辆节点可以选择本地计算或卸载到边缘服务器进行计算。对于卸载节点，基站采用TDMA方式分配通信及计算时隙，单次帧时隙长度为T，卸载节点i分配时隙比例因子为τ_i,0≤τ_i≤1，则其分配卸载时隙长度为τ_iT，因此车辆节点间没有互相干扰。

图2展示了整个发明方法的流程图，本实施例中多用户单基站联合任务卸载及资源分配方法具体包括以下步骤：

下述所求变量带*上标均为求得的最优解。

该步骤S1过程如下：

(1)建立本地计算模型

r_L,i表示本地计算速率，计算公式如下：

其中，f表示本地运算CPU频率，

(2)建立卸载计算模型：

r_O,i表示待卸载节点i在当前时隙的总速率：

r_O,i＝r_up+r_mec+r_down

其中，r_up表示上传速率，由香农公式得到，r_mec表示边缘计算服务器速率，r_down表示回传速率。在本场景中有r_up＞＞r_mec+r_down，因此对于卸载用户，r_O,i＝r_up作为卸载节点的吞吐量；

b_i表示本时隙传输的比特数，因此，对于节点i在当前时隙的b_i计算公式如下：

其中，v_u>1表示传输额外需要的通信传输开销，B表示系统传输带宽，E表示每个节点的发射耗能，N₀表示系统内高斯白噪声，h_i表示节点i在当前时隙的信道，M₁表示卸载节点集合；

则节点i在时隙T内通信速率为：

对于任一卸载节点所分配时隙τ_i有：

(3)系统总吞吐量Q(τ,x,h)计算公式如下：

x为当前时隙的卸载向量，x＝{x₁,x₂,…,x_i,…,x_M}，x_i＝1表示节点i进行卸载，x_i＝0表示本地计算，h为当前时隙的信道预处理向量；

将r_L,i，r_O,i代入系统总吞吐量Q(τ,x,h)得：

其中，

x_i∈{0,1}.

上述优化目标Q^*(h)为混合整数规划问题，是一个非凸问题。

S2、信道预处理向量；

传统增强学习在本领域应用中，仅用单个时隙的信道h_t作为增强学习的输入，具有信道随机性大，可能造成信道老化等问题，因此本发明设计中，基站缓存每个节点的多个前序时隙信道状态信息h_t-L…h_t-1,h_t，通过多个前序时隙预测未来t+1时刻的信道h_t+1，以此求本时隙节点i的信道平均值

但该前序时隙信道序列具有较强的非线性相关性，使用传统的线性信道预测方案性能较差，因此通过对非线性序列处理能力较强的支持向量机对未来第t+1帧时隙信道h_t+1进行预测。

计算当前时隙节点i的平均值

计算公式为：

得到各路信道预处理向量

i＝1,2,3…,M。

S3、增强学习在线训练；

增强学习模型包含三个要素，即状态，行为和奖励。将当前的状态作为输入数值，输入到神经网络量化得到动作和计算对应的Q(τ,x,h)值，通过更新神经网络里的参数来训练深度神经网络，从而优化模型得到最优解。

(1)训练

本发明中，输入状态为h_t，奖励为Q(τ,x,h)，输出得到一组松弛解

表示节点i的松弛解，

i＝1,2,3…,M。需要将松弛解量化为整数{0,1}解。

(2)松弛解量化

使用KNN(K-Nearest Neighbor)量化算法得到K组备选向量集{x₁,x₂,…,x_k,…}，k＝1,2,3…,K。理论上有最多2^M种组合备选向量，但是2^M个备选向量会带来极大的性能开销，尤其是在N逐渐增大的情况。因此选取最接近最优解向量的K组备选向量,在本实施例中，取K＝M/2。

利用KNN量化算法，选出向量距离最近的K组向量作为备选向量集{x₁,x₂,…,x_k,…},k＝1,2…K。对于任意一组备选向量：

x_k＝{x_k,1,x_k,2,x_k,3…,x_k,i,…}

x_k,i表示第k组备选向量的节点i的卸载策略，x_k,i＝{0,1}。

对于第一组备选向量x₁＝{x_1,1,x_1,2…,x_1,i,…}有：

使用曼哈顿距离作为计算向量距离公式，曼哈顿距离避免了欧氏距离的平方运算，能够降低系统开销，且适合{0,1}整数距离运算。向量x_k与x₁之间的曼哈顿距离计算公式如下：

选出K个距离最邻近的向量作为备选向量集{x₁,x₂,…,x_k,…}，对于其中任意向量x_k,以下简写为x_k＝{x₁,x₂,…,x_i…}。

(3)参数更新

经验池batch存储增强学习不断更新的训练集样本<h,x^*>。在后续S4步骤求解得到优化目标的解Q^*(τ^*,x^*,h)后，将样本<h,x^*>存入经验池batch中进行在线训练，不断更新参数。其中x^*＝argmax(Q^*(τ^*,x^*,h))，argmax表示对Q^*(τ^*,x^*,h)求参数x^*。

在本实施例中，使用的深度神经网络包含M个神经元的输入层；两个隐藏层，分别为120、80个神经元；M个神经元的输出层；使用的神经网络的优化函数为Adam，学习速率为0.01；训练间隙δ＝10，经验池batch容量为128；激励函数为ReLU。

S4、凸问题求解。

将备选向量x分别代入目标函数Q^*(h)，目标函数转化为凸函数。设v为拉格朗日乘子，则原问题的拉格朗日函数为：

其对应的对偶问题为：

对偶问题为：

当满足

时候，满足强对偶条件，原问题和对偶问题有同样的解。

对τ_i、v求偏导：

令

其中，

W(·)是函数f(u)＝ue^-u的反函数，即u＝W(v)

是一个单调递减函数，

有唯一解。

将

代入

得

解得v^*，进而可求得到

综上，得到每个卸载节点的时隙分配策略

i∈M₁。

代入每组备选向量x_k及对应的时隙分配策略τ到优化目标函数Q^*(h)，可求得每组系统吞吐量，选出最大的系统吞吐量即为优化目标的解Q^*(τ*,x*,h)。

S5、建立有序卸载队列

传统TDMA时隙分配并没有对时隙顺序做出规定。如果建立适当的顺序能够使每个节点充分利用本时隙信道较优的信道，进一步提升系统目标函数。

对于行驶远离基站的节点，在时隙靠前位置进行卸载节点的信道可能更优。同理，对于行驶靠近基站的节点，在时隙靠后位置卸载节点的信道可能更优。前序时刻信道斜率可以反映信道的变化趋势。

使用一元线性回归法拟合各节点在基站缓存的前序时隙信道h_t-L…h_t-1,h_t。

所求各节点按斜率从小到大依次入队，按照队列序顺序作为TDMA帧时隙顺序。卸载队列流程示意图如图3所示。

迭代上述S2-S5步骤，增强学习模型进行在线训练，依据不断变化的车辆节点分布产生的信道变化，迭代得到最优卸载策略。并根据分布情况的变化更新深度神经网络参数。

表1.仿真参数设置表

实验硬件环境为Inter Core i3-4510 CPU，主频为3.5GHz，内存大小为8.00GB。

实验中，使用坐标下降法得到的吞吐量Q_cd作为全局最优解，本文提出框架的优化目标的解为Q^*(τ^*,x^*,h),使用ratio＝Q^*(τ^*,x^*,h)/Q_cd衡量所提出系统的性能，ratio≤1,该指标越接近1，说明所得性能越接近最优。

图4所示系统在M＝10,V＝90km/h的16000个时隙的ratio变化图，平均ratio＝0.9875。本方法能够适应不断变化的节点分布和对信道变化状态做出调整。

图5所示是信道处理前后的性能对比图，在V＝60km/h-120km/h不同情况下，使用预处理后ratio提高。本方法通过信道预处理，提高了系统性能。

下表2为坐标下降法和所提出方案的单次执行时间性能对比图。由表可以看出，随着节点数量的增加，坐标下降法的时间性能呈指数攀升。所提出方法具有优异的时间性能。

表2.时间性能比较表

节点数	提出框架	坐标下降法
			10	0.52e-2s	0.23s
20	1.72e-1s	1.7s
			30	3.35e-1s	4.2s

本发明同时探索了预测长度L对预测误差和对时间性能的影响。

图6所示是预测长度和预测均方误差的关系示意图。当L<10时候，随着预测长度增加，性能较优。L>10性能增长趋势减缓，达到瓶颈。

图7所示是预测长度和时间消耗的关系，当L>12时，时间增幅较明显。

因此选择L＝13作为一个预测性能和时间开销的折衷点。

图8所示为按照自然顺序卸载和使用有序队列卸载吞吐量性能对比图，可以看出使用有序卸载队列后进一步提升了性能。且在速度增大时，该方法的性能体现出的优势更大。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种车联网环境下多接入边缘计算卸载和帧时隙资源分配方法，该方法的应用场景为道路一侧部署基站，基站内部有边缘计算服务器，基站覆盖半径为R，基站覆盖范围内存在M个车辆节点均匀分布在车道两侧以速度V行驶，车辆节点选择本地计算或卸载到边缘服务器进行计算，对于卸载节点i，基站采用TDMA方式分配通信及计算时隙，TDMA单帧时隙长度为T，卸载节点i分配时隙比例因子为τ_i,0≤τ_i≤1，则其分配卸载时隙长度为τ_iT，其特征在于，该方法包括以下步骤：

S2、对各节点的信道进行预处理得到信道预处理向量h；

S5、建立有序卸载队列，按序进行卸载；

其中，所述的步骤S1过程如下：

S11、建立本地计算模型：

r_L,i表示本地执行速率，计算公式如下：

其中，f表示本地运算CPU频率，

S12、建立卸载计算模型：

r_O，i表示节点i当前时隙卸载节点总吞吐量：

r_O，i＝r_up+r_mec+r_down

其中，r_up表示上传速率，由香农计算公式得到，r_mec表示边缘计算速率，r_down表示回传速率，在本场景中有r_up＞＞r_mec+r_down，因此对于卸载用户，r_O，i＝r_up作为卸载节点的吞吐量；

其中，v_u＞1表示传输需要的通信传输开销，B表示系统传输带宽，E表示每个节点的发射耗能，N0表示系统内高斯白噪声，h_i表示节点i在第t时隙的信道，M₁表示卸载节点集合；

则节点i在当前时隙的通信速率为：

S13、系统总吞吐量Q(τ，x，h)计算公式如下：

其中，τ为当前时隙的时隙分配向量，τ＝{τ₁，τ₂，...，τ_i，...}，对于卸载节点所分配时隙τ_i有：

τ_i≤1；

x为当前时隙的卸载向量，x＝{x₁，x₂，...，x_i，...}，x_i＝1表示节点i进行卸载，x_i＝0表示本地计算，i＝1，2，...，M；

h为当前时隙的信道预处理向量；

将r_L，i，r_O，i代入系统总吞吐量Q(τ，x，h)得：

其中，

s.t.

τ_i≤1，

τ_i≥0，

x_i∈{0，1}.

上述优化目标Q^*(h)为混合整数规划问题，是一个非凸问题；

其中，所述的步骤S2中预处理过程包括：

对各节点进行下一时隙的信道预测并计算本时隙的平均信道大小；

依据每一节点前序时隙h_t-L，...h_t-1，h_t，使用支持向量机对下一时隙信道h_t+1进行预测，其中L为边缘服务器缓存信道时隙的长度；

计算当前时隙节点i的信道平均值

计算公式为：

本时隙信道预处理向量为：

其中，所述的步骤S3中，使用深度增强学习框架训练多接入边缘计算系统，将当前的状态作为输入数值，输入到神经网络量化得到动作和对应的系统总吞吐量Q(τ，x，h)值，通过更新神经网络里的参数来训练神经网络，从而优化模型得到最优解，具体如下：

S31、训练：

输入状态为信道预处理向量h，奖励函数为系统总吞吐量Q(τ，x，h)，输出动作为一组松弛解

表示节点i的松弛解，

S32、松弛解量化：

使用KNN(K-Neamest Neighbor)量化算法得到备选卸载向量集{x₁，x₂，...，x_k，...}，对于其中任意一个向量x_k＝{x₁，x₂，...，x_i，...}，x_i＝{0，1}，i＝1，2，3...，M；

S33、参数更新：

经验池batch存储增强学习不断更新的训练集样本<h，x^*>，在后续步骤S4求解得到最优解Q^*(τ^*，x^*，h)后，将样本<h，x^*>存入经验池batch中进行在线训练，不断更新参数，其中x^*＝argmax(Q^*(τ^*，x^*，h))，argmax表示对Q^*(τ^*，x^*，h)求参数x^*；

其中，所述的步骤S4中，使用拉格朗日法求解系统目标函数，具体如下：

当

时，满足对偶条件，使用对偶法求解问题，得到时隙分配策略τ＝{τ₁，τ₂，，...，τ_i，...}，i∈M₁；

代入每组备选卸载向量和对应的时隙分配策略，可求得Q(τ，x，h)；

取最大Q^*(τ^*，x^*，h)作为本次系统优化目标的解；

其中，所述的步骤S5中，使用一元线性回归法对各路节点信道前序时隙h_t-L...h_t-1，h_t进行线性拟合，求解其斜率k；

根据斜率大小从小到大排序构成卸载队列；

按照该入队顺序作为TDMA帧时隙的顺序，进行卸载。

2.根据权利要求1所述的一种车联网环境下多接入边缘计算卸载和帧时隙资源分配方法，其特征在于，该方法在执行过程中，迭代步骤S2-S5，随着环境的改变不断更新深度增强学习框架状态参数。