CN111132192A - 一种无人机基站在线轨迹优化方法 - Google Patents

Abstract

本发明公开了一种无人机基站在线轨迹优化方法，通过建立无人机基站通信模型；确定无人机在轨迹策略μ下的平均通信时延函数；利用强化学习算法确定使平均通信时延函数最小的最优轨迹策略，完成无人机基站在线轨迹优化。该方法对通信的模型没有要求，也不需要对环境完全已知，通过提出一个优化问题来最小化无人机基站和用户之间的平均通信时延，并将该优化问题转换成马尔可夫决策过程进行求解。基于强化学习对无人机轨迹进行训练，每一次轨迹训练都能够得到一个回报，根据多次训练得到的回报来更新动作值函数，在训练完毕后，无人机可以根据动作值函数对用户的通信请求做出决策，从而最小化无人机与用户之间的平均通信时延。

Description

一种无人机基站在线轨迹优化方法

技术领域

本发明涉及无人机通信技术领域，尤其涉及一种无人机基站在线轨迹优化方法。

背景技术

在过去的十年中，无人机在无线通信领域引起了广泛的关注。由于无人机灵活性高，移动性高，成本低等特点，使得无人机在很多领域充分发挥了无人机独特的优势。目前使用的基站都是固定静止的，不能满足不断增加的用户设备和高数据速率的需求。为了解决上述问题，无人机与蜂窝网络融合，即无人机基站应运而生。在基础设施覆盖不足的情况下，把无人机作为空中通信基站，为用户设备提供无线通信服务。

目前无人机轨迹优化采用的方法属于离线优化。例如在文章Joint Trajectoryand Communication Design for Multi-UAV Enabled Wireless Networks中，采用了块坐标下降法和连续凸逼近算法优化无人机的轨迹和发射功率，这些算法是在对通信环境的完美假设基础上进行的。离线优化方法，首先需要制定一个易于分析的、可优化的通信系统模型，包括信道模型以及传播环境模型。其次，离线优化还需要对用户的通信请求进行估计和建模，需要完美的建模参数。即使有精确的建模和所有相关参数的信息，现代通信系统中的大多数优化问题都是非凸的，很难有效的解决。然而实际中，通信的环境是不断变化的，用户的通信请求也是随机的、不可预测的，所以以上的假设都不可能。因此无人机在随机的通信请求情况下难以较好地完成轨迹优化。

发明内容

本发明为解决现有的无人机轨迹离线优化方法在在随机的通信请求情况下难以较好地完成轨迹优化的问题，提供了一种无人机基站在线轨迹优化方法。

为实现以上发明目的，而采用的技术手段是：

一种无人机基站在线轨迹优化方法，包括：

S1.建立无人机基站通信模型；

S2.确定无人机在轨迹策略μ下的平均通信时延函数；

S3.利用强化学习算法确定使所述平均通信时延函数最小的最优轨迹策略，完成无人机基站在线轨迹优化。

优选的，步骤S1所述的无人机基站通信模型具体为：包括一个无人机和两个地面节点UE₁和UE₂，设定地面节点UE₁的位置坐标为x₁＝-a，地面节点UE₂的位置坐标为x₂＝a，无人机飞行高度H不变，无人机沿两个地面节点连接的线段移动，t时刻时无人机在x轴的位置为q(t)，q(t)∈[-a，a]，无人机的飞行速度为|q′(t)|∈{0，V}，通信信道是视距信道，无人机的通信功率固定为P_c，则在t时刻时无人机与地面节点UE₁、UE₂之间的瞬时通信速率为：

其中x_r为无人机的位置，r∈{1，2}，H²+(q(t)-x_r)²为无人机与地面节点的距离的平方，B为信道带宽，γ为参考距离为1m时的信噪比。

优选的，步骤S2所述的无人机在轨迹策略μ下的平均通信时延函数具体为：

每个地面节点发出的通信请求是独立同分布，服从均值为λ/2的泊松过程，每次通信请求的信息量为L比特；无人机收到地面节点UE_r的通信请求后，无人机处于通信状态，此时无人机传输L比特给地面节点UE_r，另一地面节点的通信请求会被忽略；当完成通信的数据传输后，无人机进开始等待下一次通信请求：

令Δ_l为无人机完成第l次通信请求的时延，M_t为t时刻无人机完成的通信请求总次数，定义无人机的给定起始位置为q(0)＝0，则轨迹策略μ下的平均通信时延函数为：

优选的，所述步骤S3包括：对所述无人机的轨迹离散化，将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型，对其中的状态空间、动作、动作策略及时延函数建模，并利用强化学习算法求解最优轨迹策略，从而完成无人机基站在线轨迹优化。

优选的，步骤S3中所述将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型，对其中的状态空间、动作、动作策略及时延函数建模具体为：

(1)状态空间：S＝I×R，R＝{0，1，2}表示请求状态，其中R＝0表示没有请求，R＝1表示接收到来自地面节点UE₁的请求，R＝2表示接收到来自地面节点UE₂的请求；I为无人机轨迹离散化的位置索引序列{-N，-N+1，…，N-1，N}，其对应的位置集合是

将状态空间分为等待状态S_wait＝I×{0}和通信状态S_comm＝I×{1，2}；

(2)动作：设无人机处于等待状态S_n＝(i，0)∈S_wait，表示无人机处于q_i的位置没有接收到请求；动作集合为m＝{-1，0，1}，其中m＝-1表示无人机向左移动到q_i+1，m＝0表示无人机停留盘旋，m＝1表示无人机向右移动到q_i-1；每个动作所花费的时间，即无人机在两个相邻的离散点所需时间为

当无人机处于通信状态S_n＝(i，r)∈S_comm，r＝1，2，表示无人机接收到来自地面节点UE_r的请求，无人机为地面节点UE_r提供L比特数据；此时的动作集合为从q_i开始的轨迹，可选的轨迹须满足：

在通信阶段须传输完所有数据，这段时间T定义为通信时延；定义通信状态的动作集合为A_r(i)＝U_jA_r(i→j)，A_r(i→j)是指为GN_r服务，起点为q_i，终点为q_j的可行的轨迹集合：

(3)动作策略：以ε的概率在动作集A中随机选择动作a，以1-ε的概率采取贪婪策略：

(4)时延：无人机从对地面节点UE_r的L比特数据传输的所需时间，

表示为UE_r服务，起点为q_i，终点为q_j的轨迹中最小化的通信时延：

对于任何一个通信状态(i，r)都有2N+1条轨迹是最优的，在每个可能的结束位置q_j∈Q都有一条最优的轨迹；即确定使所述平均通信时延函数最小的最优轨迹策略的问题转变为：确定使所述平均通信时延函数最小的最优等待策略和结束位置策略问题。

优选的，步骤S3所述时延函数中UE_r服务，起点为q_i，终点为q_j的轨迹中的最小化通信时延

求解为：

定义

p₁，p₂∈[-a，a]是无人机以最大速度V从p₁飞到p₂的总时间，在p₁到p₂的轨迹中，无人机发送给地面节点UE_r的信息量为：

由于

定义轨迹为{p₁→(p₂，δ)→p₃}，表示无人机从p₁飞向p₂，然后停留δ时间再飞向p₃；

定义q^*(·)∈A_r(i→j)是起点为q_i，终点为q_j的最小化通信时延

的轨迹；若

轨迹为：

q^*(·)＝{q_i→(q_j，0)→q_j}

无人机以最大速度从q_i飞向q_j，没有中断，此情况的通信时延为

若

轨迹为：

q^*(·)＝{q_i→(x_r，δ^*)→q_j}

无人机以最大的速度从q_i飞向x_r，在x_r悬停δ^*时间，然后再飞向q_j，此情况的通信时延为

若

且

轨迹为：

q^*(·)＝{q_i→(p^*，0)→q_j}

无人机以最大速度从q_i飞向x_r，到达p^*之后，返回飞向q_j，此情况的通信时延为

当r＝1时，p^*是[x_r，min{q_i，q_j}]区间内的唯一解；当r＝2，p^*是[max{q_i，q_j}，x_r]区间内的唯一解。

优选的，步骤S3中所述利用强化学习算法求解最优轨迹策略，从而完成无人机基站在线轨迹优化具体为：

当无人机处于等待状态时，最优轨迹策略的计算为：

其中m＝-1表示无人机向左移动到q_i+1，m＝0表示无人机停留盘旋，m＝1表示无人机向右移动到q_i-1；

当无人机处于通信状态时，最优轨迹策略的计算为：

A.初始化：设置强化学习的探索参数ε，最大训练次数N_epi，平均通信时延d，动作值函数D(s，a)＝0，

通信次数N＝0，随机选择初始状态s；

B.执行以下循环计算，直至通信次数N＝N_epi时结束循环：

B1.根据ε-greedy选择动作a，即通信状态的轨迹；

B2.采取动作a，得到通信时延

通信次数N＝N+1，根据动作得到下一个状态s′；

B3.更新公式：

B4.更新s＝s′，平均通信时延d＝D(s，a)。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供的无人机基站在线轨迹优化方法对通信的模型没有要求，也不需要对环境完全已知。本方法通过提出一个优化问题来最小化无人机基站和用户之间的平均通信时延，并将该优化问题转换成马尔可夫决策过程进行求解。基于强化学习对无人机轨迹进行训练，每一次轨迹训练都能够得到一个回报，根据多次训练得到的回报来更新动作值函数，在训练完毕后，无人机可以根据动作值函数对用户的通信请求做出决策，从而最小化无人机与用户之间的平均通信时延。

附图说明

图1为本发明的方法流程图。

图2为本发明中的无人机基站通信模型。

图3为本发明中强化学习算法的原理图。

图4为本发明中

的求解流程图。

图5为本发明中无人机处于通信状态时最优轨迹策略的计算流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

一种无人机基站在线轨迹优化方法，如图1所示，包括：

S1.建立无人机基站通信模型，如图2所示，无人机基站通信模型包括一个无人机和两个地面节点UE₁和UE₂，设定地面节点UE₁的位置坐标为x₁＝-a，地面节点UE₂的位置坐标为x₂＝a，无人机飞行高度H不变，无人机沿两个地面节点连接的线段移动，t时刻时无人机在x轴的位置为q(t)，q(t)∈[-a，a]，无人机的飞行速度为|q′(t)|∈{0，V}，通信信道是视距信道，无人机的通信功率固定为P_c，则在t时刻时无人机与地面节点UE₁、UE₂之间的瞬时通信速率为：

其中x_r为无人机的位置，r∈{1，2}，H²+(q(t)-x_r)²为无人机与地面节点的距离的平方，B为信道带宽，γ为参考距离为1m时的信噪比。

S2.确定无人机在轨迹策略μ下的平均通信时延函数；

每个地面节点发出的通信请求是独立同分布，服从均值为λ/2的泊松过程，每次通信请求的信息量为L比特；无人机收到地面节点UE_r的通信请求后，无人机处于通信状态，此时无人机传输L比特给地面节点UE_r，另一地面节点的通信请求会被忽略；当完成通信的数据传输后，无人机进开始等待下一次通信请求：

令Δ_l为无人机完成第l次通信请求的时延，M_t为t时刻无人机完成的通信请求总次数，定义无人机的给定起始位置为q(0)＝0，则轨迹策略μ下的平均通信时延函数为：

虽然服务请求(比如来自地面节点UE₁)的最小延迟是无人机以最大速度飞向UE₁来提高链路质量来实现，但是从平均延迟的角度来看，如果无人机在完成UE₁的请求后立即收到来自UE₂的新请求，此时为UE₂服务的延迟可能很大，因为无人机必须覆盖很大的距离。因此有下述步骤S3；

S3.利用强化学习算法确定使所述平均通信时延函数最小的最优轨迹策略，完成无人机基站在线轨迹优化。

首先介绍强化学习算法：如图3所示，目标通过动作和奖励与环境交互学习，定义为不完全已知的马尔可夫决策过程。强化学习中的目标根据状态S在动作空间A里面选择动作a，奖励T(s，a)表示所选择的动作对目标的贡献，并向目标提供信息，一系列的动作组成策略π(s)。

在本实施例中，对无人机的轨迹离散化，从而将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型，对其中的状态空间、动作、动作策略及时延函数建模，并利用强化学习算法求解最优轨迹策略，从而完成无人机基站在线轨迹优化。

其中将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型，对其中的状态空间、动作、动作策略及时延函数建模具体为：

(1)状态空间：S＝I×R，R＝{0，1，2}表示请求状态，其中R＝0表示没有请求，R＝1表示接收到来自地面节点UE₁的请求，R＝2表示接收到来自地面节点UE₂的请求；I为无人机轨迹离散化的位置索引序列{-N，-N+1，…，N-1，N}，其对应的位置集合是

将状态空间分为等待状态S_wait＝I×{0}和通信状态S_comm＝I×{1，2}；

(2)动作：设无人机处于等待状态S_n＝(i，0)∈S_wait，表示无人机处于q_i的位置没有接收到请求；动作集合为m＝{-1，0，1}，其中m＝-1表示无人机向左移动到q_i+1，m＝0表示无人机停留盘旋，m＝1表示无人机向右移动到q_i-1；每个动作所花费的时间，即无人机在两个相邻的离散点所需时间为

当无人机处于通信状态S_n＝(i，r)∈S_comm，r＝1，2，表示无人机接收到来自地面节点UE_r的请求，无人机为地面节点UE_r提供L比特数据；此时的动作集合为从q_i开始的轨迹，可选的轨迹须满足：

在通信阶段须传输完所有数据，这段时间T定义为通信时延；定义通信状态的动作集合为A_r(i)＝U_jA_r(i→j)，A_r(i→j)是指为GN_r服务，起点为q_i，终点为q_j的可行的轨迹集合：

(3)动作策略：以ε的概率在动作集A中随机选择动作a，以1-ε的概率采取贪婪策略：

(4)时延：无人机从对地面节点UE_r的L比特数据传输的所需时间，

表示为UE_r服务，起点为q_i，终点为q_j的轨迹中最小化的通信时延：

对于任何一个通信状态(i，r)都有2N+1条轨迹是最优的，在每个可能的结束位置q_j∈Q都有一条最优的轨迹；即确定使所述平均通信时延函数最小的最优轨迹策略的问题转变为：确定使所述平均通信时延函数最小的最优等待策略和结束位置策略问题。

以下简要证明上述关于q^*(·)和

的求解。假设r＝2(r＝1的情况和r＝2对称)，对于任意一条轨迹q(·)∈A₂(i→j)，时延为Δt，可以找到另外一条轨迹

时延同为Δt，满足

无人机在

轨迹下总是比在q(·)轨迹下更靠近地面节点UE₂，因此在相同时延的情况下，无人机在

轨迹下总是比在q(·)轨迹下能够传输更大的信息量。即

能够减少时延。

如图4所示，其中

可以求解为：

定义

p₁，p₂∈[-a，a]是无人机以最大速度V从p₁飞到p₂的总时间，在p₁到p₂的轨迹中，无人机发送给地面节点UE_r的信息量为：

由于

定义轨迹为{p₁→(p₂，δ)→p₃}，表示无人机从p₁飞向p₂，然后停留δ时间再飞向p₃；

定义q^*(·)∈A_r(i→j)是起点为q_i，终点为q_j的最小化通信时延

的轨迹；若

轨迹为：

q^*(·)＝{q_i→(q_j，0)→q_j}

无人机以最大速度从q_i飞向q_j，没有中断，此情况的通信时延为

若

轨迹为：

q^*(·)＝{q_i→(x_r，δ^*)→q_j}

无人机以最大的速度从q_i飞向x_r，在x_r悬停δ^*时间，然后再飞向q_j，此情况的通信时延为

若

且

轨迹为：

q^*(·)＝{q_i→(p^*，0)→q_j}

无人机以最大速度从q_i飞向x_r，到达p^*之后，返回飞向q_j，此情况的通信时延为

当r＝1时，p^*是[x_r，min{q_i，q_j}]区间内的唯一解；当r＝2，p^*是[max{q_i，q_j}，x_r]区间内的唯一解。

利用强化学习算法求解最优轨迹策略，从而完成无人机基站在线轨迹优化，如图5所示，具体为：

当无人机处于等待状态时，最优轨迹策略的计算为：

其中m＝-1表示无人机向左移动到q_i+1，m＝0表示无人机停留盘旋，m＝1表示无人机向右移动到q_i-1；

当无人机处于通信状态时，最优轨迹策略的计算为：

A.初始化：设置强化学习的探索参数ε＝0.001，最大训练次数N_epi＝1×10⁸，平均通信时延d＝0，动作值函数D(s，a)＝0，

通信次数N＝0，随机选择初始状态s；

B.执行以下循环计算，直至通信次数N＝N_epi时结束循环：

B1.根据ε-greedy随机选择动作a，即通信状态的轨迹；

B2.采取动作a，得到通信时延

通信次数N＝N+1，根据动作得到下一个状态s′；

B3.更新公式：

B4.更新s＝s′，平均通信时延d＝D(s，a)。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种无人机基站在线轨迹优化方法，其特征在于，包括：

S1.建立无人机基站通信模型；

S2.确定无人机在轨迹策略μ下的平均通信时延函数；

S3.利用强化学习算法确定使所述平均通信时延函数最小的最优轨迹策略，完成无人机基站在线轨迹优化。

2.根据权利要求1所述的无人机基站在线轨迹优化方法，其特征在于，步骤S1所述的无人机基站通信模型具体为：包括一个无人机和两个地面节点UE₁和UE₂，设定地面节点UE₁的位置坐标为x₁＝-a，地面节点UE₂的位置坐标为x₂＝a，无人机飞行高度H不变，无人机沿两个地面节点连接的线段移动，t时刻时无人机在x轴的位置为q(t)，q(t)∈[-a，a]，无人机的飞行速度为|q′(t)|∈{0，V}，通信信道是视距信道，无人机的通信功率固定为P_c，则在t时刻时无人机与地面节点UE₁、UE₂之间的瞬时通信速率为：

其中x_r为无人机的位置，r∈{1，2}，H²+(q(t)-x_r)²为无人机与地面节点的距离的平方，B为信道带宽，γ为参考距离为1m时的信噪比。

3.根据权利要求2所述的无人机基站在线轨迹优化方法，其特征在于，步骤S2所述的无人机在轨迹策略μ下的平均通信时延函数具体为：

每个地面节点发出的通信请求是独立同分布，服从均值为λ/2的泊松过程，每次通信请求的信息量为L比特；无人机收到地面节点UE_r的通信请求后，无人机处于通信状态，此时无人机传输L比特给地面节点UE_r，另一地面节点的通信请求会被忽略；当完成通信的数据传输后，无人机进开始等待下一次通信请求：

令Δ_l为无人机完成第l次通信请求的时延，M_t为t时刻无人机完成的通信请求总次数，定义无人机的给定起始位置为q(0)＝0，则轨迹策略μ下的平均通信时延函数为：

4.根据权利要求3所述的无人机基站在线轨迹优化方法，其特征在于，所述步骤S3包括：对所述无人机的轨迹离散化，将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型，对其中的状态空间、动作、动作策略及时延函数建模，并利用强化学习算法求解最优轨迹策略，从而完成无人机基站在线轨迹优化。

5.根据权利要求4所述的无人机基站在线轨迹优化方法，其特征在于，步骤S3中所述将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型，对其中的状态空间、动作、动作策略及时延函数建模具体为：

(1)状态空间：S＝I×R，R＝{0，1，2}表示请求状态，其中R＝0表示没有请求，R＝1表示接收到来自地面节点UE₁的请求，R＝2表示接收到来自地面节点UE₂的请求；I为无人机轨迹离散化的位置索引序列{-N，-N+1，…，N-1，N}，其对应的位置集合是

将状态空间分为等待状态S_wait＝I×{0}和通信状态S_comm＝I×{1，2}；

(2)动作：设无人机处于等待状态S_n＝(i，0)∈S_wait，表示无人机处于q_i的位置没有接收到请求；动作集合为m＝{-1，0，1}，其中m＝-1表示无人机向左移动到q_i+1，m＝0表示无人机停留盘旋，m＝1表示无人机向右移动到q_i-1；每个动作所花费的时间，即无人机在两个相邻的离散点所需时间为

当无人机处于通信状态S_n＝(i，r)∈S_comm，r＝1，2，表示无人机接收到来自地面节点UE_r的请求，无人机为地面节点UE_r提供L比特数据；此时的动作集合为从q_i开始的轨迹，可选的轨迹须满足：

∫₀ ^TR_r(q(τ))dτ≥L

在通信阶段须传输完所有数据，这段时间T定义为通信时延；定义通信状态的动作集合为A_r(i)＝U_jA_r(i→j)，A_r(i→j)是指为GN_r服务，起点为q_i，终点为q_j的可行的轨迹集合：

(3)动作策略：以ε的概率在动作集A中随机选择动作a，以1-ε的概率采取贪婪策略：

(4)时延：无人机从对地面节点UE_r的L比特数据传输的所需时间，

表示为UE_r服务，起点为q_i，终点为q_j的轨迹中最小化的通信时延：

对于任何一个通信状态(i，r)都有2N+1条轨迹是最优的，在每个可能的结束位置q_j∈Q都有一条最优的轨迹；即确定使所述平均通信时延函数最小的最优轨迹策略的问题转变为：确定使所述平均通信时延函数最小的最优等待策略和结束位置策略问题。

6.根据权利要求5所述的无人机基站在线轨迹优化方法，其特征在于，步骤S3所述时延函数中UE_r服务，起点为q_i，终点为q_j的轨迹中的最小化通信时延

求解为：

定义

p₁，p₂∈[-a，a]是无人机以最大速度V从p₁飞到p₂的总时间，在p₁到p₂的轨迹中，无人机发送给地面节点UE_r的信息量为：

由于

定义轨迹为{p₁→(p₂，δ)→p₃}，表示无人机从p₁飞向p₂，然后停留δ时间再飞向p₃；

定义q^*(·)∈A_r(i→j)是起点为q_i，终点为q_j的最小化通信时延

的轨迹；若

轨迹为：

q^*(·)＝{q_i→(q_j，0)→q_j}

无人机以最大速度从q_i飞向q_j，没有中断，此情况的通信时延为

若

轨迹为：

q^*(·)＝{q_i→(x_r，δ^*)→q_j}

无人机以最大的速度从q_i飞向x_r，在x_r悬停δ^*时间，然后再飞向q_j，此情况的通信时延为

若

且

轨迹为：

q^*(·)＝{q_i→(p^*，0)→q_j}

无人机以最大速度从q_i飞向x_r，到达p^*之后，返回飞向q_j，此情况的通信时延为

当r＝1时，p^*是[x_r，min{q_i，q_j}]区间内的唯一解；当r＝2，p^*是[max{q_i，q_j}，x_r]区间内的唯一解。

7.根据权利要求6所述的无人机基站在线轨迹优化方法，其特征在于，步骤S3中所述利用强化学习算法求解最优轨迹策略，从而完成无人机基站在线轨迹优化具体为：

当无人机处于等待状态时，最优轨迹策略的计算为：

其中m＝-1表示无人机向左移动到q_i+1，m＝0表示无人机停留盘旋，m＝1表示无人机向右移动到q_i-1；

当无人机处于通信状态时，最优轨迹策略的计算为：

A.初始化：设置强化学习的探索参数ε，最大训练次数N_epi，平均通信时延d，动作值函数D(s，a)＝0，

通信次数N＝0，随机选择初始状态s；

B.执行以下循环计算，直至通信次数N＝N_epi时结束循环：

B1.根据ε-greedy选择动作a，即通信状态的轨迹；

B2.采取动作a，得到通信时延

通信次数N＝N+1，根据动作得到下一个状态s′；

B3.更新公式：

B4.更新s＝s′，平均通信时延d＝D(s，a)。

Images