CN112911618A - 一种基于资源退出场景的无人机服务器任务卸载调度方法 - Google Patents

Abstract

本发明请求保护一种基于资源退出场景的无人机服务器任务卸载调度方法，属于通信技术领域。该方法针对单个无人机降落过程中，低空无人机网络服务器资源分布变化和缺失的问题，提出一种动态任务卸载调度方法。根据无人机服务器可用资源、用户接入距离与时延等约束条件，采用深度强化学习技术，对无人机集群的移动轨迹和服务器资源分配进行动态决策，实现单个无人机退出过程中，用户连接丢失率的最小化，以及资源利用率和任务卸载时延的最优化。

Description

一种基于资源退出场景的无人机服务器任务卸载调度方法

技术领域

本发明属于通信技术领域，具体涉及一种基于资源退出场景的无人机服务器任务卸载调度方法。

背景技术

随着用户的普及和移动网络的发展，如增强现实、虚拟现实等计算密集型应用越来越多。用户面对计算量较大的应用，因有限的计算能力、存储空间和电池容量，无法快速有效地进行处理。移动云计算(Mobile Cloud Computing,MCC)通过将计算密集型的任务卸载到资源充足的云服务器进行计算，能够快速得到计算结果。然而架设于核心网的云服务器与距离用户很远，会产生很高的传输时延。移动边缘计算(Mobile Edge Computing,MEC)是5G移动通信的关键性技术，位于网络边缘的边缘服务器为用户提供计算服务，可以极大地降低传输时延及能耗，为用户提供高效、可靠的服务。

空天地一体化通信网络融合了卫星网络、低空网络和传统地面网络，是未来6G移动通信的重要发展趋势，而由无人机服务器构成的低空网络，是空天地一体化架构中的关键部分。无人机可以进一步缩短与用户的传输距离，减少时延和能耗；相比传统的地面通信设施，无人机位于高空有更高的概率与用户进行视距连接，提供更可靠和稳定的通信信道；无人机的位置可以实时变动，应对网络状态的变化和不同的场景需求。以多台无人机组成的无人机集群构建自适应网络，能够应对各种复杂场景。大规模灾难事件，如：地震，会对地面基础通信设施造成严重破坏，无人机集群可组成临时的通信网络，提供基础的应用服务。对于大型体育赛事、音乐节等高突发流量场景，无人机集群可作为现有通信设施的补充。因此，无人机集群构建的自适应网络具有重要的研究价值。

深度强化学习引入了深度神经网络(Deep Neural Network,DNN)对强化学习中的值函数、策略函数进行函数逼近，弥补了传统强化学习的缺陷，可以运用于大规模的复杂问题。目前深度强化学习已经在机器人、计算机视觉、自然语言处理等领域有大规模的应用。深度强化学习是控制无人机的一种有效方法，可根据当前的环境状态对无人机发出控制指令。近端策略优化(Proximal Policy Optimization,PPO)是深度强化学习中的一种策略梯度方法，拥有稳定、高效、适应性强的特点。基于PPO算法，可实现在复杂环境下对无人机集群的控制。

由于无人机的载重量限制，搭载的电池容量有限，每工作一段时间，就需要降落进行充电。无人机的能耗速率受到飞行、信道变化和任务卸载等因素的影响而动态变化，难以确定其精确的工作时间。因无人机服务器降落而使低空网络服务器资源分布变化和缺失的情况下，如何对低空网络进行重新组网，同时保证重新组网中服务质量的持续性，具有重要的研究价值。

本发明采用深度强化学习技术，对无人机集群的移动轨迹和服务器资源分配进行动态决策，实现单个无人机退出过程中，用户连接丢失率的最小化，以及资源利用率和任务卸载时延的最优化。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能够根据当前的系统状态自适应调整无人机服务器的位置和资源分配，从而降低网络系统因低空网络资源退出而造成的性能损失的基于资源退出场景的无人机服务器任务卸载调度方法。本发明的技术方案如下：

一种基于资源退出场景的无人机服务器任务卸载调度方法，假设无人机集群I＝{i}中的一台无人机开始返回地面并最终退出服务，其总时长为T，令T＝K·Δt，其中，Δt为时隙长度，K为总时隙数，地面用户集合为J＝{j}，用户j在T时长内持续产生任务单元卸载请求，具体包括以下步骤：

101、建立马尔科夫决策过程MDP数学模型，构造状态向量S_k、动作向量A_k、奖励函数R_k，其中，k为时隙数，将无人机集群控制器作为智能体，根据近端策略优化算法PPO建立无人机集群控制策略网络π_θ，其中，θ为经过训练的神经网络参数向量；

102、无人机i^*发出返航指令，令时隙k＝0；

103、令k＝k+1，如果k≤K，智能体将当前时隙k的状态向量S_k输入策略网络π_θ，获得动作向量A_k，同时，根据集合J中每一用户j的平均任务单元卸载时延

对其服务器资源分配变量集合

进行决策，跳转到步骤104，否则，跳转到步骤105；

104、根据动作向量A_k、服务器资源分配变量集合

执行无人机集群移动控制及任务卸载，并返回计算结果，获得状态向量S_k+1，根据奖励函数评价智能体的决策，计算相应的奖励值R_k，将{S_k,A_k,R_k,S_k+1}保存至向量集B中，跳转到步骤103；

105、无人机i^*完成返航，剩余滞空无人机完成部署，根据向量集B更新神经网络参数向量θ，进一步优化策略网络π_θ，算法结束。

进一步的，所述步骤101中构建状态向量S_k，动作向量A_k，奖励函数R_k，分别如公式(1)、(2)、(3)所示：

A_k＝{μ_i} (2)

公式(1)中，

表示无人机i的状态向量，

表示无人机i在时隙k的坐标，非返回无人机高度固定为

令C_i为无人机i的服务器资源总量，

表示无人机i已分配给用户的服务器资源，其中

计算一个任务单元需要占用一个单位的服务器资源；

表示用户j的状态向量，x_j、y_j、h_j表示地面用户j的坐标，其高度

表示用户j在时隙k的服务器资源分配变量集合，其中，

表示用户j与无人机i建立连接，且无人机i为其分配了

大小的服务器资源，

表示用户j未与无人机i建立连接，

表示用户j在时隙k的平均任务单元卸载时延，如公式(4)所示，其中，

表示用户j在时隙u的服务器资源分配变量，u∈[1,k]；

公式(2)中，μ_i∈{0,1,...,8}表示无人机i的飞行控制决策变量，其中，0表示无人机i停止运动，{1,...,8}分别表示8个水平运动方向；

公式(3)中，Λ_i,j表示奖励函数的正反馈函数，如公式(5)所示，λ表示权重参数，Γ_j表示奖励函数的负反馈函数，如公式(6)所示：

公式(5)中，

表示无人机i与用户j的距离，d_max表示无人机的最大通信距离，公式(6)中，τ_max表示单个任务单元的卸载容忍时延。

进一步的，所述步骤101中无人机集群控制策略网络π_θ，如公式(7)所示：

公式(7)中，

表示在神经网络参数向量θ和输入状态向量S_k条件下，输出动作向量A_k的概率密度函数。

进一步的，所述步骤103中根据集合J中每一用户j的平均任务单元卸载时延

对其服务器资源分配变量集合

进行决策的步骤为：

1)令集合Q＝J，将Q中元素按

的大小降序排列；

2)如果

取出Q中的第一个元素j，根据时延约束τ_max，计算

跳转到步骤3)，否则，跳转到步骤4)；

3)如果

将

对应的用户j加入Q_i队列尾部，令

再将J-{j}中所有用户对应的

置零，其中，α、β、γ为权重参数，

表示无人机i的预估负载，跳转到步骤2)，否则，跳转到步骤2)；

4)对每一无人机i∈I，依次为Q_i中的用户分配

大小的服务器资源；

5)如果

且

其中，

为任务卸载时延，重复遍历Q_i，每次仅分配一个单位服务器资源给相应的用户，令

跳转到步骤5)，否则，返回

进一步的，所述步骤2)中计算

的方法如公式(8)所示：

公式(8)中，

表示用户j在时隙v的服务器资源分配变量，其中，v∈[1,k-1]表示当前时隙k之前的其它时隙。

进一步的，所述步骤5)中任务卸载时延及其约束条件，分别如公式(9)和(10)所示：

公式(10)中，第一部分

为任务卸载的传输时延，F表示任务单元的数据量，

表示在

距离下的传输速率，如公式(11)所示，公式(11)中，ω表示信道带宽，P_j表示用户的传输功率，ρ₀表示单位距离信道增益，N₀表示噪声功率，第二部分D^comp为任务卸载的计算时延。

本发明的优点及有益效果如下：

本发明针对单个无人机降落过程中，低空网络服务器资源分布变化和缺失的问题，本发明提出一种动态任务卸载调度方法。本发明采用深度强化学习技术，设计MDP模型，动态决策无人机集群的移动轨迹和服务器资源分配，实现单个无人机退出过程中，用户连接丢失率的最小化，以及资源利用率和任务卸载时延的最优化。本发明充分利用无人机高机动性，能够根据当前的系统状态自适应调整无人机服务器的位置和资源分配，从而实现无人机集群移动轨迹和服务器资源利用率的动态最优，并最小化低空网络系统因单个无人机资源退出造成的性能损失。

附图说明

图1是本发明提供优选实施例基于资源退出场景的无人机服务器任务卸载调度方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明内容所涉及的概念和模型如下：

1.系统模型：

假设无人机集群I＝{i}中的一台无人机开始返回地面并最终退出服务，其总时长为T，令T＝K·Δt，其中，Δt为时隙长度，K为总时隙数，地面用户集合为J＝{j}，用户j在T时长内持续产生任务单元卸载请求。

2.本发明内容所涉及的其它符号说明如下：

·k：当前时隙数

·π_θ：策略网络

·θ：神经网络参数向量

·S_k：状态向量

·A_k：动作向量

·R_k：奖励函数

·B：数据向量集

·

用户j在时隙k中的平均任务单元卸载时延

·

在时隙k中用户j的服务器资源分配变量集合

·

无人机i在时隙k中的已分配的服务器资源

·

无人机i在时隙k的预估负载

·Q_i：无人机i的用户队列

·

用户j在时隙k中的任务卸载时延

·

在

距离下的传输速率

·ω：信道带宽

·P_j：用户j的传输功率

·D^comp：任务卸载的计算时延

本发明的技术方案说明如下：

1、MDP数学模型的状态向量、动作向量、奖励函数：

如公式(1)、(2)、(3)所示：

A_k＝{μ_i} (2)

公式(1)中，

表示无人机i的状态向量，

表示无人机i在时隙k的坐标，非返回无人机高度固定为

令C_i为无人机i的服务器资源总量，

表示无人机i已分配给用户的服务器资源，计算一个任务单元需要占用一个单位的服务器资源；

表示用户j的状态向量，x_j、y_j、h_j表示地面用户j的坐标，其高度

表示用户j在时隙k的服务器资源分配变量集合，其中，

表示用户j与无人机i建立连接，且无人机i为其分配了

大小的服务器资源，

表示用户j未与无人机i建立连接，

表示用户j在时隙k的平均任务单元卸载时延，如公式(4)所示，其中，

表示用户j在时隙u的服务器资源分配变量，u∈[1,k]；

公式(2)中，μ_i∈{0,1,...,8}表示无人机i的飞行控制决策变量，其中，0表示无人机i停止运动，{1,...,8}分别表示8个水平运动方向。

公式(3)中，Λ_i,j表示奖励函数的正反馈函数，如公式(5)所示，λ表示权重参数，Γ_j表示奖励函数的负反馈函数，如公式(6)所示：

公式(5)中，

表示无人机i与用户j的距离，d_max表示无人机的最大通信距离，公式(6)中，τ_max表示单个任务单元的卸载容忍时延。

2、无人机集群控制策略网络：

如公式(7)所示：

公式(7)中，

表示在神经网络参数向量θ和输入状态向量S_k条件下，输出动作向量A_k的概率密度函数。

3、用户的服务器资源分配变量集合的决策方法：

步骤1：令集合Q＝J，将Q中的元素按

的大小按降序排列；

步骤2：如果

取出Q中的第一个元素j，根据时延约束τ_max，计算

跳转到步骤3，否则，跳转到步骤4；

步骤3：如果

将

对应的用户j加入Q_i队列尾部，令

再将J-{j}中所有用户对应的

置零，其中，α、β、γ为权重参数，

表示无人机i的预估负载，跳转到步骤2，否则，跳转到步骤2；

步骤4：对每一无人机i∈I，依次为Q_i中的用户分配

大小的服务器资源；

步骤5：如果

且

其中，

为任务卸载时延，重复遍历Q_i，每次仅分配一个单位服务器资源给相应的用户，令

跳转到步骤5)，否则，返回

4、服务器资源分配变量的计算公式：

如公式(8)所示：

公式(8)中，

表示用户j在时隙v的服务器资源分配变量，其中，v∈[1,k-1]表示当前时隙k之前的其它时隙。

5、任务卸载时延及其约束条件：

如公式(9)、(10)所示：

公式(10)中，第一部分

为任务卸载的传输时延，F表示任务单元的数据量，

表示在

距离下的传输速率，如公式(11)所示，公式(11)中，ω表示信道带宽，P_j表示用户的传输功率，ρ₀表示单位距离信道增益，N₀表示噪声功率，第二部分D^comp为任务卸载的计算时延。

一种基于资源退出场景的无人机服务器任务卸载调度方法，其具体实施方法包括以下步骤：

步骤1：建立马尔科夫决策过程MDP数学模型，构造状态向量S_k、动作向量A_k、奖励函数R_k，其中，k为时隙数，将无人机集群控制器作为智能体，根据近端策略优化算法PPO建立无人机集群控制策略网络π_θ，其中，θ为经过训练的神经网络参数向量；

步骤2：无人机i^*发出返航指令，令时隙k＝0；

步骤3：令k＝k+1，如果k≤K，智能体将当前时隙k的状态向量S_k输入策略网络π_θ，获得动作向量A_k，同时，根据J中每一用户j的平均任务单元卸载时延

对其服务器资源分配变量集合

进行决策，跳转到步骤4，否则，跳转到步骤5；

步骤4：根据A_k、

执行无人机集群移动控制及任务卸载，并返回计算结果，获得状态向量S_k+1，根据奖励函数评价智能体的决策，计算相应的奖励值R_k，将{S_k,A_k,R_k,S_k+1}保存至向量集B中，跳转到步骤3；

步骤5：无人机i^*完成返航，剩余滞空无人机完成部署，根据向量集B更新神经网络参数向量θ，进一步优化策略网络π_θ，算法结束。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于资源退出场景的无人机服务器任务卸载调度方法，其特征在于，假设无人机集群I＝{i}中的一台无人机开始返回地面并最终退出服务，其总时长为T，令

其中，Δt为时隙长度，K为总时隙数，地面用户集合为J＝{j}，用户j在T时长内持续产生任务单元卸载请求，具体包括以下步骤：

101、建立马尔科夫决策过程MDP数学模型，构造状态向量S_k、动作向量A_k、奖励函数R_k，其中，k为时隙数，将无人机集群控制器作为智能体，根据近端策略优化算法PPO建立无人机集群控制策略网络π_θ，其中，θ为经过训练的神经网络参数向量；

102、无人机i^*发出返航指令，令时隙k＝0；

103、令k＝k+1，如果k≤K，智能体将当前时隙k的状态向量S_k输入策略网络π_θ，获得动作向量A_k，同时，根据集合J中每一用户j的平均任务单元卸载时延

对其服务器资源分配变量集合

进行决策，跳转到步骤104，否则，跳转到步骤105；

104、根据动作向量A_k、服务器资源分配变量集合

执行无人机集群移动控制及任务卸载，并返回计算结果，获得状态向量S_k+1，根据奖励函数评价智能体的决策，计算相应的奖励值R_k，将{S_k,A_k,R_k,S_k+1}保存至向量集B中，跳转到步骤103；

105、无人机i^*完成返航，剩余滞空无人机完成部署，根据向量集B更新神经网络参数向量θ，进一步优化策略网络π_θ，算法结束。

2.根据权利要求1所述的一种基于资源退出场景的无人机服务器任务卸载调度方法，其特征在于，所述步骤101中构建状态向量S_k，动作向量A_k，奖励函数R_k，分别如公式(1)、(2)、(3)所示：

A_k＝{μ_i} (2)

公式(1)中，

表示无人机i的状态向量，

表示无人机i在时隙k的坐标，非返回无人机高度固定为

令C_i为无人机i的服务器资源总量，

表示无人机i已分配给用户的服务器资源，其中

计算一个任务单元需要占用一个单位的服务器资源；

表示用户j的状态向量，x_j、y_j、h_j表示地面用户j的坐标，其高度h_j＝0，

表示用户j在时隙k的服务器资源分配变量集合，其中，

表示用户j与无人机i建立连接，且无人机i为其分配了

大小的服务器资源，

表示用户j未与无人机i建立连接，

表示用户j在时隙k的平均任务单元卸载时延，如公式(4)所示，其中，

表示用户j在时隙u的服务器资源分配变量，u∈[1,k]；

公式(2)中，μ_i∈{0,1,...,8}表示无人机i的飞行控制决策变量，其中，0表示无人机i停止运动，{1,...,8}分别表示8个水平运动方向；

公式(3)中，Λ_i,j表示奖励函数的正反馈函数，如公式(5)所示，λ表示权重参数，Γ_j表示奖励函数的负反馈函数，如公式(6)所示：

公式(5)中，

表示无人机i与用户j的距离，d_max表示无人机的最大通信距离，公式(6)中，τ_max表示单个任务单元的卸载容忍时延。

3.根据权利要求1所述的一种基于资源退出场景的无人机服务器任务卸载调度方法，其特征在于，所述步骤101中无人机集群控制策略网络π_θ，如公式(7)所示：

公式(7)中，

表示在神经网络参数向量θ和输入状态向量S_k条件下，输出动作向量A_k的概率密度函数。

4.根据权利要求1所述的一种基于资源退出场景的无人机服务器任务卸载调度方法，其特征在于，所述步骤103中根据集合J中每一用户j的平均任务单元卸载时延

对其服务器资源分配变量集合

进行决策的步骤为：

1)令集合Q＝J，将Q中元素按

的大小降序排列；

2)如果

取出Q中的第一个元素j，根据时延约束τ_max，计算

跳转到步骤3)，否则，跳转到步骤4)；

3)如果

将

对应的用户j加入Q_i队列尾部，令

再将J-{j}中所有用户对应的

置零，其中，α、β、γ为权重参数，

表示无人机i的预估负载，跳转到步骤2)，否则，跳转到步骤2)；

4)对每一无人机i∈I，依次为Q_i中的用户分配

大小的服务器资源；

5)如果

且

其中，

为任务卸载时延，重复遍历Q_i，每次仅分配一个单位服务器资源给相应的用户，令

跳转到步骤5)，否则，返回

5.根据权利要求4所述的一种基于资源退出场景的无人机服务器任务卸载调度方法，其特征在于，所述步骤2)中计算

的方法如公式(8)所示：

公式(8)中，

表示用户j在时隙v的服务器资源分配变量，其中，v∈[1,k-1]表示当前时隙k之前的其它时隙。

6.根据权利要求4所述的一种基于资源退出场景的无人机服务器任务卸载调度方法，其特征在于，所述步骤5)中任务卸载时延及其约束条件，分别如公式(9)和(10)所示：

公式(10)中，第一部分

为任务卸载的传输时延，F表示任务单元的数据量，

表示在

距离下的传输速率，如公式(11)所示，公式(11)中，ω表示信道带宽，P_j表示用户的传输功率，ρ₀表示单位距离信道增益，N₀表示噪声功率，第二部分D^comp为任务卸载的计算时延。

Images