CN113727308A - 一种基于车辆位置预测的边缘计算卸载优化方法 - Google Patents

Abstract

本发明公开了一种基于车辆位置预测的边缘计算卸载优化方法，包括如下步骤：1)构建基于SDN的VMEC计算卸载模型；2)计算MD和MEC服务器之间的连接中断概率即估计MD和MEC之间的连接度；3)预测MD下一时刻的位置；4)采用强化学习算法对MD提供智能的边缘计算任务卸载；5)根据计算任务卸载比例k_i,j求MD_i最终的最小总延迟。这种方法能有效减少VMEC环境下的任务卸载阻塞、提高计算资源的利用率、在节约车载智能设备能耗的同时缩短计算任务处理总延迟。

Description

一种基于车辆位置预测的边缘计算卸载优化方法

技术领域

本发明涉及通信技术领域，具体是一种基于车辆位置预测的边缘计算卸载优化方法。

背景技术

车辆互联网的迅速普及和车载移动应用的快速发展，使得车辆移动终端设备MD(Mobile Device，简称MD)面临计算和存储资源紧张的问题。随着入网车辆数量的增加，以AR/VR为代表的汽车应用和自主驾驶等应用逐渐普及，移动云计算MCC(Mobile CloudComputing，简称MCC)通过云驱动方法可以部分克服MD所面临的硬件不足问题。然而，这种基于云的计算模式在网络带宽和响应延迟方面同样面临严峻挑战。为了解决上述问题，将移动边缘计算MEC(Mobile Edge Computing，简称MEC)引入车辆移动边缘计算VMEC(Vehicular Mobile Edge Computing，VMEC)的解决方案受到了学术界和产业界的广泛关注。无线网络边缘的MEC服务器将云计算服务汇聚到无线网络的边缘，缩短了计算服务器与车辆之间的距离，使得移动车辆可以将计算任务卸载给MEC服务器，它不仅满足了汽车计算能力的扩展需求，而且弥补了远程云计算带来的长延时的不足。因此，采用MEC的车用网络可以提供更高的业务可靠性，此外，软件定义网络SDN(Software Defined Network，简称SDN)作为一种新兴的网络模式，将SDN网络扩展到VMEC中，可以实现资源的灵活调度，保证资源的有效利用，减少任务卸载阻塞。

但是，由于VMEC环境具有高度动态性，在车辆的快速移动下，无线信道以及网络可用性均会随其影响快速变化，这会导致卸载过程中的不确定性，进一步增加卸载决策的复杂性。因此如何在车辆用户高速移动过程中为车辆用户卸载选择合适的服务器以保证任务的有效传递是目前需要解决的重要问题。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于车辆位置预测的边缘计算卸载优化方法。这种方法能预测车辆用户移动性，估计MD和MEC服务器之间的连接度，减少VMEC的延迟以确保VMEC任务的高效卸载。

实现本发明目的的技术方案是：

一种基于车辆位置预测的边缘计算卸载优化方法，包括如下步骤：

1)构建基于SDN的VMEC计算卸载模型：引入SDN技术，将控制平面与数据转发平面分离，在数据平面中，车辆沿道路行驶，部署在道路两侧的路边单元RSU(Road Side Unit，简称RSU)都配备有MEC服务器，在控制平面，嵌入在宏基站内的SDN控制器可以收集MD和MEC服务器的信息，从全局角度感知网络状态，按需优化网络配置，设MEC服务器的索引为

MD的集合表示为

令任务模型Q_i＝(w_i,s_i)，w_i表示任务Q_i的计算量，s_i表示计算任务Q_i的大小，假设任务是可分离的，每个任务的一部分可以在本地执行，另一部分可以通过卸载到边缘云执行，用k_i,j表示第i个MD卸载到MEC服务器j的计算量比例，其中

表示为MD_i提供服务的一组RSU；

2)计算MD和MEC服务器之间的连接中断概率即估计MD和MEC之间的连接度：由于VMEC场景下MD的移动性，MD端和MEC服务器之间的连接在不断变化，MD和MEC服务器之间的连接性由连接中断概率OP(d_i,j)确定，连接中断概率可以通过MD和MEC服务器之间的距离d_i,j来估算，假设MD到MEC服务器的发射功率为

接收功率为

L(d_i,j)为路径损耗，ζ为阴影衰落，且服从正态分布，标准差为σ，信噪比

n₀为噪声功率，则连接中断概率即接收信噪比低于所需信噪比

的概率，如公式(1)所示：

3)预测MD下一时刻的位置：假设MD的移动是具有加速度的非线性运动，建立非线性系统数学模型，系统在n时刻的真实状态向量表示为s_i,n＝[l_i,x,v_i,x,a_i,x,l_i,y,v_i,y,a_i,y]，其中l_i,x，v_i,x，a_i,x，l_i,y，v_i,y，a_i,y分别表示MD_i在二维平面横纵坐标方向上的位置、速度和加速度，经过一段时间Δt后，MD_i移动到新的位置，此时MD_i的运动状态如公式(2)、公式(3)所示：

v_i＝v_i,0+a_i·Δt (3)，

其中l_i,0为MD_i的初始位置，v_i,0为MD_i初始速度，a_i为MD_i的加速度，并假设其加速度恒定，采用扩展卡尔曼滤波算法对移动车辆MD_i的位置进行预测，具体为：

1-3)对数据进行准备工作：计算n-1时刻估计状态下预测n时刻估计值的预测值

和真实值与预测值间的误差协方差矩阵P_i,n|n-1：

s_i,n＝f(s_i,n-1)+q_i,t (4a)，

其中，s_i,n是系统状态转移方程，

是s_i,n在n-1时刻的估计值

的泰勒展开，s_i,n-1是n-1时刻MD_i的真实状态向量，f(·)是非线性系统中的状态转移函数，q_i,n是状态噪声，并假定均值为0，协方差矩阵为Q_i,n＝cov(q_i,n)，服从正态分布，记作q_i,n～N(0,Q_i,n)；

2-3)对数据进行滤波并做出估计：计算n时刻最优卡尔曼增益K_i,n和更新估计

z_i,n＝h(s_i,n)+r_i,n (6a)，

其中，H_i,n是函数h(·)在

的雅克比矩阵，测量值z_i,n是状态值的映射，h(·)是测量函数，r_i,n是状态噪声，并假定均值为0，协方差矩阵为R_i,n＝cov(r_i,n)，服从正态分布，记作r_i,n～N(0,R_i,n)；

3-3)对参数进行修正更新：计算真实值与估计值间的误差协方差矩阵P_i,n，返回步骤3-1)：

4-3)达到设定的迭代次数后获得最优预测位置，根据预测的MD_i位置，估计该时刻MD_i和MEC服务器之间的连接性OP(d_i)，获得可进行任务卸载的MEC服务器集合；

4)对MD提供智能的边缘计算任务卸载：在预测位置，采用强化学习算法对MD提供智能的边缘计算任务卸载，在VMEC场景中，每个MD可以与附近的多个MEC服务器连接，MEC服务器的资源状态变化很快，因此，考虑MD的移动性，根据MD下一时刻的预测位置，采用强化学习对MD提供智能的边缘计算任务卸载策略，假设迭代次数t∈{1,2,...,T}，详细的任务卸载策略步骤如下：

1-4)初始化MD_i在t次迭代中的状态空间s_t、动作空间a_t以及Q(s_t,a_t)函数：根据预测的车辆位置，初始化Q(s_t,a_t)函数，将任务卸载的状态空间s_t定义为MD_i在t次迭代中的能量、任务卸载的动作空间a_t定义为MD_i在t次迭代中本地处理部分和MEC服务器上处理部分的比例。如公式(9)、公式(10)所示：

其中，

是MD_i在第t次迭代中的本地处理的能耗，

是MD_i在第t次迭代中MEC服务器处理任务时的能耗，

表示在本地处理部分，并且

表示在MEC服务器上处理部分；

2-4)计算MD_i在本地进行任务计算的持续时间

和能耗

以及MD_i将任务卸载到边缘云的总持续时间

和总能耗

定义f_i ^l为MD_i的CPU计算能力，

为MEC服务器j分配给MD_i的计算资源，MEC服务器中的总任务持续时间由两个过程消耗的时间组成，即：MD_i卸载任务时消耗的时间

和在MEC服务器处理计算任务时消耗的时间

因此，任务Q_i的任务持续时间

和总能量消耗

任务Q_i的本地执行时间

和本地处理的能耗

分别为：

其中，ρ是每个CPU周期消耗的能量的功率系数，ρ＝10^-25，r_i,j表示MD_i上行链路的数据速率，h_i,j表示MD_i和MEC服务器

之间的信道增益，p_i表示MD_i的传输功率，N₀是MD_i的噪声功率，B是信道带宽，I_i,j是其他V2I用户对MD_i的干扰；

3-4)采用ε-贪婪搜索策略，基于状态s_t选择动作a_t：采用无模型Q学习进行动态策略选择，对于a_t动作的选择，采用ε-贪婪搜索策略，以ε的概率在所有可能的动作中均匀随机地选择一个动作进行探索，而有1-ε的概率利用已知的最佳动作；

4-4)执行动作a_t后，观察奖励和新状态S_t+1：采用贝尔曼Bellman方程更新Q函数，执行行动的奖励和新状态S_t+1定义如下：

s_t←s_t+1 (16)；

5-4)重复步骤4-2)到4-4)，直到达到迭代次数T，获得最优的任务卸载策略；

5)获得最优的任务卸载策略后，根据计算任务卸载比例k_i,j求MD_i最终的最小总延迟：在MD_i获得计算任务卸载策略后，得到最佳的计算任务卸载比例k_i,j以最大限度地缩短任务的持续时间，最佳任务卸载比例的判定准则为:

本技术方案在步骤1)中，通过引入SDN控制器收集MD和MEC服务器的信息，从全局角度感知网络状态以按需优化网络配置，提高了车载网络的效率和灵活性；在步骤3)中，采用了卡尔曼滤波预测MD移动性，根据MD预测位置选择适配服务器可以减少服务器计算资源的浪费，使得计算结果可以及时和准确接收；在步骤4)中，在MD的预测位置采用无模型Q-Learning算法进行动态策略选择，保证时延敏感型任务的QoS，进一步减少VMEC的延迟以节省计算资源，确保VMEC任务的高效卸载。

这种方法能有效减少VMEC环境下的任务卸载阻塞、提高计算资源的利用率、在节约车载智能设备能耗的同时缩短计算任务处理总延迟。

附图说明

图1为实施例中基于SDN的VMEC计算卸载模型示意图；

图2为实施例中方法流程示意图；

图3为实施例中车辆用户位置预测流程图；

图4为实施例中基于强化学习的计算任务卸载流程图。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例：

参照图2，一种基于车辆位置预测的边缘计算卸载优化方法，包括如下步骤：

1)构建基于SDN的VMEC计算卸载模型：如图1所示，引入SDN技术，将控制平面与数据转发平面分离，在数据平面中，车辆沿道路行驶，部署在道路两侧的路边单元RSU都配备有MEC服务器，在控制平面，嵌入在宏基站内的SDN控制器可以收集MD和MEC服务器的信息，从全局角度感知网络状态，按需优化网络配置，设MEC服务器的索引为

MD的集合表示为

令任务模型Q_i＝(w_i,s_i)，w_i表示任务Q_i的计算量，s_i表示计算任务Q_i的大小，假设任务是可分离的，每个任务的一部分可以在本地执行，另一部分可以通过卸载到边缘云执行，用k_i,j表示第i个MD卸载到MEC服务器j的计算量比例，其中

表示为MD_i提供服务的一组RSU；

2)计算MD和MEC服务器之间的连接中断概率，即估计MD和MEC之间的连接度：由于VMEC场景下MD的移动性，MD端和MEC服务器之间的连接在不断变化，MD和MEC服务器之间的连接性由连接中断概率OP(d_i,j)确定，连接中断概率可以通过MD和MEC服务器之间的距离d_i,j来估算，假设MD到MEC服务器的发射功率为

接收功率为

L(d_i,j)为路径损耗，ζ为阴影衰落，且服从正态分布，标准差为σ，信噪比

n₀为噪声功率，则连接中断概率即接收信噪比低于所需信噪比

的概率，如公式(1)所示：

3)预测MD下一时刻的位置：如图3所示，假设MD的移动是具有加速度的非线性运动，建立非线性系统数学模型，系统在n时刻的真实状态向量表示为s_i,n＝[l_i,x,v_i,x,a_i,x,l_i,y,v_i,y,a_i,y]，其中l_i,x，v_i,x，a_i,x，l_i,y，v_i,y，a_i,y分别表示MD_i在二维平面横纵坐标方向上的位置、速度和加速度，经过一段时间Δt后，MD_i移动到新的位置，此时MD_i的运动状态如公式(2)、公式(3)所示：

v_i＝v_i,0+a_i·Δt (3)，

其中l_i,0为MD_i的初始位置，v_i,0为MD_i初始速度，a_i为MD_i的加速度，并假设其加速度恒定，采用扩展卡尔曼滤波算法对移动车辆MD_i的位置进行预测，具体为：

1-3)对数据进行准备工作：计算n-1时刻估计状态下预测n时刻估计值的预测值

和真实值与预测值间的误差协方差矩阵P_i,n|n-1：

s_i,n＝f(s_i,n-1)+q_i,t (4a)，

其中，s_i,n是系统状态转移方程，

是s_i,n在n-1时刻的估计值

的泰勒展开，s_i,n-1是n-1时刻MD_i的真实状态向量，f(·)是非线性系统中的状态转移函数，q_i,n是状态噪声，并假定均值为0，协方差矩阵为Q_i,n＝cov(q_i,n)，服从正态分布，记作q_i,n～N(0,Q_i,n)；

2-3)对数据进行滤波并做出估计：计算n时刻最优卡尔曼增益K_i,n和更新估计

z_i,n＝h(s_i,n)+r_i,n (6a)，

其中，H_i,n是函数h(·)在

的雅克比矩阵，测量值z_i,n是状态值的映射，h(·)是测量函数，r_i,n是状态噪声，并假定均值为0，协方差矩阵为R_i,n＝cov(r_i,n)，服从正态分布，记作r_i,n～N(0,R_i,n)；

3-3)对参数进行修正更新：计算真实值与估计值间的误差协方差矩阵P_i,n，返回步骤3-1)：

4-3)达到设定的迭代次数后获得最优预测位置，根据预测的MD_i位置，估计该时刻MD_i和MEC服务器之间的连接性OP(d_i)，获得可进行任务卸载的MEC服务器集合；

4)对MD提供智能的边缘计算任务卸载：在预测位置，采用强化学习算法对MD提供智能的边缘计算任务卸载，在VMEC场景中，每个MD可以与附近的多个MEC服务器连接，MEC服务器的资源状态变化很快，因此，考虑MD的移动性，根据MD下一时刻的预测位置，采用强化学习对MD提供智能的边缘计算任务卸载策略，假设迭代次数t∈{1,2,...,T}，如图4所示，详细的任务卸载策略步骤如下：

1-4)初始化MD_i在t次迭代中的状态空间s_t、动作空间a_t以及Q(s_t,a_t)函数：根据预测的车辆位置，初始化Q(s_t,a_t)函数，将任务卸载的状态空间s_t定义为MD_i在t次迭代中的能量、任务卸载的动作空间a_t定义为MD_i在t次迭代中本地处理部分和MEC服务器上处理部分的比例。如公式(9)、公式(10)所示：

其中，

是MD_i在第t次迭代中的本地处理的能耗，

是MD_i在第t次迭代中MEC服务器处理任务时的能耗，

表示在本地处理部分，并且

表示在MEC服务器上处理部分；

2-4)计算MD_i在本地进行任务计算的持续时间

和能耗

以及MD_i将任务卸载到边缘云的总持续时间

和总能耗

定义f_i ^l为MD_i的CPU计算能力，

为MEC服务器j分配给MD_i的计算资源，MEC服务器中的总任务持续时间由两个过程消耗的时间组成，即：MD_i卸载任务时消耗的时间

和在MEC服务器处理计算任务时消耗的时间

因此，任务Q_i的任务持续时间

和总能量消耗

任务Q_i的本地执行时间

和本地处理的能耗

分别为：

其中，ρ是每个CPU周期消耗的能量的功率系数，ρ＝10^-25，r_i,j表示MD_i上行链路的数据速率，h_i,j表示MD_i和MEC服务器

之间的信道增益，p_i表示MD_i的传输功率，N₀是MD_i的噪声功率，B是信道带宽，I_i,j是其他V2I用户对MD_i的干扰；

3-4)采用ε-贪婪搜索策略，基于状态s_t选择动作a_t：采用无模型Q学习进行动态策略选择，对于a_t动作的选择，采用ε-贪婪搜索策略，以ε的概率在所有可能的动作中均匀随机地选择一个动作进行探索，而有1-ε的概率利用已知的最佳动作；

4-4)执行动作a_t后，观察奖励和新状态S_t+1：采用贝尔曼Bellman方程更新Q函数，执行行动的奖励和新状态S_t+1定义如下：

s_t←s_t+1 (16)；

5-4)重复步骤4-2)到4-4)，直到达到迭代次数T，获得最优的任务卸载策略；

5)获得最优的任务卸载策略后，根据计算任务卸载比例k_i,j求MD_i最终的最小总延迟：在MD_i获得计算任务卸载策略后，得到最佳的计算任务卸载比例k_i,j以最大限度地缩短任务的持续时间，最佳任务卸载比例的判定准则为:

Claims (1)

1.一种基于车辆位置预测的边缘计算卸载优化方法，其特征在于，包括如下步骤：

1)构建基于SDN的VMEC计算卸载模型：引入SDN技术，将控制平面与数据转发平面分离，在数据平面中，车辆沿道路行驶，部署在道路两侧的路边单元RSU都配备有MEC服务器，在控制平面，嵌入在宏基站内的SDN控制器收集MD和MEC服务器的信息，从全局角度感知网络状态，按需优化网络配置，设MEC服务器的索引为

MD的集合表示为

令任务模型Q_i＝(w_i，s_i)，w_i表示任务Q_i的计算量，s_i表示计算任务Q_i的大小，假设任务是可分离的，每个任务的一部分可以在本地执行，另一部分可以通过卸载到边缘云执行，用k_i，j表示第i个MD卸载到MEC服务器j的计算量比例，其中

表示为MD_i提供服务的一组RSU；

2)计算MD和MEC服务器之间的连接中断概率即估计MD和MEC之间的连接度：MD和MEC服务器之间的连接性由连接中断概率OP(d_i，j)确定，连接中断概率通过MD和MEC服务器之间的距离d_i，j来估算，假设MD到MEC服务器的发射功率为

接收功率为

L(d_i，j)为路径损耗，ζ为阴影衰落，且服从正态分布，标准差为σ，信噪比

n₀为噪声功率，则连接中断概率即接收信噪比低于所需信噪比

的概率，如公式(1)所示：

3)预测MD下一时刻的位置：假设MD的移动是具有加速度的非线性运动，建立非线性系统数学模型，系统在n时刻的真实状态向量表示为s_i，n＝[l_i，x，v_i，x，a_i，x，l_i，y，v_i，y，a_i，y]，其中l_i，x，v_i，x，a_i，x，l_i，y，v_i，y，a_i，y分别表示MD_i在二维平面横纵坐标方向上的位置、速度和加速度，经过一段时间Δt后，MD_i移动到新的位置，此时MD_i的运动状态如公式(2)、公式(3)所示：

v_i＝v_i，0+a_i·Δt (3)，

其中l_i，0为MD_i的初始位置，v_i，0为MD_i初始速度，a_i为MD_i的加速度，并假设其加速度恒定，采用扩展卡尔曼滤波算法对移动车辆MD_i的位置进行预测，具体为：

1-3)对数据进行准备工作：计算n-1时刻估计状态下预测n时刻估计值的预测值

和真实值与预测值间的误差协方差矩阵P_i，n|n-1：

s_i，n＝f(s_i，n-1)+q_i，t (4a)，

其中，s_i，n是系统状态转移方程，

是s_i，n在n-1时刻的估计值

的泰勒展开，s_i，n-1是n-1时刻MD_i的真实状态向量，f(·)是非线性系统中的状态转移函数，q_i，n是状态噪声，并假定均值为0，协方差矩阵为Q_i，n＝cov(q_i，n)，服从正态分布，记作q_i，n～N(0，Q_i，n)；

2-3)对数据进行滤波并做出估计：计算n时刻最优卡尔曼增益K_i，n和更新估计

z_i，n＝h(s_i，n)+r_i，n (6a)，

其中，H_i，n是函数h(·)在

的雅克比矩阵，测量值z_i，n是状态值的映射，h(·)是测量函数，r_i，n是状态噪声，并假定均值为0，协方差矩阵为R_i，n＝cov(r_i，n)，服从正态分布，记作r_i，n～N(0，R_i，n)；

3-3)对参数进行修正更新：计算真实值与估计值间的误差协方差矩阵P_i，n，返回步骤3-1)：

4-3)达到设定的迭代次数后获得最优预测位置，根据预测的MD_i位置，估计该时刻MD_i和MEC服务器之间的连接性OP(d_i)，获得可进行任务卸载的MEC服务器集合；

4)对MD提供智能的边缘计算任务卸载：在VMEC场景中，每个MD与附近的多个MEC服务器连接，根据MD下一时刻的预测位置，采用强化学习对MD提供智能的边缘计算任务卸载策略，假设迭代次数t∈{1，2，...，T}，任务卸载步骤如下：

1-4)初始化MD_i在t次迭代中的状态空间s_t、动作空间a_t以及Q(s_t，a_t)函数：根据预测的车辆位置，初始化Q(s_t，a_t)函数，将任务卸载的状态空间s_t定义为MD_i在t次迭代中的能量、任务卸载的动作空间a_t定义为MD_i在t次迭代中本地处理部分和MEC服务器上处理部分的比例。如公式(9)、公式(10)所示：

其中，

是MD_i在第t次迭代中的本地处理的能耗，

是MD_i在第t次迭代中MEC服务器处理任务时的能耗，

表示在本地处理部分，并且

表示在MEC服务器上处理部分；

2-4)计算MD_i在本地进行任务计算的持续时间

和能耗

以及MD_i将任务卸载到边缘云的总持续时间

和总能耗

定义

为MD_i的CPU计算能力，

为MEC服务器j分配给MD_i的计算资源，MEC服务器中的总任务持续时间由两个过程消耗的时间组成，即：MD_i卸载任务时消耗的时间

和在MEC服务器处理计算任务时消耗的时间

任务Q_i的任务持续时间

和总能量消耗

任务Q_i的本地执行时间

和本地处理的能耗

分别为：

其中，ρ是每个CPU周期消耗的能量的功率系数，ρ＝10^-25，r_i，j表示MD_i上行链路的数据速率，h_i，j表示MD_i和MEC服务器

之间的信道增益，p_i表示MD_i的传输功率，N₀是MD_i的噪声功率，B是信道带宽，I_i，j是其他V2I用户对MD_i的干扰；

3-4)采用ε-贪婪搜索策略，基于状态s_t选择动作a_t：采用无模型Q学习进行动态策略选择，对于a_t动作的选择，采用ε-贪婪搜索策略，以ε的概率在所有可能的动作中均匀随机地选择一个动作进行探索，而有1-ε的概率利用已知的最佳动作；

4-4)执行动作a_t后，观察奖励和新状态S_t+1：采用贝尔曼Bellman方程更新Q函数，执行行动的奖励和新状态S_t+1定义如下：

s_t←s_t+1 (16)；

5-4)重复步骤4-2)到4-4)，直到达到迭代次数T，获得最优的任务卸载策略；

5)获得最优的任务卸载策略后，根据计算任务卸载比例k_i，j求MD_i最终的最小总延迟：在MD_i获得计算任务卸载策略后，得到最佳的计算任务卸载比例k_i，j以最大限度地缩短任务的持续时间，最佳任务卸载比例的判定准则为：

Images