CN109756378A - 一种车载网络下的智能计算卸载方法 - Google Patents

Abstract

本发明公开了一种车载网络下的智能计算卸载方法，将深度强化学习算法与车辆边缘计算相结合，研究车载网中任务调度和资源分配的优化问题，给出计算卸载方法。本发明基于有限的马尔科夫链，构建了车载网络下的智能卸载模型，最大化网络运营商利润的同时考虑了用户的服务体验质量。本发明将初始的任务调度和资源分配的联合优化问题分解为两个子优化问题。对于第一个子问题，本发明设计了效用函数来度量用户的服务体验质量等级，进而提出了基于双边匹配模型的任务调度算法来求解子问题。本发明基于改进的深度强化学习算法，构建了车载网卸载系统下的强化学习模型，提出资源分配算法求解第二个子问题。实验结果证明了本发明所提出的算法的高效性。

Description

一种车载网络下的智能计算卸载方法

技术领域

本发明涉及车载互联网下的智能计算卸载方法，尤其涉及一种基于双边匹配模型和深度强化学习算法的计算卸载方法。

背景技术

人工智能领域的高速发展使得新型车载应用不断涌现，为驾乘人员提供更安全舒适的环境的同时，如何在车载系统内运行计算密集型应用程序始终面临着巨大的挑战。移动云计算(MCC)的出现缓解了部分车载系统的负载，然而实时反馈的需求仍然不能满足。与MCC相比，基于车到车(V2V)和车到基础设施(V2I)传输架构的移动边界计算(MEC)能够提供低延迟的通信保障。更高效的进行任务调度，资源分配的智能卸载方法有待于研究人员的进一步探索。

发明内容

本发明的目的主要针对现有研究的一些不足之处，提出双边匹配模型和深度强化学习算法的计算卸载方法，通过将多用户计算卸载过程分为两个子过程，首先进行多用户任务调度，提出效用函数作为排序准则；然后利用深度强化学习求解优化的资源分配问题，以得到最终的卸载决策结果。

本发明的技术方案：

一种车载网络下的智能计算卸载方法，步骤如下：

1)构建卸载过程的计算和通信等网络模型；

2)根据1)中的网络模型，以最大化网络运营商利润为目标，同时兼顾用户服务体验质量(QoE)，描述优化问题；将优化问题分解为两个子问题，第一个子问题求解多用户任务调度；第二个子问题求解MEC资源分配；

3)定义效用函数，设计双边匹配算法求解第一个子问题，得到用户调度结果。

4)得到3)输出的调度结果，利用深度强化学习求解第二个子问题，得到最终的卸载决策。

步骤1)：

本发明考虑城市范围内的车载网络，可以根据街道等依据划分为多个子区域。每一个子区域内有一个中央基站(BS)，配备有丰富计算资源的服务器。除此之外，一些路边节点单元(RSUs)随机分布在区域内，每个RSU配备有一台MEC服务器。简便起见，本发明以其中一个区域作为研究对象。

本发明构建的车载网络模型内包含一个BS，K个RSUs和U辆车。每台车辆在一个时隙内只能接入BS或一个RSU，用a_i,k(t)表示时隙t内车辆i和RSUk的连接情况，a_i,k(t)＝1意味着两者相连，反之a_i,k(t)＝0则未建立连接。a_i,k(t)满足以下约束：

其中k＝0的情况表示BS。

本发明将车辆在多个连续时间段内的移动建模为离散的图像跳跃，用M_i,k表示车辆i和RSUk在一个时间周期内通信次数，服从参数为λ_i,k的泊松分布，其中λ_i,k表示通信频率，可以看作车辆的移动强度。不论何时车辆进出RSU的无线覆盖范围，都会向RSU发送信号来更新管理列表，RSU回复该信号使得车辆更新可用边缘计算资源列表。

假设车辆和BS或RSUs之间采用正交频分复用接入，考虑到车辆和BS或RSUs之间的通信信道状态(用信号与噪声SNR比表示)是无记忆的且在一定范围内实时变化，本发明将SNR建模为有限状态的马尔科夫链，用表示，并将其离散化为L个等级。t时隙瞬时传输速率可以通过以下公式计算：

其中b_i,k(t)表示RSUk分配给车辆i用于数据传输的带宽。

车辆i在时隙t内的实际通信速率可以表示为：

本发明用ξ_i＝{d_i,c_i}表示车辆i需要卸载的计算任务，其中d_i表示数据大小，c_i表示完成任务需要的CPU周期数。完成任务后，BS或RSUs将结果传回给车辆。由于MEC服务器建在RSUs附近，而且卸载任务输出数据的大小远小于输入数据的大小，本发明忽略MEC服务器和RSUs之间的通信延迟，以及输出结果回传链路的通信延迟。此外，本发明假设RSUs以抢占式工作，BS以非抢占式工作。因此，a_i,k(t)满足以下约束：

由于MEC服务器资源受限，不能保证为用户提供稳定而充分的计算资源，因此本发明将RSUs和BS的计算能力f_i,k(每秒CPU周期数)离散为N级，并将其建模为有限状态的马尔科夫链。执行卸载任务的速率计算公式如下：

RSUk处理车辆i的卸载任务的瞬时速率计算公式如下：

步骤2)包括以下三个步骤：

2.1)描述车载系统内的智能卸载优化问题。本发明定义时隙t网络运营商的利润为通信利润与计算利润之和，其计算公式如下：

其中和分别为瞬时通信速率和瞬时计算速率的函数，具体计算公式将在2.3)节给出。

任务调度和资源分配的联合优化问题(TSRA)描述如下：

s.t.

其中C1约束a_i,k(t)为二元变量。C2约束每辆车只能选择一个卸载平台。C3C4约束数据传输速率不能超过上限。C5约束MEC服务器上并行计算的数据量不能超过负载上限。

由于TSRA优化问题被多个变量约束，各变量之间的耦合使得求解问题十分困难。为了解决这个问题，本发明将TSRA问题分成两个子问题逐一求解。

2.2)第一个子问题为多用户任务调度问题。在一个时隙内，多辆车选择同一个RSU作为卸载对象会导致冲突。因此，本发明定义效用函数来度量用户QoE，并以此为标准得到调度列表。效用函数定义如下：

其中π(p)表示任务的优先级，决定了效用函数的上界；ρ(r)表示任务的紧急程度，模拟效用函数的指数衰减速率；Δd_i,k表示车辆i和RSUK的欧氏距离。b_i,k为常数参数。以最大化所有用户的平均效用函数值为优化目标构建优化问题如下所示：

s.t.

C3:p∈{critical,high,medium,low}.

C4:r∈{extreme,high,medium,low}.

C5:0＜Δd_i,k≤Δ.

其中Δ表示RSUs的无线覆盖半径。

2.3)第二个子问题为MEC资源分配问题，以最大化网络运营商的利润为优化目标，利润函数计算公式如下：

其中τ_i和φ_i分别表示用户需要支付的接入网络和处理任务的费用；δ_k表示网络运营商租用带宽的费用；η_k和分别表示处理单位任务的能耗和运行1CPU周期的能耗。

MEC资源分配优化问题如下所示：

s.t.

步骤3)：本发明提出了一种基于双边匹配的动态车辆-基站匹配(DVRM)算法来解决步骤2.2)中的任务调度问题。

步骤4)：将步骤3)中得到的调度结果作为深度强化学习算法的输入，提出移动感知的深度强化学习网络(MADD)算法求解步骤2.3)中的MEC资源分配问题。

本发明的有益效果：本发明基于有限的马尔科夫链，构建了车载网络下的智能卸载模型，最大化网络运营商利润的同时考虑了用户的服务体验质量。本发明将初始的任务调度和资源分配的联合优化问题分解为两个子优化问题。对于第一个子问题，本发明设计了效用函数来度量用户的服务体验质量等级，进而提出了基于双边匹配模型的任务调度算法来求解子问题。本发明基于改进的深度强化学习算法，构建了车载网卸载系统下的强化学习模型，提出资源分配算法求解第二个子问题。实验结果证明了本发明所提出的算法的高效性。

附图说明

图1为本发明构建的基于移动边缘计算的车载网络架构。将城市区域划分为几个子区域，每个区域内包含一个基站，几个路边节点RSUs和一些车辆。RSUs之间通过中继站相连实现全局信息互通。

图2为智能卸载的流程。第一步，所有车辆广播其位置信息，并更新其可用的RSU列表。紧接着，所有车辆计算效用值并构建对应的偏好列表。第二步，车辆将卸载请求发送给基站。第三步，BS执行任务调度和资源分配，并将任务分配发送到RSU。最后，所有车辆将卸载任务发送到相应的RSU。

图3和图4分别为不同车辆数下四种算法得到的总效用值及其运行时间的比较。可以看出本发明提出的DVIM算法能够以较低的运行时间接近穷举算法的性能。

图5和图6分别平均利润随卸载数据大小和任务执行收费增长的变化趋势。比较出MADD算法在性能上要优于传统DQN等对比算法。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将对本发明的具体实施方式作进一步的详细描述。

本发明实例提供了一种车载网络下的智能计算卸载方法，该方法包括：

步骤1：基于双边匹配算法求解多用户任务调度子问题。

1.1)初始化每个RSU的禁止列表和接受列表为空。禁止列表存储被RSU拒绝服务的用户，这些用户不会再向该RSU发出请求；接受列表存储当前RSU接受卸载请求的用户。

1.2)初始化效用函数值，每个用户根据2.2)中的公式计算每个RSU对应的效用函数值，按效用函数值降序排列构建偏好队列P_i。假设每个用户最多能与q_v个RSUs匹配，每个RSU最多能与q_R个用户匹配。本发明中q_v＝q_R＝1。

1.3)在匹配阶段，当前与少于q_v个RSU匹配的每个用户向偏好队列中的第一个RSU发送卸载请求，并将其从偏好队列中移除。收到请求的RSU将决定是否接受它们，通常，RSU接受那些可以提高整体效用函数值的请求。如果RSU已经与q_R个用户匹配，则它将与其中效用函数值最低的用户取消匹配，并发送拒绝信息。所有响应被发送回用户时，当用户与少于_qv个RSUs匹配并且其偏好队列不为空时，用户继续发送请求。当没有用户想要发送卸载请求时，算法终止。算法伪代码流程如表1所示。

表1动态车载网双边匹配算法伪代码

步骤2：得到步骤1的任务调度结果之后，基于深度强化学习网络(DQN)提出MADD算法求解MEC资源分配问题。

2.1)初始化经验回放内存，可以存储N条“过渡”，“过渡”表示“状态-动作-回报-下一状态”序列。动作-值网络由随机权重初始化，目标网络用于计算时间差分目标，其初始化权重与动作-值网络相同。

2.2)循环每次事件(车辆提出卸载请求)，初始化每个事件的第一状态S1，并通过预处理获得对应于S1的特征输入x1。对于一个事件中的每个步骤，以概率_ε从可选动作空间中选择一个随机动作a_t，否则，使用贪婪策略选择使当前动作-值函数最大的动作。选择动作后，观察即时回报r_t，以及下一个状态s_t+1。类似的，s_t+1经处理得到x_t+1。此时我们得到一组过渡(x_t；a_t；r_t；x_t+1)并将其存储在经验回放内存中。

2.3)在神经网络学习阶段，DQN从经验回放内存中随机采样小批量样本，由(x_j；a_j；r_j；x_j+1)表示。对于每个样本，确定下一个状态是否是事件的终止状态，如果是终止状态，则TD目标是r_j，否则利用目标网络计算TD目标：y_j＝r_j+γQ(x_j+1,argmax_a'Q(x_j+1,a'；θ)；θ^-)。本发明使用不同的值函数来选择动作和评估动作，这可以解决传统DQN过估计的问题。

2.4)执行梯度下降算法，以最小化均方差为目的更新动作-值网络参数：最后，每隔C个步骤，更新TD目标网络参数和随机概率ε，保证目标网络更好地拟合动作-值函数，并加快收敛速度。

表2 DDQN算法伪代码

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (1)

1.一种车载网络下的智能计算卸载方法，其特征在于，步骤如下：

步骤1)考虑城市范围内的车载网络，划分为多个子区域；每一个子区域内有一个中央基站BS和多个服务器；此外，路边节点单元RSUs随机分布在各子区域内，每个RSU配备有一台MEC服务器；

以其中一个子区域作为研究对象，构建的车载网络模型内包含一个BS、K个RSUs和U辆车；每台车辆在一个时隙内只能接入BS或一个RSU，用a_i,k(t)表示时隙t内车辆i和RSUk的连接情况，a_i,k(t)＝1意味着两者相连，反之a_i,k(t)＝0则未建立连接；a_i,k(t)满足以下约束：

其中，k＝0的情况表示BS；

将车辆在多个连续时间段内的移动建模为离散的图像跳跃，用M_i,k表示车辆i和RSU^k在一个时间周期内通信次数，服从参数为λ_i,k的泊松分布，其中λ_i,k表示通信频率，看作车辆的移动强度；不论何时车辆进出RSU的无线覆盖范围，都会向RSU发送信号来更新管理列表，RSU回复该信号使得车辆更新可用边缘计算资源列表；

假设车辆和BS或RSUs之间采用正交频分复用接入，考虑到车辆和BS或RSUs之间的通信信道状态是无记忆的且在一定范围内实时变化，通信信道状态用信号与噪声SNR比表示；将SNR建模为有限状态的马尔科夫链，用表示，并将其离散化为L个等级；t时隙瞬时传输速率通过以下公式计算：

其中，b_i,k(t)表示RSU^k分配给车辆i用于数据传输的带宽；

车辆i在时隙t内的实际通信速率表示为：

用ξ_i＝{d_i,c_i}表示车辆i需要卸载的任务，其中d_i表示数据大小，c_i表示完成任务需要的CPU周期数；完成任务后，BS或RSUs将结果传回给车辆；由于MEC服务器建在RSUs附近，而且卸载任务输出数据的大小远小于输入数据的大小，忽略MEC服务器和RSUs之间的通信延迟以及输出结果回传链路的通信延迟；此外，假设RSUs以抢占式工作，BS以非抢占式工作；因此，a_i,k(t)满足以下约束：

由于MEC服务器资源受限，不能保证为用户提供稳定而充分的计算资源，将RSUs和BS的计算能力f_i,k离散为N级，RSUs和BS的计算能力f_i,k即为每秒CPU周期数，并将其建模为有限状态的马尔科夫链；执行卸载任务的速率计算公式如下：

RSUk处理车辆i的卸载任务的瞬时速率计算公式如下：

步骤2)包括以下三个步骤：

2.1)描述车载系统内的智能卸载优化问题；定义时隙t网络运营商的利润R_i,k(t)为通信利润与计算利润之和，其计算公式如下：

其中，和分别为瞬时通信速率和瞬时计算速率的函数，具体计算公式将在2.3)节给出；

任务调度和资源分配的联合优化问题TSRA描述如下：

s.t.

其中，C1约束a_i,k(t)为二元变量；C2约束每辆车只能选择一个卸载平台；C3和C4约束数据传输速率不能超过上限；C5约束MEC服务器上并行计算的数据量不能超过负载上限；

将TSRA问题分成两个子问题逐一求解；

2.2)第一个子问题为多用户任务调度问题：在一个时隙内，多辆车选择同一个RSU作为卸载对象会导致冲突；定义效用函数来度量用户QoE，并以此为标准得到调度列表；效用函数定义如下：

其中，π(p)表示任务的优先级，决定了效用函数的上界；ρ(r)表示任务的紧急程度，模拟效用函数的指数衰减速率；Δd_i,k表示车辆i和RSU^K的欧氏距离；b_i,k为常数参数；以最大化所有用户的平均效用函数值为优化目标构建优化问题如下所示：

s.t.

C3:p∈{critical,high,medium,low}.

C4:r∈{extreme,high,medium,low}.

C5:0＜Δd_i,k≤Δ.

其中，Δ表示RSU的无线覆盖半径；

2.3)第二个子问题为MEC资源分配问题，以最大化网络运营商的利润为优化目标，利润函数计算公式如下：

其中，τ_i和φ_i分别表示用户需要支付的接入网络和处理任务的费用；δ_k表示网络运营商租用带宽的费用；η_k和分别表示处理单位任务的能耗和运行1CPU周期的能耗；

MEC资源分配优化问题如下所示：

s.t.

步骤3)一种基于双边匹配的动态车辆-基站匹配DVRM算法来解决步骤2.2)中的任务调度问题；

步骤4)将步骤3)中得到的调度结果作为深度强化学习算法的输入，提出移动感知的深度强化学习网络MADD算法求解步骤2.3)中的MEC资源分配问题。