CN110312231A - 一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法 - Google Patents

Abstract

本发明涉及一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，属于移动通信技术领域。移动边缘计算MEC作为一种很有前景的边缘计算，具有强大的计算能力和存储能力。MEC服务器部署在RSU侧，可以给车辆用户提供存储空间和计算资源。虽然MEC提供了类似云计算的服务，但依然存在缓存、计算资源分配、频谱资源分配等问题。本发明旨在保证时延要求的条件下最大化网络收益。此方法将内容缓存决策、MEC服务器计算资源分配、频谱资源分配联合建模成马尔可夫决策过程MDP，使用深度强化学习方法进行求解，得出最优内容缓存决策、计算资源分配以及频谱分配。

Description

一种车联网中基于移动边缘计算的内容缓存决策和资源分配 联合优化方法

技术领域

本发明属于移动通信技术领域，涉及一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法。

背景技术

作为5G网络下的应用场景之一，车联网的发展受到信息和通信技术的重大影响，这些技术推动了各个领域的大量创新，包括通信，缓存和计算。如车辆与各种基础设施、设备、用户等相互连接，通过移动无线网络互连各种服务，内容和应用提供商，为驾驶员和车辆提供信息和娱乐内容，车载网络的典型应用包括提前安全警告，管理和播放音频内容，利用导航驾驶，提供娱乐，如电影、游戏、社交网络等，以及更复杂的应用程序，例如车道合并辅助和排队等合作驾驶功能和无人驾驶等自动驾驶功能。随着5G网络的不断商用，很多服务也会和这些新应用结合，如高分辨率图片、超清视频、区域地图等，这些丰富的服务内容增加了移动网络的流量负载，而请求这些内容需要的高访问速度和低延迟，尤其是视频服务，根据CISCO的技术报告，到2021年底，视频流量被估计将占据年度因特网流量的82％。考虑到网络中内容具有时效性和重复利用性，将流行内容存储到无线接入网可以减少回城链路负担和降低时延，另一方面车辆用户需求的内容版本各种各样，有限的存储空间不适合存储所有的版本，因此网络中只存储最高分辨率或信息最完整的版本，通过转码技术将内容转化成车辆用户需求的版本。由于转码运算需要大量计算资源，这对有限的车载终端的计算资源来说是很大的挑战，因此转码运算可以在无线接入网内完成。如今，云计算已经应用于不同的领域，其中数据需要被传输到数据中心并在数据中心处理。然而，由于数据中心通常远离最终用户，因此云计算服务可能无法为连接车辆的低延迟应用提供保证，并且将大量数据传输到云是不可太行和不太经济的。为了解决这些问题，MEC已被提议将计算资源部署到更靠近终端车辆，MEC服务器可以在无线接入网络侧提供云计算的计算和存储功能，将车辆直接连接到最近的支持云服务的网络边缘，这样可以有效地提高需要密集计算和低延迟的应用程序的服务质量，极大地减小数据传输时延，提升车辆用户的体验。

为了优化车辆用户的体验，网络中频谱资源、MEC服务器的计算资源需要得到合理分配。同时MEC服务器也提供了存储能力，所以内容在MEC服务器进行合理的缓存也可以提升用户体验。目前，现有工作车载网络研究工作中，通信，缓存和计算是分开研究的。但是，从车载应用程序的角度来看，通信，缓存和计算是支持车载应用程序的基础资源，如何分配和优化这些资源会对车载应用程序的性能产生重大影响。

综上所述，本发明提出一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，旨在保证时延要求的条件下最大化网络收益。由于系统复杂性很高，传统方法难以解决这种高复杂性问题，本方案使用深度强化学习方法求解优化问题，得出最优的内容缓存决策、计算资源分配以及频谱分配。

发明内容

本发明目的是提供一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法。该方法在保证车辆用户时延要求前提下，通过内容缓存决策、信道分配、MEC服务器计算资源分配等方式，以最大化系统收益为目标。为达到上述目的，本发明包括如下步骤：

S1：内容缓存决策和资源分配建模成马尔可夫决策过程。

S2：根据优化目标和收集的网络信息确定系统状态；

S3：根据优化目标和系统状态确定系统行为；

S4：根据优化目标、系统状态和行为确定系统奖励。

S5：根据系统状态，行为和奖励，利用本发明的方法得出最优的内容缓存决策和资源分配。

进一步，在步骤S1中，一个RSU覆盖范围内为车辆用户分配正交信道，因此RSU内没有传输干扰。对RSUm下的车辆v的下行链路的信干噪比γ_v,m进行量化，分为D个区间，当γ_v,m处于某个区间内时，用对应量化值表示信干噪比，例如当γ₀≤γ_v,m<γ₁时，用Γ₁表示信噪比的值。

网络可用的总带宽大小为B，平均分成K个子信道，每个子信道大小为b。

MEC服务器可用总计算资源为F，可分为N部分，每部分计算资源为f，为MEC服务器分配给车辆v的计算资源。为车辆v本地的计算资源大小。

所有车辆共请求了C个内容，c∈{1,2,...,C}，内容c的大小为l_c，MEC服务器的储存空间为L。表示内容c已经储存在MEC服务器；则表示内容c没有储存在MEC服务器。

经过量化后，缓存决策和资源分配不是离散的，这样缓存决策与资源分配可以建模成马尔可夫决策过程。

进一步，在步骤S2中，系统状态可由三个参数表示：RSUm与车辆v的下行链路SINRγ_v,m；内容c存储的判断指示参数每个车辆会有MEC服务器给计算任务分配的计算资源S代表状态空间，则t时刻系统状态s(t)∈S为：

进一步，步骤S3中，系统行为包括：信道分配，缓存决策，计算节点选择，计算资源分配。车辆v的可分配信道数量为w_v∈{1,...,1+K-V_m}。

表示内容c的储存决策，若MEC服务器决定储存内容c则若MEC服务器决定不储存内容c，则

表示计算节点的选择，若任务在MEC服务器上执行，则若任务在车辆v终端上执行或者车辆v所需内容版本与MEC服务器储存版本一致，则为MEC服务器分配给车辆v的计算资源，g_v∈{1,...,N}表示分配给车辆v的计算资源数量。A代表行为空间，则t时刻行为状态a(t)∈A为：

进一步，步骤S4中，系统奖励包括：信道分配收益、内容缓存收益和MEC服务器计算资源分配收益。t时刻的奖励为r(t)＝R^ch(t)+R^ca(t)+R^co(t)

t时刻信道分配收益可表示为：其中，β是租用单位信道的价格。

t时刻内容缓存收益可表示为：其中，T_c是MEC服务器从网络获取内容c的时延，即缓存内容c可以减少的时延，是存储每单位内容的价格。

t时刻计算资源收益可表示为：其中，η是使用每单位MEC服务器计算资源的代价。

进一步，步骤S5中，DQN模型中，Q(s,a；θ)代表Q网络中的Q值，s代表系统状态，a代表系统行为。参数θ代表神经网络的权重，每次迭代更新θ值，可以估计真实Q值，从而训练Q网络。本方案的优化目标是在t时刻选择最优的行为a^*(t)使得目标函数a^*(t)＝argmax_a Q(s,a；θ)最大化。基于DQN的内容缓存决策和资源分配方案主要步骤包括：

步骤1：控制器在VCN收集与系统状态相关的数据，数据包括MEC服务器可用的存储空间、计算资源，请求内容存储状态，计算任务大小和所需的计算资源大小，无线信道数量，用户的SINR等。

步骤2：将过滤的数据输入到DQN模型，在更新Q函数的同时提取所需的值。

步骤3：通过更新权重值θ将Q函数的部分值作为反馈，对DQN模型进行反复的训练。

步骤4：DQN模型在一定条件下输出最优解，包括缓存决策，卸载决策，计算资源与信道分配。

通过以上步骤，DQN模型被反复的训练后输出最优解，得到相应的内容缓存决策、计算资源分配和信道分配结果。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为基于MEC的车辆内容请求网络模型；

图2为车辆内容请求服务流程图；

图3为基于DQN的内容缓存和资源分配流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1是基于MEC的车辆内容请求的模型图。网络由部署在道路上的路侧单元(Roadside units，RSU)和安装了车载单元(Onboardunits，OBU)的车辆组成，RSU与移动边缘计算(Mobile edge computing，MEC)服务器通过有线连接，配备OBU的车辆通过V2I技术与RSU相连从而可以向MEC服务器请求内容和计算任务。设网络中有M个RSU，RSUm有V_m个内容请求车辆，每个RSU通过有线连接一个MEC服务器，每个车辆都配备OBU和单天线。考虑为半静态场景，即内容传输过程车辆仍在当前RSU覆盖范围内，不考虑RSU切换，车辆分布服从1-D PPP模型。代表RSU/MEC服务器的集合,代表RSUm范围内的请求车辆的集合。当有服务内容需求时，该车辆将会发送服务内容请求给RSU，连接RSU的MEC服务器接受内容请求后，如果当前车辆请求的内容已经缓存在MEC，则MEC服务器将直接把对应内容传输给相应的请求车辆，否则，MEC服务器将向网络请求该内容，再传输给对应车辆。若车辆请求的内容版本与网络中传输的版本一致，则内容直接传输给车辆，若版本不一致，则需要转码计算后车辆才能获得所需内容，MEC服务器分配计算资源或者车辆本地计算任务。车辆请求内容服务的流程如图2所示。

(1)通信模型

在本网络场景中，每个RSU覆盖范围内为用户分配正交信道，因此RSU内没有传输干扰。RSU间可使用相同的频谱，RSU之间存在传输干扰。则RSUm和车辆v的下行链路SINR可表示为：

其中p_m(t)是RSUm在t时刻的发送功率，h_v,m(t)是t时刻RSUm和车辆v链路的信道增益，是t时刻链路受到的干扰，N₀是高斯白噪声。对RSUm所属车辆v下行链路的SINRγ_v,m进行量化，分为D个区间，当γ_v,m处于某个区间范围内时，用对应的量化值表示信干噪比，例如，当γ₀≤γ_v,m<γ₁时，用Γ₁表示信噪比的值，

总带宽大小为B，平均分成K个子信道，每个子信道大小为b，t时刻单位子信道的吞吐量由香农公式可得：

e_v(t)＝log₂(1+γ_v,m(t)) (4)

t时刻车辆v的可分配信道数量为w_v(t)∈{1,...,1+K-V_m}，则RSUm到车辆v的下行链路传输速率可表示为：

r_v,m(t)＝bw_v(t)e_v(t) (5)

(2)缓存模型

设场景中所有车辆共请求了C个内容，c∈{1,2,...,C}。内容请求速率服从Zipf流行度分布，t时刻内容c的平均请求速率为：

其中c表示内容流行度的排名，即第c流行的内容。β表示Zipf分布的参数，设MEC服务器缓存内容随时间而变化，服从先入先出准则(FIFO)，内容c的大小为l_c，MEC服务器的储存空间为L。表示内容c在t时刻已经储存在MEC服务器；则表示内容c在t时刻没有储存在MEC服务器。若则用表示内容c的储存决策，若MEC服务器决定储存内容c则若MEC服务器决定不储存内容c，则

(3)计算模型

t时刻的计算任务由三个参数组成：其中是任务的大小(KB)，也是MEC服务器请求的内容或者MEC储存内容大小；是任务所需计算资源大小(CPU转数)，是任务的处理结果大小，也是车辆v所需的内容版本大小。设若t时刻任务在MEC服务器上执行，则若t时刻任务在车辆v终端上执行或者车辆v所需内容版本与MEC服务器储存版本一致，则

MEC服务器的计算资源F可分为N部分，每部分计算资源为f，则为t时刻分配给车辆v的计算资源，g_v(t)∈{1,...,N}。为车辆v本地的计算资源大小。

(4)优化问题建模

网络总收益由以下三部分组成：子信道收益，内容缓存收益和计算资源收益。

子信道收益可表示为：其中，β是租用单位子信道的价格。

内容缓存收益可表示为：其中，T_c是MEC服务器从网络获取内容c的时延，即缓存内容c可以减少的时延，是存储每单位内容的价格。

计算资源收益可表示为：其中，η是使用每单位MEC服务器计算资源的代价。

综上所述，为最大化网络总收益，并保证车辆请求内容的时延约束，优化问题可建模为：

其中，C1是车辆v对请求内容c的时延约束，为最大可接受时延。C2是分配的子信道总和不大于总带宽。C3是MEC服务器所存储的内容大小不大于MEC服务器的最大存储能力。C4是MEC服务器给车辆分配的计算资源不大于总的MEC计算资源。

(5)优化问题求解

强化学习方法可以用于求解最优策略的优化问题。在强化学习中，可以将系统状态建模成马尔可夫决策过程。根据状态转移概率值，强化学习可分为模型化强化学习和非模型化强化学习。在模型化强化学习中状态转移概率为恒定的，而在非模型化强化学习中状态转移概率为动态变化的。

本方案中优化问题可以建模为马尔可夫过程，且考虑到本方案中网络环境的时变性，状态转移概率将动态变化，所以采用基于非模式化强化学习，并结合深度学习，提出一种基于深度Q值网络(Deep Q network，DQN)的方法求解优化问题。DQN模型包含三个部分，即状态，行为和奖励。将当前的状态作为输入数值，输入到神经网络来预测动作和对应的Q值，通过更新神经网络里的参数来训练神经网络，从而优化模型得到最优解。

本模型中系统状态可由三个参数表示:车辆v的SINRγ_v,m；内容c存储指示参数MEC服务器给计算任务分配的计算资源S代表状态空间，则t时刻系统状态s(t)∈S为：

系统行为包括：子信道分配，缓存决策，计算节点选择，计算资源分配。A代表行为空间，则t时刻行为状态a(t)∈A为：

系统奖励是将子信道分配收益、缓存收益和计算资源分配收益之和作为奖励，则t时刻系统奖励为r(t)＝R^ch(t)+R^ca(t)+R^co(t)。

DQN模型中，Q(s,a；θ)代表Q网络中的Q值，s代表系统状态，a代表系统行为。参数θ代表神经网络的权重，每次迭代更新θ值，可以估计真实Q值，从而训练Q网络。本方案的优化目标是在t时刻选择最优的行为a^*(t)使得目标函数a^*(t)＝argmax_a Q(s,a；θ)最大化。基于DQN的内容缓存决策和资源分配方案主要步骤包括：

步骤201：控制器在网络收集与系统状态相关的数据，数据包括MEC服务器可用的存储空间、计算资源，请求内容存储状态，计算任务大小和所需的计算资源大小，无线信道数量，用户的SINR等。

步骤202：将过滤的数据输入到DQN模型，并初始化经验池D、Q网络和目标Q网络。经验池容量为K，随机生成Q网络权重θ，目标Q网络权重θ^-＝θ；

步骤203：通过更新权重值θ将Q函数的部分值作为反馈，对DQN模型进行反复训练，循环遍历步骤204和步骤205M次；

步骤204：初始化状态s(1)；

步骤205：循环遍历步骤206至步骤210T次，从t＝1循环至t＝T；

步骤206：用ε-greedy策略生成行为a(t)，执行a(t)获得奖励r(t)及新的状态s(t+1)；

步骤207：将t时刻经验样本(s(t),a(t),r(t),s(t+1))储存到经验池D中，并在经验池随机抽取一个小批量样本(s(i),a(i),r(i),s(i+1))来训练神经网络；

步骤208：计算目标Q网络，y(i)＝r(i)+γmax_a'Q(s(i+1),a'；θ^-)，γ是奖励的折扣因子，θ^-表示更新后的新权重值；

步骤209：最小化损失函数对损失函数用梯度下降法更新θ；

步骤210：每隔J步更新权重值θ^-＝θ；

步骤211：DQN模型在一定条件下输出最优解，包括缓存决策，卸载决策，计算资源与信道分配。

通过以上步骤，DQN模型被反复的训练后输出最优解，得到相应的内容缓存决策、计算资源分配和信道分配结果。图3是缓存决策和资源分配联合优化流程图。

Claims (8)

1.一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，其特征在于：该方法包括以下步骤：

S1：将内容缓存决策和资源分配建模成马尔可夫决策过程；

S2：根据优化目标和网络信息确定系统状态；

S3：根据优化目标和系统状态确定系统行为；

S4：根据优化目标、系统状态和系统行为确定系统奖励；

S5：根据系统状态，行为和奖励，得出最优内容缓存决策和资源分配。

2.根据权利要求1所述的一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，其特征在于：在所述步骤S1中，对优化问题进行建模；装配有车载单元OBU的车辆，RSU与相连的MEC组成两层网络；MEC服务器部署在RSU侧，配备OBU的车辆通过V2I技术与RSU连接，车辆的分布服从1-D PPP模型；表示RSU/MEC服务器的集合，表示RSUm范围内的卸载请求车辆集合，v表示RSUm覆盖范围内车辆v；将车辆v与RSUm之间的信干噪比、信道资源、MEC计算资源量化，内容决策是0-1的二元变量，缓存决策与资源分配能够建模成马尔可夫决策过程。

3.根据权利要求2所述的一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，其特征在于：在所述步骤S1中，车辆v与RSUm之间的信干噪比γ_v,m分为D个区间，当γ_v,m处于某个区间范围内，用对应量化值表示信干噪比；

当γ₀≤γ_v,m<γ₁时，用Γ₁表示信噪比的值；

网络总带宽均分成K个信道，MEC计算资源均分为N部分，每个部分不可拆分。

4.根据权利要求1所述的一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，其特征在于：在所述步骤S2中，模型中系统状态由三个参数表示，车辆v与RSUm之间的信干噪比γ_v,m；内容c存储指示参数MEC服务器为计算任务分配的计算资源

5.根据权利要求1所述的一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，其特征在于：在所述步骤S3中，模型中系统行为包括信道分配，内容缓存决策，任务计算节点的选择和MEC服务器计算资源分配。

6.根据权利要求1所述的一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，其特征在于：在所述步骤S4中，模型中系统奖励是将信道分配收益、内容缓存收益和计算资源分配收益之和作为奖励。

7.根据权利要求6所述的一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，其特征在于：在所述步骤S4中，信道分配收益等于车辆用户的传输速率与租用信道的代价差值；内容缓存收益等于MEC服务器存储内容减少的时延与存储内容的代价差值；计算资源收益等于MEC服务器分配给车辆用户的计算资源与使用计算资源的代价差值。

8.根据权利要求1所述的一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法，其特征在于：在所述步骤S5中，根据系统状态、行为和奖励，利用深度强化学习中的深度Q网络DQN方法，得出最优行为，行为包括内容缓存决策和资源分配。