CN111328065B - 基于动态规划的5g云接入网移动性协作管理方法 - Google Patents

Abstract

本发明公开了一种基于动态规划的5G云接入网移动性协作管理方法，适用于计算资源紧张、能量消耗和时延要求高的移动边缘计算无线通信环境，属于无线通信领域，该方法步骤如下：首先移动设备(UE)基于具有嵌入移动边缘计算(MEC)功能的基站数目和时延要求，根据动态规划选择任务卸载的基站；然后把任务卸载到基站上；当下一个任务的卸载需要切换基站时，UE继续根据动态规划为下一个任务选择任务卸载的基站；直至UE的任务完全卸载完毕。该方法解决了在基站密集覆盖和UE高速移动的场景下，如何准确地实现用户移动性管理问题。该方法能够有效降低用户在移动过程中基站的切换次数，降低了时延，提高了用户的服务质量。

Description

基于动态规划的5G云接入网移动性协作管理方法

技术领域

本发明涉及无线通信的移动性管理技术领域，具体涉及一种基于动态规划的5G云接入网移动性协作管理方法。

背景技术

在新一代无线通信(5G)中，用户的高移动性对移动性管理带来了新的挑战，同时由于移动边缘计算MEC带来的新的考虑因素，基于传统移动性管理的策略已经不能满足如今的无线通信环境。传统的移动性管理策略仅仅考虑无线信号的强度，而在5G的网络结构中，由于基站由广域覆盖变为密集覆盖，用户的移动性变得更加敏感，同时考虑到移动边缘计算的计算能力，传统的移动性管理策略将导致用户体验的严重下降。在考虑基站计算能力与用户移动性的影响下，如何准确地实现用户移动性的管理，提高用户在该场景下的长期体验是该方法的目标。

由于移动设备UE高速移动和无线环境不断变化，无线环境相关信息的获取会变得不准确，这会为无线传输和UE的计算卸载带来挑战。目前已有许多研究投入到移动性管理领域当中，但是有的研究提出的移动性管理策略并没有考虑到用户设备在现实生活的移动性，而有的研究提出的策略则没有考虑到基站间的协作能够提高计算的性能。因此，目前亟待提出一种研究考虑用户移动性和基站间协作的5G云接入网移动性管理方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于动态规划的5G云接入网移动性协作管理方法，以在具有MEC功能的基站密集分布的场景下，实现用户移动性的管理，从而降低时延和能量消耗，提高用户在该场景下的体验质量。

本发明的目的可以通过采取如下技术方案达到：

一种基于动态规划的5G云接入网移动性协作管理方法，所述的移动性协作管理方法的具体操作步骤如下：

S1、系统初始化参数，确定一个超密集网络(UDN)系统中具有移动边缘计算(MEC)功能的基站集合S_N＝{1,2,…,N}，N为基站个数，一个被建模成二维的布朗运动的高速移动设备，将移动设备简称UE，该UE产生总计M个任务，产生第m个任务的地点为L_m，候选基站

计算第m个任务的数据量λ_m，任务需要的CPU周期数目μ，基站的CPU频率f_n，UE和基站间的信道增益H，噪声增益σ²，传输增益P；

S2、根据候选基站的可选数量、CPU计算频率和UE的位置信息，UE选择一个基站或者两个基站进行移动边缘计算分集协作为其提供服务；

S3、选定基站后，UE把任务卸载在对应的基站上，由基站为任务提供计算服务；

S4、UE判断任务是否已经全部处理完成，若任务还未处理完成，则需要继续处理任务；

S5、UE在处理下一个任务时，需要判断处理下一个任务是否需要切换基站；如果需要切换基站，则UE重新为下一任务选择基站，否则UE继续在当前基站处理任务；如果UE处理下一个任务不需要切换基站，下一个任务由当前接入的基站进行处理，UE继续把下一个任务卸载在当前基站上，由当前基站提供计算服务。

进一步地，所述的步骤S2具体如下：

S21、在整个移动性管理过程中，在每次有计算任务需要上传时，UE获取当前UE所处的位置信息L_m，候选基站的CPU处理频率分布信息，第m个任务的数据量λ_m；

S22、UE根据当前处理任务的状态，计算任务卸载到候选基站a_m的任务执行时间，任务的执行时间分为上行传输时间

基站计算任务的时间

和切换的时间

并把该任务执行时间

作为回报，该执行时间可以通过如下公式计算：

其中，I是一个标识数字，当a_m＝a_m+1时，I为0；当a_m≠a_m+1时，I为1，σ为噪声功率，

指的是在第m个任务时的信道容量；

S23、将UE的移动性建模为随机游走目标模型，在该随机游走目标模型中，移动设备从预定义的范围中随机选择一个方向和速度从当前位置移动到新的位置，移动设备在每次移动中以恒定的时间间隔t或恒定的行进距离d进行，如果该随机游走目标模型中的移动设备到达模拟边界，则它将从模拟边界“弹回”，其角度由入射方向确定，然后沿着这条路径继续移动；根据随机游走目标模型的统计信息和基站的CPU频率分布信息，UE计算从当前的任务接入状态转换到下一任务的接入状态的状态转移概率；

S24、UE根据获取到的信息，计算得到的回报R，将该过程建模为一个优化问题:

通过使得上述优化问题最小化，来确定下一个任务的接入是否需要基站的最大比合并MRC分集协作和选择接入的候选基站；

S25、使用动态规划的方法求解

得到该优化问题最小化的解；

S26、定义动作值函数：

和值函数：

然后通过Bellman等式求解：

已知q_π(s,a)为在状态s时选取动作a的动作值函数，

为在状态s时选取动作a的回报，ν_π(s′)、ν_π(s)分别为在状态s'和s时的值函数，π(a|s)为在状态s选取动作a的概率，v^*(s)和v^*(s′)为最优的值函数，γ^*为最优的效用函数，根据上面的Bellman等式，继续通过差分求解：

得到最大的值函数，最终得到使回报R最大的接入基站选择；

S27、UE根据选择接入的基站，确定计算时延、传输时延和传输能耗，以便为下一个任务的卸载基站选择提供信息。

进一步地，所述的步骤S3具体如下：

所述的步骤S3包括以下步骤：

S31、在UE与基站之间进行数据传输的过程中，根据选择基站的数量，选择传输的方案；

S32、如果UE选择2个基站进行服务，则在数据传输时选择最大比合并的分集接收方案；如果选择一个基站进行服务，则直接与该基站进行数据传输，其中，最大比合并MRC的实现方式即通过给分集的N路不同信号乘上一个不同的系数，从而使等效信噪比最大，其与介入基站n₁和n₂的等效信噪比计算如下：

其中，P_t为发射功率，

和

分别为在第m个任务时，与基站n₁和n₂的信道增益。

本发明相对于现有技术具有如下的优点及效果：

1、降低了时延。由于本发明中基站采取MRC分集协作的方法，通过基站间的协作，任务的计算卸载时间能够大大地减少，从而降低了时延。

2、降低了能耗和基站的切换成本。本发明中采用了基于动态规划的移动性管理策略，该策略从全局的角度为用户的任务卸载选择最优的接入基站，而不是基站的单一选择，因此能够有效地降低能耗和基站的切换成本。

附图说明

图1是本发明公开的基于动态规划的5G云接入网移动性协作管理方法的流程图；

图2是本发明中用户设备的任务卸载基站选择流程图；

图3是本发明中提出的基于动态规划的移动性管理策略(DPMM)和基于贪婪算法的移动性管理策略(DOGS)的平均时间延迟对比图；

图4是本发明中提出的基于动态规划的移动性管理策略(DPMM)和基于贪婪算法的移动性管理策略(DOGS)的平均能量损耗对比图；

图5是本发明中提出的基于动态规划的移动性管理策略(DPMM)和基于贪婪算法的移动性管理策略(DOGS)的切换次数对比图；

图6是本发明提出的DPMM方案中有、无基站协作的平均时间延迟对比图；

图7是本发明提出的DPMM方案中有、无基站协作的平均能量损耗对比图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提出一种基于动态规划的5G云接入网移动性协作管理方法，是一种应用于超密集组网中基站嵌有MEC功能、UE具有高移动性的移动性管理方法。

本实施例中移动性协作管理方法的具体操作步骤如下：

S1、系统初始化参数，确定一个超密集网络(UDN)系统中具有MEC功能的基站集合S_N＝{1,2,…,N}，N为基站个数，一个被建模成二维的布朗运动的高速移动设备，将移动设备简称UE，该UE产生M个任务，产生第m个任务的地点为L_m，候选基站

计算第m个任务的数据量λ_m，任务需要的CPU周期数目μ，基站的CPU频率f_n，UE和基站间的信道增益H，噪声增益σ²，传输增益P。

S2、根据候选基站的数量和时延，UE选择一个基站或者两个基站进行MRC分集协作为其提供服务。该步骤S2过程如下：

S21、在整个移动性管理过程中，在每次有计算任务需要上传时，UE获取当前UE所处的位置信息L_m，候选基站的CPU处理频率分布信息，第m个任务的数据量λ_m；

S22、UE根据当前处理任务的状态，计算把下一个任务接入候选基站的任务执行时间，并把该时间作为回报；

S23、根据随机游走目标模型的统计信息和基站的CPU频率分布信息，UE计算从当前的任务接入状态转换到下一任务的接入状态的状态转移概率；

S24、UE根据获取到的信息，计算得到的回报和状态转移概率确定下一个任务的接入是否需要基站的MRC分集协作和是否需要选择接入的基站；

S25、UE根据选择接入的基站，确定计算时延、传输时延和传输能耗，以便为下一个任务的卸载基站选择提供信息，任务卸载的过程中存在基站的切换，还需要计算切换时延。

S3、选定基站后，UE把任务卸载在对应的基站上，由基站为任务提供计算服务。

S4、UE判断任务是否已经全部处理完成，若任务还未处理完成，则继续处理任务。

S5、UE在处理下一个任务时，判断处理下一个任务是否需要切换基站。如果需要切换基站，则UE重新为下一任务选择基站，否则UE继续在当前基站处理任务。

若UE处理下一个任务不需要切换基站，因此下一个任务会由当前接入的基站进行处理。UE继续把下一个任务卸载在当前基站上，由当前基站提供计算服务。

实施例二

本实施例结合说明书附图1至图5并以一个具体的含一个移动设备和多个具有MEC功能的基站的移动性管理系统实施例对本发明提出的基于动态规划的5G云接入网移动性协作管理方法作一下详细的说明。

考虑系统模型如下：在一个移动边缘计算系统中，有一个部署了4个基站的，面积覆盖范围为300m×300m的矩形区域。UE在100m范围内都可以和基站连接。UE的轨迹由速度为v∈[5,10]m/s的经典随机行走模型生成。信道增益为H_m,n＝127+30×log₁₀d，基站间协作功率P_cop＝0.2W。信道带宽W＝20MHz，噪声功率为σ²＝2×10^-13W，传输功率为P_t＝0.5W。本方案考虑了1000个任务在整个移动过程中产生。其中，任务的大小为λ＝100Mbits，计算强度μ＝20cycle/bit。可获得的基站CPU计算频率为

其中F＝25GHz。

本实施例提出一种基于动态规划的移动性管理方法，在移动性管理当中的各个阶段都可被抽象成动态规划模型中的空间集、动作集、状态转移概率和回报函数。其中，空间集定义为s＝((n_i,n_j),L,(f_i,f_j))，n_i和n_j表示前一个任务的服务基站，L表示UE的位置。服务基站的计算能力分别为f_i和f_j。动作集决定选择一个或者两个基站为当前的任务提供服务。动作集可以定义为A＝{a＝(n_i,n_j)|n_i∈S_N,n_j∈S_N∪{0}}。回报函数为在状态为s的执行动作a的回报是每个任务的执行时间。状态转移概率

是根据随机游走目标模型的统计信息与基站BSs的CPU频率分布情况所决定的。

图3、图4为提出的基于动态规划的移动性管理(DPMM)方案和基于时延最优的贪婪算法(DOGS)方案的系统性能比较，其中图3比较了当系统中有M个任务需要基站处理时，DPMM方案和DOGS方案的平均时延，而图4则比较了能量损耗。图5给出了这两个方案的切换次数对比。可以看出，虽然DPMM方案牺牲了约10％的延迟性能，但是可以降低能耗。更重要的是，如图5所示，与DOGS方案相比，DPMM方案可以大大减少切换时间，从而大大降低了切换的信令成本。这是因为在一定的状态下，基站的单一选择并不是最优的。为了有效控制切换时间，DPMM算法会根据基站的长期状态的平均回报来选择服务基站。这种全局的选择能够使得切换的次数达到最优，从而减低了延迟，减少了能耗。

图6、图7给出了基站有、无采用最大比合并(MRC)分集协作的DPMM策略性能比较，其中图6是平均时延的比较，图7是平均能量损耗的比较。从图6和图7看出，通过基站的最大比合并(MRC)分集协作，平均时延能够降低50％，但是能量损耗高了20％。这是因为最大比合并MRC的传输分集可以通过提高信噪比大大提高数据的传输速率，但是也会造成额外的能量损耗。因此，通过牺牲一定的能量，可以大大提高延迟性能。

综上所述，上述实施例提出的移动性协作管理方法，应用在移动性协作管理系统中能有效地降低系统的时延和能量的损耗。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种基于动态规划的5G云接入网移动性协作管理方法，其特征在于，所述的移动性协作管理方法包括以下步骤：

S1、系统初始化参数，确定一个超密集网络系统，该系统具有移动边缘计算功能的基站集合S_N＝{1,2,…,N}，N为基站个数，一个被建模成二维的布朗运动的高速移动设备，将移动设备简称UE，该UE产生总计M个任务，其中第m个任务的地点为L_m，候选基站

计算第m个任务的数据量λ_m、每比特任务需要的CPU周期数目μ、基站的CPU频率f_n、UE和基站间的信道增益H、噪声增益σ²、传输增益P；

S2、根据候选基站的可选数量、CPU计算频率和UE的位置信息，UE选择一个基站或者两个基站进行移动边缘计算分集协作为其提供服务，其中，在第m个任务的所选基站集合为a_m；

S3、选定基站后，UE把任务卸载在对应的基站上，由基站为任务提供计算服务；

S4、UE判断任务是否已经全部处理完成，若任务还未处理完成，则需要继续处理任务；

S5、UE在处理下一个任务时，需要判断处理下一个任务是否需要切换基站；如果需要切换基站，则UE重新为下一任务选择基站，否则UE继续在当前基站处理任务；如果UE处理下一个任务不需要切换基站，下一个任务由当前接入的基站进行处理，UE继续把下一个任务卸载在当前基站上，由当前基站提供计算服务；

其中，所述的步骤S2包括以下步骤：

S21、在整个移动性管理过程中，在每次有计算任务需要上传时，UE获取当前UE所处的位置信息L_m，候选基站的CPU处理频率分布信息，第m个任务的数据量λ_m；

S22、UE根据当前处理任务的状态，计算任务卸载到候选基站a_m的任务执行时间，任务的执行时间分为上行传输时间

基站计算任务的时间

和切换的时间

并把该任务执行时间

作为回报，该执行时间可以通过如下公式计算：

其中，

是一个标识数字，当a_m＝a_m+1时，

为0；当a_m≠a_m+1时，

为1，σ为噪声功率，

表示基站a_m可提供给第m个任务的CPU计算频率，

表示卸载第m个任务时UE和基站a_m之间的信道容量，c_m表示发生基站切换时第m个任务产生的额外时延，P_t表示用户上行传输的发射功率；

S23、将UE的移动性建模为随机游走目标模型，在该随机游走目标模型中，移动设备从预定义的范围中随机选择一个方向和速度从当前位置移动到新的位置，移动设备在每次移动中以恒定的时间间隔t或恒定的行进距离d进行，如果该随机游走目标模型中的移动设备到达模拟边界，则它将从模拟边界“弹回”，其角度由入射方向确定，然后沿着这条路径继续移动；根据随机游走目标模型的统计信息和基站的CPU频率分布信息，UE计算从当前的任务接入状态转换到下一任务的接入状态的状态转移概率；

S24、UE根据获取到的信息，计算得到的回报R，将该过程建模为一个优化问题：

通过使得上述优化问题最小化，来确定下一个任务的接入是否需要基站的最大比合并MRC分集协作和选择接入的候选基站；

S25、使用动态规划的方法求解

得到该优化问题最小化的解；

S26、定义动作值函数：

和值函数：

然后通过Bellman等式求解：

其中，s表示所有可能状态s组成的集合，

表示所有可能动作a组成的集合，

表示在状态s下执行动作a后转移到状态s'的概率；

已知q_π(s,a)为在状态s时选取动作a的动作值函数，

为在状态s时选取动作a的回报，ν_π(s′)、ν_π(s)分别为在状态s'和s时的值函数，π(a|s)为在状态s选取动作a的概率，v^*(s)和v^*(s′)为最优的值函数，γ^*为最优的效用函数，根据上面的Bellman等式，继续通过差分迭代求解：

得到最大的值函数，最终得到使回报R最大的接入基站选择，其中，v_i(s)表示第i次迭代时状态s的值函数，γ_i+1(s₀)表示第i+1次迭代时状态s₀的效用函数，τ表示折扣因子，取值在[0,1]之间，折扣因子越大表示越重视后续过程带来的奖励；

S27、UE根据选择接入的基站，确定计算时延、传输时延和传输能耗，以便为下一个任务的卸载基站选择提供信息；

其中，所述的步骤S3包括以下步骤：

S31、在UE与基站之间进行数据传输的过程中，根据选择基站的数量，选择传输的方案；

S32、如果UE选择2个基站进行服务，则在数据传输时选择最大比合并的分集接收方案；如果选择一个基站进行服务，则直接与该基站进行数据传输，其中，最大比合并的实现方式即通过给分集的N路不同信号乘上一个不同的系数，从而使等效信噪比最大，其与介入基站n₁和n₂的等效信噪比计算如下：

其中，P_t为发射功率，

和

分别为在第m个任务时，与基站n₁和n₂的信道增益。

Images