CN109144719A - 移动云计算系统中基于马尔科夫决策过程的协作卸载方法 - Google Patents

Abstract

本发明公开了一种移动云计算系统中基于马尔科夫决策过程的协作卸载方法，包括：(1)将任务队列状态、边缘云状态、移动自组织云状态和中心云状态组合成马尔科夫决策过程的状态空间，并计算得到状态转移概率矩阵；(2)定义动作空间；(3)以时延和能耗定义马尔科夫决策过程的立即回报函数；(4)将一系列输入任务作为统计样本，计算任务分割阈值；(5)根据已得到的阈值，通过任务分割算法实现任务的自适应分割；(6)根据子任务的大小、状态转移概率矩阵和立即回报函数，通过值迭代算法得到卸载决策结果。本发明基于马尔科夫决策过程，满足时延和能耗最小化；通过任务分割算法将任务自适应分割，实现了云计算资源的充分利用和负载均衡。

Description

移动云计算系统中基于马尔科夫决策过程的协作卸载方法

技术领域

本发明涉及移动云计算技术(Mobile Cloud Computing,MCC)中基于马尔科夫决策过程的协作卸载方法。

背景技术

在移动云计算关键技术研究中，如何低时延低能耗地实现任务卸载是重点之一，而利用马尔科夫决策过程进行分析建模可以降低任务卸载的时延和能耗。

现有的卸载算法大多是将一个任务全部卸载到一个云服务器上，目的是减少卸载的时延和能耗。而在多层云的环境下，将任务卸载到一个云服务器可能导致云服务器负载过高，而其它云服务器则处于空闲状态，因此云服务器的资源没有均衡利用，导致传输时延和卸载时延未能进一步减少。因此，需要提出一个新的基于多层云协作的卸载方法。在多层云协作的条件下，减少卸载时延和能耗，并均衡各云服务器的负载。

发明内容

技术问题：本发明针对现有技术存在的问题，提供一种移动云计算系统中基于马尔科夫决策过程的协作卸载方法，本方法基于马尔科夫决策过程，通过值迭代算法计算出时延和能耗最小的卸载方案，并通过任务分割算法将任务自适应分割，实现了云计算资源的充分利用和负载均衡。

技术方案：

一种移动云计算系统中基于马尔科夫决策过程的协作卸载方法，该方法包括以下步骤：

(1)分析任务队列中的任务达到过程、并计算队列中任务数量q的概率分布和概率转移函数P(q|q′,a)；计算边缘云的数量s_m的概率分布和概率转移函数P(s_m|s′_m,a)；分析移动自组织云的数量n_a和距离用户距离的状态d_a的概率分布，其状态转移函数分别为P(n_a|n_a′,a)和P(d_a|d_a′,a)，移动自组织云的状态定义为二元组：s_a＝(n_a,d_a)，计算移动自组织云状态转移函数P(s_a|s_a′,a)＝P(n_a|n_a′,a)P(d_a|d_a′,a)；计算中心云接收端信干噪比s_r的概率分布和状态转移函数P(s_r|s_r′,a)，将以上任务队列状态、边缘云状态、移动自组织云状态和中心云状态组合成马尔科夫决策过程的状态空间，并计算得到状态转移概率矩阵P(s|s′,a)，其中a表示用户采取的动作；

(2)定义马尔科夫决策过程的动作空间：A＝{a|a＝0,1,2,3}，其中a＝0表示本地执行任务；a＝1表示卸载到边缘云；a＝2表示卸载到移动自组织云；a＝3表示卸载到中心云；

(3)将马尔科夫决策过程的立即回报函数定义为时延和能耗的函数，即决策函数；

(4)采集一系列输入任务样本，将所有任务量作为迭代法的输入，根据迭代法求解任务分割的阈值；

(5)根据已确定的阈值，比较输入任务和阈值的大小，如果输入任务大于阈值，则根据任务分割算法进行自适应任务分割，否则，不进行任务分割操作；

(6)将从步骤(5)得到的子任务的大小作为输入，根据状态转移概率矩阵P(s|s′,a)和立即回报函数，通过值迭代算法最大化值函数，得到卸载决策结果，对于每一个子任务执行同样的卸载决策操作，直到子任务全部处理完毕。

优选地，步骤(1)中的状态空间包括任务队列中的任务数量q、边缘云的数量s_m、移动自组织云的数量n_a和距离用户的距离量化值d_a以及中心云接收端信干噪比的量化值s_r，表示为：S＝{(q,s_m,s_a,s_r)|q∈Q,s_m∈S_m,s_a∈S_a,s_r∈S_r}，其中，Q＝{0,1，…Q_max}，S_m＝{0,1，…S_m,max}，S_a＝{0,1，…S_a,max}，S_r＝{0,1，…S_r,max}，Q_max、S_m,max、S_a,max和S_r,max为各自状态的最大值，状态转移概率矩阵为各自状态转移函数的乘积，即P(s|s′,a)＝P(q|q′,a)P(s_m|s′_m,a)P(s_a|s_a′,a)P(s_r|s_r′,a)。

优选地，步骤(3)中的立即回报函数定义为效益函数和代价函数的线性和，表示如下：

其中，是第i个用户的输入任务量，是第i个用户的效益函数，表示如下：

C_i是第i个用户的关于时延和能耗的代价函数，其定义如下：

Dⁱ表示时延，Eⁱ表示能耗，D_max表示允许的最大时延，E_max表示允许的最大能耗；ω_u、ω_c、ω_D和ω_E是加权系数，且ω_u+ω_c＝1，ω_D+ω_E＝1，0≤ω_u,ω_c,ω_D,ω_E≤1。

优选地，步骤(4)中任务分割阈值的求解过程包括如下子步骤：

4.1在一系列任务样本中，最小任务量为x_min，最大任务量为x_max，令初始阈值为

x_th＝(x_min+x_max)/2；

4.2根据阈值x_th将任务分为两类：较大类和较小类，分别计算两者的平均任务量：x_l和x_r；

4.3计算新的阈值x_th＝(x_l+x_r)/2；

4.4若新的阈值x_th与前一次迭代计算的阈值相同，即为最终的阈值，否则转到步骤4.2。

优选地，步骤(5)包括如下子步骤：

5.1根据输入任务的大小和已经得到的阈值，判断是否需要进行任务分割，如果任务比阈值小，则不需要进行任务分割，如果任务比阈值大，则将该任务作为步骤5.2的输入x_re；

5.2观察队列中任务的数量q以及队列的容量Q_c，设置加权系数u＝q/Q_c，计算此次的子任务量为：x_j＝x_req/Q_c；

5.3计算剩余任务量，将其作为步骤5.1的输入x_re，重复步骤5.1至5.3，直到任务分割完毕。

优选地，步骤(6)中的值迭代算法包括如下子步骤：

6.1初始化状态空间S、动作空间A、状态转移概率矩阵P、立即回报函数r、折扣系数γ和输入任务量x_in；

6.2初始值V⁰设为0，ε设为0.01，迭代次数n初始化为0；

6.3计算：

6.4迭代次数n自加1；

6.5重复步骤6.3和6.4，直到||Vⁿ⁺¹(s)-Vⁿ(s)||≤ε(1-γ)/2γ；

6.6得到此时的V以及对应的动作a。

有益效果：本发明与现有技术相比，其显著优点是：本发明基于马尔科夫决策过程使用户卸载的时延和能耗最小化，同时利用任务自适应分割算法，将任务分成若干份并卸载到多个云服务器协作处理，实现了云计算资源的充分利用和负载均衡。

附图说明

图1是本发明的移动云计算环境下的卸载场景图；

图2是本发明的任务分割的阈值求解流程；

图3是本发明的基于马尔科夫决策过程的协作卸载算法流程；

具体实施方式

本发明方法综合考虑将多层云的状态作为马尔科夫决策过程的状态空间，以及利用任务自适应分割降低时延和单个云服务器的负载，通过状态转移概率矩阵和回报函数计算最佳卸载方案，目标是最小化时延和能耗。

本发明基于马尔科夫决策过程，充分利用系统中有限的计算资源，在以最小化所有终端任务卸载时延和能耗为目标的同时，保证了各云服务器的负载均衡，满足各移动终端的任务卸载需求。

下面结合附图对本发明的实施方法作进一步的描述。

如图1所示，考虑移动云计算环境下多层云的卸载场景，包括边缘云、移动自组织云和中心云。从图中可以看出，边缘云处于中间层，移动自组织云处于最底层，中心云处于最高层。用户可以将任务卸载到任意一种云上，也可以在本地终端处理任务。

边缘云通常部署在网络的边缘，由于距离用户较近，因此边缘云可以为计算卸载提供迅速的交互式响应。移动自组织云相比于边缘云，其移动性更强，它可以通过手机、笔记本电脑组网，具有较强的灵活性，但是计算能力和存储能力有限。中心云的计算能力和存储能力最强，但是由于其一般部署在距离用户很远的地方，因而带来的时延更大。

I＝{i|i＝1,...,N}表示系统中用户集合。用户i进行任务卸载时需要上传的任务量为x_in，上行链路速率为ν_u，下行链路速率为ν_d，CPU处理速率为f_e，传输每字节的能耗为ε_t，处理每字节的能耗为ε_e。用户i卸载时延包括两个部分，其中表示往返传输时延，表示任务的处理时延。用户i卸载能耗其中表示往返传输能耗，表示任务的处理能耗。如果是在本地处理，时延和能耗仅仅包含处理时延和处理能耗。

用户i的立即回报函数定义为效益函数和代价函数的线性和，表示如下。

是用户i的效益函数，表示如下。

C_i是关于时延和能耗的代价函数。其定义如下。

式(1)、(3)中ω_u、ω_c、ω_D和ω_E是加权系数，且ω_u+ω_c＝1，ω_D+ω_E＝1，0≤ω_u,ω_c,ω_D,ω_E≤1，加权系数可以在满足以上关系的条件下自由调整。

如图2所示，本发明的任务分割的阈值求解流程具体包括：

①在一系列任务样本中(需要大量数据统计)，最小任务量为x_min，最大任务量为x_max。

令初始阈值为x_th＝(x_min+x_max)/2；

②根据阈值x_th将任务分为两类文件：较大类和较小类。分别计算两者的平均任务量：

x_l和x_r；

③计算新的阈值x_th＝(x_l+x_r)/2；

④若x_th不再变化，即为所要求的阈值，否则转到步骤2。

如图3所示，本发明的移动云计算系统中基于马尔科夫决策过程的协作卸载方法包括：

(1)分析任务队列中的任务达到过程、并计算队列中任务数量q的概率分布和概率转移函数P(q|q′,a)，计算边缘云的数量s_m的分布和概率转移函数P(s_m|s′_m,a)；分析移动自组织云的数量n_a和距离用户距离的状态d_a的概率分布，它们的状态转移函数为P(n_a|n′_a,a)和P(d_a|d′_a,a)，移动自组织云的状态定义为二元组：s_a＝(n_a,d_a)，假设n_a和d_a相互独立，计算移动自组织云状态转移函数P(s_a|s_a′,a)＝P(n_a|n′_a,a)P(d_a|d′_a,a)；计算中心云接收端信干噪比s_r的概率分布和状态转移函数P(s_r|s′_r,a)。将以上任务队列状态、边缘云状态、移动自组织云状态和中心云状态组合成马尔科夫决策过程的状态空间，并计算得到状态转移概率矩阵。因此，状态空间表示为S＝{(q,s_m,s_a,s_r)|q∈Q,s_m∈S_m,s_a∈S_a,s_r∈S_r}，其中，Q＝{0,1，…Q_max}，S_m＝{0,1，…S_m,max}，S_a＝{0,1，…S_a,max}，S_r＝{0,1，…S_r,max}，Q_max、S_m,max、S_a,max和S_r,max为各自状态的最大值。假设四个状态相互独立，则总体状态转移函数为各自状态转移函数的乘积，即为P(s|s′,a)＝P(q|q′,a)P(s_m|s′_m,a)P(s_a|s′_a,a)P(s_r|s′_r,a)。其中，概率转移函数中的a表示用户采取的动作，不同的动作所对应的状态转移函数不同；

(2)定义马尔科夫决策过程的动作空间，表示用户可以采取的动作：A＝{a|a＝0,1,2,3}。其中a＝0表示本地执行任务；a＝1表示卸载到边缘云；a＝2表示卸载到移动自组织云；a＝3表示卸载到中心云；

(3)将马尔科夫决策过程的立即回报函数定义为时延和能耗的函数，即决策函数，第i个用户的立即回报函数定义为其中是效益函数，取决于任务量定义为C_i是代价函数，定义为表示时延，Eⁱ表示能耗，D_max表示允许的最大时延，E_max表示允许的最大能耗；ω_u、ω_c、ω_D和ω_E是加权系数，且ω_u+ω_c＝1，ω_D+ω_E＝1，0≤ω_u,ω_c,ω_D,ω_E≤1，加权系数可以在满足以上关系的条件下自由调整；

(4)采集系统中一系列输入任务样本，将所有任务量作为迭代法的输入，根据迭代法求解任务分割的阈值x_th，迭代法求阈值过程如图2所示；

(5)根据已确定的阈值x_th，比较输入任务x_in和阈值x_th的大小，如果x_in<x_th，不需要进行任务分割操作；如果x_in>x_th，则需要根据任务分割算法进行第一次任务分割，子任务的大小为加权系数和剩余任务量x_re的乘积(第一次分割时x_re＝x_in)，加权系数为u＝q/Q_c，q为队列中任务的数量以及Q_c为队列的容量，因此子任务量为x_j＝x_req/Q_c。更新剩余任务量，重复(5)步骤，直到剩余任务量小于阈值，则将剩余任务作为最后一个子任务，任务分配完毕；

(6)将每一个子任务量x_j作为输入x_in，根据状态转移概率矩阵P(s|s′,a)和立即回报函数r，定义其满足贝尔曼方程的值函数：其中γ是折扣系数，则目标函数为：

通过值迭代算法得到卸载决策结果π*＝maxV(s,a)。对于每一个子任务执行同样的卸载决策操作，直到子任务全部处理完毕。其中，值迭代算法求解决策结果的过程如下：

①初始化状态空间S、动作空间A、状态转移概率矩阵P、回报函数r、折扣系数γ和输入任务量x_in；

②初始值设为0，ε设为0.01，迭代次数初始化为0(V⁰＝0，ε＝0.01，n＝0)；

③计算：

④迭代次数n自加1；

⑤重复步骤③和④，直到||Vⁿ⁺¹(s)-Vⁿ(s)||≤ε(1-γ)/2γ；

⑥得到此时的V以及对应的动作a，则是要求的卸载决策结果，即π*＝a。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解的是，本发明可以涉及用于执行本申请中所述操作中的一项或多项操作的设备。所述设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备，所述通用计算机有存储在其内的程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、随机存储器(RAM)、只读存储器(ROM)、电可编程ROM、电可擦ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁性卡片或光线卡片。可读介质包括用于以由设备(例如，计算机)可读的形式存储或传输信息的任何机构。例如，可读介质包括随机存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光学存储介质、闪存装置、以电的、光的、声的或其他的形式传播的信号(例如载波、红外信号、数字信号)等。

本技术领域技术人员可以理解的是，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。

本技术领域技术人员可以理解的是，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

本领域技术人员不脱离本发明的实质和精神，可以有多种变形方案实现本发明，以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效结构变化，均包含于本发明的权利范围之内。

Claims (6)

1.一种移动云计算系统中基于马尔科夫决策过程的协作卸载方法，其特征在于该方法包括以下步骤：

(1)分析任务队列中的任务达到过程、并计算队列中任务数量q的概率分布和概率转移函数P(q|q′,a)；计算边缘云的数量s_m的概率分布和概率转移函数P(s_m|s′_m,a)；分析移动自组织云的数量n_a和距离用户距离的状态d_a的概率分布，其状态转移函数分别为P(n_a|n′_a,a)和P(d_a|d′_a,a)，移动自组织云的状态定义为二元组：s_a＝(n_a,d_a)，计算移动自组织云状态转移函数P(s_a|s′_a,a)＝P(n_a|n′_a,a)P(d_a|d′_a,a)；计算中心云接收端信干噪比s_r的概率分布和状态转移函数P(s_r|s′_r,a)，将以上任务队列状态、边缘云状态、移动自组织云状态和中心云状态组合成马尔科夫决策过程的状态空间，并计算得到状态转移概率矩阵P(s|s′,a)，其中a表示用户采取的动作；

(2)定义马尔科夫决策过程的动作空间：A＝{a|a＝0,1,2,3}，其中a＝0表示本地执行任务；a＝1表示卸载到边缘云；a＝2表示卸载到移动自组织云；a＝3表示卸载到中心云；

(3)将马尔科夫决策过程的立即回报函数定义为时延和能耗的函数，即决策函数；

(4)采集一系列输入任务样本，将所有任务量作为迭代法的输入，根据迭代法求解任务分割的阈值；

(5)根据已确定的阈值，比较输入任务和阈值的大小，如果输入任务大于阈值，则根据任务分割算法进行自适应任务分割，否则，不进行任务分割操作；

(6)将从步骤(5)得到的子任务的大小作为输入，根据状态转移概率矩阵P(s|s′,a)和立即回报函数，通过值迭代算法最大化值函数，得到卸载决策结果，对于每一个子任务执行同样的卸载决策操作，直到子任务全部处理完毕。

2.根据权利要求1所述的移动云计算系统中基于马尔科夫决策过程的协作卸载方法，其特征在于：步骤(1)中的状态空间包括任务队列中的任务数量q、边缘云的数量s_m、移动自组织云的数量n_a和距离用户的距离量化值d_a以及中心云接收端信干噪比的量化值s_r，表示为：S＝{(q,s_m,s_a,s_r)|q∈Q,s_m∈S_m,s_a∈S_a,s_r∈S_r}，其中，Q＝{0,1，…Q_max}，S_m＝{0,1，…S_m,max}，S_a＝{0,1，…S_a,max}，S_r＝{0,1，…S_r,max}，Q_max、S_m,max、S_a,max和S_r,max为各自状态的最大值，状态转移概率矩阵为各自状态转移函数的乘积，即P(s|s′,a)＝P(q|q′,a)P(s_m|s′_m,a)P(s_a|s′_a,a)P(s_r|s′_r,a)。

3.根据权利要求1所述的移动云计算系统中基于马尔科夫决策过程的协作卸载方法，其特征在于：步骤(3)中的立即回报函数定义为效益函数和代价函数的线性和，表示如下：

其中，是第i个用户的输入任务量，是第i个用户的效益函数，表示如下：

C_i是第i个用户的关于时延和能耗的代价函数，其定义如下：

Dⁱ表示时延，Eⁱ表示能耗，D_max表示允许的最大时延，E_max表示允许的最大能耗；ω_u、ω_c、ω_D和ω_E是加权系数，且ω_u+ω_c＝1，ω_D+ω_E＝1，0≤ω_u,ω_c,ω_D,ω_E≤1。

4.根据权利要求1所述的移动云计算系统中基于马尔科夫决策过程的协作卸载方法，其特征在于：步骤(4)中任务分割阈值的求解过程包括如下子步骤：

4.1在一系列任务样本中，最小任务量为x_min，最大任务量为x_max，令初始阈值为x_th＝(x_min+x_max)/2；

4.2根据阈值x_th将任务分为两类：较大类和较小类，分别计算两者的平均任务量：x_l和x_r；

4.3计算新的阈值x_th＝(x_l+x_r)/2；

4.4若新的阈值x_th与前一次迭代计算的阈值相同，即为最终的阈值，否则转到步骤4.2。

5.根据权利要求1所述的移动云计算系统中基于马尔科夫决策过程的协作卸载方法，其特征在于：步骤(5)包括如下子步骤：

5.1根据输入任务的大小和已经得到的阈值，判断是否需要进行任务分割，如果任务比阈值小，则不需要进行任务分割，如果任务比阈值大，则将该任务作为步骤5.2的输入x_re；

5.2观察队列中任务的数量q以及队列的容量Q_c，设置加权系数u＝q/Q_c，计算此次的子任务量为：x_j＝x_req/Q_c；

5.3计算剩余任务量，将其作为步骤5.1的输入x_re，重复步骤5.1至5.3，直到任务分割完毕。

6.根据权利要求1所述的移动云计算系统中基于马尔科夫决策过程的协作卸载方法，其特征在于：步骤(6)中的值迭代算法包括如下子步骤：

6.1初始化状态空间S、动作空间A、状态转移概率矩阵P、立即回报函数r、折扣系数γ和输入任务量x_in；

6.2初始值V⁰设为0，ε设为0.01，迭代次数n初始化为0；

6.3计算：

6.4迭代次数n自加1；

6.5重复步骤6.3和6.4，直到||Vⁿ⁺¹(s)-Vⁿ(s)||≤ε(1-γ)/2γ；

6.6得到此时的V以及对应的动作a。