CN115623540A - 一种移动设备的边缘优化卸载方法 - Google Patents

Abstract

本发明涉及一种移动设备的边缘优化卸载方法，属于移动边缘计算和无线通信技术领域，该方法包括：获取目标区域内边缘服务器和移动设备的相关信息；获取第x+1轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x+1(s)以及第x轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x(s)，将|v^x+1(s)‑v^x(s)|与固定值ε进行比较；根据比较结果输出最佳卸载决策π^*(s)；移动设备根据最佳卸载决策π^*(s)选择相应的边缘服务器进行任务卸载。本申请提供的方法通过一系列运算获取最佳卸载决策，以及根据最佳卸载决策选择相应的边缘服务器进行任务卸载，降低了边缘服务器卸载时延以及卸载能耗的加权和，提高了移动设备边缘卸载的效率。

Description

一种移动设备的边缘优化卸载方法

技术领域

本发明涉及移动边缘计算和无线通信技术领域，尤其涉及一种移动设备的边缘优化卸载方法。

背景技术

随着工业互联网以及人工智能技术的发展与应用，智能制造正推进着工业制造领域革命性转变。在这一过程中，工业制造涉及的设备数量急剧增长，并且智能化设备在制造过程中产生的待处理数据量也十分庞大，移动边缘计算可利用无线接入网络为工业智能设备提供边缘和云端计算功能，从而创造出一个具备高性能、低延迟与高带宽的电信级服务环境，能够满足智能制造工厂中的低时延业务处理需求。

由于工业生产现场部分智能设备的移动特性，移动设备的边缘任务卸载需要考虑设备将计算任务卸载到一系列边缘服务器上进行计算，此外，为进一步降低任务卸载过程中的时延，并减少设备通信的能量消耗，需要对参与卸载的边缘服务器进行选择。

发明内容

本发明意在提供一种移动设备的边缘优化卸载方法，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。

本发明提供的移动设备的边缘优化卸载方法，包括：

将目标区域均匀划分成G个子区域，记为L＝{L_l|l＝1,2,…,G}，获取目标区域内M个边缘服务器N＝{N_i|i＝0,1,…,M}的通信带宽B＝{B_i|i＝0,1,…,M}，根据划分的子区域、获取的边缘服务器以及获取的通信带宽得到对应的目标区域内移动设备的状态空间S＝{s_k|k＝1,2,…,M}，并获取移动设备的动作集合A＝{a_j|j＝1,2,…,M}；

根据状态转移概率公式计算移动设备的状态转移概率P(s′|s,a)，并获取移动设备对应的卸载总时延与卸载总能耗，通过回报函数根据获取的卸载总时延与卸载总能耗得到移动设备选择动作a时所得到的即时回报，根据获得到的即时回报获取期望回报v^π(s)，并通过

v⁰(s)＝0对期望回报进行初始化处理；

根据得到的状态转移概率、即时回报以及期望回报获取第x+1轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x+1(s)；

获取第x轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x(s)，基于固定值ε，将|v^x+1(s)-v^x(s)|与固定值ε进行比较；

在|v^x+1(s)-v^x(s)|大于等于固定值ε时，重复以上步骤，在|v^x+1(s)-v^x(s)|小于固定值ε时，根据第x轮决策中获取最小期望回报v^x(s)时，在状态为s情况下移动设备选择的最佳动作输出最佳卸载决策π^*(s)；

移动设备根据最佳卸载决策π^*(s)选择相应的边缘服务器进行任务卸载。

在上述的方案中，N_i∈N表示移动设备是否将任务卸载到编号为i的边缘服务器，N_i＝{0,1}，i＝1,2,…,M,其中N_i＝1表示移动设备将任务卸载到编号为i的边缘服务器，N_i＝0表示移动设备不会将任务卸载到编号为i的边缘服务器。

在上述的方案中，所述状态空间S的表达式为：S＝N×B×L，其中N为边缘服务器编号，B为边缘服务器的通信带宽，L为子区域编号，×为笛卡尔积，s_k∈S，表示移动设备的第k种状态，s_k＝(N_i,B_i,L_l)，其中N_i表示当前状态下移动设备是否将任务卸载到编号为i的边缘服务器，B_i表示当前状态下编号为i边缘服务器的通信带宽，L_l表示当前状态下移动设备所在的子区域编号为l。

在上述的方案中，a_j∈A表示移动设备选择编号为j的边缘服务器进行任务卸载的卸载决策，a_j＝{0,1,2}，j＝1,2,…,M，a_j＝0表示移动设备未选择编号为j边缘服务器进行任务卸载，a_j＝1表示移动设备选择编号为j边缘服务器进行任务卸载，且该边缘服务器部署于蜂窝基站，a_j＝2表示移动设备选择编号为j边缘服务器进行任务卸载，且该边缘服务器部署于WiFi接入点。

在上述的方案中，所述状态转移概率公式为：

其中，s为当前状态，s′为下一状态，i为当前状态下进行任务卸载的边缘服务器编号,i′为下一状态进行任务卸载的边缘服务器编号,P(L_l′|L_l)表示移动设备从当前状态所在子区域L_l移动到下一状态所在子区域L_l′的概率，P(B_i′|B_i)为从当前状态到下一状态过程中，被选择用于任务卸载的边缘服务器的通信带宽从B_i变为B_i′的概率；

其中，P(L_l′|L_l)的表达式为：

其中，0≤μ≤1表示从当前状态到下一状态过程中，移动设备所处的子区域位置不变的概率，ρ表示从当前状态到下一状态过程中，移动设备从所在子区域L_l移动到下一状态所在子区域L_l′的概率，且ρ＝(1-μ)/g，其中g为与子区域L_l相邻的子区域的个数。

在上述的方案中，P(B_i′|B_i)的表达式为：

其中

表示从当前状态到下一状态过程中，移动设备选择的用于任务卸载的边缘服务器通信带宽不变的概率；σ表示从当前状态到下一状态过程中，移动设备选择的用于任务卸载的边缘服务器从B_i变为B_i′的概率，且

其中h为下一状态中移动设备选择的用于任务卸载的边缘服务器的通信带宽为B_i′的可能情况的数量。

在上述的方案中，所述回报函数的表达式为：

其中，T_Cell分别表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总时延，T_WiFi表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总时延，E_cell表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总能耗，E_WiFi表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总能耗，η为移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总能耗的加权值，θ为移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总能耗的加权值；

其中，

表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器时的任务上传时延，t^c表示任务计算时延，

表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器时的结果下行传输时延；

t^c＝W/f_i，

其中，D_s表示移动设备的上传数据量大小，D_r表示移动设备的上下载数据量大小，B_ci表示移动设备与蜂窝基站的通信带宽，R_ci表示蜂窝基站的最大通信距离，d_c为移动设备与蜂窝基站之间的距离；

其中，

表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器时的的任务上传时延，t^c表示任务计算时延，

表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器时的结果下行传输时延；

t^c＝W/f_i，

其中，B_wi表示移动设备与WiFi接入点的通信带宽，R_wi表示WiFi接入点的最大通信距离，d_w为移动设备与WiFi接入点之间的距离。

其中，

p_c表示移动设备与蜂窝基站通信的发射功率；

其中，

p_w表示移动设备与WiFi接入点通信的发射功率。

在上述的方案中，所述期望回报v^π(s)的表达式为：

其中，

表示数学期望的运算符号，F_t(s,a)表示在第t轮决策中，状态为s情况下采用动作a时的即时回报，γ^t-1为第t-1轮决策中的权重因子，K为决策轮数。

在上述的方案中，第x+1轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x+1(s)的表达式为：

v^x+1(s)＝min_a∈A{F(s,a)+γ∑_s′∈SP(s′|s,a)v^x(s′)}，其中，A边缘服务器的动作集合，a为选择的动作，S为移动设备的状态空间，s′为下一状态，γ为权重因子，v^x(s′)为第x轮迭代中，状态为s′情况下的最小期望回报。

在上述的方案中，所述最佳卸载决策π^*(s)的表达式为：

a^*表示当前状态为s时，动作集合A中使期望回报v(s)最小时的动作。

本发明实施例包括以下优点：

本发明实施例提供的移动设备的边缘优化卸载方法，通过获取移动设备所处环境中的无线资源情况以及对移动设备移动性的预测，可进行边缘服务器的动态选择；通过获取移动设备进行任务卸载的时延以及进行任务卸载时的能耗情况，根据任务卸载的时延以及进行任务卸载时的能耗情况得到移动设备的即时回报、期望回报，并获取最小期望回报，根据最小期望回报获取最佳卸载决策，以及根据最佳卸载决策选择相应的边缘服务器进行任务卸载，从而降低了边缘服务器卸载时延以及卸载能耗的加权和，提高了移动设备在异构无线通信环境下边缘卸载的效率；能够部署到移动设备上离线运行，具有较高的实用性和可靠性。

附图说明

图1是本发明的一种移动设备的边缘优化卸载方法实施例的步骤流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本发明提供的移动设备的边缘优化卸载方法，包括：

步骤S1：将目标区域均匀划分成G个子区域，记为L＝{L_l|l＝1,2,…,G}，获取目标区域内M个边缘服务器N＝{N_i|i＝0,1,…,M}的通信带宽B＝{B_i|i＝0,1,…,M}，根据划分的子区域、获取的边缘服务器以及获取的通信带宽得到对应的目标区域内移动设备的状态空间S＝{s_k|k＝1,2,…,M}，并获取移动设备的动作集合A＝{a_j|j＝1,2,…,M}。

在本实施例中，N_i∈N表示移动设备是否将任务卸载到编号为i的边缘服务器，N_i＝{0,1}，i＝1,2,…,M,其中N_i＝1表示移动设备将任务卸载到编号为i的边缘服务器，N_i＝0表示移动设备不会将任务卸载到编号为i的边缘服务器。

在本实施例中，状态空间S为由所有的边缘服务器编号、边缘服务器通信带宽以及移动设备所在的子区域编号的组合构成的集合，所述状态空间S的表达式为：S＝N×B×L，其中N为边缘服务器编号，B为边缘服务器的通信带宽，L为子区域编号，×为笛卡尔积，s_k∈S，表示移动设备的第k种状态，s_k＝(N_i,B_i,L_l)，其中N_i表示当前状态下移动设备是否将任务卸载到编号为i的边缘服务器，B_i表示当前状态下编号为i边缘服务器的通信带宽，L_l表示当前状态下移动设备所在的子区域编号为l。

在本实施例中，a_j∈A表示移动设备选择编号为j的边缘服务器进行任务卸载的卸载决策，a_j＝{0,1,2}，j＝1,2,…,M，a_j＝0表示移动设备未选择编号为j边缘服务器进行任务卸载，a_j＝1表示移动设备选择编号为j边缘服务器进行任务卸载，且该边缘服务器部署于蜂窝基站，a_j＝2表示移动设备选择编号为j边缘服务器进行任务卸载，且该边缘服务器部署于WiFi接入点。

步骤S2：根据状态转移概率公式计算移动设备的状态转移概率P(s′|s,a)，并获取移动设备对应的卸载总时延与卸载总能耗，通过回报函数根据获取的卸载总时延与卸载总能耗得到移动设备选择动作a时所得到的即时回报，根据获得到的即时回报获取期望回报v^π(s)，并通过

v⁰(s)＝0对期望回报进行初始化处理。

在本实施例中，所述状态转移概率公式为：

其中，s为当前状态，s′为下一状态，i为当前状态下进行任务卸载的边缘服务器编号,i′为下一状态进行任务卸载的边缘服务器编号,P(L_l′|L_l)表示移动设备从当前状态所在子区域L_l移动到下一状态所在子区域L_l′的概率，P(B_i′|B_i)为从当前状态到下一状态过程中，被选择用于任务卸载的边缘服务器的通信带宽从B_i变为B_i′的概率。

进一步地，P(L_l′|L_l)的表达式为：

其中，0≤μ≤1表示从当前状态到下一状态过程中，移动设备所处的子区域位置不变的概率，ρ表示从当前状态到下一状态过程中，移动设备从所在子区域L_l移动到下一状态所在子区域L_l′的概率，且ρ＝(1-μ)/g，其中g为与子区域L_l相邻的子区域的个数。

进一步地，P(B_i′|B_i)的表达式为：

其中

表示从当前状态到下一状态过程中，移动设备选择的用于任务卸载的边缘服务器通信带宽不变的概率；σ表示从当前状态到下一状态过程中，移动设备选择的用于任务卸载的边缘服务器从B_i变为B_i′的概率，且

其中h为下一状态中移动设备选择的用于任务卸载的边缘服务器的通信带宽为B_i′的可能情况的数量。

在本实施例中，所述回报函数的表达式为：

其中，T_Cell分别表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总时延，T_WiFi表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总时延，E_cell表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总能耗，E_WiFi表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总能耗，η为移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总能耗的加权值，θ为移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总能耗的加权值。

进一步地，

表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器时的任务上传时延，t^c表示任务计算时延，

表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器时的结果下行传输时延。

进一步地，

t^c＝W/f_i，

其中，D_s表示移动设备的上传数据量大小，D_r表示移动设备的上下载数据量大小，B_ci表示移动设备与蜂窝基站的通信带宽，R_ci表示蜂窝基站的最大通信距离，d_c为移动设备与蜂窝基站之间的距离。

进一步地，

表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器时的的任务上传时延，t^c表示任务计算时延，

表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器时的结果下行传输时延。

进一步地，

t^c＝W/f_i，

其中，B_wi表示移动设备与WiFi接入点的通信带宽，R_wi表示WiFi接入点的最大通信距离，d_w为移动设备与WiFi接入点之间的距离。

进一步地，

p_c表示移动设备与蜂窝基站通信的发射功率；

进一步地，

p_w表示移动设备与WiFi接入点通信的发射功率。

在本实施例中，所述期望回报v^π(s)的表达式为：

其中，

表示数学期望的运算符号，F_t(s,a)表示在第t轮决策中，状态为s情况下采用动作a时的即时回报，γ^t-1为第t-1轮决策中的权重因子，K为决策轮数。

步骤S3：根据得到的状态转移概率、即时回报以及期望回报获取第x+1轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x+1(s)。

在本实施例中，第x+1轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x+1(s)的表达式为：

v^x+1(s)＝min_a∈A{F(s,a)+γ∑_s′∈SP(s′|s,a)v^x(s′)}，其中，A边缘服务器的动作集合，a为选择的动作，S为移动设备的状态空间，s′为下一状态，γ为权重因子，v^x(s′)为第x轮迭代中，状态为s′情况下的最小期望回报。

步骤S4：获取第x轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x(s)，基于固定值ε，将|v^x+1(s)-v^x(s)|与固定值ε进行比较。

在本实施例中，第x轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x(s)的的表达式为：

v^x(s)＝min_a∈A{F(s,a)+γ∑_s′∈SP(s′|s,a)v^x(s′)}，其中，A边缘服务器的动作集合，a为选择的动作，S为移动设备的状态空间，s′为下一状态，γ为权重因子，v^x(s′)为第x轮迭代中，状态为s′情况下的最小期望回报。

步骤S5：在|v^x+1(s)-v^x(s)|大于等于固定值ε时，重复以上步骤，在|v^x+1(s)-v^x(s)|小于固定值ε时，根据第x轮决策中获取最小期望回报v^x(s)时，在状态为s情况下移动设备选择的最佳动作输出最佳卸载决策π^*(s)。

在本实施例中，所述最佳卸载决策π^*(s)的表达式为：

a^*表示当前状态为s时，动作集合A中使期望回报v(s)最小时的动作。

步骤S6：移动设备根据最佳卸载决策π^*(s)选择相应的边缘服务器进行任务卸载。

在本实施例中，移动设备根据最佳卸载决策π^*(s)选择相应的边缘服务器进行任务卸载时，当设备的当前状态为s＝(N_i,B_i,L_l)时，设备通过动作a^*选择边缘服务器进行任务卸载。

应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。

在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种移动设备的边缘优化卸载方法，其特征在于，所述方法包括：

将目标区域均匀划分成G个子区域，记为L＝{L_l|l＝1,2,…,G}，获取目标区域内M个边缘服务器N＝{N_i|i＝0,1,…,M}的通信带宽B＝{B_i|i＝0,1,…,M}，根据划分的子区域、获取的边缘服务器以及获取的通信带宽得到对应的目标区域内移动设备的状态空间S＝{s_k|k＝1,2,…,M}，并获取移动设备的动作集合A＝{a_j|j＝1,2,…,M}；

根据状态转移概率公式计算移动设备的状态转移概率P(s′|s,a)，并获取移动设备对应的卸载总时延与卸载总能耗，通过回报函数根据获取的卸载总时延与卸载总能耗得到移动设备选择动作a时所得到的即时回报，根据获得到的即时回报获取期望回报v^π(s)，并通过

v⁰(s)＝0对期望回报进行初始化处理；

根据得到的状态转移概率、即时回报以及期望回报获取第x+1轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x+1(s)；

获取第x轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x(s)，基于固定值ε，将|v^x+1(s)-v^x(s)|与固定值ε进行比较；

在|v^x+1(s)-v^x(s)|大于等于固定值ε时，重复以上步骤，在|v^x+1(s)-v^x(s)|小于固定值ε时，根据第x轮决策中获取最小期望回报v^x(s)时，在状态为s情况下移动设备选择的最佳动作输出最佳卸载决策π^*(s)；

移动设备根据最佳卸载决策π^*(s)选择相应的边缘服务器进行任务卸载。

2.根据权利要求1所述的移动设备的边缘优化卸载方法，其特征在于，N_i∈N表示移动设备是否将任务卸载到编号为i的边缘服务器，N_i＝{0,1}，i＝1,2,…,M,其中N_i＝1表示移动设备将任务卸载到编号为i的边缘服务器，N_i＝0表示移动设备不会将任务卸载到编号为i的边缘服务器。

3.根据权利要求1所述的移动设备的边缘优化卸载方法，其特征在于，所述状态空间S的表达式为：S＝N×B×L，其中N为边缘服务器编号，B为边缘服务器的通信带宽，L为子区域编号，×为笛卡尔积，s_k∈S，表示移动设备的第k种状态，s_k＝(N_i,B_i,L_l)，其中N_i表示当前状态下移动设备是否将任务卸载到编号为i的边缘服务器，B_i表示当前状态下编号为i边缘服务器的通信带宽，L_l表示当前状态下移动设备所在的子区域编号为l。

4.根据权利要求3所述的移动设备的边缘优化卸载方法，其特征在于，a_j∈A表示移动设备选择编号为j的边缘服务器进行任务卸载的卸载决策，a_j＝{0,1,2}，j＝1,2,…,M，a_j＝0表示移动设备未选择编号为j边缘服务器进行任务卸载，a_j＝1表示移动设备选择编号为j边缘服务器进行任务卸载，且该边缘服务器部署于蜂窝基站，a_j＝2表示移动设备选择编号为j边缘服务器进行任务卸载，且该边缘服务器部署于WiFi接入点。

5.根据权利要求4所述的移动设备的边缘优化卸载方法，其特征在于，所述状态转移概率公式为：

其中，s为当前状态，s′为下一状态，i为当前状态下进行任务卸载的边缘服务器编号,i′为下一状态进行任务卸载的边缘服务器编号,P(L_l′|L_l)表示移动设备从当前状态所在子区域L_l移动到下一状态所在子区域L_l′的概率，P(B_i′|B_i)为从当前状态到下一状态过程中，被选择用于任务卸载的边缘服务器的通信带宽从B_i变为B_i′的概率；

其中，P(L_l′|L_l)的表达式为：

其中，0≤μ≤1表示从当前状态到下一状态过程中，移动设备所处的子区域位置不变的概率，ρ表示从当前状态到下一状态过程中，移动设备从所在子区域L_l移动到下一状态所在子区域L_l′的概率，且ρ＝(1-μ)/g，其中g为与子区域L_l相邻的子区域的个数。

6.根据权利要求5所述的移动设备的边缘优化卸载方法，其特征在于，P(B_i′|B_i)的表达式为：

其中

表示从当前状态到下一状态过程中，移动设备选择的用于任务卸载的边缘服务器通信带宽不变的概率；σ表示从当前状态到下一状态过程中，移动设备选择的用于任务卸载的边缘服务器从B_i变为B_i′的概率，且

其中h为下一状态中移动设备选择的用于任务卸载的边缘服务器的通信带宽为B_i′的可能情况的数量。

7.根据权利要求5所述的移动设备的边缘优化卸载方法，其特征在于，所述回报函数的表达式为：

其中，T_Cell分别表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总时延，T_WiFi表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总时延，E_cell表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总能耗，E_WiFi表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总能耗，η为移动设备将任务卸载到部署于蜂窝基站的边缘服务器的卸载总能耗的加权值，θ为移动设备将任务卸载到部署于WiFi接入点的边缘服务器的卸载总能耗的加权值；

其中，

表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器时的任务上传时延，t^c表示任务计算时延，

表示移动设备将任务卸载到部署于蜂窝基站的边缘服务器时的结果下行传输时延；

t^c＝W/f_i，

其中，D_s表示移动设备的上传数据量大小，D_r表示移动设备的上下载数据量大小，B_ci表示移动设备与蜂窝基站的通信带宽，R_ci表示蜂窝基站的最大通信距离，d_c为移动设备与蜂窝基站之间的距离；

其中，

表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器时的的任务上传时延，t^c表示任务计算时延，

表示移动设备将任务卸载到部署于WiFi接入点的边缘服务器时的结果下行传输时延；

t^c＝W/f_i，

其中，B_wi表示移动设备与WiFi接入点的通信带宽，R_wi表示WiFi接入点的最大通信距离，d_w为移动设备与WiFi接入点之间的距离。

其中，

p_c表示移动设备与蜂窝基站通信的发射功率；

其中，

p_w表示移动设备与WiFi接入点通信的发射功率。

8.根据权利要求7所述的移动设备的边缘优化卸载方法，其特征在于，所述期望回报v^π(s)的表达式为：

其中，

表示数学期望的运算符号，F_t(s,a)表示在第t轮决策中，状态为s情况下采用动作a时的即时回报，γ^t-1为第t-1轮决策中的权重因子，K为决策轮数。

9.根据权利要求7所述的移动设备的边缘优化卸载方法，其特征在于，第x+1轮决策中，状态为s情况下移动设备选择最佳动作时得到的最小期望回报v^x+1(s)的表达式为：

v^x+1(s)＝min_a∈A{F(s,a)+γ∑_s′∈SP(s′|s,a)v^x(s′)}，其中，A边缘服务器的动作集合，a为选择的动作，S为移动设备的状态空间，s′为下一状态，γ为权重因子，v^x(s′)为第x轮迭代中，状态为s′情况下的最小期望回报。

10.根据权利要求9所述的移动设备的边缘优化卸载方法，其特征在于，所述最佳卸载决策π^*(s)的表达式为：

a^*表示当前状态为s时，动作集合A中使期望回报v(s)最小时的动作。

Images