CN112672382A - 混合协作计算卸载方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开一种混合协作计算卸载方法、装置、电子设备及存储介质，其中，方法包括：在待处理任务的计算量无法承担时,发出待处理任务卸载请求，待处理任务卸载请求携带任务分割信息；根据待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；根据任务计算卸载模型,计算任务执行时延。本发明混合协作计算卸载方法、装置、电子设备及存储介质，用户任务被分割成若干个子任务，且分析若干个子任务之间的依赖关系，当用户计算资源不足时，可以将若干个子任务卸载到其他用户设备或边缘计算服务器，采用基于深度强化学习的单任务混合卸载机制，可以降低任务完成时延，节省网络带宽，提高完成任务效率，可普遍适用于物联网等技术领域。

Description

混合协作计算卸载方法、装置、电子设备及存储介质

技术领域

本发明涉及移动边缘计算技术领域，特别涉及一种混合协作计算卸载方法、装置、电子设备及存储介质。

背景技术

移动边缘计算(MEC)通过将移动设备上的计算任务卸载到MEC服务执行, 从而提高移动设备的计算能力,因此是一种非常有前景的技术,其被应用到车联网(VehicleNetworks),物联网(Internet of Things)和智能城市(Smart City)等各种领域中。与集中式云计算系统(Cloud Computing System)相比， MEC系统的分布式结构具有很多优势,包括降低能耗和减少时延

协同计算卸载,这种方法在以往的工作中只被少数研究人员考虑过。现有的计算卸载方案一般都是不对计算任务进行划分，直接通过无线通信直接卸载到MEC服务器上执行。如果计算任务巨大，这样的方式势必会造成网络拥塞等，完成任务时延得不到保证，不利于数据通信。

发明内容

本发明的主要目的是提出一种混合协作计算卸载方法，旨在解决现有集中式方案中与基站频繁的信息交互、完成任务时延得不到保证的技术问题。

为实现上述目的，一方面，本发明提出了一种混合协作计算卸载方法，包括：

在待处理任务的计算量无法承担时,发出待处理任务卸载请求，所述待处理任务卸载请求携带任务分割信息；

根据所述待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

根据所述任务计算卸载模型,计算任务执行时延。

优选地，所述任务计算卸载模型包括：

任务本地执行模型、设备到设备卸载执行模型和移动边缘计算卸载执行模型。

优选地，根据所述任务计算卸载模型,计算任务执行时延包括：

通过比较使用任务本地执行模型、设备到设备卸载执行模型和移动边缘计算卸载执行模型所用的任务执行时延，任务执行时延最低的模型作为最佳执行模型。

优选地，所述任务本地执行模型包括：

当子任务v_i在本地执行时，其执行时延

定义为

其中，Φ_i表示子任务v_i的工作量，

表示本地用户分配给子任务v_i的计算资源，假设每个设备最大计算资源是

优选地，所述设备到设备卸载执行模型包括：

当本地用户u计算资源不足时，可以将全部或部分子任务卸载到其他用户设备中执行；子任务的计算数据通过D2D通信链路传输给卸载设备k，D2D 通信的数据率为：

其中，P_B，P_u和P_u′分别为基站、设备u和设备u′的传输功率，N₀为高斯白噪声，d_k,u为设备k和设备u之间的距离，β为路径损耗因子，h₀为服从复杂正态分布CN(0,1)的瑞利衰落因子，γ_u′,k∈{0,1}表示是否存在干扰。

优选地，所述移动边缘计算卸载执行模型包括：

当本地用户u计算资源不足时，可以将全部或部分子任务卸载到移动边缘计算服务器中执行，子任务的计算数据通过蜂窝通信链路传输给服务器，蜂窝通信的数据率为

其中，P_u和P_u′分别为设备u和设备u′的传输功率，N₀为高斯白噪声， d_u,E为设备u和服务器之间的距离，β为路径损耗因子，h₀为服从复杂正态分布CN(0,1)的瑞利衰落因子，γ_u′,k∈{0,1}表示是否存在干扰；

当子任务卸载到MEC服务器时，通信时延为

其中，I_i表示子任务v_i的计算数据；

子任务v_i卸载到MEC服务器的计算时延

为

其中，Φ_i表示子任务v_i的工作量，

表示MEC服务器分配给子任务v_i的计算资源，假设MEC的总计算资源是F^E，分配给子任务v_i的计算资源不能超过其当前可用计算资源，

因此，子任务v_i卸载到MEC服务器的执行时延

为

优选地，所述任务分割信息包括：

由任务分割而来的若干个子任务信息和若干个子任务之间的依赖关系信息；

采用有向图G(V,E)表示若干个子任务之间的依赖关系，其中每个子任务的工作量以及需要传输的数据大小已知，v_i∈V表示子任务v_i，e_i,j(i>j) 表示子任务v_i和v_j之间的依赖关系，若e_i,j＝1则表示子任务v_j是子任务 v_i的前置任务，其输出结果参与子任务v_i的计算过程；若e_i,j＝0，则表示表示子任务v_i和子任务v_j没有依赖关系。

另一方面，本发明还提供了一种混合协作计算卸载装置，包括：

卸载请求模块，用于在待处理任务的计算量无法承担时,发出待处理任务卸载请求，所述待处理任务卸载请求携带任务分割信息；

计算卸载模型设计模块，用于根据所述待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

任务执行时延计算模块，用于根据所述任务计算卸载模型,计算任务执行时延。

另一方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述混合协作计算卸载方法的步骤。

另一方面，本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述混合协作计算卸载方法的步骤。

本发明混合协作计算卸载方法，通过。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明混合协作计算卸载方法一实施例流程图；

图2为图1中采用的协作计算卸载网络模型图；

图3为图1中若干个子任务执行关系图；

图4为本发明混合协作计算卸载装置一实施例结构示意图；

图5为根据本发明实施例提供的电子设备的实体结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

深度强化学习(Deep Reinforcement Learning)，是深度学习与强化学习的结合，因此深度强化学习弥补了DL和RL的不足之处。

深度学习，是通过多层网络和非线性变换，去学习数据的分布式特征表示，因此深度学习侧重于对事物的感知和表达。而强化学习，通过奖惩机制去挖掘最优策略，因此它侧重于学习解决问题的策略。由于深度学习特征感知能力强却缺乏决策能力，引入了深度强化学习这个概念。

强化学习是从环境状态到动作空间的映射的一种学习。它的基础是马尔可夫决策过程(MDP)，即：当前状态只与上一个状态有关，不考虑上一个状态之前的累积影响。

通常MDP被定义为一个四元组(S,A,R,P)：

S代表状态空间，St表示agent在t时刻所处的状态。

A代表动作空间，at表死agent在t时刻所进行的动作。

R代表奖励/惩罚reward，可以代表一个学习过程的反馈，其中rt+1代表在t时刻St状态下，做出at动作后，转移到达St+1状态所获得的奖励。

P代表策略空间，代表符号为\pi表示从状态空间S到动作空间A的一个映射。表示为agent在状态st选择at，执行该动作并以一定的概率转移到下一个状态st+1。

除了四元组，强化学习还有两个重要的函数，分别为值函数和Q函数。两个函数均代表求解的一个累积奖励，即agent的目标并非当前的奖励最大，而是平均累积奖励最大。

值函数，通常用Vπ(s)表示，代表在状态s下采用策略π的长期累积奖励。

Q函数，考虑了当前状态(值函数)和下一步动作(策略函数)。然后根据状态-动作组合，返回了累积奖励，表示为Qπ(s,a)。

除此之外，强化学习是一个动态规划的过程，因此它的学习方式定义为 Q-learning。强化学习的任务归结到动态规划寻优问题，即为每一个状态找到最优的动作。Q-learning是一种value-based方法，核心为Bellman最优化等式：

通过Bellman最优化等式求解Q值函数并进行更新，这个过程称为 Q-learning。

Q-learning是一种表格方法，根据过去出现的状态统计和迭代Q值，因此适用空间较小，导致其没有预测能力；没出现过的状态Q-learning无法处理，因此导致其没有泛化能力。因此引出了深度强化学习，通过引入深度神经网络端到端地拟合Q值，使其具有预测能力。

深度强化学习，DRL的主要方法分为基于值函数、基于策略梯度和基于多agent。

实施例一

本发明提出一种混合协作计算卸载方法。混合协作计算卸载方法用于在无线通信如物联网等。

图1为本发明混合协作计算卸载方法一实施例流程图。在本发明一实施例中，如图1所示，本发明提出了一种混合协作计算卸载方法，至少包括步骤：

S1、在待处理任务的计算量无法承担时,发出待处理任务卸载请求，待处理任务卸载请求携带任务分割信息；

用户任务可以有多个，每一个用户任务可以被分割成多个子任务。多个子任务之间部分子任务会存在依赖关系。

任务分割信息包括：由任务分割而来的若干个子任务信息和若干个子任务之间的依赖关系信息；可以采用有向图G(V,E)表示若干个子任务之间的依赖关系，其中每个子任务的工作量以及需要传输的数据大小已知，v_i∈V 表示子任务v_i，e_i,j(i>j)表示子任务v_i和v_j之间的依赖关系，若e_i,j＝1 则表示子任务v_j是子任务v_i的前置任务，其输出结果参与子任务v_i的计算过程；若e_i,j＝0，则表示表示子任务v_i和子任务v_j没有依赖关系，两个任务可以并行处理。

本实施例采用一个三元组<I_i,c_i,τ_i>表示子任务v_i的相关信息，其中I_i表示计算数据大小，包括本地相关数据I_i大小和结果数据大小。本地相关数据指本地设备上与子任务相关的数据，而结果数据指参与子任务计算的前置任务的计算结果数据，两者共同参与子任务的计算，一般情况下结果数据很小，计算需要的资源可忽略不计，c_i(incycles)表示计算1bit数据需要的周期数，τ_i为子任务的约束时延。因此子任务计算需要周期数为：

φ_i＝c_i·I_i (1)。

其中，φ_i表示子任务v_i的工作量。

S2、根据待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

图2为图1中采用的协作计算卸载网络模型图。如图2所示，本实施例考虑单基站(Base station,BS)多用户的准静态网络场景，令U＝{u₁,u₂,..., u_N}表示一组基站覆盖范围内的用户，该组用户在一个时隙内，位置保持不变。图中，长方形条中黑色部分表示每个MD移动设备的剩余计算资源，白色表示占用的计算资源。

任务计算卸载模型可以包括但是不限于：任务本地执行模型、设备到设备卸载执行模型和移动边缘计算卸载执行模型。

S3、根据任务计算卸载模型,计算任务执行时延。

任务本地执行模型包括：

当子任务v_i在本地执行时，其执行时延

定义为：

其中，Φ_i表示子任务v_i的工作量，

表示本地用户分配给子任务v_i的计算资源，假设每个设备最大计算资源是

设备到设备卸载执行模型包括：

当本地用户u计算资源不足时，可以将全部或部分子任务卸载到其他用户设备中执行；子任务的计算数据通过D2D通信链路传输给卸载设备k，D2D 通信的数据率为：

其中，P_B，P_u和P_u′分别为基站、设备u和设备u′的传输功率，N₀为高斯白噪声，d_k,u为设备k和设备u之间的距离，β为路径损耗因子，h₀为服从复杂正态分布CN(0,1)的瑞利衰落因子，γ_u′,k∈{0,1}表示是否存在干扰。

由于计算结果数据比较小，传输时延忽略不计，则通信时延为通过D2D 通信链路传输计算数据所需时延，通信时延表示为

其中，I_i为子任务v_i计算数据大小，

为设备u和设备k的D2D通信数据率。子任务v_i的计算时延

为：

其中，Φ_i表示子任务v_i的工作量，

表示设备k分配给子任务v_i的计算资源，且

其中F^k为设备k的可用计算资源。

子任务v_i的执行时延分为两部分：通信时延和计算时延，表示为：

移动边缘计算卸载执行模型包括：

当本地用户u计算资源不足时，可以将全部或部分子任务卸载到移动边缘计算服务器中执行，子任务的计算数据通过蜂窝通信链路传输给服务器，蜂窝通信的数据率为:

其中，Pu和Pu′分别为设备u和设备u′的传输功率，N0为高斯白噪声，du,E为设备u和服务器之间的距离，β为路径损耗因子，h0为服从复杂正态分布CN(0,1)的瑞利衰落因子，γu′,k∈{0,1}表示是否存在干扰；

当子任务卸载到MEC(Mobile Edge Computing，移动边缘计算)服务器时，通信时延为：

其中，I_i表示子任务vi的计算数据；

子任务vi卸载到MEC服务器的计算时延

为

其中，Φ_i表示子任务vi的工作量，

表示MEC服务器分配给子任务vi的计算资源，假设MEC的总计算资源是F^E，分配给子任务vi的计算资源不能超过其当前可用计算资源，

因此，子任务vi卸载到MEC服务器的执行时延

为

图3为图1中若干个子任务执行关系图。如图3所示，在计算卸载网络模型中，用户子任务可以在本地执行，也可以卸载到其他用户设备和/或边缘计算服务器中执行。

由于子任务之间可能存在依赖关系，子任务vi的实际完成时间为：

其中ei,j∈{0,1}表示子任务之间的依赖关系；

表示子任务v_i的执行时延，T_j表示子任务v_j的执行时延。

因此，任务v的执行完成时延为：

其中|V|为子任务个数。

通过为子任务选择最佳卸载节点，在带宽和计算资源有限的条件下，使得任务执行完成时延最低。令二进制向量a_i＝{a_i,1,...,a_i,N,a_i,_(N+1)}表示子任务v_i的卸载决策，a_i,j∈{0,1}表示节点j是否为子任务执行节点，其中N为移动设备个数，a_i,1表示是否在本地执行，a_i,_(N+1)表示子任务是否在MEC服务器执行，且有：

则二进制矩阵a＝{a₁,...,a_|v|}表示任务v的子任务卸载决策，其中a_i,j＝1表示子任务v_i的执行节点为节点j。由于任务完成时间取决于最后一个完成的子任务执行完成时延，因此系统的优化目标表示为：

s.t.

and j＝1，...，N， (14c)

其中目标函数(14a)表示最小化完成时延最大的子任务的任务完成时延；公式(14b)表示卸载到MEC的子任务的计算需求不能超过当前MEC服务器可用的计算资源；公式(14c)表示卸载到移动设备的子任务计算资源需求不能超过卸载设备的可用计算资源；公式(14d)表示子任务的实际任务完成时延不能超过约束时延。

根据任务计算卸载模型,计算任务执行时延包括：

通过比较使用任务本地执行模型、设备到设备卸载执行模型和移动边缘计算卸载执行模型所用的任务执行时延，任务执行时延最低的模型作为最佳执行模型。

在深度强化学习模型中，智能体根据从环境接收到的状态s_t∈S执行一个特定的动作a_t∈A，使得环境迁移到下一个状态s_t+1∈S，其中S为状态空间，A为动作空间。同时，智能体获得一个即时奖励，以评价智能体所做动作的好坏。智能体根据瞬时奖励值更新模型参数，使得智能体倾向于执行获得最大化长期奖赏之和的动作。在实施例中，智能体部署在MEC服务器，负责计算子任务集合的最佳卸载方案，使得任务完成时延最小。

智能体根据子任务的特点和网络中移动设备及MEC服务器的可用资源选择子任务的最佳卸载节点，使得任务完成时延最低。t时刻的状态s_t∈S 定义为：

s_t＝{C(t),V(t),E(t)} (15)

其中C(t)＝{C₁(t),...,C_N(t),C_N+1(t)}为t时刻移动设备和MEC服务器的可用计算资源，C₁(t)表示本地设备的可用计算资源，C_N+1(t)表示MEC 服务器可用计算资源；

V(t)＝{[I₁,c₁,τ₁],...,[I_|v|,c_|v|,τ_|v|]}表示子任务的相关信息，I_i表示子任务v_i的计算数据大小，c_i表示子任务所需计算资源，τ_i为子任务的约束时延；

E(t)＝{[e_1,1,...,e_1,|v|],...,[e_|v|,1,e_|v|,|v|]}表示子任务之间的依赖关系，若e_i,j＝1(i>j)，则子任务v_j为v_i的前置任务，子任务v_j的计算结果将作为子任务v_i的输入，参与运算；否则，子任务v_i为v_j无依赖关系，可以并行执行。

智能体根据网络状态s_t∈S为子任务选择最佳卸载节点，动作a_t∈A定义为：

a_t＝{a₁(t),...,a_|v|(t)} (16)。

其中，a_i(t)＝[a_1,1,...,a_1,(N+1)]二进制向量，表示子任务v_i的卸载位置，且

即子任务不可拆分，全部卸载到选中节点。

当智能体执行动作a_t∈A后得到一个即时奖励r(s_t,a_t)，以评价动作的好坏。计算卸载的目的是降低任务完成时延，根据优化目标(14a)，奖励函数定义为：

当卸载方案满足资源和时延约束条件时，奖励值为本地执行完成时延与卸载后实际完成时延之差；若卸载方案不满足约束条件，则智能体接收到一个惩罚值，-α，其中α为设计参数，且α>0。

实施例二

图4为本发明混合协作计算卸载装置一实施例结构示意图，如图4所示，一种混合协作计算卸载装置，至少包括：

卸载请求模块10，用于在待处理任务的计算量无法承担时,发出待处理任务卸载请求，待处理任务卸载请求携带任务分割信息；

用户任务可以有多个，每一个用户任务可以被分割成多个子任务。多个子任务之间部分子任务会存在依赖关系。

任务分割信息包括：由任务分割而来的若干个子任务信息和若干个子任务之间的依赖关系信息；可以采用有向图G(V,E)表示若干个子任务之间的依赖关系，其中每个子任务的工作量以及需要传输的数据大小已知，v_i∈V表示子任务v_i，e_i,j(i>j)表示子任务v_i和v_j之间的依赖关系，若e_i,j＝1则表示子任务v_j是子任务v_i的前置任务，其输出结果参与子任务v_i的计算过程；若e_i,j＝0，则表示表示子任务v_i和子任务v_j没有依赖关系，两个任务可以并行处理。

本实施例采用一个三元组<I_i,c_i,τ_i>表示子任务v_i的相关信息，其中I_i表示计算数据大小，包括本地相关数据I_i大小和结果数据大小。本地相关数据指本地设备上与子任务相关的数据，而结果数据指参与子任务计算的前置任务的计算结果数据，两者共同参与子任务的计算，一般情况下结果数据很小，计算需要的资源可忽略不计，c_i(incycles)表示计算1bit数据需要的周期数，τ_i为子任务的约束时延。因此子任务计算需要周期数为：

φ_i＝c_i·I_i (1)。

其中，φ_i表示子任务v_i的工作量。

计算卸载模型设计模块20，用于根据待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

图2为图1中采用的协作计算卸载网络模型图。如图2所示，本实施例考虑单基站(Base station,BS)多用户的准静态网络场景，令U＝{u₁,u₂,..., u_N}表示一组基站覆盖范围内的用户，该组用户在一个时隙内，位置保持不变。图中，长方形条中黑色部分表示每个MD移动设备的剩余计算资源，白色表示占用的计算资源。

任务计算卸载模型可以包括但是不限于：任务本地执行模型、设备到设备卸载执行模型和移动边缘计算卸载执行模型。

任务执行时延计算模块30，用于根据任务计算卸载模型,计算任务执行时延。

任务本地执行模型包括：

当子任务v_i在本地执行时，其执行时延

定义为：

其中，Φ_i表示子任务v_i的工作量，

表示本地用户分配给子任务v_i的计算资源，假设每个设备最大计算资源是

设备到设备卸载执行模型包括：

当本地用户u计算资源不足时，可以将全部或部分子任务卸载到其他用户设备中执行；子任务的计算数据通过D2D通信链路传输给卸载设备k，D2D 通信的数据率为：

其中，P_B，P_u和P_u′分别为基站、设备u和设备u′的传输功率，N₀为高斯白噪声，d_k,u为设备k和设备u之间的距离，β为路径损耗因子，h₀为服从复杂正态分布CN(0,1)的瑞利衰落因子，γ_u′,k∈{0,1}表示是否存在干扰。

由于计算结果数据比较小，所以传输时延忽略不计，则通信时延为通过 D2D通信链路传输计算数据所需时延，通信时延表示为

其中，I_i为子任务v_i计算数据大小，

为设备u和设备k的D2D通信数据率。子任务v_i的计算时延

为：

其中，Φ_i表示子任务v_i的工作量，

表示设备k分配给子任务v_i的计算资源，且

其中F^k为设备k的可用计算资源。

子任务v_i的执行时延分为两部分：通信时延和计算时延，表示为：

移动边缘计算卸载执行模型包括：

当本地用户u计算资源不足时，可以将全部或部分子任务卸载到移动边缘计算服务器中执行，子任务的计算数据通过蜂窝通信链路传输给服务器，蜂窝通信的数据率为:

其中，P_u和P_u′分别为设备u和设备u′的传输功率，N₀为高斯白噪声， d_u,E为设备u和服务器之间的距离，β为路径损耗因子，h₀为服从复杂正态分布CN(0,1)的瑞利衰落因子，γ_u′,k∈{0,1}表示是否存在干扰；

当子任务卸载到MEC(Mobile Edge Computing，移动边缘计算)服务器时，通信时延为：

其中，I_i表示子任务v_i的计算数据；

子任务v_i卸载到MEC服务器的计算时延

为

其中，Φ_i表示子任务v_i的工作量，

表示MEC服务器分配给子任务v_i的计算资源，假设MEC的总计算资源是F^E，分配给子任务v_i的计算资源不能超过其当前可用计算资源，

因此，子任务v_i卸载到MEC服务器的执行时延

为

图3为图1中若干个子任务执行关系图。如图3所示，在计算卸载网络模型中，用户子任务可以在本地执行，也可以卸载到其他用户设备和/或边缘计算服务器中执行。

由于子任务之间可能存在依赖关系，子任务v_i的实际完成时间为：

其中e_i,j∈{0,1}表示子任务之间的依赖关系；

表示子任务v_i的执行时延，T_j表示子任务v_j的执行时延。

因此，任务v的执行完成时延为：

其中|V|为子任务个数。

通过为子任务选择最佳卸载节点，在带宽和计算资源有限的条件下，使得任务执行完成时延最低。令二进制向量a_i＝{a_i,1,...,a_i,N,a_i,(N+1)}表示子任务v_i的卸载决策，a_i,j∈{0,1}表示节点j是否为子任务执行节点，其中N为移动设备个数，a_i,1表示是否在本地执行，a_i,(N+1)表示子任务是否在MEC服务器执行，且有：

则二进制矩阵a＝{a₁,...,a_|v|}表示任务v的子任务卸载决策，其中a_i,j＝1表示子任务v_i的执行节点为节点j。由于任务完成时间取决于最后一个完成的子任务执行完成时延，因此系统的优化目标表示为：

s.t.

and j＝1，...，N， (14c)

其中目标函数(14a)表示最小化完成时延最大的子任务的任务完成时延；公式(14b)表示卸载到MEC的子任务的计算需求不能超过当前MEC服务器可用的计算资源；公式(14c)表示卸载到移动设备的子任务计算资源需求不能超过卸载设备的可用计算资源；公式(14d)表示子任务的实际任务完成时延不能超过约束时延。

根据任务计算卸载模型,计算任务执行时延包括：

通过比较使用任务本地执行模型、设备到设备卸载执行模型和移动边缘计算卸载执行模型所用的任务执行时延，任务执行时延最低的模型作为最佳执行模型。

在深度强化学习模型中，智能体根据从环境接收到的状态s_t∈S执行一个特定的动作a_t∈A，使得环境迁移到下一个状态s_t+1∈S，其中S为状态空间，A为动作空间。同时，智能体获得一个即时奖励，以评价智能体所做动作的好坏。智能体根据瞬时奖励值更新模型参数，使得智能体倾向于执行获得最大化长期奖赏之和的动作。在实施例中，智能体部署在MEC服务器，负责计算子任务集合的最佳卸载方案，使得任务完成时延最小。

智能体根据子任务的特点和网络中移动设备及MEC服务器的可用资源选择子任务的最佳卸载节点，使得任务完成时延最低。t时刻的状态s_t∈S 定义为：

s_t＝{C(t),V(t),E(t)} (15)

其中C(t)＝{C₁(t),...,C_N(t),C_N+1(t)}为t时刻移动设备和MEC服务器的可用计算资源，C₁(t)表示本地设备的可用计算资源，C_N+1(t)表示MEC 服务器可用计算资源；

V(t)＝{[I₁,c₁,τ₁],...,[I_|v|,c_|v|,τ_|v|]}表示子任务的相关信息，I_i表示子任务v_i的计算数据大小，c_i表示子任务所需计算资源，τ_i为子任务的约束时延；

E(t)＝{[e_1,1,...,e_1,|v|],...,[e_|v|,1,e_|v|,|v|]}表示子任务之间的依赖关系，若e_i,j＝1(i>j)，则子任务v_j为v_i的前置任务，子任务v_j的计算结果将作为子任务v_i的输入，参与运算；否则，子任务v_i为v_j无依赖关系，可以并行执行。

智能体根据网络状态s_t∈S为子任务选择最佳卸载节点，动作a_t∈A定义为：

a_t＝{a₁(t),...,a_|v|(t)} (16)。

其中，a_i(t)＝[a_1,1,...,a_1,(N+1)]二进制向量，表示子任务v_i的卸载位置，且

即子任务不可拆分，全部卸载到选中节点。

当智能体执行动作a_t∈A后得到一个即时奖励r(s_t,a_t)，以评价动作的好坏。计算卸载的目的是降低任务完成时延，根据优化目标(14a)，奖励函数定义为：

当卸载方案满足资源和时延约束条件时，奖励值为本地执行完成时延与卸载后实际完成时延之差；若卸载方案不满足约束条件，则智能体接收到一个惩罚值，-α，其中α为设计参数，且α>0。

实施例三

图5为根据本发明实施例提供的电子设备的实体结构示意图。基于上述实施例的内容，如图5所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302和总线303；其中，处理器301和存储器302通过总线303 完成相互间的通信；处理器301用于调用存储在存储器302中并可在处理器301 上运行的计算机程序指令，以执行上述各方法实施例所提供的混合协作计算卸载方法，例如包括：

S1、在待处理任务的计算量无法承担时,发出待处理任务卸载请求，待处理任务卸载请求携带任务分割信息；

S2、根据待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

S3、根据任务计算卸载模型,计算任务执行时延。

此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案实质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例混合协作计算卸载方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘，只读存储器(ROM，Read-Only Memory)、随机存储存储器(RAM，Random Access Memory)、磁碟或者光盘等各种存储程序代码的介质。

采用本实施例，用户任务被分割成若干个子任务，且分析若干个子任务之间的依赖关系，当用户计算资源不足时，可以将若干个子任务卸载到其他用户设备或边缘计算服务器，采用基于深度强化学习的单任务混合卸载机制，可以降低任务完成时延，节省网络带宽，提高完成任务效率，可普遍适用于物联网等技术领域。

实施例四

本发明另一实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各实施例所提供的混合协作计算卸载方法，例如包括步骤：

S1、在待处理任务的计算量无法承担时,发出待处理任务卸载请求，待处理任务卸载请求携带任务分割信息；

S2、根据待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

S3、根据任务计算卸载模型,计算任务执行时延。

采用本实施例，用户任务被分割成若干个子任务，且分析若干个子任务之间的依赖关系，当用户计算资源不足时，可以将若干个子任务卸载到其他用户设备或边缘计算服务器，采用基于深度强化学习的单任务混合卸载机制，可以降低任务完成时延，节省网络带宽，提高完成任务效率，可普遍适用于物联网等技术领域。

实施例五

本发明另一实施例提供-种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的混合协作计算卸载方法，例如包括步骤：

S1、在待处理任务的计算量无法承担时,发出待处理任务卸载请求，待处理任务卸载请求携带任务分割信息；

S2、根据待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

S3、根据任务计算卸载模型,计算任务执行时延。

采用本实施例，用户任务被分割成若干个子任务，且分析若干个子任务之间的依赖关系，当用户计算资源不足时，可以将若干个子任务卸载到其他用户设备或边缘计算服务器，采用基于深度强化学习的单任务混合卸载机制，可以降低任务完成时延，节省网络带宽，提高完成任务效率，可普遍适用于物联网等技术领域。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种混合协作计算卸载方法，其特征在于，包括：

在待处理任务的计算量无法承担时,发出待处理任务卸载请求，所述待处理任务卸载请求携带任务分割信息；

根据所述待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

根据所述任务计算卸载模型,计算任务执行时延。

2.如权利要求1所述的混合协作计算卸载方法，其特征在于，所述任务计算卸载模型包括：

任务本地执行模型、设备到设备卸载执行模型和移动边缘计算卸载执行模型。

3.如权利要求2所述的混合协作计算卸载方法，其特征在于，根据所述任务计算卸载模型,计算任务执行时延包括：

通过比较使用任务本地执行模型、设备到设备卸载执行模型和移动边缘计算卸载执行模型所用的任务执行时延，任务执行时延最低的模型作为最佳执行模型。

4.如权利要求2所述的混合协作计算卸载方法，其特征在于，所述任务本地执行模型包括：

当子任务v_i在本地执行时，其执行时延

定义为

其中，Φ_i表示子任务v_i的工作量，

表示本地用户分配给子任务v_i的计算资源，假设每个设备最大计算资源是

5.如权利要求2所述的混合协作计算卸载方法，其特征在于，所述设备到设备卸载执行模型包括：

当本地用户u计算资源不足时，可以将全部或部分子任务卸载到其他用户设备中执行；子任务的计算数据通过D2D通信链路传输给卸载设备k，D2D通信的数据率为：

其中，P_B，P_u和P_u′分别为基站、设备u和设备u′的传输功率，N₀为高斯白噪声，d_k,u为设备k和设备u之间的距离，β为路径损耗因子，h₀为服从复杂正态分布CN(0,1)的瑞利衰落因子，γ_u′,k∈{0,1}表示是否存在干扰。

6.如权利要求2所述的混合协作计算卸载方法，其特征在于，所述移动边缘计算卸载执行模型包括：

当本地用户u计算资源不足时，可以将全部或部分子任务卸载到移动边缘计算服务器中执行，子任务的计算数据通过蜂窝通信链路传输给服务器，蜂窝通信的数据率为:

其中，P_u和P_u′分别为设备u和设备u′的传输功率，N₀为高斯白噪声，d_u,E为设备u和服务器之间的距离，β为路径损耗因子，h₀为服从复杂正态分布CN(0,1)的瑞利衰落因子，γ_u′,k∈{0,1}表示是否存在干扰；

当子任务卸载到MEC服务器时，通信时延为

其中，I_i表示子任务v_i的计算数据；

子任务v_i卸载到MEC服务器的计算时延

为

其中，Φ_i表示子任务v_i的工作量，

表示MEC服务器分配给子任务v_i的计算资源，假设MEC的总计算资源是F^E，分配给子任务v_i的计算资源不能超过其当前可用计算资源，

因此，子任务v_i卸载到MEC服务器的执行时延

为

7.如权利要求1至6中任意一项所述的混合协作计算卸载方法，其特征在于，所述任务分割信息包括：

由任务分割而来的若干个子任务信息和若干个子任务之间的依赖关系信息；

采用有向图G(V,E)表示若干个子任务之间的依赖关系，其中每个子任务的工作量以及需要传输的数据大小已知，v_i∈V表示子任务v_i，e_i,j(i>j)表示子任务v_i和v_j之间的依赖关系，若e_i,j＝1则表示子任务v_j是子任务v_i的前置任务，其输出结果参与子任务v_i的计算过程；若e_i,j＝0，则表示表示子任务v_i和子任务v_j没有依赖关系。

8.一种混合协作计算卸载装置，其特征在于，包括：

卸载请求模块，用于在待处理任务的计算量无法承担时,发出待处理任务卸载请求，所述待处理任务卸载请求携带任务分割信息；

计算卸载模型设计模块，用于根据所述待处理任务卸载请求的反馈及任务分割信息,设计任务计算卸载模型；

任务执行时延计算模块，用于根据所述任务计算卸载模型,计算任务执行时延。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至7任一项所述混合协作计算卸载方法的步骤。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述混合协作计算卸载方法的步骤。

Images