CN112422644B - 计算任务卸载方法及系统、电子设备和存储介质 - Google Patents

计算任务卸载方法及系统、电子设备和存储介质 Download PDF

Info

Publication number
CN112422644B
CN112422644B CN202011205980.0A CN202011205980A CN112422644B CN 112422644 B CN112422644 B CN 112422644B CN 202011205980 A CN202011205980 A CN 202011205980A CN 112422644 B CN112422644 B CN 112422644B
Authority
CN
China
Prior art keywords
unloading
offloading
task
decision
mobile network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011205980.0A
Other languages
English (en)
Other versions
CN112422644A (zh
Inventor
许长桥
肖寒
杨树杰
马云霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011205980.0A priority Critical patent/CN112422644B/zh
Publication of CN112422644A publication Critical patent/CN112422644A/zh
Application granted granted Critical
Publication of CN112422644B publication Critical patent/CN112422644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明实施例提供一种计算任务卸载方法及系统、电子设备和存储介质，方法包括：发送计算任务卸载请求，以供候选执行者接收到计算任务卸载请求后利用进化算法计算得到目标的候选执行者资源分配信息；获取当前移动网络的状态信息；基于当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策；基于卸载决策，进行计算任务卸载；其中，卸载决策算法模型是基于移动网络的状态信息训练得到的；当前移动网络的状态信息包括：卸载任务信息、与请求者关联的边缘服务器信息以及候选执行者资源分配信息。本发明提供的计算任务卸载方法，能够提高计算任务卸载的灵活性和决策的精准性，有效降低通信节点在任务的卸载与执行过程中的额外开销。

Description

计算任务卸载方法及系统、电子设备和存储介质
技术领域
本发明涉及通信技术领域，尤其涉及一种计算任务卸载方法及系统、电子设备和存储介质。
背景技术
随着科技的快速发展，虚拟现实、直播服务、无人驾驶等具有计算密集、时延敏感需求的新兴应用服务的兴起，移动终端有限的计算能力受到了极大挑战。由于移动设备的计算能力和电池容量有限，而当前应用对计算资源的需求则呈现不断增长的趋势(例如，实时视频文件的转码需求和用于安全驾驶的实时计算等)给云服务平台带来了巨大的服务压力。同时，这种趋势也已成为当前移动用户追求高服务质量的新瓶颈。
为此，计算卸载应运而生。任务产生端借助通信链路将复杂的计算任务交付到位于边缘的服务器或周围的空闲计算设备上。功能强大的新执行者将取代任务产生者执行该计算任务。一方面，用户可以享受足够的计算资源，并就近更快地获取计算结果。另一方面，计算压力可以从集中式的云服务器转移到本地网络。这种卸载方案，可以充分利用当前网络的空闲资源，也使得用户和服务平台都能够从中受益。
现有的移动计算卸载优化策略是根据单一确定的优化目标设计的，但由于计算卸载的过程中会受到如用户的使用习惯、无线电信道的通信情况、回程连接的质量、移动设备的性能和云服务器的可用性等不同因素的影响。现有技术中的计算卸载算法难以适应基于用户为中心或者网络优化为中心的多种计算卸载优化需求以及控制的可扩展性和灵活性要求。
因此，如何提供一种计算任务卸载方法及系统、电子设备和存储介质，提高该计算任务卸载方法的灵活性和决策的精准性，有效降低通信节点在任务的卸载与执行过程中的额外开销，成为亟待解决的问题。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种计算任务卸载方法及系统、电子设备和存储介质。
第一方面，本发明实施例提供一种计算任务卸载方法，该方法针对请求者，包括：
发送计算任务卸载请求，以供候选执行者接收到所述计算任务卸载请求后利用进化算法计算得到目标的候选执行者资源分配信息；
获取当前移动网络的状态信息；
基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策；
基于所述卸载决策，进行计算任务卸载；
其中，所述卸载决策算法模型是基于移动网络的状态信息训练得到的；所述当前移动网络的状态信息包括：卸载任务信息、与请求者关联的边缘服务器信息以及候选执行者资源分配信息。
可选的，在所述计算任务卸载方法中，所述基于所述卸载决策，进行计算任务卸载，包括：
基于所述卸载决策，确定目标卸载模式、目标计算资源分配以及执行所述卸载任务的节点位置；
根据所述目标卸载模式、目标计算资源分配以及执行所述卸载任务的节点位置，进行计算任务卸载。
可选的，在所述计算任务卸载方法中，所述卸载决策算法模型，包括：策略网络和价值网络；
所述策略网络包括：当前策略网络和目标策略网络；
所述价值网络包括：当前价值网络和目标价值网络；
其中，所述策略网络的输入为移动网络的状态信息，输出为对应的卸载决策；所述价值网络的输入为所述移动网络的状态信息以及所述对应的卸载决策，输出为做出所述对应的卸载决策后期望获取的长期奖励。
可选的，在所述计算任务卸载方法中，所述基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策，包括：
根据损失函数算法，基于状态效用在预设时间段内的值，计算获得所述当前移动网络在所述预设时间段内的损失梯度；
基于所述当前移动网络在所述预设时间段内的损失梯度，更新所述当前策略网络和当前价值网络；
基于更新后的当前策略网络和当前价值网络，实现所述目标策略网络和所述目标价值网络的渐进式更新；
根据更新后的决策算法模型，基于所述当前移动网络的状态信息，进行卸载决策。
可选的，在所述计算任务卸载方法中，在所述基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策步骤之前，还包括：
比较所述当前移动网络的状态信息的向量维度与卸载决策算法模型输入向量维度；
若所述当前移动网络的状态信息的向量维度大于卸载决策算法模型输入向量维度，对所述候选执行者资源分配信息进行过滤和/或采样处理；
若所述当前移动网络的状态信息的向量维度小于卸载决策算法模型输入向量维度，向所述候选执行者资源分配信息中填充虚拟节点的资源分配信息。
第二方面，本发明实施例提供一种计算任务卸载方法，该方法针对候选执行者，包括：
接收计算任务卸载请求；
利用进化算法计算得到候选执行者资源分配信息；
将所述候选执行者资源分配信息反馈给请求者，以供所述请求者获取当前移动网络的状态信息，基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策，基于所述卸载决策，进行计算任务卸载；
其中，所述请求者为发送所述计算任务卸载请求的节点；所述候选执行者资源分配信息信息满足所述候选执行者执行所述卸载任务在预设时延阈值范围内卸载开销达到最小的条件；所述资源分配信息包括：传输功率、通信带宽和分配用于执行卸载任务的计算资源。
可选的，在所述计算任务卸载方法中，所述候选执行者利用进化算法计算得到候选执行者资源分配信息，包括：
所述候选执行者利用粒子群算法计算得到资源分配信息。
第三方面，本发明实施例提供一种计算任务卸载系统，包括：
至少一个请求者和至少一个候选执行者；
所述请求者执行上述请求者侧的计算任务卸载方法；
所述候选执行者执行上述候选执行者侧的计算任务卸载方法。
第四方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述计算任务卸载方法的各个步骤。
第五方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述计算任务卸载方法的各个步骤。
本发明实施例提供的计算任务卸载方法及系统、电子设备和存储介质，通过构造移动网络环境的抽象表征，设计节点卸载开销模型，准确刻画网络通信服务过程，实现对移动网络状态性能的准确表达，使任务产生端的网络通信节点在执行卸载决策的过程中能够利用网络环境中得到的服务质量反馈学习有效、最优化的卸载策略，提高该计算任务卸载方法的灵活性和决策的精准性，有效降低通信节点在任务的卸载与执行过程中的额外开销，解决了移动设备在处理计算密集型和时间敏感型应用时可能面临着能力不足的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的计算任务卸载方法流程图；
图2为本发明实施例提供的移动网络下任务卸载执行场景示意图；
图3为本发明实施例提供的卸载算法模型应用示意图；
图4为本发明另一实施例提供的计算任务卸载方法流程图；
图5为本发明实施例提供的计算任务卸载系统结构示意图；
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
强化学习技术作为当前人工智能领域的重要分支，其将网络通信节点建模为决策智能体(Agent)，使节点可以通过与网络环境进行交互来自主学习并制订行动策略(ActionStrategy)，从而获取最大化的奖励收益(Reward)。在学习过程中，强化学习通常需要一个奖励效用函数来表示行动的好坏。然而，由于环境的未知性和时变性，智能体通常难以直接获知效用函数表达式，其一般采用数学模型对效用函数进行拟合，以使其能够描述在不同环境与智能体状态的情况下所能够获取的收益状况。而多层神经网络通过逐层处理输入数据，层次化分析表示数据的内在逻辑规律，进而动态优化各层神经元参数，使其对数据关系具有强大的拟合能力，理论上随着神经网络层数及神经元个数的增加，神经网络的拟合能力能够随之不断提升。
强化学习与深度学习具有良好的结合性与重大的研究价值。借助深度学习神经网络不断拟合行动收益函数，智能体得以灵活适应连续多元的状态变化，从而能够极大提高决策的精准性。
图2为本发明实施例提供的移动网络下任务卸载执行场景示意图，如图2所示，在本发明实施例中，根据当前时刻下移动网络中各节点的作用和目的，为各节点分配角色，构建通信网络节点卸载开销模型。
将发送计算任务卸载请求的节点确定为请求者(通常是由于没有足够资源的移动设备无法在可容忍的延迟内完成计算任务而不得不担任的通信角色。它需要以消息的形式向周围可能的执行设备发送请求数据以寻求帮助)。
将接收到计算任务卸载请求的节点确定为候选执行者(具有强大计算能力或当前处于空闲状态的设备、具有足够资源的边缘服务器，一旦候选执行者接收到请求者的任务卸载数据，它便成为正式执行者)。
需要说明的是，在当前网络下，请求者和候选执行者的数量不做限定。任意移动通信节点可以同时担任请求者和执行者的角色，并在不同时刻根据需要进行角色切换。
图1为本发明实施例提供的计算任务卸载方法流程图，如图1所示，该方法针对请求者，包括：
步骤S101，发送计算任务卸载请求，以供候选执行者接收到所述计算任务卸载请求后利用进化算法计算得到目标的候选执行者资源分配信息；
步骤S102，获取当前移动网络的状态信息；
步骤S103，基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策；
步骤S104，基于所述卸载决策，进行计算任务卸载。
其中，所述卸载决策算法模型是基于移动网络的状态信息训练得到的；所述当前移动网络的状态信息包括：卸载任务信息、与请求者关联的边缘服务器信息以及候选执行者资源分配信息。
具体的，移动用户的位置分布具有一定的随机特性，其可以被建模为遵循独立同分布的密度为λm的齐次泊松点过程(homogeneous Poisson point process，简称HPPP)，节点集合被表示为M＝{1,2,…,m,…}。
卸载模式包括边缘卸载和D2D(Device-to-Device)卸载两种模式。
1、边缘卸载
由于其强大的计算功能，边缘服务器是执行计算任务的合适人选。当请求者中的任务调度智能体决定将任务卸载到边缘服务器时，该任务将被排到边缘服务器的待处理任务队列的末尾。我们将该队列的长度设为Qn，在等待过程中需要花费部分等待时间
Figure BDA0002757069540000071
与之相对的，由于边缘服务器强大的计算资源，请求者可以在短时间内获得计算结果。
2、D2D卸载
与边缘服务器中需要等待过程不同，通过基站的辅助和引导，请求者可以通过建立D2D链路的方式将请求者的任务卸载到通信范围内最合适的相邻移动设备上。在这种模式下，移动网络中大量的空闲资源被积极调动了起来。需要注意的是，当周围没有发现合适的计算设备时，请求者不得不需要自己完成计算任务。
考虑信号在传输过程中遵循瑞利衰落信道模型，其在D2D通信和基站通信的衰落过程被表示为
Figure BDA0002757069540000081
与
Figure BDA0002757069540000082
且二者分别遵循参数为μb和μd的指数分布。而无线链路传输损耗则分别被表示为
Figure BDA0002757069540000083
与
Figure BDA0002757069540000084
其中r是传输距离，αb与αd为路径损耗指数。
为了简化表示，路径的衰减情况被统一表示为
Figure BDA0002757069540000085
同时，移动网络通信中有限的频谱资源极易导致通信受到同信道接入设备的干扰。令N＝(1,…n,…)表示基站通信中可选信道的集合，并令sm表示用户m所选择的信道。那么，信道sm＝n上用户m的传输速率Rb的表达式如下：
Figure BDA0002757069540000086
其中wm为通信带宽，ω0是噪声，pm为传输功率。
相似的，D2D通信过程中的传输速率Rd可以被表示为
Figure BDA0002757069540000087
将从请求者m产生的卸载任务表示为Tm＝(qm,om,vm,τm)。
其中，qm和om是任务的输入文件大小和输出文件大小。vm是任务Tm所需的计算资源。τm是服务质量方面的要求，反映在服务延迟上。
与之相对的，计算服务将随之产生部分开销。开销主要包括时间延迟和能量消耗。前者将决定请求者对服务的满意程度，而后者则表明服务成本。
卸载开销按顺序呈现为两个过程：计算和传输，以下说明计算开销和传输开销的计算方法。
1、计算开销：
将请求者m任务的卸载决策表示为dm＝[0,|M|]，即执行任务的位置。
dm＝0表示该任务在基站处执行，而dm＝m意味着请求者智能体没有找到比其自身更合适的执行者。当dm＝n时，将执行者n的可用计算能力表示为Cn(单位：CPU周期/秒)，分配给执行任务的计算资源则被表示为cn，0≤cn≤Cn。值得注意的是，C0代表边缘服务器的计算能力。
综上，可以将执行任务Tm的能耗表示如下：
em,c＝κ(cn)2
其中，κ表示能耗常数因子，与计算节点的处理器架构相关。对应的，计算的时延开销被表示为：
tm,c＝vm/cn
2、传输开销：
任务卸载和结果返回的过程都伴随着传输。当发送方m的数据被传输到接收方n，n∈M∪0，传输过程的能量消耗可以被表示为：
Figure BDA0002757069540000091
其中，p表示传输功率，且在卸载和结果返回的过程中分别有p＝pm和p＝pn。
此外，上式中的
Figure BDA0002757069540000092
和
Figure BDA0002757069540000093
分别为蜂窝链路和D2D链路下的传输时延，被表示为：
Figure BDA0002757069540000101
其中，z在卸载和返回的过程中分别表示输入和结果的数据大小，Rd为D2D通信过程中的传输速率，Rb为信道sm＝n上用户m的传输速率。
因此，将服务过程的能量开销表示为Em，那么在开销模型中整体的卸载开销则被表示为如下最小化问题：
argmin(min Em)
Figure BDA0002757069540000102
本发明实施例提供的计算任务卸载方法，从节点耗能与时延均衡优化以及深度学习神经网络模型两个角度进行优化，使节点能够在时延约束下优化通信能耗，确定一定时延要求内最优的计算任务卸载决策，具体包括以下四个步骤。
在步骤S101中，请求者以消息的形式向候选执行者发送计算任务卸载请求以寻求帮助，以供候选执行者接收到所述计算任务卸载请求后使用进化算法计算并反馈候选执行者资源分配信息。
所述资源分配信息包括：传输功率、通信带宽和分配用于执行卸载任务的计算资源。
当前移动网络中每一个候选执行者均会计算并向请求者反馈的资源信息，候选执行者反馈的资源信息为经过进化算法处理后获得的能耗和时延资源分配均衡的最优解。
需要说明的是，在本实施例中，进化算法可以为粒子群算法、蚁群算法、差分进化算法或麻雀搜索算法等，其目的在于实现对候选执行节点本身资源分配的均衡优化，使用的具体算法和实现的手段，本实施例对此不做限定。
在步骤S102中，请求者获取候选执行者反馈的候选执行者资源分配信息，并联合卸载任务信息以及与请求者关联的边缘服务器信息，获取当前移动网络的状态信息。
在本实施例中，卸载任务信息包括：请求者卸载任务输入文件大小、输出文件大小、计算所需的计算资源以及服务质量方面的要求(服务时延要求)。与请求者关联的边缘服务器信息包括：等待队列的长度，传输功率，边缘服务器计算能力以及信道信息。
进一步的，还可根据实际情况对当前移动网络的状态信息中需要包含的信息进行调整，本实施例对此不做限定。
需要说明的是，由于在当前移动网络中，候选执行者的数量是不确定的，上述候选执行者资源分配信息为当前移动网络中所有候选执行者资源分配信息的集合。
在步骤S103中，基于步骤S102中获取的当前移动网络的状态信息，根据事先基于移动网络的状态信息训练得到的卸载决策算法模型，进行卸载决策。
在步骤S104中，基于步骤S103中确定的卸载决策，将计算任务卸载到选定的候选执行者上，一旦候选执行者接收到请求者的任务卸载数据，它便成为正式执行者，满足请求者的计算卸载任务需求。
本发明实施例提供一种计算任务卸载方法，通过构造移动网络环境的抽象表征，设计节点卸载开销模型，准确刻画网络通信服务过程，实现对移动网络状态性能的准确表达，使任务产生端的网络通信节点在执行卸载决策的过程中能够利用网络环境中得到的服务质量反馈学习有效、最优化的卸载策略，提高该计算任务卸载方法的灵活性和决策的精准性，有效降低通信节点在任务的卸载与执行过程中的额外开销，解决了移动设备在处理计算密集型和时间敏感型应用时可能面临着能力不足的问题。
基于上述实施例，可选的，在所述计算任务卸载方法中，所述基于所述卸载决策，进行计算任务卸载，具体包括：
基于所述卸载决策，确定目标卸载模式、目标计算资源分配以及执行所述卸载任务的节点位置；
根据所述目标卸载模式、目标计算资源分配以及执行所述卸载任务的节点位置，进行计算任务卸载。
具体的，可以将请求者m的卸载方式表示为um∈(0,1)，0对应于边缘卸载模式、1对应于D2D卸载模式。除此之外，还可以使用其他表示方式，本实施例对此不做限定。
根据卸载决策确定目标卸载模式、目标计算资源分配以及执行所述卸载任务的节点位置，将计算任务卸载到选定的候选执行者(卸载任务的节点位置)上，一旦候选执行者接收到请求者的任务卸载数据，它便成为正式执行者，满足请求者的计算卸载任务需求。
其中，目标计算资源分配为选定的候选执行者向请求者反馈的资源分配信息。
基于上述实施例，可选的，图2为本发明实施例提供的特征融合时序分割网络结构示意图，如图2所示，在所述计算任务卸载方法中，
所述卸载决策算法模型包括：策略网络和价值网络；
所述策略网络包括：当前策略网络和目标策略网络；
所述价值网络包括：当前价值网络和目标价值网络；
其中，所述策略网络的输入为移动网络的状态信息，输出为对应的卸载决策；所述价值网络的输入为所述移动网络的状态信息以及所述对应的卸载决策，输出为做出所述对应的卸载决策后期望获取的长期奖励。
具体的，以向量的形式表示当前移动网络的状态信息S，在时隙t的节点状态向量St＝{Tt,Bt,Dt}。其中，Tt包含即将到来任务的相关信息(请求者的卸载任务信息)；Bt＝{Qt,Pt,Ct,Nt}，包含与请求者所关联的边缘服务器的详细信息，其中Qt是等待队列的长度，Pt表示传输功率，Ct表示其计算能力，Nt表示信道信息；Dt＝{D1,…,DM}，是候选执行者的资源分配集合，可以通过请求者与候选者的消息交互获取。
需要说明的是，为了方便计算，本发明实施例中，信息数据大多使用向量的形式进行表示，除此之外，还可使用数组、矩阵等其他形式，本实施例对此不做限定。
请求者将基于时隙t的当前移动网络状态信息以决策算法模型推导出一个卸载决策A，以作为当前所要采取的行动，时隙t的节点决策At＝{ut,dt,st}。
其中ut表示为卸载模式选择。dt表示D2D卸载的决策向量。st表示蜂窝通信的接入信道集合。其中，ut＝1时，与dt相关的神经元将被激活。当ut＝0时，与st相关的神经元将被激活。
奖励R是请求者在做出卸载决策后从环境中获得的反馈。令IR表示请求者在当前时隙所能获取的即时奖励。该奖励由外部环境的反馈(如时间延迟、能量消耗等)所决定：
Figure BDA0002757069540000131
其中，Em为卸载的能量开销；
Figure BDA0002757069540000132
为请求者m在当前时刻卸载任务所花费的时间延迟；τm是服务质量方面的要求(服务时延)；η∝(tm,t-τm)是针对超时的惩罚因子；ε是训练的控制参数；
Figure BDA0002757069540000133
是由clip函数操控的关于惩罚的上限。
由于即时奖励IR只来自当前的行动。这种聚焦于当下利益的决定无法考虑到未来任务执行的需求，难以实现长期的效用优化。
在本发明实施例中，引入策略π和状态作用值Q概念，策略π指导请求者(智能体)选择合适的行动(π：S→A)；状态作用值Q用于在某种状态下所采取行为的效用进行评价(Q：(S,A)→R)。该评估过程不仅聚焦于当前所获得的即时收益，还将关注当前动作导致状态变化后所带来的未来收益，从而能够到卸载效用的长期优化。
图3为本发明实施例提供的卸载决策算法模型应用示意图，如图3所示，深度强化学习算法(卸载决策算法模型)主要由两个神经网络结构组成，分别被称为策略网络(Actor)与价值网络(Critic)。
策略网络被表示为ψ，负责与外部环境(即移动网络)交互，接收请求者(智能体)获取的当前移动网络的状态信息St作为输入，并根据当前策略π输出一个卸载决策(行动)。
策略网络训练时采用当前策略网络和目标策略网络双网结构。当前策略网络以参数ψθ执行特定的探索-利用机制，采取行动At＝ψθ(St)，并以此从环境中获得回报Rt。
这样过程中所得到的一个转移元组U＝{St,At,Rt,St+1}，包括所采用的卸载决策和转移到的下一个状态，将被存储在经验缓冲区中以供下一步的学习。
目标策略网络利用参数ψθ‘的转移经验，并利用贪婪策略(贪心算法)决定下一个行为At+1＝argmaxQπ(St+1,At+1)。
价值网络包括被表示为σ，负责评估智能体卸载行动策略的质量。将从策略网络经验缓冲区采样x个转移条目{…,Uj,…},j∈(1,x)，作为一个批次来计算期望的均方误差(损失函数)。
价值网络也同样部署了当前价值网络和目标价值网络双网络结构。其中，当前价值网络以参数σθ评估当前Qt值和目标Q值。相应地，目标价值网络以参数σθ‘的目标网络负责评估下一状态St+1和操作At+1。
基于上述实施例，可选的，在所述计算任务卸载方法中，所述基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策，具体包括：
根据损失函数算法，基于状态效用在预设时间段内的值，计算获得所述当前移动网络在所述预设时间段内的损失梯度；
基于所述当前移动网络在所述预设时间段内的损失梯度，更新所述当前策略网络和当前价值网络；
基于更新后的当前策略网络和当前价值网络，实现所述目标策略网络和所述目标价值网络的渐进式更新；
根据更新后的决策算法模型，基于所述当前移动网络的状态信息，进行卸载决策。
具体的，策略π下的长期效用可以表示为：
Figure BDA0002757069540000151
其中，Rt是当前时隙的奖励；γ∈[0,1]是长期收益的折扣因子，表明当前行为对未来的影响。
目标Q(targetQ)和损失函数(Loss)定义如下：
Figure BDA0002757069540000152
根据损失函数算法，基于状态效用在预设时间段内的值，计算获得所述当前移动网络在所述预设时间段内的损失梯度，根据损失梯度对当前策略网络与当前价格网络进行更新，从而实现价格网络的评估能力与策略网络的决策能力的联合优化。
目标策略网络和目标价格网络根据当前策略网络的当前价格网络的参数实现渐进式的软更新，具体公式如下：
Figure BDA0002757069540000153
其中，δψ与δσ分别为预先设置的策略网络和价格网络用来更新的平滑系数。
获取更新后的决策算法模型，基于所述当前移动网络的状态信息，进行卸载决策，进一步进行计算任务卸载。
在上述实施例的基础上，本发明实施例通过在决策算法模型中引入策略π和状态作用值Q概念，设计行动与收益函数，使任务产生端的网络通信节点在执行卸载决策的过程中能够利用网络环境中得到的服务质量反馈学习有效、最优化的卸载策略，帮助任务产生端在动态时变的移动网络环境下自主执行高质量的任务迁移策略，以改善移动网络中用户的服务体验质量。
基于上述实施例，可选的，在所述计算任务卸载方法中，在所述基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策步骤之前，还包括：
比较所述当前移动网络的状态信息的向量维度与卸载决策算法模型输入向量维度；
若所述当前移动网络的状态信息的向量维度大于卸载决策算法模型输入向量维度，对所述候选执行者资源分配信息进行过滤和/或采样处理；
若所述当前移动网络的状态信息的向量维度小于卸载决策算法模型输入向量维度，向所述候选执行者资源分配信息中填充虚拟节点的资源分配信息。
具体的，由于移动网络是动态时变的，这导致在实际情况下候选执行者数量是不断变化的。但在对移动网络进行模拟以实现对决策算法模型的训练和测试过程中，决策算法模型的输入和输出向量的维数是固定的。
因此，图3为本发明实施例提供的卸载决策算法模型应用示意图，如图3所示，为了使决策算法模型能够动态、灵活的适用于不同数量节点的移动网络中，在将数据输入决策算法模型之前，先进行输入端向量维数的处理问题。
将当前移动网络的状态信息的向量维度(当前输入维)定义为|So|。原始卸载决策算法模型输入向量维度为I，比较当前移动网络的状态信息的向量维度|So|与原始卸载决策算法模型输入向量维度I；
由于|So|随时间变化的性质，存在三种情况：
若当前移动网络的状态信息的向量维度|So|恰好等于卸载决策算法模型输入向量维度I，无需进行处理。但刚好向量维度相同的概率较小，大多时候仍需要进行一定的处理。
若当前移动网络的状态信息的向量维度|So|大于卸载决策算法模型输入向量维度I，对候选执行者资源分配信息进行过滤和/或采样处理。
例如，在过滤阶段中，请求者将不可能被选择的候选执行者(例如，低计算能力的设备)使用过滤联合采样方法进行裁剪。先进行过滤，譬如设置计算资源的阈值，将计算资源低于该阈值的候选执行者滤除，若过滤后的向量维度仍然很大，将进入采样阶段。请求者随机抽取部分候选执行者样本以满足固定维度。
需要说明的是，上述对候选执行者进行过滤、采样处理的具体方法，仅作为一个具体的例子对本实施例进行说明，除此之外，还可以根据实际情况进行过滤和或采样处理的具体实现方式的选择，本实施例对此不做限定。
若当前移动网络的状态信息的向量维度|So|小于卸载决策算法模型输入向量维度I，向候选执行者资源分配信息中填充虚拟节点的资源分配信息。
填充一些性能极低的虚拟节点能够确保维度的完整性。经过训练卸载决策模型得到的卸载策略将不会选择这些虚拟节点。因此，即使在最坏的情况下(当前移动网络中候选执行者非常少，并不符合需求)，请求者(智能体)仍然可以选择在本地执行任务。
在上述实施例的基础上，本发明实施例通过设计输入卸载决策算法模型的输入端向量固化方案(控制输入端的维度)，确保输入卸载算法模型中的当前网络状态信息的向量维度与原始卸载决策算法模型的向量维度相同，使得卸载决策算法模型能够广泛适用于不同时刻不同网络状态下的移动网络，实现动态和灵活卸载决策，以改善移动网络中用户的服务体验质量。
图4为本发明另一实施例提供的计算任务卸载方法流程图，如图4所示，该方法针对候选执行者，具体包括：
步骤S401，接收计算任务卸载请求；
步骤S402，利用进化算法计算得到候选执行者资源分配信息；
步骤S403，将所述候选执行者资源分配信息反馈给请求者，以供所述请求者获取当前移动网络的状态信息，基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策，基于所述卸载决策，进行计算任务卸载；
其中，所述请求者为发送所述计算任务卸载请求的节点；所述候选执行者资源分配信息信息满足所述候选执行者执行所述卸载任务在预设时延阈值范围内卸载开销达到最小的条件；所述资源分配信息包括：传输功率、通信带宽和分配用于执行卸载任务的计算资源。
具体的，在步骤S401中，候选执行者接收到请求者以消息的形式向候选执行者发送的以寻求帮助的计算任务卸载请求。
在步骤S402中，候选执行者接收到所述计算任务卸载请求后使用进化算法计算候选执行者资源分配信息。
所述资源分配信息包括：传输功率、通信带宽和分配用于执行卸载任务的计算资源。
当前移动网络中每一个候选执行者均会计算并向请求者反馈的资源信息，候选执行者反馈的资源信息为经过进化算法处理后获得的能耗和时延资源分配均衡的最优解。
需要说明的是，在本实施例中，进化算法可以为粒子群算法、蚁群算法、差分进化算法或麻雀搜索算法等，其目的在于实现对候选执行节点本身资源分配的均衡优化，使用的具体算法和实现的手段，本实施例对此不做限定。
在步骤S402中，候选执行者将计算得到的资源分配信息反馈给请求者，以供请求者联合卸载任务信息以及与请求者关联的边缘服务器信息，获取当前移动网络的状态信息。
在本实施例中，卸载任务信息包括：请求者卸载任务输入文件大小、输出文件大小、计算所需的计算资源以及服务质量方面的要求(服务时延要求)。与请求者关联的边缘服务器信息包括：等待队列的长度，传输功率，边缘服务器计算能力以及信道信息。
进一步的，还可根据实际情况对当前移动网络的状态信息中需要包含的信息进行调整，本实施例对此不做限定。
需要说明的是，由于在当前移动网络中，候选执行者的数量是不确定的，上述候选执行者资源分配信息为当前移动网络中所有候选执行者资源分配信息的集合。
以供请求者基于获取的当前移动网络的状态信息，根据事先基于移动网络的状态信息训练得到的卸载决策算法模型，进行卸载决策。
以供请求者基于确定的卸载决策，将计算任务卸载到选定的候选执行者上，一旦候选执行者接收到请求者的任务卸载数据，它便成为正式执行者，满足请求者的计算卸载任务需求。
本发明实施例提供一种计算任务卸载方法，通过构造移动网络环境的抽象表征，设计节点卸载开销模型，准确刻画网络通信服务过程，实现对移动网络状态性能的准确表达，使任务产生端的网络通信节点在执行卸载决策的过程中能够利用网络环境中得到的服务质量反馈学习有效、最优化的卸载策略，提高该计算任务卸载方法的灵活性和决策的精准性，有效降低通信节点在任务的卸载与执行过程中的额外开销，解决了移动设备在处理计算密集型和时间敏感型应用时可能面临着能力不足的问题。
基于上述实施例，可选的，在所述计算任务卸载方法中，所述候选执行者利用进化算法计算得到候选执行者资源分配信息，具体包括：
所述候选执行者利用粒子群算法计算得到资源分配信息。
具体的，在本实施例中使用粒子群算法计算得到资源分配信息。
将节点资源均衡优化的求解过程表示为粒子在连续求解空间的搜寻过程，则每一个问题的可行解将被映射为一个搜寻粒子(候选执行者资源分配信息)Fi＝(pi,wi,ci)(第i个粒子的资源分配信息)。
其中，pi为传输功率，wi为通信带宽，ci为分配用于执行卸载任务的计算资源。
为了提高最优解的搜索效率，生成一个粒子群F，其中包含多个解向量，参数连续且均遵循参数为节点资源上下限的均匀分布。
粒子在搜索过程收获搜索经验与收益，并将其与其他粒子共享，从而能够迭代性学习，并完成解模式的自我调整。这里将每个粒子的效用表示为ρi。
同时，粒子在每一时隙始终维护本地最优解与群体全局最优解，分别表示为
Figure BDA0002757069540000201
与
Figure BDA0002757069540000202
其定义如下：
Figure BDA0002757069540000203
在每一时隙，可行解Fi调整其策略，其更新策略如下：
Figure BDA0002757069540000204
其中fi t表示步长，α表示惯性因子，β1和β2初始随机生成用于探索和学习的自适应参数。
经过有限轮迭代后，可行解Fi的更新幅度小于实现设置的阈值ζ，并围绕当前的最优解
Figure BDA0002757069540000211
上下浮动。此时，确定算法完成收敛，取当前最优解
Figure BDA0002757069540000212
为候选执行者资源分配信息。
其详细的算法如下：
Figure BDA0002757069540000213
需要说明的是，上述具体详细的粒子群算法流程仅作为一个具体的例子对本发明进行解释，在具体应用过程中，可根据实际情况对粒子群算法进行优化调整，本实施例对此不做限定。
在上述实施例的基础上，本发明实施例使用粒子群算法实现对移动网络中候选执行者耗和时延的资源分配均衡优化，使节点能够在时延约束下优化通信能耗，用来降低通信节点在任务的卸载与执行过程中的额外开销。将优化后的候选执行者资源分配信息反馈给请求者进行卸载任务决策，能够有效地帮助任务产生端在动态时变的移动网络环境下自主执行高质量的任务迁移策略，降低由于卸载决策结果在当前网络下选择的不够准确导致的资源浪费。
图5为本发明实施例提供的计算任务卸载系统结构示意图，如图5所示，计算任务卸载系统，包括：
至少一个请求者和至少一个候选执行者；
所述请求者501执行上述请求者侧的计算任务卸载方法；
所述候选执行者502执行上述候选执行者侧的计算任务卸载方法。
具体的，计算任务卸载系统包括至少一个请求者501和至少一个候选执行者502，需要说明的是，由于移动网络是时变的，移动网络中有计算任务卸载需求的节点(请求者501)的数量是不确定的，某时刻下请求者501的数量需要根据当前时刻移动网络节点的状态确定，候选执行者502的数量的确定与之相同。因此在移动网络中，请求者501和候选执行者502的数量不定，根据实际情况确定。
上述对计算任务卸载方法的介绍包含请求者和候选执行者两个角度。在计算任务卸载系统中，请求者用于执行上述请求者侧的计算任务卸载方法，候选执行者用于执行上述候选执行者侧的计算任务卸载方法，其具体的实施方式与方法实施方式一致，在此不再赘述。
图6为本发明实施例提供的电子设备的实体结构示意图，如图6所示，所述电子设备可以包括：处理器(processor)601、通信接口(communication interface)602、存储器(memory)603和通信总线(bus)604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行上述计算任务卸载方法，包括：发送计算任务卸载请求，以供候选执行者接收到所述计算任务卸载请求后利用进化算法计算得到目标的候选执行者资源分配信息；获取当前移动网络的状态信息；基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策；基于所述卸载决策，进行计算任务卸载；其中，所述卸载决策算法模型是基于移动网络的状态信息训练得到的；所述当前移动网络的状态信息包括：卸载任务信息、与请求者关联的边缘服务器信息以及候选执行者资源分配信息。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的计算任务卸载方法，包括：发送计算任务卸载请求，以供候选执行者接收到所述计算任务卸载请求后利用进化算法计算得到目标的候选执行者资源分配信息；获取当前移动网络的状态信息；基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策；基于所述卸载决策，进行计算任务卸载；其中，所述卸载决策算法模型是基于移动网络的状态信息训练得到的；所述当前移动网络的状态信息包括：卸载任务信息、与请求者关联的边缘服务器信息以及候选执行者资源分配信息。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的以执行计算任务卸载方法，包括：发送计算任务卸载请求，以供候选执行者接收到所述计算任务卸载请求后利用进化算法计算得到目标的候选执行者资源分配信息；获取当前移动网络的状态信息；基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策；基于所述卸载决策，进行计算任务卸载；其中，所述卸载决策算法模型是基于移动网络的状态信息训练得到的；所述当前移动网络的状态信息包括：卸载任务信息、与请求者关联的边缘服务器信息以及候选执行者资源分配信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种计算任务卸载方法，其特征在于，包括：
发送计算任务卸载请求，以供候选执行者接收到所述计算任务卸载请求后利用进化算法计算得到目标的候选执行者资源分配信息；
获取当前移动网络的状态信息；
基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策；
基于所述卸载决策，进行计算任务卸载；
其中，所述卸载决策算法模型是基于移动网络的状态信息训练得到的；所述当前移动网络的状态信息包括：卸载任务信息、与请求者关联的边缘服务器信息以及候选执行者资源分配信息。
2.根据权利要求1所述的计算任务卸载方法，其特征在于，所述基于所述卸载决策，进行计算任务卸载，包括：
基于所述卸载决策，确定目标卸载模式、目标计算资源分配以及执行所述卸载任务的节点位置；
根据所述目标卸载模式、目标计算资源分配以及执行所述卸载任务的节点位置，进行计算任务卸载。
3.根据权利要求1所述的计算任务卸载方法，其特征在于，所述卸载决策算法模型，包括：策略网络和价值网络；
所述策略网络包括：当前策略网络和目标策略网络；
所述价值网络包括：当前价值网络和目标价值网络；
其中，所述策略网络的输入为移动网络的状态信息，输出为对应的卸载决策；所述价值网络的输入为所述移动网络的状态信息以及所述对应的卸载决策，输出为做出所述对应的卸载决策后期望获取的长期奖励。
4.根据权利要求3所述的计算任务卸载方法，其特征在于，所述基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策，包括：
根据损失函数算法，基于状态效用在预设时间段内的值，计算获得所述当前移动网络在所述预设时间段内的损失梯度；
基于所述当前移动网络在所述预设时间段内的损失梯度，更新所述当前策略网络和当前价值网络；
基于更新后的当前策略网络和当前价值网络，实现所述目标策略网络和所述目标价值网络的渐进式更新；
根据更新后的决策算法模型，基于所述当前移动网络的状态信息，进行卸载决策。
5.根据权利要求1-4任一项所述的计算任务卸载方法，其特征在于，在所述基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策步骤之前，还包括：
比较所述当前移动网络的状态信息的向量维度与卸载决策算法模型输入向量维度；
若所述当前移动网络的状态信息的向量维度大于卸载决策算法模型输入向量维度，对所述候选执行者资源分配信息进行过滤和/或采样处理；
若所述当前移动网络的状态信息的向量维度小于卸载决策算法模型输入向量维度，向所述候选执行者资源分配信息中填充虚拟节点的资源分配信息。
6.一种计算任务卸载方法，其特征在于，包括：
接收计算任务卸载请求；
利用进化算法计算得到候选执行者资源分配信息；
将所述候选执行者资源分配信息反馈给请求者，以供所述请求者获取当前移动网络的状态信息，基于所述当前移动网络的状态信息，根据卸载决策算法模型，进行卸载决策，基于所述卸载决策，进行计算任务卸载；
其中，所述请求者为发送所述计算任务卸载请求的节点；所述候选执行者资源分配信息信息满足所述候选执行者执行所述卸载任务在预设时延阈值范围内卸载开销达到最小的条件；所述资源分配信息包括：传输功率、通信带宽和分配用于执行卸载任务的计算资源。
7.根据权利要求6所述的计算任务卸载方法，其特征在于，所述候选执行者利用进化算法计算得到候选执行者资源分配信息，包括：
所述候选执行者利用粒子群算法计算得到资源分配信息。
8.一种计算任务卸载系统，其特征在于，包括：
至少一个请求者和至少一个候选执行者；
所述请求者执行如权利要求1至5任一项所述的计算任务卸载方法；
所述候选执行者执行如权利要求6或7所述的计算任务卸载方法。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的计算任务卸载方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的计算任务卸载方法的步骤。
CN202011205980.0A 2020-11-02 2020-11-02 计算任务卸载方法及系统、电子设备和存储介质 Active CN112422644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011205980.0A CN112422644B (zh) 2020-11-02 2020-11-02 计算任务卸载方法及系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011205980.0A CN112422644B (zh) 2020-11-02 2020-11-02 计算任务卸载方法及系统、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112422644A CN112422644A (zh) 2021-02-26
CN112422644B true CN112422644B (zh) 2021-08-31

Family

ID=74828175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011205980.0A Active CN112422644B (zh) 2020-11-02 2020-11-02 计算任务卸载方法及系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112422644B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010321B (zh) * 2021-04-02 2023-02-17 曲阜师范大学 一种时延确定性任务卸载方法及装置、计算机存储介质
CN113064767B (zh) * 2021-04-15 2021-11-23 北京中科金马科技股份有限公司 一种数据协同处理方法及装置
CN113254021B (zh) * 2021-04-16 2022-04-29 云南大学 一种编译器协助的强化学习多核任务分配算法
CN113572804B (zh) * 2021-04-29 2023-06-30 重庆工程职业技术学院 一种基于边缘协作的任务卸载系统、方法及装置
WO2022242468A1 (zh) * 2021-05-18 2022-11-24 北京航空航天大学杭州创新研究院 任务卸载方法、调度优化方法和装置、电子设备及存储介质
CN113835778A (zh) * 2021-09-14 2021-12-24 北京信息科技大学 任务卸载方法、装置、电子设备及存储介质
CN114125783A (zh) * 2021-11-09 2022-03-01 天津大学 基于反向拍卖和d2d通信链路的需求响应服务供应方法
CN117130693B (zh) * 2023-10-26 2024-02-13 之江实验室 张量卸载方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262845A (zh) * 2019-04-30 2019-09-20 北京邮电大学 区块链使能的分布式计算任务卸载方法及系统
CN110505165A (zh) * 2019-08-26 2019-11-26 北京邮电大学 一种基于双向拍卖机制的边缘计算任务卸载方法及装置
CN110958625A (zh) * 2019-12-05 2020-04-03 湖南师范大学 一种基于移动边缘智能的实时多模态语言分析系统和方法
CN111132009A (zh) * 2019-12-23 2020-05-08 北京邮电大学 物联网的移动边缘计算方法、装置及系统
CN111565420A (zh) * 2020-04-07 2020-08-21 大连理工大学 一种移动区块链中智能资源分配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154068B2 (en) * 2014-12-30 2018-12-11 Akamai Technologies, Inc. Self-adjusting tiered caching system to optimize traffic performance and origin offload

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262845A (zh) * 2019-04-30 2019-09-20 北京邮电大学 区块链使能的分布式计算任务卸载方法及系统
CN110505165A (zh) * 2019-08-26 2019-11-26 北京邮电大学 一种基于双向拍卖机制的边缘计算任务卸载方法及装置
CN110958625A (zh) * 2019-12-05 2020-04-03 湖南师范大学 一种基于移动边缘智能的实时多模态语言分析系统和方法
CN111132009A (zh) * 2019-12-23 2020-05-08 北京邮电大学 物联网的移动边缘计算方法、装置及系统
CN111565420A (zh) * 2020-04-07 2020-08-21 大连理工大学 一种移动区块链中智能资源分配方法

Also Published As

Publication number Publication date
CN112422644A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112422644B (zh) 计算任务卸载方法及系统、电子设备和存储介质
Elgendy et al. Joint computation offloading and task caching for multi-user and multi-task MEC systems: reinforcement learning-based algorithms
CN111835827B (zh) 物联网边缘计算任务卸载方法及系统
Li et al. Deep reinforcement learning approaches for content caching in cache-enabled D2D networks
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN112416554A (zh) 一种任务迁移方法、装置、电子设备及存储介质
CN113778648A (zh) 分层边缘计算环境中基于深度强化学习的任务调度方法
CN113568727A (zh) 一种基于深度强化学习的移动边缘计算任务分配方法
CN113645637B (zh) 超密集网络任务卸载方法、装置、计算机设备和存储介质
CN114585006B (zh) 基于深度学习的边缘计算任务卸载和资源分配方法
CN116541106B (zh) 计算任务卸载方法、计算设备及存储介质
Chua et al. Resource allocation for mobile metaverse with the Internet of Vehicles over 6G wireless communications: A deep reinforcement learning approach
CN113760511A (zh) 一种基于深度确定性策略的车辆边缘计算任务卸载方法
Li et al. DQN-enabled content caching and quantum ant colony-based computation offloading in MEC
Robles-Enciso et al. A multi-layer guided reinforcement learning-based tasks offloading in edge computing
Ullah et al. Optimizing task offloading and resource allocation in edge-cloud networks: a DRL approach
CN116781788B (zh) 服务决策方法以及服务决策装置
CN116489708B (zh) 面向元宇宙的云边端协同的移动边缘计算任务卸载方法
CN113504949A (zh) Mar客户端在边缘计算中的任务卸载与参数优化方法及系统
Mwasinga et al. Rasm: Resource-aware service migration in edge computing based on deep reinforcement learning
Chen et al. Distributed task offloading game in multiserver mobile edge computing networks
Wang et al. Resource allocation based on Radio Intelligence Controller for Open RAN towards 6G
Wang et al. Analysis and prediction of UAV-assisted mobile edge computing systems
Xiong et al. Reinforcement Learning for Finite-Horizon Restless Multi-Armed Multi-Action Bandits
CN114281527A (zh) 一种低复杂度的移动边缘计算资源分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant