CN116185523A - 一种任务卸载和部署的方法 - Google Patents

一种任务卸载和部署的方法 Download PDF

Info

Publication number
CN116185523A
CN116185523A CN202310026564.1A CN202310026564A CN116185523A CN 116185523 A CN116185523 A CN 116185523A CN 202310026564 A CN202310026564 A CN 202310026564A CN 116185523 A CN116185523 A CN 116185523A
Authority
CN
China
Prior art keywords
task
nodes
cooperative
node
deployment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310026564.1A
Other languages
English (en)
Inventor
李阳
马礼
陈征
姜毅
马东超
傅颖勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202310026564.1A priority Critical patent/CN116185523A/zh
Publication of CN116185523A publication Critical patent/CN116185523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种任务卸载和部署的方法，包括构建任务请求数据集；利用图神经网络算法为计算任务推荐协作节点；利用深度强化学习为计算任务输出任务部署策略；利用最优化理论计算最佳任务卸载策略；构建任务和协作节点间的交互记录；迭代优化最小化系统能耗的推荐模型和深度强化学习模型。采用了本发明的技术方案，极大降低任务部署节点的动作空间，加速训练模型的收敛速度，提高边缘计算系统的整体效益，降低边缘计算任务卸载、部署和资源分配的求解复杂度，减低边缘计算系统整体能耗。

Description

一种任务卸载和部署的方法
技术领域
本发明涉及边缘计算和人工智能技术领域，尤其涉及一种任务卸载和部署的方法。
背景技术
随着物联网、人工智能等技术的快速发展，伴随着后5G和6G技术的大规模连接、超低时延通信和多样化定制需求等优势，海量移动终端产生的大规模计算任务，如增强现实、虚拟现实和在线游戏等任务的调度和资源适配及大规模增加的基站管理等问题，促使网络边缘端的任务调度、资源分配和设备管理向着智慧化的趋势迈进。边缘计算通过任务卸载、端到端通信等技术扩展移动终端的计算、通信、存储和能量等资源，基于深度强化学习的在线求解任务卸载、任务调度等含离散变量的优化问题的算法在响应时延、次优解等方面的优势。但随着任务规模的急速增长，人工智能算法赋能的高效任务卸载和部署策略将为多任务多协作节点的任务卸载和部署提供在线的策略响应。
高效的任务卸载和部署策略成为影响众多复杂计算应用的工业和商业化应用的主要因素，受益于深度强化学习在求解任务卸载、任务调度等优化问题的在线快速求解的优势，同时以图神经网络为代表的推荐算法在电商平台、短视频等领域的商业化应用，为边缘计算平台的大规模计算任务的智慧化卸载和部署提供了新的解决方案。近年来，有研究人员针对任务卸载提出利用深度强化学习的方法进行求解，但随着任务数大规模增加，卸载策略组成动作空间呈指数级增长，输入特征的维度也不断增加，极大影响卸载策略的响应时延。同时，任务部署系统仍然通过先到先得的部署方式提供相应的资源，背后隐藏着大量的资源浪费。随着任务数的增加，计算和通信等资源的需求缺口会越来越大，不平衡的任务部署也造成了资源的大量浪费。
公开号为CN113010317A的专利文献在2021年6月22日公开了一种联合服务部署与任务卸载方法、系统、计算机设备及介质，包括：确定移动边缘计算系统的异步时间间隙、边缘网络覆盖区域的划分情况以及移动边缘计算系统的基本属性；根据异步时间间隙、划分情况和基本属性，建立服务部署与任务卸载计算模型；根据李雅普诺夫优化计算任务队列、李雅普诺夫漂移和漂移-减-效用项；根据服务部署与任务卸载计算模型以及李雅普诺夫优化计算结果，计算每个时间槽的服务部署与任务卸载结果。综合考虑了服务部署和任务卸载的不对称更新频率、移动边缘计算系统中服务请求分配等，提出一种包含确认模块、建立模块、优化模块和计算模块的服务部署与任务卸载装置，最大程度地提高移动边缘计算系统的整体效益，降低移动边缘计算系统的复杂性。但随着终端移动设备产生的服务请求的大规模增加，不仅加大了卸载决策的响应时延，还导致系统资源的高负载问题。同时缺少未来系统和任务请求信息的支持将导致系统长期的资源分配不均衡和资源浪费等问题。
公开号为CN111163178A的专利文献在2020年5月15日公开了一种边缘计算中基于博弈论的服务部署及任务卸载方法。包括：首先结合排队论来表示服务请求在边缘节点上配置的请求率和服务率，其次利用两个阶段的斯塔克尔伯格博弈将服务提供商与用户的服务请求之间的交互模型化；最后通过剪枝方法求解纳什均衡，大大降低了求解纳什均衡的时间复杂度。受限于边缘节点的存储和计算能力，在综合考虑异构且边缘节点服务部署及任务卸载，利用剪枝技术和博弈理论，提出一种联合服务部署和任务卸载的优化方案，以降低系统时延，提高任务执行效率。但随着服务请求率增加，单位时间的任务处理量增大，这极大增加了分配方案的响应时延。
有文献在无线充电移动边缘计算环境下，采用二分卸载策略的，即计算任务要么在本地执行，要么完全卸载到MEC服务器。考虑到时变无线信道条件，将研究问题形式化为组合优化问题，以实现优化任务卸载决策和无线资源分配的目标。本方案提出了一种基于深度强化学习的在线任务卸载算法，实现了一个深度神经网络作为可扩展的解决方案。该算法消除了求解组合优化问题的需要，从而大大降低了计算复杂度。该算法在实现近似最优性能的同时，计算时间显著缩短了一个数量级以上，但随着动作空间的指数级增加，以及任务部署策略的引入，策略响应时延受到了极大的影响。
公开号为CN107995660B的专利文献在2021年8月17日授权了支持D2D-边缘服务器卸载的联合任务调度及资源分配方法。包括：1)建模用户联合开销；2)建模用户任务执行时延；3)建模用户任务执行能耗；4)建模用户任务调度及资源分配限制条件；5)基于用户联合开销最小化确定用户任务调度及资源分配策略。在满足任务调度和资源分配的条件下，达到系统整体用户开销最小化的目标，实现用户任务卸载和调度、通信资源和计算资源的联合优化分配。该方案在针对小规模用户的情况下，策略的响应时延能够满足系统需求，但随着任务请求规模的增加，将极大影响任务卸载和调度及资源分配策略的响应时间，进而导致任务无法在截止时间内完成。
发明内容
为克服相关技术中存在的问题，本发明实施例提供一种任务卸载和部署的方法，能够实现高效、自动化、智慧化的任务卸载和部署。
本发明实施例提供一种任务卸载和部署的方法，包括以下步骤：
步骤101、在多终端设备多边缘协作的边缘计算场景下构建任务请求数据样本集，构建由终端设备集
Figure BDA0004045289050000031
和协作节点集/>
Figure BDA0004045289050000032
交互产生的任务请求交互信息集/>
Figure BDA0004045289050000033
其中
Figure BDA0004045289050000034
Ng和Mg分别表示数据集中终端设备和协作节点的个数，每条交易信息包含终端设备子集/>
Figure BDA0004045289050000035
和协作节点子集/>
Figure BDA0004045289050000036
Figure BDA0004045289050000037
Ns和Ms分别表示每条交易信息中终端设备和协作节点的个数，每个终端设备对应一个计算密集型任务请求，从所述协作节点子集/>
Figure BDA0004045289050000038
中选择最佳协作节点作为所述终端设备子集
Figure BDA0004045289050000039
中任务的卸载目标，同时协作节点、终端设备和任务分别有各自的特征属性信息；
步骤102、基于边缘计算环境下多任务多协作节点间历史交互信息，利用图神经网络算法为任务推荐前TopREC-K个协作节点；
步骤103、根据所述前TopREC-K个协作节点构建任务部署策略的动作空间，以终端设备、任务、协作节点的特征属性信息为输入，包括任务计算量、终端设备计算能力、网络信道增益和协作节点计算能力，采用深度神经网络算法预测任务部署策略，结合预测的任务部署策略和剪枝后动作空间加速输出前TopDQN-K个任务部署策略；
步骤104、根据所述前TopDQN-K个任务部署策略，利用最优化理论获取具有最小能耗的任务部署策略，并输出任务卸载和资源分配策略；
步骤105、构建任务和协作节点间的交易记录；
步骤106、深度强化学习输出的交易记录为推荐模型提供知识源，推荐模型的推荐结果优化深度强化学习模型，返回执行步骤102，重复Epoch次，其中Epoch为算法迭代的最大次数，迭代优化最小化系统能耗的推荐模型和深度强化学习模型。
进一步地，步骤102中根据边缘计算环境下多任务多协作节点间历史交互信息抽象出任务-协作节点二部图，基于二部图利用图神经协同过滤网络不断迭代学习任务和协作节点的嵌入向量表示，并依据任务与协作节点的向量乘结果推荐前TopREC-K个协作节点，具体包括以下步骤：
步骤201、根据终端设备和协作节点之间的任务请求交互信息构建二部图；
步骤202、根据任务的历史交互信息分别构建任务嵌入表示和协作节点嵌入表示；
步骤203、基于多头注意力机制的特征交互学习任务对协作节点不同特征组合的选择偏好，完成任务和协作节点间的消息构建，获取任务的特征表示；
步骤204、通过考虑协作节点的特征来建模任务对于协作节点及其特征的高阶偏好度，完成特征消息的聚合；
步骤205、通过多层网络的堆叠，模型更好地学习到多跳邻居对于当前节点的影响，同时根据多跳邻居的上一时刻的状态来更新当前节点的状态表示，这些高阶关系表征当前节点与非直接邻居的相关性，最终得到任务和协作节点的向量表示；
步骤206、利用最终学习到的任务和协作节点的向量表示，将两个向量相乘得到任务对每个协作节点的偏好程度，为任务推荐前TopREC-K个协作节点。
进一步地，步骤103中根据前TopREC-K个协作节点构建任务部署策略的动作空间，以终端设备、任务、协作节点的特征属性信息为输入，对深度强化学习算法中策略网络完成模型训练，使用价值网络和剪枝后的动作空间加速输出前TopDQN-K个任务部署策略，具体包括以下步骤：
步骤301、初始化策略网络的模型参数；
步骤302、从任务请求交互集
Figure BDA0004045289050000051
中依序抽取交互记录/>
Figure BDA0004045289050000052
根据任务和协作节点的特征属性构造策略网络的特征输入，依据步骤102推荐的前TopREC-K个协作节点构建动作空间；
步骤303、选择前TopDQN-K个任务部署策略，即任务对应的协作节点；
步骤304、在输出的前TopDQN-K个动作，计算具有最小能耗值的动作，即最小的奖励值，作为任务请求记录I的第t次迭代得到的任务部署策略πt *；
步骤305、结合步骤304输出的任务部署策略和请求记录I，构建任务和协作节点的交易记录
Figure BDA0004045289050000053
并将记录插入或更新经验缓冲区BufDQN；
步骤306、利用价值网络对BufDQN的交易记录进行评估，并完成对策略网络和价值网络的更新；
步骤307、返回执行步骤302，直至达到最大训练次数；
步骤308、基于获得的最佳策略网络输出前TopDQN-K个任务部署策略。
进一步地，步骤104中已知的前TopDQN-K个任务部署策略，利用拉格朗日乘子法求解优化问题(1)，获取具有能耗最小的任务部署策略π，并输出任务卸载策略和资源分配策略：
Figure BDA0004045289050000061
其中
Figure BDA0004045289050000062
和/>
Figure BDA0004045289050000063
分别表示完成第i个任务产生的本地计算能耗、任务上传能耗和边缘计算能耗，λ、/>
Figure BDA0004045289050000064
和/>
Figure BDA0004045289050000065
分别表示任务卸载比例、任务上传时间和任务边缘计算时间，D、C、T和Fmax分别表示任务数据量、完成任务1比特的周期数、截止时间和CPU最大计算频率。
进一步地，步骤105中构建用于图神经网络模型训练的任务和协作节点间的交易记录
Figure BDA0004045289050000066
并将记录插入或更新缓冲区BufREC，用于图神经网络模型的进一步优化。
进一步地，步骤106中图神经网络利用深度强化学习输出的任务和协作节点的交易记录以优化推荐模型，同时推荐模型的推荐结果不断优化深度强化学习模型，迭代执行步骤102至步骤105，实现推荐模型和深度强化学习模型的持续优化。
采用了本发明的实施例提供的技术方案，基于图神经网络算法实时为计算任务推荐任务协作节点，仅只需依赖当前任务请求场景即可推荐Top-K个协作节点，降低了动作空间的维度。结合推荐的任务协作节点，基于深度强化学习设计了一种在线任务部署和资源分配算法，极大降低任务部署节点的动作空间，加速训练模型的收敛速度，提高边缘计算系统的整体效益，降低边缘计算任务卸载、部署和资源分配的求解复杂度，减低边缘计算系统整体能耗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明实施例中任务卸载和部署的流程图。
图2是本发明实施例中边缘计算系统的框架图。
图3是本发明实施例中基于图神经网络的协作节点推荐方法的流程图。
图4是本发明实施例中基于深度强化学习的任务部署方法的流程图。
图5是本发明实施例中时间分配图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置及相关应用、方法的例子。
本发明具体实施方式是一种联合图神经网络和深度强化学习的高效任务卸载和部署方法，该方法联合优化任务部署、任务卸载和资源分配，面向大规模计算任务请求提出一种在线任务部署和资源分配方案，以最小化边缘计算系统的整体能耗。
图1是本发明实施例中任务卸载和部署的流程图。如图1所示，该任务卸载和部署的流程包括以下步骤：
步骤101、在多终端设备多边缘协作的边缘计算场景下构建任务请求数据样本集，构建由终端设备集
Figure BDA0004045289050000071
和协作节点集/>
Figure BDA0004045289050000072
交互产生的任务请求交互信息集/>
Figure BDA0004045289050000073
其中
Figure BDA0004045289050000074
Ng和Mg分别表示数据集中终端设备和协作节点的个数，每条交易信息包含终端设备子集/>
Figure BDA0004045289050000081
和协作节点子集/>
Figure BDA0004045289050000082
Figure BDA0004045289050000083
Ns和Ms分别表示每条交易信息中终端设备和协作节点的个数，每个终端设备对应一个计算密集型任务请求，从所述协作节点子集/>
Figure BDA0004045289050000084
中选择最佳协作节点作为所述终端设备子集
Figure BDA0004045289050000085
中任务的卸载目标，同时协作节点、终端设备和任务分别有各自的特征属性信息。该边缘计算系统的框架如图2所示。
步骤102、基于边缘计算环境下多任务多协作节点间历史交互信息，利用图神经网络算法为任务推荐前TopREC-K个协作节点。
本步骤中，根据边缘计算环境下多任务多协作节点间历史交互信息抽象出任务-协作节点二部图，基于二部图利用图神经协同过滤网络不断迭代学习任务和协作节点的嵌入向量表示，并依据任务与协作节点的向量乘结果推荐前TopREC-K个协作节点。如图3所示，本步骤具体包括以下步骤：
步骤201、根据终端设备和协作节点之间的任务请求交互信息构建二部图。
步骤202、根据任务的历史交互信息分别构建任务嵌入表示和协作节点嵌入表示。
步骤203、基于多头注意力机制的特征交互学习任务对协作节点不同特征组合的选择偏好，完成任务和协作节点间的消息构建，获取任务的特征表示。
步骤204、通过考虑协作节点的特征来建模任务对于协作节点及其特征的高阶偏好度，完成特征消息的聚合。
步骤205、通过多层网络的堆叠，模型更好地学习到多跳邻居对于当前节点的影响，同时根据多跳邻居的上一时刻的状态来更新当前节点的状态表示，这些高阶关系表征当前节点与非直接邻居的相关性，最终得到任务和协作节点的向量表示。
步骤206、利用最终学习到的任务和协作节点的向量表示，将两个向量相乘得到任务对每个协作节点的偏好程度，为任务推荐前TopREC-K个协作节点。
步骤103、根据该前TopREC-K个协作节点构建任务部署策略的动作(Action)空间，以终端设备、任务、协作节点的特征属性信息为输入，包括任务计算量、终端设备计算能力、网络信道增益和协作节点计算能力，采用深度神经网络算法预测任务部署策略，结合预测的任务部署策略和剪枝后动作空间加速输出前TopDQN-K个任务部署策略。
本步骤中，根据前TopREC-K个协作节点构建任务部署策略的动作空间，以终端设备、任务、协作节点的特征属性信息为输入，对深度强化学习算法中策略(Actor)网络完成模型训练，使用价值(Critic)网络和剪枝后的动作空间加速输出前TopDQN-K个任务部署策略。如图4所示，本步骤具体包括以下步骤：
步骤301、初始化策略网络的模型参数。
步骤302、从任务请求交互集
Figure BDA0004045289050000092
中依序抽取交互记录/>
Figure BDA0004045289050000093
根据任务和协作节点的特征属性构造策略网络的特征输入，依据步骤102推荐的前TopREC-K个协作节点构建动作空间。
步骤303、选择前TopDQN-K个任务部署策略，即任务对应的协作节点。
步骤304、在输出的前TopDQN-K个动作，计算具有最小能耗值的动作，即最小的奖励值，作为任务请求记录I的第t次迭代得到的任务部署策略
Figure BDA0004045289050000094
步骤305、结合步骤304输出的任务部署策略和请求记录I，构建任务和协作节点的交易记录
Figure BDA0004045289050000091
并将记录插入或更新经验缓冲区BufDQN。
步骤306、利用价值网络对BufDQN的交易记录进行评估，并完成对策略网络和价值网络的更新。
步骤307、返回执行步骤302，直至达到最大训练次数。
步骤308、基于获得的最佳策略网络输出前TopDQN-K个任务部署策略。
步骤104、根据上述前TopDQN-K个任务部署策略，利用最优化理论获取具有最小能耗的任务部署策略，并输出任务卸载和资源分配策略。
本步骤中，已知的前TopDQN-K个任务部署策略，利用拉格朗日乘子法求解优化问题(1)，获取具有能耗最小的任务部署策略π，并输出任务卸载策略和资源分配策略：
Figure BDA0004045289050000101
其中
Figure BDA0004045289050000102
和/>
Figure BDA0004045289050000103
分别表示完成第i个任务产生的本地计算能耗、任务上传能耗和边缘计算能耗，λ、/>
Figure BDA0004045289050000104
和/>
Figure BDA0004045289050000105
分别表示任务卸载比例、任务上传时间和任务边缘计算时间，D、C、T和Fmax分别表示任务数据量、完成任务1比特的周期数、截止时间和CPU最大计算频率。任务卸载、边缘计算和本地计算的约束关系如图5所示。
步骤105、构建任务和协作节点间的交易记录。
本步骤中，构建用于图神经网络模型训练的任务和协作节点间的交易记录
Figure BDA0004045289050000106
并将记录插入或更新缓冲区BufREC，用于图神经网络模型的进一步优化。
步骤106、深度强化学习输出的交易记录为推荐模型提供知识源，推荐模型的推荐结果优化深度强化学习模型，返回执行步骤102，重复Epoch次，其中Epoch为算法迭代的最大次数，迭代优化最小化系统能耗的推荐模型和深度强化学习模型。
本步骤中图神经网络利用深度强化学习输出的任务和协作节点的交易记录以优化推荐模型，同时推荐模型的推荐结果不断优化深度强化学习模型，迭代执行步骤102至步骤105，实现推荐模型和深度强化学习模型的持续优化。
上述实施例中的面向边缘计算的任务卸载和部署方法可以同时为计算任务推荐任务卸载节点和任务部署策略，进而优化边缘计算系统的资源分配方案，该技术方案是图神经网络算法和深度强化学习算法的有机融合。在实施例中，学习面向多终端设备多边缘协作的边缘计算的高效任务卸载和部署模型的过程是利用深度强化学习自生成的历史交互记录进行面向协作节点推荐的图神经网络模型的训练，利用推荐算法给出的协作节点加速深度强化学习网络模型的训练，通过二者不断的迭代优化协作节点推荐模型和任务部署模型。
本发明技术方案利用图神经网络算法进行任务协作节点的推荐，降低动作空间的维度，利用深度强化学习算法生成的交易记录构建或更新面向协作节点推荐和任务部署的经验缓存空间，即BufREC和BufDQN，实现了协作节点推荐模型和任务部署模型的数据集自生成，推荐的TopREC-K协作节点极大降低了动作空间规模，加速深度强化学习网络模型的收敛速度，从而实现了图神经网络算法和深度强化学习算法的有机融合。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种终端设备任务卸载和部署的方法，其特征在于，包括以下步骤：
步骤101、在多终端设备多边缘协作的边缘计算场景下构建任务请求数据样本集，构建由终端设备集
Figure FDA0004045289040000011
和协作节点集/>
Figure FDA0004045289040000012
交互产生的任务请求交互信息集/>
Figure FDA0004045289040000013
其中
Figure FDA0004045289040000014
Ng和Mg分别表示数据集中终端设备和协作节点的个数，每条交易信息包含终端设备子集/>
Figure FDA0004045289040000015
和协作节点子集/>
Figure FDA0004045289040000016
Figure FDA0004045289040000017
Ns和Ms分别表示每条交易信息中终端设备和协作节点的个数，每个终端设备对应一个计算密集型任务请求，从所述协作节点子集/>
Figure FDA0004045289040000018
中选择最佳协作节点作为所述终端设备子集
Figure FDA0004045289040000019
中任务的卸载目标，同时协作节点、终端设备和任务分别有各自的特征属性信息；
步骤102、基于边缘计算环境下多任务多协作节点间历史交互信息，利用图神经网络算法为任务推荐前TopREC-K个协作节点；
步骤103、根据所述前TopREC-K个协作节点构建任务部署策略的动作空间，以终端设备、任务、协作节点的特征属性信息为输入，包括任务计算量、终端设备计算能力、网络信道增益和协作节点计算能力，采用深度神经网络算法预测任务部署策略，结合预测的任务部署策略和剪枝后动作空间加速输出前TopDQN-K个任务部署策略；
步骤104、根据所述前TopDQN-K个任务部署策略，利用最优化理论获取具有最小能耗的任务部署策略，并输出任务卸载和资源分配策略；
步骤105、构建任务和协作节点间的交易记录；
步骤106、深度强化学习输出的交易记录为推荐模型提供知识源，推荐模型的推荐结果优化深度强化学习模型，返回执行步骤102，重复Epoch次，其中Epoch为算法迭代的最大次数，迭代优化最小化系统能耗的推荐模型和深度强化学习模型。
2.根据权利要求1所述的一种终端设备任务卸载和部署的方法，其特征在于，步骤102中根据边缘计算环境下多任务多协作节点间历史交互信息抽象出任务-协作节点二部图，基于二部图利用图神经协同过滤网络不断迭代学习任务和协作节点的嵌入向量表示，并依据任务与协作节点的向量乘结果推荐前TopREC-K个协作节点，具体包括以下步骤：
步骤201、根据终端设备和协作节点之间的任务请求交互信息构建二部图；
步骤202、根据任务的历史交互信息分别构建任务嵌入表示和协作节点嵌入表示；
步骤203、基于多头注意力机制的特征交互学习任务对协作节点不同特征组合的选择偏好，完成任务和协作节点间的消息构建，获取任务的特征表示；
步骤204、通过考虑协作节点的特征来建模任务对于协作节点及其特征的高阶偏好度，完成特征消息的聚合；
步骤205、通过多层网络的堆叠，模型更好地学习到多跳邻居对于当前节点的影响，同时根据多跳邻居的上一时刻的状态来更新当前节点的状态表示，这些高阶关系表征当前节点与非直接邻居的相关性，最终得到任务和协作节点的向量表示；
步骤206、利用最终学习到的任务和协作节点的向量表示，将两个向量相乘得到任务对每个协作节点的偏好程度，为任务推荐前TopREC-K个协作节点。
3.根据权利要求1所述的一种终端设备任务卸载和部署的方法，其特征在于，步骤103中根据前TopREC-K个协作节点构建任务部署策略的动作空间，以终端设备、任务、协作节点的特征属性信息为输入，对深度强化学习算法中策略网络完成模型训练，使用价值网络和剪枝后的动作空间加速输出前TopDQN-K个任务部署策略，具体包括以下步骤：
步骤301、初始化策略网络的模型参数；
步骤302、从任务请求交互集II中依序抽取交互记录I∈II，根据任务和协作节点的特征属性构造策略网络的特征输入，依据步骤102推荐的前TopREC-K个协作节点构建动作空间；
步骤303、选择前TopDQN-K个任务部署策略，即任务对应的协作节点；
步骤304、在输出的前TopDQN-K个动作，计算具有最小能耗值的动作，即最小的奖励值，作为任务请求记录I的第t次迭代得到的任务部署策略
Figure FDA0004045289040000039
步骤305、结合步骤304输出的任务部署策略和请求记录I，构建任务和协作节点的交易记录
Figure FDA00040452890400000310
并将记录插入或更新经验缓冲区BufDQN；
步骤306、利用价值网络对BufDQN的交易记录进行评估，并完成对策略网络和价值网络的更新；
步骤307、返回执行步骤302，直至达到最大训练次数；
步骤308、基于获得的最佳策略网络输出前TopDQN-K个任务部署策略。
4.根据权利要求1所述的一种终端设备任务卸载和部署的方法，其特征在于，步骤104中已知的前TopDQN-K个任务部署策略，利用拉格朗日乘子法求解优化问题(1)，获取具有能耗最小的任务部署策略π，并输出任务卸载策略和资源分配策略：
Figure FDA0004045289040000031
s.t.λi≤1
Figure FDA0004045289040000032
Figure FDA0004045289040000033
其中
Figure FDA0004045289040000034
Figure FDA0004045289040000035
和/>
Figure FDA0004045289040000036
分别表示完成第i个任务产生的本地计算能耗、任务上传能耗和边缘计算能耗，λ、/>
Figure FDA0004045289040000037
和/>
Figure FDA0004045289040000038
分别表示任务卸载比例、任务上传时间和任务边缘计算时间，D、C、T和Fmax分别表示任务数据量、完成任务1比特的周期数、截止时间和CPU最大计算频率。
5.根据权利要求1所述的一种终端设备任务卸载和部署的方法，其特征在于，步骤105中构建用于图神经网络模型训练的任务和协作节点间的交易记录
Figure FDA0004045289040000041
并将记录插入或更新缓冲区BufREC，用于图神经网络模型的进一步优化。
6.根据权利要求1所述的一种终端设备任务卸载和部署的方法，其特征在于，步骤106中图神经网络利用深度强化学习输出的任务和协作节点的交易记录以优化推荐模型，同时推荐模型的推荐结果不断优化深度强化学习模型，迭代执行步骤102至步骤105，实现推荐模型和深度强化学习模型的持续优化。
CN202310026564.1A 2023-01-09 2023-01-09 一种任务卸载和部署的方法 Pending CN116185523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310026564.1A CN116185523A (zh) 2023-01-09 2023-01-09 一种任务卸载和部署的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310026564.1A CN116185523A (zh) 2023-01-09 2023-01-09 一种任务卸载和部署的方法

Publications (1)

Publication Number Publication Date
CN116185523A true CN116185523A (zh) 2023-05-30

Family

ID=86432062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310026564.1A Pending CN116185523A (zh) 2023-01-09 2023-01-09 一种任务卸载和部署的方法

Country Status (1)

Country Link
CN (1) CN116185523A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195728A (zh) * 2023-09-12 2023-12-08 重庆理工大学 一种基于图到序列强化学习的复杂移动任务部署方法
CN117891532A (zh) * 2024-03-15 2024-04-16 东北大学 一种基于注意力多指标排序的终端能效优化卸载方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195728A (zh) * 2023-09-12 2023-12-08 重庆理工大学 一种基于图到序列强化学习的复杂移动任务部署方法
CN117891532A (zh) * 2024-03-15 2024-04-16 东北大学 一种基于注意力多指标排序的终端能效优化卸载方法

Similar Documents

Publication Publication Date Title
Kuang et al. Offloading decision methods for multiple users with structured tasks in edge computing for smart cities
Wu et al. EEDTO: An energy-efficient dynamic task offloading algorithm for blockchain-enabled IoT-edge-cloud orchestrated computing
Chen et al. iRAF: A deep reinforcement learning approach for collaborative mobile edge computing IoT networks
Cui et al. Novel method of mobile edge computation offloading based on evolutionary game strategy for IoT devices
Nath et al. Multi-user multi-channel computation offloading and resource allocation for mobile edge computing
CN113778648A (zh) 分层边缘计算环境中基于深度强化学习的任务调度方法
Fan et al. DNN deployment, task offloading, and resource allocation for joint task inference in IIoT
Liao et al. Online computation offloading with double reinforcement learning algorithm in mobile edge computing
CN115277689A (zh) 一种基于分布式联邦学习的云边网络通信优化方法及系统
Zhu et al. Reliability-optimal offloading in low-latency edge computing networks: Analytical and reinforcement learning based designs
CN113220356A (zh) 一种移动边缘计算中的用户计算任务卸载方法
Ebrahim et al. A deep learning approach for task offloading in multi-UAV aided mobile edge computing
CN114710439B (zh) 基于深度强化学习的网络能耗与吞吐量联合优化路由方法
CN113573363A (zh) 基于深度强化学习的mec计算卸载与资源分配方法
Fang et al. Smart collaborative optimizations strategy for mobile edge computing based on deep reinforcement learning
CN116185523A (zh) 一种任务卸载和部署的方法
Chiang et al. Deep Q-learning-based dynamic network slicing and task offloading in edge network
CN113946423B (zh) 基于图注意力网络的多任务边缘计算调度优化方法
Kashyap et al. DECENT: Deep learning enabled green computation for edge centric 6G networks
Cui Research on agricultural supply chain architecture based on edge computing and efficiency optimization
CN117459112A (zh) 基于图卷积网络的leo卫星网络中的移动边缘缓存方法及设备
Wang et al. Multi-objective joint optimization of communication-computation-caching resources in mobile edge computing
CN115499875B (zh) 一种卫星互联网任务卸载方法、系统以及可读存储介质
CN116455903A (zh) 一种利用深度强化学习优化车联网中依赖性任务卸载方法
CN114615705B (zh) 一种基于5g网络下单用户资源分配策略方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination