CN114727336B - 一种卸载策略确定方法、装置、电子设备及存储介质 - Google Patents

一种卸载策略确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114727336B
CN114727336B CN202210421521.9A CN202210421521A CN114727336B CN 114727336 B CN114727336 B CN 114727336B CN 202210421521 A CN202210421521 A CN 202210421521A CN 114727336 B CN114727336 B CN 114727336B
Authority
CN
China
Prior art keywords
computing task
initial
computing
terminal
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210421521.9A
Other languages
English (en)
Other versions
CN114727336A (zh
Inventor
杨文聪
杨文强
贾淑霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202210421521.9A priority Critical patent/CN114727336B/zh
Publication of CN114727336A publication Critical patent/CN114727336A/zh
Application granted granted Critical
Publication of CN114727336B publication Critical patent/CN114727336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0226—Traffic management, e.g. flow control or congestion control based on location or mobility
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了一种卸载策略确定方法、装置、电子设备及存储介质，涉及通信技术领域，用以解决现有卸载策略制定过程中未考虑到终端的移动性的问题，包括：根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，初始卸载策略用于指示终端将P个计算任务卸载至云服务器，P为自然数；确定至少一个第一计算任务的迁移成本；其中，第一计算任务为M个计算任务中，在终端发生基站切换后需要进行迁移的计算任务；根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数；根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略。本申请用于移动边缘计算场景下的卸载策略制定。

Description

一种卸载策略确定方法、装置、电子设备及存储介质
技术领域
本申请涉及通信领域，尤其涉及一种卸载策略确定方法、装置、电子设备及存储介质。
背景技术
由于传统网络技术在带宽、时延等方面无法满足车联网、物联网等新场景的需求，确定性网络(Deterministic Networking，DetNet)应运而生。第五代移动通信技术(5thGeneration Mobile Communication Technology，5G)确定性网络被业界认为是一种革命性、基础性的生产力确定性网络，是确定性网络领域中的研究重点。
目前5G确定性网络中，在制定终端计算任务的卸载策略时，现阶段的技术方案只考虑到了终端的能耗与时延，并未考虑终端的移动性。在实际通信中，由于终端的移动性，终端会从一个基站的覆盖范围移动到另一个基站的覆盖范围，比如终端从基站的覆盖范围移动到另一基站的覆盖范围。当终端的一个计算任务正处于执行过程中，由于终端从基站的覆盖范围移动到另一基站的覆盖范围时，终端会连接到另一基站，因此若要继续执行该计算任务，则会产生额外的计算任务迁移成本，这会对计算任务的卸载策略的制定造成影响。
发明内容
本申请提供一种卸载策略确定方法、装置、电子设备及存储介质，能够解决现有卸载策略制定过程中未考虑到终端的移动性的问题。
第一方面，本申请提供一种卸载策略确定方法，该方法包括：根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，初始卸载策略用于指示终端将P个计算任务卸载至云服务器，M个计算任务包括P个计算任务，M为正整数，P为自然数；确定至少一个第一计算任务的迁移成本；其中，第一计算任务为M个计算任务中，在终端发生基站切换后需要进行迁移的计算任务；根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数；根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略。
基于上述技术方案，本申请中在制定初始卸载策略后，对于由终端进行基站切换导致的发生迁移的计算任务，会衡量该计算任务的迁移成本，进而判断这些计算任务是否适宜迁移回终端本地来进行卸载策略的制定，并基于损耗函数和预设算法对初始卸载策略进行迭代优化，进而确定出最终卸载策略。由此，本申请提供的方案考虑到了终端的移动性，实现了排除计算任务的迁移成本对卸载策略确定造成的影响，使得确定出的卸载策略更加符合终端实际通信的效果。
在一种可能的实现方式中，上述至少一个第一计算任务的迁移成本用于表征至少一个第一计算任务进行迁移时的能耗和时延；根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数，具体包括：根据至少一个第一计算任务的迁移成本，确定至少一个第二计算任务；第二计算任务为至少一个第一计算任务中，迁移成本大于卸载成本的计算任务；根据至少一个第二计算任务，确定至少一个第三计算任务；其中，第三计算任务为M个计算任务中，除去至少一个第二计算任务之外的计算任务；根据至少一个第三计算任务，确定初始卸载策略的损耗函数。
在一种可能的实现方式中，上述根据至少一个第三计算任务，确定初始卸载策略的损耗函数，具体包括：确定每个第三计算任务的损耗函数；每个第三计算任务的损耗函数相加，得到初始卸载策略的损耗函数；第三计算任务的损耗函数满足以下公式：
其中，Zi表示编号为i的第三计算任务的损耗函数，βE表示终端的能耗权重因子，βT表示终端的时延权重因子，i表示计算任务的编号，Ei表示终端的能耗，Ti表示终端的时延，表示计算任务i在终端本地执行的能耗，Ti l表示表示计算任务i在终端本地执行的时延，N表示至少一个第三计算任务的总数量。。
在一种可能的实现方式中，上述预设算法为Q-learning算法；根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略，具体包括：根据Q-learning算法，确定初始卸载策略的Q值；根据初始卸载策略的Q值，对初始卸载策略进行优化；在损耗函数满足预设条件时，将优化后的初始卸载策略确定为最终卸载策略。
在一种可能的实现方式中，上述初始卸载策略的Q值满足以下公式：
Q(s,a)＝(1-α)Q(s,a)+α[R+γmaxQ(s',a')]
其中，Q(s,a)表示初始卸载策略在当前时刻的Q值，s表示Q-learning算法中的状态参数，a表示Q-learning算法中的动作参数，R表示Q-learning算法中的回报参数，α表示学习率，γ表示权重参数，Q(s',a')表示初始卸载策略在下一时刻的Q值。
第二方面，本申请提供一种卸载策略确定装置，该装置包括：处理单元。处理单元，用于根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，初始卸载策略用于指示终端将P个计算任务卸载至云服务器，M个计算任务包括P个计算任务，M为正整数，P为自然数；处理单元，还用于确定至少一个第一计算任务的迁移成本；其中，第一计算任务为M个计算任务中，在终端发生基站切换后需要进行迁移的计算任务；处理单元，还用于根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数；处理单元，还用于根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略。
在一种可能的实现方式中，处理单元，还用于根据至少一个第一计算任务的迁移成本，确定至少一个第二计算任务；第二计算任务为至少一个第一计算任务中，迁移成本大于卸载成本的计算任务；处理单元，还用于根据至少一个第二计算任务，确定至少一个第三计算任务；其中，第三计算任务为M个计算任务中，除去至少一个第二计算任务之外的计算任务；处理单元，还用于根据至少一个第三计算任务，确定初始卸载策略的损耗函数。
在一种可能的实现方式中，处理单元，还用于确定每个第三计算任务的损耗函数；处理单元，还用于将每个第三计算任务的损耗函数相加，得到初始卸载策略的损耗函数；第三计算任务的损耗函数满足以下公式：
其中，Zi表示编号为i的第三计算任务的损耗函数，βE表示终端的能耗权重因子，βT表示终端的时延权重因子，i表示计算任务的编号，Ei表示终端的能耗，Ti表示终端的时延，表示计算任务i在终端本地执行的能耗，Ti l表示表示计算任务i在终端本地执行的时延，N表示至少一个第三计算任务的总数量。
在一种可能的实现方式中，处理单元，还用于根据Q-learning算法，确定初始卸载策略的Q值；处理单元，还用于根据初始卸载策略的Q值，对初始卸载策略进行优化；处理单元，还用于在损耗函数满足预设条件时，将优化后的初始卸载策略确定为最终卸载策略。
在一种可能的实现方式中，初始卸载策略的Q值满足以下公式：
Q(s,a)＝(1-α)Q(s,a)+α[R+γmaxQ(s',a')]
其中，Q(s,a)表示初始卸载策略在当前时刻的Q值，s表示Q-learning算法中的状态参数，a表示Q-learning算法中的动作参数，R表示Q-learning算法中的回报参数，α表示学习率，γ表示权重参数，Q(s',a')表示初始卸载策略在下一时刻的Q值。
此外，第二方面所述的卸载策略确定装置的技术效果可以参考上述第一方面所述的卸载策略确定方法的技术效果，此处不再赘述。
第三方面，本申请提供一种存储一个或多个程序的计算机可读存储介质，该一个或多个程序包括指令，上述指令当被本申请的电子设备执行时使电子设备执行如第一方面和第一方面的任一种可能的实现方式中所描述的卸载策略确定方法。
第四方面，本申请提供一种电子设备，包括：处理器以及存储器；其中，存储器用于存储一个或多个程序，一个或多个程序包括计算机执行指令，当电子设备运行时，处理器执行存储器存储的计算机执行指令，以使电子设备执行如第一方面和第一方面的任一种可能的实现方式中所描述的卸载策略确定方法。
第五方面，本申请提供一种包含指令的计算机程序产品，当该指令在计算机上运行时，使得本申请的电子设备执行如第一方面和第一方面的任一种可能的实现方式中所描述的卸载策略确定方法。
第六方面，本申请提供一种芯片系统，该芯片系统应用于卸载策略确定装置；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器。所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述卸载策略确定装置的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令。当所述处理器执行所述计算机指令时，所述卸载策略确定装置执行如第一方面及其任一种可能的设计方式所述的卸载策略确定方法。
在本申请中，上述卸载策略确定装置的名字对设备或功能单元本身不构成限定，在实际实现中，这些设备或功能单元可以以其他名称出现。只要各个设备或功能单元的功能和本申请类似，均属于本申请权利要求及其等同技术的范围之内。
附图说明
图1为本申请实施例提供的一种卸载策略确定方法的应用场景示意图；
图2为本申请实施例提供的一种卸载策略确定方法的流程示意图；
图3为本申请实施例提供的另一种卸载策略确定方法的流程示意图；
图4为本申请实施例提供的另一种卸载策略确定方法的流程示意图；
图5为本申请实施例提供的一种卸载策略确定方法的仿真效果对比示意图；
图6为本申请实施例提供的一种卸载策略确定装置的结构示意图；
图7为本申请实施例提供的一种卸载策略确定装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本文中字符“/”，一般表示前后关联对象是一种“或者”的关系。例如，A/B可以理解为A或者B。
本申请的说明书和权利要求书中的术语“第一”和“第二”是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一边缘服务节点和第二边缘服务节点是用于区别不同的边缘服务节点，而不是用于描述边缘服务节点的特征顺序。
此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，在本申请实施例中，“示例性的”、或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、或者“例如”等词旨在以具体方式呈现概念。
确定性网络是国际互联网工程任务组(the internet engineering task force，IETF)提出的一种面向工业互联网的技术，5G确定性网络被业界认为是一种革命性、基础性的生产力确定性网络，5G确定性网络引入了边缘计算，即在网络边缘同时提供多接入网络联接能力，通过靠近用户部署来提升网络提供效率、减少时延，保障用户体验，提高服务质量，更有确定性。
5G确定性网络目前主要用于解决对计算密集、时延敏感的任务传输等问题，具有低时延，高可靠性等优点。5G确定性网络涉及网络切片、移动边缘计算(Mobile EdgeComputing，MEC)技术、5G网络对业务的感知与保障能力、5G跨网络域协同保障、5G网络与行业网络对接集成等技术，被业界认为是一种革命性、基础性的生产力确定性网络，是确定性网络领域中的研究重点。
目前5G确定性网络中，在制定终端计算任务的卸载策略时，现阶段的技术方案只考虑到了终端的能耗与时延，并未考虑终端的移动性。
例如，现阶段公开了一种卸载策略的制定方案，其通过计算终端的所有子任务，选择是将子任务卸载至云服务器还是在本地执行，该方案的最终目的为最小化设备的能耗和时延。在此现有方案中，卸载策略已知时才能计算出能耗，并且卸载策略受资源分配的影响，相互制约，因此要采用双层优化来解决优化问题。双层优化即首先给定卸载策略然后求最优功率分配以及子载波分配，然后根据最优功率分配寻找最优任务卸载策略。对于固定的策略，即最优功率和子载波分配，求最优卸载策略，变为最小成本搜索问题，使用匈牙利算法来解决。
可见，上述现有方案并未考虑到终端的移动性，忽略了计算任务的迁移成本对计算任务的卸载策略的制定造成的影响，不符合实际的通信场景，例如。在实际通信中，由于终端的移动性，终端会从一个基站的覆盖范围移动到另一个基站的覆盖范围，比如终端从基站的覆盖范围移动到另一基站的覆盖范围。当终端的一个计算任务正处于执行过程中，由于终端从基站的覆盖范围移动到另一基站的覆盖范围时，终端会连接到另一基站，因此若终端要继续执行该计算任务，则会产生额外的计算任务迁移成本这会对计算任务的卸载策略的制定造成影响。
为了解决现有卸载策略制定过程中未考虑到终端的移动性的问题，本申请提供了一种卸载策略确定方法，以实现考虑到计算任务的迁移成本对卸载策略确定造成的影响，使得确定出的卸载策略更加符合终端实际通信的目的。
示例性地，如图1所示，为本申请涉及的一种策略确定方法的应用场景示意图。此应用场景中包括终端11、基站12、基站13,、云服务器14。
其中，终端11具有移动性。比如由于终端的使用者在实际生活中的移动，使得终端会从基站12的覆盖范围移动至基站13的覆盖范围，此时终端对应的部分计算任务会产生迁移成本。
基站12和基站13，为终端11提供通信服务。
云服务器14，用于为终端11提供资源。也即，终端11能够将计算任务卸载至云服务器14，以降低本地资源消耗。
需要指出的是，在本申请提供的卸载策略确定方法中，执行主体是卸载策略确定装置。该卸载策略确定装置可以是一种电子设备(例如电脑终端、服务器)，还可以是电子设备中的处理器，还可以是电子设备中用于卸载策略确定的控制模块，还可以是电子设备中用于卸载策略确定的客户端。
下面对本实施例提供的卸载策略确定方法的流程进行说明。
如图2所示，该卸载策略确定方法包括以下步骤：
S201、卸载策略确定装置根据预设算法，确定终端对于M个计算任务的初始卸载策略。
其中，预设算法可以是Q-learning算法，也可以是本领域中用于指定卸载策略的其他可用算法，本申请对此不做限定。
可以理解的是，初始卸载策略用于指示终端将P个计算任务卸载至云服务器，M个计算任务包括P个计算任务，M为正整数，P为自然数。也即当P的值为0时，终端将全部计算任务在本地完成。
需要指出的是，初始卸载策略的确定方法为本技术领域的公开技术，具体可参考现有技术中的卸载策略的确定方法，本实施例在此不再赘述。
S202、卸载策略确定装置确定至少一个第一计算任务的迁移成本。
其中，第一计算任务为M个计算任务中，在终端发生基站切换后需要进行迁移的计算任务。可选的，至少一个第一计算任务的迁移成本用于表征至少一个第一计算任务进行迁移时的能耗和时延。
需要说明的是，若一个终端附近有多个基站，在实际生活中由于终端使用者的位置会实时发生变动，因此当终端超出基站的覆盖范围后随后进入另一基站的服务范围内时，此时终端的计算任务会对应地产生迁移成本。
S203、卸载策略确定装置根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数。
可选的，卸载确定装置根据至少一个第一计算任务的迁移成本，以及初始卸载策略中设定的需要卸载至云服务器的计算任务，确定初始卸载策略的损耗函数。
S204、卸载策略确定装置根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略。
其中，预设算法为通用的机器学习模型算法。例如，预设算法可为Q-learning算法。
需要说明的是，卸载策略确定装置对初始卸载策略进行优化的过程，即根据预设算法迭代调整卸载策略，以使得损耗函数不短减小，直至损耗函数满足预设条件的过程。并且，在损耗函数满足预设条件时，将本次迭代中优化后的初始卸载策略确定为最终卸载策略。
可选的，上述预设条件可为损耗函数的值小于预设阈值，或者，预设条件还可为损耗函数达到收敛。
可以理解的是，卸载策略确定装置执行本步骤后，能够将第一计算任务中，迁移成本过高的、不宜迁移回终端本地进行卸载至云服务器的计算任务，从最终卸载策略中制定的卸载至云服务器的计算任务中排除。
基于上述技术方案，本申请实施例中在制定初始卸载策略后，对于由终端进行基站切换导致的发生迁移的计算任务，会衡量该计算任务的迁移成本，进而判断这些计算任务是否适宜迁移回终端本地来进行卸载策略的制定，并基于损耗函数和预设算法对初始卸载策略进行迭代优化，进而确定出最终卸载策略。由此，本申请实施例提供的方案，考虑到了终端的移动性，实现了排除计算任务的迁移成本对卸载策略确定造成的影响，使得确定出的卸载策略更加符合终端实际通信的效果。
示例性地，结合图2，如图3所示，本申请提供的卸载策略确定方法中，上述S203中卸载策略确定装置根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数，具体包括以下步骤：
S301、卸载策略确定装置根据至少一个第一计算任务的迁移成本，确定至少一个第二计算任务。
其中，第二计算任务为至少一个第一计算任务中，迁移成本大于卸载成本的计算任务。可以理解的是，若一个第一计算任务的迁移成本大于将其卸载至云服务器的卸载成本，则说明将该第一计算任务进行迁移的成本过高，不宜将其进行迁移后再卸载至云服务器。
S302、卸载策略确定装置根据至少一个第二计算任务，确定至少一个第三计算任务。
其中，第三计算任务为M个计算任务中，除去至少一个第二计算任务之外的计算任务。也就是说，此时将终端对应的计算任务分为第二计算任务和第三计算任务两种，第二计算任务为终端移动导致发生基站切换后迁移成本过高的任务，第三计算任务包括终端移动导致发生基站切换后迁移成本较低或无需就行迁移的计算任务。
S303、卸载策略确定装置根据至少一个第三计算任务，确定初始卸载策略的损耗函数。
可选的，在策略确定装置确定出至少一个第二计算任务后，这些第二计算任务可由终端发生基站切换前连接的基站进行处理，这部分计算任务消耗的资源不计入损耗函数中。
可选的，策略确定装置首先确定每个第三计算任务的损耗函数，再将所述每个第三计算任务的损耗函数相加，得到初始卸载策略的损耗函数。
在一种可能的实现方式中，第三计算任务的损耗函数满足以下公式：
其中，Zi表示编号为i的第三计算任务的损耗函数，βE表示终端的能耗权重因子，βT表示终端的时延权重因子，i表示计算任务的编号，Ei表示终端的能耗，Ti表示终端的时延，表示计算任务i在终端本地执行的能耗，Ti l表示表示计算任务i在终端本地执行的时延，N表示至少一个第三计算任务的总数量。
基于上述技术方案，本申请实施例能够根据至少一个第一计算任务的迁移成本，来确定出初始卸载策略的损耗函数，以便于后续卸载策略的优化及最终卸载策略的制定。
示例性地，结合图2，如图4所示，本申请提供的卸载策略确定方法中，预设算法为Q-learning算法，上述S204中卸载策略确定装置损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略，具体包括以下步骤：
S401、卸载策略确定装置根据Q-learning算法，确定初始卸载策略的Q值。
在一种可能的实现方式中，初始卸载策略的Q值满足以下公式：
Q(s,a)＝(1-α)Q(s,a)+α[R+γmaxQ(s',a')]
其中，Q(s,a)表示初始卸载策略在当前时刻的Q值，s表示Q-learning算法中的状态参数，a表示Q-learning算法中的动作参数，R表示Q-learning算法中的回报参数，α表示学习率，γ表示权重参数(取值为0至1)，Q(s',a')表示初始卸载策略在下一时刻的Q值。
S402、卸载策略确定装置根据初始卸载策略的Q值，对初始卸载策略进行优化。
可选的，卸载策略确定装置以每个计算任务为单位，对初始卸载策略进行优化。示例性地，对于某一计算任务，卸载策略确定装置根据Q-learning算法随机设定该计算任务的一个初始状态，并在该初始状态下选择一个动作。进而，卸载策略确定装置计算出上述动作下的计算任务相应的Q值，并更新Q值表。最后，每进行一次迭代，卸载策略确定装置会同步计算出此时的损耗函数。
S403、卸载策略确定装置在损耗函数满足预设条件时，将优化后的初始卸载策略确定为最终卸载策略。
可选的，在每一次迭代优化过程中，卸载策略确定装置在确定出初始卸载策略的Q值后，会确定出此时初始卸载策略对应的损耗函数。
可选的，上述预设条件可为损耗函数的值小于预设阈值，或者，预设条件还可为损耗函数达到收敛。进一步的，在损耗函数满足预设条件时，卸载策略确定装置将优化后的初始卸载策略确定为最终卸载策略。
可选的，卸载策略确定装置在确定出最终卸载策略后，将最终卸载策略发送至终端，由终端执行该策略。
基于上述技术方案，本申请实施例能够根据初始卸载策略的损耗函数和预设算法，来对初始卸载策略进行优化，以确定出最终卸载策略，以便于终端按照该策略执行计算任务的卸载。
示例性地，结合图5，对本申请提供的技术方案的具体仿真的效果进行说明。
需要指出的是，图5示出了基于本申请实施例提供的技术方案来进行仿真实验得出的，能耗权重因子βE与损耗函数LF的对应关系。图中四种曲线分别对应全部计算任务皆在终端本地计算的策略(图中用All-local scheme表示)、全部计算任务皆卸载至云服务器得到策略(图中用All-edge scheme表示)、一种现有随机策略(图中用Random scheme表示)以及本申请实施例提供的卸载策略确定方法确定出的最终卸载策略(图中用QLBA scheme表示)。不难看出，本申请实施例所提供的方法确定出的最终卸载策略，对应的损耗函数始终为四种方案中最小的，并且增长平稳，随着能耗权重因子的增加，终端更倾向于在本地完成计算任务。
本申请实施例可以根据上述方法示例对卸载策略确定装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
示例性的，如图6所示，为本申请实施例所涉及的一种卸载策略确定装置的一种可能的结构示意图。该卸载策略确定装置600包括：处理单元601。
其中，处理单元601，用于用于根据预设算法，确定终端对于M个计算任务的初始卸载策略。
处理单元601，还用于确定至少一个第一计算任务的迁移成本。
处理单元601，还用于根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数。
处理单元601，还用于根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略。
可选的，处理单元601，还用于根据至少一个第一计算任务的迁移成本，确定至少一个第二计算任务。
可选的，处理单元601，还用于根据至少一个第二计算任务，确定至少一个第三计算任务。
可选的，处理单元601，还用于根据至少一个第三计算任务，确定初始卸载策略的损耗函数。
可选的，处理单元601，还用于确定每个第三计算任务的损耗函数。
可选的，处理单元601，还用于将每个第三计算任务的损耗函数相加，得到初始卸载策略的损耗函数。
可选的，处理单元601，还用于根据Q-learning算法，确定初始卸载策略的Q值。
可选的，处理单元601，还用于根据初始卸载策略的Q值，对初始卸载策略进行优化。
可选的，处理单元601，还用于在损耗函数满足预设条件时，将优化后的初始卸载策略确定为最终卸载策略。
可选的，卸载策略确定装置600还可以包括存储单元(图6中以虚线框示出)，该存储单元存储有程序或指令，当处理单元601执行该程序或指令时，使得卸载策略确定装置可以执行上述方法实施例所述的卸载策略确定方法。
此外，图6所述的卸载策略确定装置的技术效果可以参考上述实施例所述的卸载策略确定方法的技术效果，此处不再赘述。
示例性地，图7为上述实施例中所涉及的卸载策略确定装置的又一种可能的结构示意图。如图7所示，卸载策略确定装置700包括：处理器702。
其中，处理器702，用于对该卸载策略确定装置的动作进行控制管理，例如，执行上述处理单元601执行的步骤，和/或用于执行本文所描述的技术方案的其它过程。
上述处理器702可以是实现或执行结合本申请内容所描述的各种示例性的逻辑方框，模块和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
可选地，卸载策略确定装置700还可以包括通信接口703、存储器701和总线704。其中，通信接口703用于支持卸载策略确定装置700与其他网络实体的通信。存储器701用于存储该卸载策略确定装置的程序代码和数据。
其中，存储器701可以是卸载策略确定装置中的存储器，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
总线704可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在本申请的电子设备上运行时，使得所述计算机执行上述方法实施例所述的卸载策略确定方法。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该本申请的电子设备执行上述方法实施例所示的方法流程中卸载策略确定装置执行的各个步骤。
其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘。随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的人以合适的组合、或者本领域数值的任何其他形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种卸载策略确定方法，其特征在于，所述方法包括：
根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，所述初始卸载策略用于指示所述终端将P个计算任务卸载至云服务器，所述M个计算任务包括所述P个计算任务，M为正整数，P为自然数；
确定至少一个第一计算任务的迁移成本；其中，所述第一计算任务为所述M个计算任务中，在所述终端发生基站切换后需要进行迁移的计算任务；
根据所述至少一个第一计算任务的迁移成本，确定所述初始卸载策略的损耗函数；
根据所述损耗函数和所述预设算法，对所述初始卸载策略进行优化，以确定最终卸载策略；
所述至少一个第一计算任务的迁移成本用于表征所述至少一个第一计算任务进行迁移时的能耗和时延；
所述根据所述至少一个第一计算任务的迁移成本，确定所述初始卸载策略的损耗函数，具体包括：
根据所述至少一个第一计算任务的迁移成本，确定至少一个第二计算任务；所述第二计算任务为所述至少一个第一计算任务中，迁移成本大于卸载成本的计算任务；
根据所述至少一个第二计算任务，确定所述至少一个第三计算任务；其中，所述第三计算任务为所述M个计算任务中，除去所述至少一个第二计算任务之外的计算任务；
根据所述至少一个第三计算任务，确定所述初始卸载策略的损耗函数；
所述根据所述至少一个第三计算任务，确定所述初始卸载策略的损耗函数，具体包括：
确定每个所述第三计算任务的损耗函数；
将所述每个所述第三计算任务的损耗函数相加，得到所述初始卸载策略的损耗函数；
所述第三计算任务的损耗函数满足以下公式：
其中，Zi表示编号为i的所述第三计算任务的所述损耗函数，βE表示所述终端的能耗权重因子，βT表示所述终端的时延权重因子，i表示所述计算任务的编号，Ei表示所述终端的能耗，Ti表示所述终端的时延，表示所述计算任务i在终端本地执行的能耗，Ti l表示表示所述计算任务i在终端本地执行的时延，N表示所述至少一个第三计算任务的总数量；
所述预设算法为Q-learning算法；
所述根据所述损耗函数和预设算法，对所述初始卸载策略进行优化，以确定最终卸载策略，具体包括：
根据所述Q-learning算法，确定所述初始卸载策略的Q值；
根据所述初始卸载策略的Q值，对所述初始卸载策略进行优化；
在所述损耗函数满足预设条件时，将优化后的初始卸载策略确定为所述最终卸载策略。
2.根据权利要求1所述的方法，其特征在于，所述初始卸载策略的Q值满足以下公式：
Q(s,a)＝(1-α)Q(s,a)+α[R+γmaxQ(s',a')]
其中，Q(s,a)表示所述初始卸载策略在当前时刻的Q值，s表示所述Q-learning算法中的状态参数，a表示所述Q-learning算法中的动作参数，R表示所述Q-learning算法中的回报参数，α表示学习率，γ表示权重参数，Q(s',a')表示所述初始卸载策略在下一时刻的Q值。
3.一种卸载策略确定装置，其特征在于，所述卸载策略确定装置包括：处理单元；
所述处理单元，用于根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，所述初始卸载策略用于指示所述终端将P个计算任务卸载至云服务器，所述M个计算任务包括所述P个计算任务，M为正整数，P为自然数；
所述处理单元，还用于确定至少一个第一计算任务的迁移成本；其中，所述第一计算任务为所述M个计算任务中，在所述终端发生基站切换后需要进行迁移的计算任务；
所述处理单元，还用于根据所述至少一个第一计算任务的迁移成本，确定所述初始卸载策略的损耗函数；
所述处理单元，还用于根据所述损耗函数和所述预设算法，对所述初始卸载策略进行优化，以确定最终卸载策略；
所述处理单元，还用于根据所述至少一个第一计算任务的迁移成本，确定至少一个第二计算任务；所述第二计算任务为所述至少一个第一计算任务中，迁移成本大于卸载成本的计算任务；
所述处理单元，还用于根据所述至少一个第二计算任务，确定所述至少一个第三计算任务；其中，所述第三计算任务为所述M个计算任务中，除去所述至少一个第二计算任务之外的计算任务；
所述处理单元，还用于根据所述至少一个第三计算任务，确定所述初始卸载策略的损耗函数；
所述处理单元，还用于确定每个所述第三计算任务的损耗函数；
所述处理单元，还用于将所述每个所述第三计算任务的损耗函数相加，得到所述初始卸载策略的损耗函数；
所述第三计算任务的损耗函数满足以下公式：
其中，Zi表示编号为i的所述第三计算任务的所述损耗函数，βE表示所述终端的能耗权重因子，βT表示所述终端的时延权重因子，i表示所述计算任务的编号，Ei表示所述终端的能耗，Ti表示所述终端的时延，表示所述计算任务i在终端本地执行的能耗，Ti l表示表示所述计算任务i在终端本地执行的时延，N表示所述至少一个第三计算任务的总数量；
所述处理单元，还用于根据Q-learning算法，确定所述初始卸载策略的Q值；
所述处理单元，还用于根据所述初始卸载策略的Q值，对所述初始卸载策略进行优化；
所述处理单元，还用于在所述损耗函数满足预设条件时，将优化后的初始卸载策略确定为所述最终卸载策略。
4.根据权利要求3所述的卸载策略确定装置，其特征在于，所述初始卸载策略的Q值满足以下公式：
Q(s,a)＝(1-α)Q(s,a)+α[R+γmaxQ(s',a')]
其中，Q(s,a)表示所述初始卸载策略在当前时刻的Q值，s表示所述Q-learning算法中的状态参数，a表示所述Q-learning算法中的动作参数，R表示所述Q-learning算法中的回报参数，α表示学习率，γ表示权重参数，Q(s',a')表示所述初始卸载策略在下一时刻的Q值。
5.一种电子设备，其特征在于，包括：处理器以及存储器；其中，所述存储器用于存储计算机执行指令，当所述电子设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述电子设备执行权利要求1-2中任一项所述的卸载策略确定方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述计算机可读存储介质中的指令由电子设备执行时，使得所述电子设备能够执行如权利要求1-2中任一项所述的卸载策略确定方法。
CN202210421521.9A 2022-04-21 2022-04-21 一种卸载策略确定方法、装置、电子设备及存储介质 Active CN114727336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210421521.9A CN114727336B (zh) 2022-04-21 2022-04-21 一种卸载策略确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210421521.9A CN114727336B (zh) 2022-04-21 2022-04-21 一种卸载策略确定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114727336A CN114727336A (zh) 2022-07-08
CN114727336B true CN114727336B (zh) 2024-04-12

Family

ID=82245541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210421521.9A Active CN114727336B (zh) 2022-04-21 2022-04-21 一种卸载策略确定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114727336B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666149A (zh) * 2020-05-06 2020-09-15 西北工业大学 基于深度强化学习的超密边缘计算网络移动性管理方法
CN111726826A (zh) * 2020-05-25 2020-09-29 上海大学 一种基站密集型边缘计算网络中的在线任务卸载方法
CN111953759A (zh) * 2020-08-04 2020-11-17 国网河南省电力公司信息通信公司 基于强化学习的协同计算任务卸载和迁移的方法及装置
CN112118601A (zh) * 2020-08-18 2020-12-22 西北工业大学 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法
CN112867066A (zh) * 2021-01-26 2021-05-28 南京邮电大学 基于5g多小区深度强化学习的边缘计算迁移方法
CN113010317A (zh) * 2021-03-30 2021-06-22 华南理工大学 联合服务部署与任务卸载方法、装置、计算机设备及介质
CN113115256A (zh) * 2021-04-14 2021-07-13 重庆邮电大学 一种在线vmec服务网络选择的迁移方法
CN113504987A (zh) * 2021-06-30 2021-10-15 广州大学 基于迁移学习的移动边缘计算任务卸载方法及装置
CN113709817A (zh) * 2021-08-13 2021-11-26 北京信息科技大学 多基站多服务器场景下的任务卸载和资源调度方法及装置
CN113973113A (zh) * 2021-10-27 2022-01-25 天津理工大学 一种面向移动边缘计算的分布式服务迁移方法
CN114339891A (zh) * 2021-11-26 2022-04-12 南京邮电大学 一种基于q学习的边缘卸载资源分配方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666149A (zh) * 2020-05-06 2020-09-15 西北工业大学 基于深度强化学习的超密边缘计算网络移动性管理方法
CN111726826A (zh) * 2020-05-25 2020-09-29 上海大学 一种基站密集型边缘计算网络中的在线任务卸载方法
CN111953759A (zh) * 2020-08-04 2020-11-17 国网河南省电力公司信息通信公司 基于强化学习的协同计算任务卸载和迁移的方法及装置
CN112118601A (zh) * 2020-08-18 2020-12-22 西北工业大学 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法
CN112867066A (zh) * 2021-01-26 2021-05-28 南京邮电大学 基于5g多小区深度强化学习的边缘计算迁移方法
CN113010317A (zh) * 2021-03-30 2021-06-22 华南理工大学 联合服务部署与任务卸载方法、装置、计算机设备及介质
CN113115256A (zh) * 2021-04-14 2021-07-13 重庆邮电大学 一种在线vmec服务网络选择的迁移方法
CN113504987A (zh) * 2021-06-30 2021-10-15 广州大学 基于迁移学习的移动边缘计算任务卸载方法及装置
CN113709817A (zh) * 2021-08-13 2021-11-26 北京信息科技大学 多基站多服务器场景下的任务卸载和资源调度方法及装置
CN113973113A (zh) * 2021-10-27 2022-01-25 天津理工大学 一种面向移动边缘计算的分布式服务迁移方法
CN114339891A (zh) * 2021-11-26 2022-04-12 南京邮电大学 一种基于q学习的边缘卸载资源分配方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MEC系统中用户任务的移动性管理研究;刘杨;中国优秀硕士学位论文全文数据库;20200215;全文 *
Mobility-aware Task Offloading and Migration Schemes in SCNs with Mobile Edge Compuying;Zhaolin Liu;2019 IEEE Wireless Communication and Networking Conference;20191031;全文 *
面向移动边缘的组合服务选择及优化;陈昊崴 等;《计算机学报第45卷第1期》;20220115;全文 *

Also Published As

Publication number Publication date
CN114727336A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN107995660B (zh) 支持d2d-边缘服务器卸载的联合任务调度及资源分配方法
CN109257432B (zh) 一种任务切换方法、计算机装置及可读存储介质
CN113115256B (zh) 一种在线vmec服务网络选择的迁移方法
CN110519776B (zh) 一种雾计算系统中的均衡聚类和联合资源分配方法
CN113660303B (zh) 一种端边网云协同的任务卸载方法及系统
US20160269297A1 (en) Scaling the LTE Control Plane for Future Mobile Access
Li et al. Distributed task offloading strategy to low load base stations in mobile edge computing environment
Mazza et al. A partial offloading technique for wireless mobile cloud computing in smart cities
CN114007225A (zh) Bwp的分配方法、装置、电子设备及计算机可读存储介质
CN104581826B (zh) 一种动态负载均衡方法及系统
US11811635B2 (en) Network traffic migration method and apparatus
CN115396358A (zh) 算力感知网络的路由设置方法、装置及存储介质
CN113010317B (zh) 联合服务部署与任务卸载方法、装置、计算机设备及介质
WO2022142277A1 (zh) 一种通信架构的动态调节方法及系统
CN114727336B (zh) 一种卸载策略确定方法、装置、电子设备及存储介质
CN111064666A (zh) 组网方法及装置
CN112788698A (zh) 一种数据处理方法、装置及终端设备
Mazza et al. A user-satisfaction based offloading technique for smart city applications
CN114461299B (zh) 一种卸载决策确定方法、装置、电子设备及存储介质
Jasim et al. Efficient load migration scheme for fog networks
Guan et al. Design and implementation of offloading and resource management techniques in a mobile cloud environment
WO2019000778A1 (zh) 一种虚拟小区的构建方法和装置
CN115278779A (zh) Mec网络中基于渲染感知的vr服务模块动态放置方法
CN116418808A (zh) 一种mec的联合计算卸载和资源分配方法及装置
CN109739513B (zh) 一种多边缘云下服务请求动态调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant