CN112148464B - 一种移动边缘计算任务的卸载方法及系统 - Google Patents

一种移动边缘计算任务的卸载方法及系统 Download PDF

Info

Publication number
CN112148464B
CN112148464B CN202011187036.7A CN202011187036A CN112148464B CN 112148464 B CN112148464 B CN 112148464B CN 202011187036 A CN202011187036 A CN 202011187036A CN 112148464 B CN112148464 B CN 112148464B
Authority
CN
China
Prior art keywords
action
loss
total
task
unloading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011187036.7A
Other languages
English (en)
Other versions
CN112148464A (zh
Inventor
黄勇光
庞宁
陈喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Co ltd
Original Assignee
Shenzhen Power Supply Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Co ltd filed Critical Shenzhen Power Supply Co ltd
Priority to CN202011187036.7A priority Critical patent/CN112148464B/zh
Publication of CN112148464A publication Critical patent/CN112148464A/zh
Application granted granted Critical
Publication of CN112148464B publication Critical patent/CN112148464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种移动边缘计算任务的卸载方法，包括，步骤S1，获取边缘计算网络运行状态st作为初始状态参数值，随机生成动作判断指标y并与预设的动作判断系数z进行比较确定第一卸载动作at；步骤S2，评估所述第二卸载动作at+1执行时的边缘计算网络运行状态st+1，确定卸载动作的奖励变量rt；步骤S3，计算总损耗；以及计算总损耗；步骤S4，比较总损耗与总损耗的差值是否小于等于预设的目标值变化的幅度限值；记录所述第一卸载动作at作为一次卸载动作选项或再次随机生成动作判断指标y并重新计算卸载动作选项；步骤S5，生成最终移动边缘计算任务的卸载方案。本发明着眼于全局优化，忽略短期利益可实现长周期的卸载最优化。

Description

一种移动边缘计算任务的卸载方法及系统
技术领域
本发明涉及电力系统自动化技术领域，特别是涉及一种移动边缘计算任务的卸载方法及系统。
背景技术
移动终端和云服务器之间的长距离导致了大量的通信成本、数据延迟以及能量消耗，对于实时应用会产生负面影响，将部分远程云的计算和存储能力迁移到边缘服务器，开展移动边缘计算可有限减少这类问题的影响。移动边缘网络具有随机性和动态性，部分实时移动应用程序对延迟和能耗方面高度敏感，这些应用的长时间执行会导致较高的能耗。
在移动边缘计算中，移动终端需要决定何时卸载、卸载多少以及卸载什么的问题。目前处理方法多采用启发式的处理方法进行全局优化，考虑前传网络和回传网络的链路状况，在保证时延的情况下进行任务优化卸载，决定在每一个时隙内是否将缓冲任务卸载到移动边缘计算服务器。但是，此类方法仅考虑了最近的边缘服务器，忽视了相邻边缘的效用，都使用启发式学习技术来进行资源分配管理，依赖于以前的工作负载状态，而忽略当前运行状态，无法适用于动态环境优化；对运行状态不能及时响应，无法做到快速合理的分配，造成诸多浪费。
发明内容
本发明的目的在于，提出一种移动边缘计算任务的卸载方法及系统，解决现有资源分配管理不合理，忽略当前运行状态，无法针对动态环境实现长周期的优化的技术问题。
本发明的一方面，提供一种移动边缘计算任务的卸载方法，包括以下步骤：
步骤S1，获取边缘计算网络运行状态st作为初始状态参数值，随机生成动作判断指标y，并将所述动作判断指标y与预设的动作判断系数z进行比较，根据比较结果确定第一卸载动作at；其中，t为迭代次数；
步骤S2，根据所述第一卸载动作at确定下一时刻的第二卸载动作at+1，并评估所述第二卸载动作at+1执行时的边缘计算网络运行状态st+1，作为下一刻状态参数值，将所述初始状态参数值与所述下一时刻状态参数值进行对比，根据对比结果确定卸载动作的奖励变量rt；
步骤S3，计算执行所述第一卸载动作at时的总损耗Ctotal(st,at)；以及计算执行所述第二卸载动作at+t的总损耗Ctotal(st+1,at+1)；
步骤S4，比较第一卸载动作at时的总损耗Ctotal(st,at)与所述第二卸载动作at+1的总损耗Ctotal(st+1,at+1)的差值是否小于等于预设的目标值变化的幅度限值；若小于等于预设的目标值变化的幅度限值，则记录所述第一卸载动作at作为一次卸载动作选项；若大于预设的目标值变化的幅度限值，则将迭代次数t增加一次并判断是否大于等于总迭代次数T；若大于等于总迭代次数T，则记录所述第一卸载动作at作为一次卸载动作选项；若小于总迭代次数T，则再次随机生成动作判断指标y并重新计算卸载动作选项；
步骤S5，记录所有卸载动作选项，生成卸载动作序列(a1,a2…at-1,at…)作为最终移动边缘计算任务的卸载方案。
优选的，所述步骤S1包括：生成的动作判断指标y大于等于预设的动作判断系数z时，则选择边缘计算网络运行状态st下使得移动边缘计算网络的总的损耗Ctotal最小的卸载动作，作为第一卸载动作at。
优选的，生成的动作判断指标y小于预设的动作判断系数z时，则随机选择一条卸载路径上的卸载动作作为第一卸载动作at。
优选的，所述步骤S2包括：当所述初始状态参数值小于所述下一时刻状态参数值时，卸载动作的奖励变量rt为1；
当所述初始状态参数值大于所述下一时刻状态参数值时，卸载动作的奖励变量rt为-1；
当所述初始状态参数值等于所述下一时刻状态参数值时，卸载动作的奖励变量rt为0。
优选的，所述步骤S3包括：根据以下公式计算卸载移动边缘计算任务的总损耗Ctotal：
Figure GDA0004166307680000031
其中，
Figure GDA0004166307680000032
为终端设备的本地计算损耗；/>
Figure GDA0004166307680000033
为最近的边缘计算服务器的损耗；/>
Figure GDA0004166307680000034
为临近边缘计算服务器的损耗；/>
Figure GDA0004166307680000035
为远程云处理计算服务器的损耗；xi表示卸载任务i的决策变量。
优选的，所述步骤S3包括：根据以下公式计算终端设备的本地计算损耗
Figure GDA0004166307680000036
Figure GDA0004166307680000037
Figure GDA0004166307680000038
Figure GDA0004166307680000039
其中，
Figure GDA00041663076800000310
为每个任务的处理时间；fl为本地处理器CPU主频；Ri为此任务所需的计算资源CPU周期数；/>
Figure GDA00041663076800000311
为每个任务的能源损耗；pl为本地处理任务单位能耗；Di为数据量；
根据以下公式计算最近的边缘计算服务器的损耗
Figure GDA00041663076800000312
Figure GDA00041663076800000313
Figure GDA00041663076800000314
Figure GDA00041663076800000315
其中，
Figure GDA00041663076800000316
为每个任务的处理时间；fe为边缘处理器CPU主频；Bi为通信带宽；/>
Figure GDA00041663076800000317
为每个任务的能源损耗；pe表示边缘处理任务单位能耗；
根据以下公式计算临近边缘计算服务器的损耗
Figure GDA0004166307680000041
Figure GDA0004166307680000042
Figure GDA0004166307680000043
Figure GDA0004166307680000044
其中，
Figure GDA0004166307680000045
为每个任务的处理时间；fa为边缘处理器CPU主频；/>
Figure GDA0004166307680000046
为每个任务的能源损耗；pa表示边缘处理任务单位能耗；
根据以下公式计算远程云处理计算服务器的损耗
Figure GDA0004166307680000047
Figure GDA0004166307680000048
Figure GDA0004166307680000049
Figure GDA00041663076800000410
其中，
Figure GDA00041663076800000411
我每个任务的处理时间；fc为远程云处理器CPU主频；/>
Figure GDA00041663076800000412
为每个任务的能源损耗；pc表示远程云处理任务单位能耗。
优选的，所述步骤S3包括：根据以下公式对卸载移动边缘计算任务的总损耗进行修正：
Ctotal(st,at)＝(1-λ)Ctotal(st,at)+λ(rt+δCtotal(st+1,at+1))
其中，Ctotal(st,at)为第一卸载动作at时的总损耗；Ctotal(st+1,at+1)为第二卸载动作at+1的总损耗。
本发明还提供一种移动边缘计算任务的卸载系统，用以实现所述的移动边缘计算任务的卸载方法，包括：
边缘计算网络状态模块，用以获取边缘计算网络运行状态st作为初始状态参数值；以及评估所述第二卸载动作at+1执行时的边缘计算网络运行状态st+1，作为下一刻状态参数值；
卸载动作模块，用以随机生成动作判断指标y，并将所述动作判断指标y与预设的动作判断系数z进行比较，根据比较结果确定第一卸载动作at；并根据所述第一卸载动作at确定下一时刻的第二卸载动作at+1；以及记录所有卸载动作选项，生成卸载动作序列(a1,a2…at-1,at…)作为最终移动边缘计算任务的卸载方案；
损耗计算模块，用以计算执行所述第一卸载动作at时的总损耗Ctotal(st,at)；以及计算执行所述第二卸载动作at+1的总损耗Ctotal(st+1,at+1)；
奖罚计算模块，用以将所述初始状态参数值与所述下一时刻状态参数值进行对比，根据对比结果确定卸载动作的奖励变量rt；以及比较第一卸载动作at时的总损耗Ctotal(st,at)与所述第二卸载动作at+1的总损耗Ctotal(st+1,at+1)的差值是否小于等于预设的目标值变化的幅度限值。
优选的，所述奖罚计算模块获取的初始状态参数值小于下一时刻状态参数值时，判定卸载动作的奖励变量rt为1；当所述初始状态参数值大于所述下一时刻状态参数值时，卸载动作的奖励变量rt为-1；当所述初始状态参数值等于所述下一时刻状态参数值时，卸载动作的奖励变量rt为0。
优选的，所述损耗计算模块根据以下公式计算终端设备的本地计算损耗
Figure GDA0004166307680000051
Figure GDA0004166307680000052
Figure GDA0004166307680000053
Figure GDA0004166307680000054
其中，
Figure GDA0004166307680000055
为每个任务的处理时间；fl为本地处理器CPU主频；Ri为此任务所需的计算资源CPU周期数；/>
Figure GDA0004166307680000056
为每个任务的能源损耗；pl为本地处理任务单位能耗；Di为数据量；
根据以下公式计算最近的边缘计算服务器的损耗
Figure GDA0004166307680000057
Figure GDA0004166307680000058
Figure GDA0004166307680000059
Figure GDA00041663076800000510
其中，
Figure GDA00041663076800000511
为每个任务的处理时间；fe为边缘处理器CPU主频；Bi为通信带宽；/>
Figure GDA00041663076800000512
为每个任务的能源损耗；pe表示边缘处理任务单位能耗；
根据以下公式计算临近边缘计算服务器的损耗
Figure GDA0004166307680000061
Figure GDA0004166307680000062
Figure GDA0004166307680000063
Figure GDA0004166307680000064
其中，
Figure GDA0004166307680000065
为每个任务的处理时间；fa为边缘处理器CPU主频；/>
Figure GDA0004166307680000066
为每个任务的能源损耗；pa表示边缘处理任务单位能耗；
根据以下公式计算远程云处理计算服务器的损耗
Figure GDA0004166307680000067
Figure GDA0004166307680000068
Figure GDA0004166307680000069
Figure GDA00041663076800000610
其中，
Figure GDA00041663076800000611
我每个任务的处理时间；fc为远程云处理器CPU主频；/>
Figure GDA00041663076800000612
为每个任务的能源损耗；pc表示远程云处理任务单位能耗；
根据以下公式计算总损耗Ctotal：
Figure GDA00041663076800000613
其中，
Figure GDA00041663076800000614
为终端设备的本地计算损耗；/>
Figure GDA00041663076800000615
为最近的边缘计算服务器的损耗；/>
Figure GDA00041663076800000616
为临近边缘计算服务器的损耗；/>
Figure GDA00041663076800000617
为远程云处理计算服务器的损耗；xi表示卸载任务i的决策变量；
以及，根据以下公式对总损耗进行修正：
Ctotal(st,at)＝(1-λ)Ctotal(st,at)+λ(rt+δCtotal(st+1,at+1))
其中，Ctotal(st,at)为第一卸载动作at时的总损耗；Ctotal(st+1,at+1)为第二卸载动作at+1的总损耗。
综上，实施本发明的实施例，具有如下的有益效果：
本发明提供的移动边缘计算任务的卸载方法及系统，分别考虑了本地计算、临近边缘服务器计算、最近边缘服务器计算和远程云计算四种情况；综合考虑当前运行状态和未来运行状态，采用带宽网络评估运行状态，根据运行状态制定奖惩，根据当前运行状态、动作选择和未来运行状态、动作选择计算移动边缘计算任务卸载总损耗；适用于移动边缘计算这种任务负荷、带宽动态变化的决策环境，着眼于全局优化，忽略短期利益可实现长周期的卸载最优化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例中一种移动边缘计算任务的卸载方法的主流程示意图。
图2为本发明实施例中一种移动边缘计算任务的卸载系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明提供的一种移动边缘计算任务的卸载方法的一个实施例的示意图。在该实施例中，移动边缘计算网络中，包括多个边缘服务器和n个移动终端以及远程云服务器，1个移动终端可通过wifi或者移动网络连接移动边缘计算网络，移动终端应综合考虑边缘服务器的工作负载、响应时间或延迟和能源消耗，选择何时的边缘服务器进行计算任务卸载，所述方法包括以下步骤：
步骤S1，获取边缘计算网络运行状态st作为初始状态参数值，随机生成动作判断指标y，并将所述动作判断指标y与预设的动作判断系数z进行比较，根据比较结果确定第一卸载动作at；其中，t为迭代次数；可以理解的，设置迭代次数t＝1，动作判断系数z；λ为自学率；δ为折扣因子；总迭代次数T，设置所有计算任务都在移动终端本地执行，当前边缘计算网络运行状态st。
具体实施例中，生成的动作判断指标y大于等于预设的动作判断系数z时，则选择边缘计算网络运行状态st下使得移动边缘计算网络的总的损耗Ctotal最小的卸载动作，作为第一卸载动作at；生成的动作判断指标y小于预设的动作判断系数z时，则随机选择一条卸载路径上的卸载动作作为第一卸载动作at。可以理解的，当y≥z时，则选择当前状态st下使得Ctotal最小的动作，即
at＝argminCtotal(st,a)，否则随机在12种动作路径中选择1条，得到动作at。具体的，本实施例中的动边缘计算网络中，由移动终端、最近边缘服务器、临近边缘服务器及远程云服务器组成，可以预料的存在12种不同的卸载动作路径，包括：移动终端到最近边缘服务器；移动终端到临近边缘服务器；移动终端到远程云服务器；最近边缘服务器到临近边缘服务器；临近边缘服务器到最近边缘服务器；最近边缘服务器到远程云服务器；最近边缘服务器到远程云服务器；远程云服务器到临近边缘服务器；远程云服务器到最近边缘服务器；最近边缘服务器到最近边缘服务器；远程云服务器到远程云服务器；临近边缘服务器到临近边缘服务器。
步骤S2，根据所述第一卸载动作at确定下一时刻的第二卸载动作at+1，并评估所述第二卸载动作at+1执行时的边缘计算网络运行状态st+1，作为下一刻状态参数值，将所述初始状态参数值与所述下一时刻状态参数值进行对比，根据对比结果确定卸载动作的奖励变量rt；可以理解的，对于移动边缘网络的带宽状况，当采用不同的动作后，计算任务的分配情况不同，占用的网络带宽不同，因此动作at会造成t+1时新的状态st+1。
具体实施例中，当所述初始状态参数值小于所述下一时刻状态参数值时，卸载动作的奖励变量rt为1；当所述初始状态参数值大于所述下一时刻状态参数值时，卸载动作的奖励变量rt为-1；当所述初始状态参数值等于所述下一时刻状态参数值时，卸载动作的奖励变量rt为0。可以理解的，根据卸载动作执行前后状态t+1和状态t的情况，如果状态改善，带宽增加，则奖励，否则进行惩罚，也就是说，rt为奖励值，当取值+1时表示奖励，当取值-1时表示惩罚。
步骤S3，计算执行所述第一卸载动作at时的总损耗Ctotal(st,at)；以及计算执行所述第二卸载动作at+1的总损耗Ctotal(st+1,at+1)。
具体实施例中，根据以下公式计算卸载移动边缘计算任务的总损耗Ctotal：
Figure GDA0004166307680000091
其中，
Figure GDA0004166307680000092
为终端设备的本地计算损耗；/>
Figure GDA0004166307680000093
为最近的边缘计算服务器的损耗；/>
Figure GDA0004166307680000094
为临近边缘计算服务器的损耗；/>
Figure GDA0004166307680000095
为远程云处理计算服务器的损耗；xi表示卸载任务i的决策变量。具体的，xi表示卸载任务i的决策变量，xi＝1表示采用最近边缘服务器计算，xi＝2表示采用邻近边缘服务器计算，xi＝3表示采用远程云计算，xi＝0表示采用本地计算。
具体的，根据以下公式计算终端设备的本地计算损耗
Figure GDA0004166307680000096
Figure GDA0004166307680000097
Figure GDA0004166307680000098
Figure GDA0004166307680000099
其中，
Figure GDA00041663076800000910
为每个任务的处理时间；fl为本地处理器CPU主频；Ri为此任务所需的计算资源CPU周期数；/>
Figure GDA00041663076800000911
为每个任务的能源损耗；pl为本地处理任务单位能耗；Di为数据量；
根据以下公式计算最近的边缘计算服务器的损耗
Figure GDA00041663076800000912
Figure GDA00041663076800000913
Figure GDA00041663076800000914
Figure GDA00041663076800000915
其中，
Figure GDA0004166307680000101
为每个任务的处理时间；fe为边缘处理器CPU主频；Bi为通信带宽；/>
Figure GDA0004166307680000102
为每个任务的能源损耗；pe表示边缘处理任务单位能耗；
根据以下公式计算临近边缘计算服务器的损耗
Figure GDA0004166307680000103
Figure GDA0004166307680000104
Figure GDA0004166307680000105
Figure GDA0004166307680000106
其中，
Figure GDA0004166307680000107
为每个任务的处理时间；fa为边缘处理器CPU主频；/>
Figure GDA0004166307680000108
为每个任务的能源损耗；pa表示边缘处理任务单位能耗；
根据以下公式计算远程云处理计算服务器的损耗
Figure GDA0004166307680000109
Figure GDA00041663076800001010
Figure GDA00041663076800001011
Figure GDA00041663076800001012
其中，
Figure GDA00041663076800001013
我每个任务的处理时间；fc为远程云处理器CPU主频；Pi c为每个任务的能源损耗；pc表示远程云处理任务单位能耗。
步骤S4，比较第一卸载动作at时的总损耗Ctotal(st,at)与所述第二卸载动作at+1的总损耗Ctotal(st+1,at+1)的差值是否小于等于预设的目标值变化的幅度限值；若小于等于预设的目标值变化的幅度限值，则记录所述第一卸载动作at作为一次卸载动作选项；若大于预设的目标值变化的幅度限值，则将迭代次数t增加一次并判断是否大于等于总迭代次数T；若大于等于总迭代次数T，则记录所述第一卸载动作at作为一次卸载动作选项；若小于总迭代次数T，则再次随机生成动作判断指标y并重新计算卸载动作选项；可以理解的，根据预设的目标值变化的幅度限值，当t+1和t时刻两个目标值变化幅度小于该值，则标志已实现最优目标。
步骤S5，记录所有卸载动作选项，生成卸载动作序列(a1,a2…at-1,at…)作为最终移动边缘计算任务的卸载方案。
如图2所示，本发明实施例还提供一种移动边缘计算任务的卸载系统，用以实现所述的移动边缘计算任务的卸载方法，包括：
边缘计算网络状态模块，用以获取边缘计算网络运行状态st作为初始状态参数值；以及评估所述第二卸载动作at+1执行时的边缘计算网络运行状态st+1，作为下一刻状态参数值。可以理解的，该模块可设置初始状态，体现在未采取卸载动作时，移动边缘计算网络的带宽情况；以及在卸载动作执行后，针对新的移动边缘计算环境，形成t+1时刻的带宽情况。
卸载动作模块，用以随机生成动作判断指标y，并将所述动作判断指标y与预设的动作判断系数z进行比较，根据比较结果确定第一卸载动作at；并根据所述第一卸载动作at确定下一时刻的第二卸载动作at+1；以及记录所有卸载动作选项，生成卸载动作序列(a1,a2…at-1,at…)作为最终移动边缘计算任务的卸载方案。可以理解的，该模块可根据生成的动作判断指标y和预设的动作判断系数z的比较结果，选择12种卸载动作路径中的一个。
损耗计算模块，用以计算执行所述第一卸载动作at时的总损耗Ctotal(st,at)；以及计算执行所述第二卸载动作at+1的总损耗Ctotal(st+1,at+1)；可以理解的，根据奖惩值、运行状态、动作值计算移动边缘计算网络的总的损耗；具体的，所述损耗计算模块根据以下公式计算终端设备的本地计算损耗
Figure GDA0004166307680000111
Figure GDA0004166307680000112
Figure GDA0004166307680000113
Figure GDA0004166307680000114
其中，
Figure GDA0004166307680000115
为每个任务的处理时间；fl为本地处理器CPU主频；Ri为此任务所需的计算资源CPU周期数；/>
Figure GDA0004166307680000116
为每个任务的能源损耗；pl为本地处理任务单位能耗；Di为数据量；
根据以下公式计算最近的边缘计算服务器的损耗
Figure GDA0004166307680000117
Figure GDA0004166307680000118
Figure GDA0004166307680000119
Figure GDA0004166307680000121
其中，
Figure GDA0004166307680000122
为每个任务的处理时间；fe为边缘处理器CPU主频；Bi为通信带宽；/>
Figure GDA0004166307680000123
为每个任务的能源损耗；pe表示边缘处理任务单位能耗；
根据以下公式计算临近边缘计算服务器的损耗
Figure GDA0004166307680000124
Figure GDA0004166307680000125
Figure GDA0004166307680000126
Figure GDA0004166307680000127
其中，
Figure GDA0004166307680000128
为每个任务的处理时间；fa为边缘处理器CPU主频；/>
Figure GDA0004166307680000129
为每个任务的能源损耗；pa表示边缘处理任务单位能耗；
根据以下公式计算远程云处理计算服务器的损耗
Figure GDA00041663076800001210
Figure GDA00041663076800001211
Figure GDA00041663076800001212
Figure GDA00041663076800001213
其中，
Figure GDA00041663076800001214
我每个任务的处理时间；fc为远程云处理器CPU主频；/>
Figure GDA00041663076800001215
为每个任务的能源损耗；pc表示远程云处理任务单位能耗；
根据以下公式计算总损耗Ctotal：
Figure GDA00041663076800001216
其中，
Figure GDA00041663076800001217
为终端设备的本地计算损耗；/>
Figure GDA00041663076800001218
为最近的边缘计算服务器的损耗；/>
Figure GDA00041663076800001219
为临近边缘计算服务器的损耗；/>
Figure GDA00041663076800001220
为远程云处理计算服务器的损耗；xi表示卸载任务i的决策变量；
以及，根据以下公式对总损耗进行修正：
Ctotal(st,at)＝(1-λ)Ctotal(st,at)+λ(rt+δCtotal(st+1,at+1))
其中，Ctotal(st,at)为第一卸载动作at时的总损耗；Ctotal(st+1,at+1)为第二卸载动作at+1的总损耗。
奖罚计算模块，用以将所述初始状态参数值与所述下一时刻状态参数值进行对比，根据对比结果确定卸载动作的奖励变量rt；以及比较第一卸载动作at时的总损耗Ctotal(st,at)与所述第二卸载动作at+1的总损耗Ctotal(st+1,at+1)的差值是否小于等于预设的目标值变化的幅度限值。具体的，所述奖罚计算模块获取的初始状态参数值小于下一时刻状态参数值时，判定卸载动作的奖励变量rt为1；当所述初始状态参数值大于所述下一时刻状态参数值时，卸载动作的奖励变量rt为-1；当所述初始状态参数值等于所述下一时刻状态参数值时，卸载动作的奖励变量rt为0。可以理解的，根据动作执行前后状态t+1和状态t的情况，如果状态改善，带宽增加，则奖励，否则进行惩罚。
综上，实施本发明的实施例，具有如下的有益效果：
本发明提供的移动边缘计算任务的卸载方法及系统，分别考虑了本地计算、临近边缘服务器计算、最近边缘服务器计算和远程云计算四种情况；综合考虑当前运行状态和未来运行状态，采用带宽网络评估运行状态，根据运行状态制定奖惩，根据当前运行状态、动作选择和未来运行状态、动作选择计算移动边缘计算任务卸载总损耗；适用于移动边缘计算这种任务负荷、带宽动态变化的决策环境，着眼于全局优化，忽略短期利益可实现长周期的卸载最优化。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种移动边缘计算任务的卸载方法，其特征在于，包括以下步骤：
步骤S1，获取边缘计算网络运行状态st作为初始状态参数值，随机生成动作判断指标y，并将所述动作判断指标y与预设的动作判断系数z进行比较，根据比较结果确定第一卸载动作at；其中，t为迭代次数；
步骤S2，根据所述第一卸载动作at确定下一时刻的第二卸载动作at+1，并评估所述第二卸载动作at+1执行时的边缘计算网络运行状态st+1，作为下一刻状态参数值，将所述初始状态参数值与所述下一时刻状态参数值进行对比，根据对比结果确定卸载动作的奖励变量rt；
步骤S3，根据奖励变量rt计算执行所述第一卸载动作at时的总损耗Ctotal(st，at)；以及计算执行所述第二卸载动作at+1的总损耗Ctotal(st+1，at+1)；
步骤S4，比较第一卸载动作at时的总损耗Ctotal(st，at)与所述第二卸载动作at+1的总损耗Ctotal(st+1，at+1)的差值是否小于等于预设的目标值变化的幅度限值；若小于等于预设的目标值变化的幅度限值，则记录所述第一卸载动作at作为一次卸载动作选项；若大于预设的目标值变化的幅度限值，则将迭代次数t增加一次并判断是否大于等于总迭代次数T；若大于等于总迭代次数T，则记录所述第一卸载动作at作为一次卸载动作选项；若小于总迭代次数T，则再次随机生成动作判断指标y并重新计算卸载动作选项；
步骤S5，记录所有卸载动作选项，生成卸载动作序列(a1，a2…at-1，at…)作为最终移动边缘计算任务的卸载方案。
2.如权利要求1所述的方法，其特征在于，所述步骤S1包括：
生成的动作判断指标y大于等于预设的动作判断系数z时，则选择边缘计算网络运行状态st下使得移动边缘计算网络的总的损耗Ctotal最小的卸载动作，作为第一卸载动作at。
3.如权利要求1所述的方法，其特征在于，所述步骤S1包括：
生成的动作判断指标y小于预设的动作判断系数z时，则随机选择一条卸载路径上的卸载动作作为第一卸载动作at。
4.如权利要求2或3所述的方法，其特征在于，所述步骤S2包括：
当所述初始状态参数值小于所述下一时刻状态参数值时，卸载动作的奖励变量rt为1；
当所述初始状态参数值大于所述下一时刻状态参数值时，卸载动作的奖励变量rt为-1；
当所述初始状态参数值等于所述下一时刻状态参数值时，卸载动作的奖励变量rt为0。
5.如权利要求4所述的方法，其特征在于，所述步骤S3包括：
根据以下公式计算卸载移动边缘计算任务的总损耗Ctotal：
Figure FDA0004166307670000021
其中，
Figure FDA0004166307670000022
为终端设备的本地计算损耗；/>
Figure FDA0004166307670000023
为最近的边缘计算服务器的损耗；/>
Figure FDA0004166307670000024
为临近边缘计算服务器的损耗；/>
Figure FDA0004166307670000025
为远程云处理计算服务器的损耗；xi表示卸载任务i的决策变量，n表示卸载任务i的最大值。
6.如权利要求5所述的方法，其特征在于，所述步骤S3包括：
根据以下公式计算终端设备的本地计算损耗
Figure FDA0004166307670000026
Figure FDA0004166307670000027
Figure FDA0004166307670000028
Figure FDA0004166307670000031
其中，
Figure FDA0004166307670000032
为每个任务的处理时间；fl为本地处理器CPU主频；Ri为此任务所需的计算资源CPU周期数；/>
Figure FDA0004166307670000033
为每个任务的能源损耗；pl为本地处理任务单位能耗；Di为数据量；N表示任务的最大值；α表示每个任务的时间处理系数；β表示每个任务的能源损耗系数；
根据以下公式计算最近的边缘计算服务器的损耗
Figure FDA0004166307670000034
Figure FDA0004166307670000035
Figure FDA0004166307670000036
Figure FDA0004166307670000037
其中，
Figure FDA0004166307670000038
为每个任务的处理时间；fe为边缘处理器CPU主频；Bi为通信带宽；/>
Figure FDA0004166307670000039
为每个任务的能源损耗；pe表示边缘处理任务单位能耗；
根据以下公式计算临近边缘计算服务器的损耗
Figure FDA00041663076700000321
Figure FDA00041663076700000310
Figure FDA00041663076700000311
Figure FDA00041663076700000312
其中，
Figure FDA00041663076700000313
为每个任务的处理时间；fa为边缘处理器CPU主频；/>
Figure FDA00041663076700000314
为每个任务的能源损耗；pa表示边缘处理任务单位能耗；
根据以下公式计算远程云处理计算服务器的损耗
Figure FDA00041663076700000315
Figure FDA00041663076700000316
Figure FDA00041663076700000317
Figure FDA00041663076700000318
其中，
Figure FDA00041663076700000319
我每个任务的处理时间；fc为远程云处理器CPU主频；/>
Figure FDA00041663076700000320
为每个任务的能源损耗；pc表示远程云处理任务单位能耗。
7.如权利要求6所述的方法，其特征在于，所述步骤S3包括：
根据以下公式对卸载移动边缘计算任务的总损耗进行修正：
Ctotal(st，at)＝(1-λ)Ctotal(st，at)+λ(rt+δCtotal(st+1，at+1))
其中，Ctotal(st，at)为第一卸载动作at时的总损耗；Ctotal(st+1，at+1)为第二卸载动作at+1的总损耗；rt为奖励变量；λ为自学率；δ为折扣因子。
8.一种移动边缘计算任务的卸载系统，用以实现如权利要求1-7任一所述的方法，其特征在于，包括：
边缘计算网络状态模块，用以获取边缘计算网络运行状态st作为初始状态参数值；以及评估所述第二卸载动作at+1执行时的边缘计算网络运行状态st+1，作为下一刻状态参数值；
卸载动作模块，用以随机生成动作判断指标y，并将所述动作判断指标y与预设的动作判断系数z进行比较，根据比较结果确定第一卸载动作at；并根据所述第一卸载动作at确定下一时刻的第二卸载动作at+1；以及记录所有卸载动作选项，生成卸载动作序列(a1，a2…at-1，at…)作为最终移动边缘计算任务的卸载方案；
损耗计算模块，用以计算执行所述第一卸载动作at时的总损耗Ctotal(st，at)；以及计算执行所述第二卸载动作at+1的总损耗Ctotal(st+1，at+1)；
奖罚计算模块，用以将所述初始状态参数值与所述下一时刻状态参数值进行对比，根据对比结果确定卸载动作的奖励变量rt；以及比较第一卸载动作at时的总损耗Ctotal(st，at)与所述第二卸载动作at+1的总损耗Ctotal(st+1，at+1)的差值是否小于等于预设的目标值变化的幅度限值。
9.如权利要求8所述的系统，其特征在于，所述奖罚计算模块获取的初始状态参数值小于下一时刻状态参数值时，判定卸载动作的奖励变量rt为1；当所述初始状态参数值大于所述下一时刻状态参数值时，卸载动作的奖励变量rt为-1；当所述初始状态参数值等于所述下一时刻状态参数值时，卸载动作的奖励变量rt为0。
10.如权利要求9所述的系统，其特征在于，所述损耗计算模块根据以下公式计算终端设备的本地计算损耗
Figure FDA0004166307670000051
Figure FDA0004166307670000052
Figure FDA0004166307670000053
Figure FDA0004166307670000054
其中，
Figure FDA0004166307670000055
为每个任务的处理时间；fl为本地处理器CPU主频；Ri为此任务所需的计算资源CPU周期数；/>
Figure FDA0004166307670000056
为每个任务的能源损耗；pl为本地处理任务单位能耗；Di为数据量；
根据以下公式计算最近的边缘计算服务器的损耗
Figure FDA0004166307670000057
Figure FDA0004166307670000058
Figure FDA0004166307670000059
Figure FDA00041663076700000510
其中，
Figure FDA00041663076700000511
为每个任务的处理时间；fe为边缘处理器CPU主频；Bi为通信带宽；/>
Figure FDA00041663076700000512
为每个任务的能源损耗；pe表示边缘处理任务单位能耗；
根据以下公式计算临近边缘计算服务器的损耗
Figure FDA00041663076700000513
Figure FDA00041663076700000514
Figure FDA00041663076700000515
Figure FDA00041663076700000516
其中，
Figure FDA00041663076700000517
为每个任务的处理时间；fa为边缘处理器CPU主频；/>
Figure FDA00041663076700000518
为每个任务的能源损耗；pa表示边缘处理任务单位能耗；
根据以下公式计算远程云处理计算服务器的损耗
Figure FDA00041663076700000519
Figure FDA00041663076700000520
Figure FDA00041663076700000521
Figure FDA0004166307670000061
其中，
Figure FDA0004166307670000062
我每个任务的处理时间；fc为远程云处理器CPU主频；/>
Figure FDA0004166307670000063
为每个任务的能源损耗；pc表示远程云处理任务单位能耗；
根据以下公式计算总损耗Ctotal：
Figure FDA0004166307670000064
其中，
Figure FDA0004166307670000065
为终端设备的本地计算损耗；/>
Figure FDA0004166307670000066
为最近的边缘计算服务器的损耗；/>
Figure FDA0004166307670000067
为临近边缘计算服务器的损耗；/>
Figure FDA0004166307670000068
为远程云处理计算服务器的损耗；xi表示卸载任务i的决策变量；
以及，根据以下公式对总损耗进行修正：
Ctotal(st，at)＝(1-λ)Ctotal(st，at)+λ(rt+δCtotal(st+1，at+1))
其中，Ctotal(st，at)为第一卸载动作at时的总损耗；Ctotal(st+1，at+1)为第二卸载动作at+1的总损耗。
CN202011187036.7A 2020-10-30 2020-10-30 一种移动边缘计算任务的卸载方法及系统 Active CN112148464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011187036.7A CN112148464B (zh) 2020-10-30 2020-10-30 一种移动边缘计算任务的卸载方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011187036.7A CN112148464B (zh) 2020-10-30 2020-10-30 一种移动边缘计算任务的卸载方法及系统

Publications (2)

Publication Number Publication Date
CN112148464A CN112148464A (zh) 2020-12-29
CN112148464B true CN112148464B (zh) 2023-07-07

Family

ID=73953680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011187036.7A Active CN112148464B (zh) 2020-10-30 2020-10-30 一种移动边缘计算任务的卸载方法及系统

Country Status (1)

Country Link
CN (1) CN112148464B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144730A (zh) * 2018-08-28 2019-01-04 北京邮电大学 一种小小区下任务卸载方法及装置
CN109684075A (zh) * 2018-11-28 2019-04-26 深圳供电局有限公司 一种基于边缘计算和云计算协同进行计算任务卸载的方法
CN110418416A (zh) * 2019-07-26 2019-11-05 东南大学 移动边缘计算系统中基于多智能体强化学习的资源分配方法
CN111328107A (zh) * 2020-01-20 2020-06-23 北京大学 多云异构移动边缘计算系统架构和能量优化的设计方法
CN111414252A (zh) * 2020-03-18 2020-07-14 重庆邮电大学 一种基于深度强化学习的任务卸载方法
CN111726826A (zh) * 2020-05-25 2020-09-29 上海大学 一种基站密集型边缘计算网络中的在线任务卸载方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144730A (zh) * 2018-08-28 2019-01-04 北京邮电大学 一种小小区下任务卸载方法及装置
CN109684075A (zh) * 2018-11-28 2019-04-26 深圳供电局有限公司 一种基于边缘计算和云计算协同进行计算任务卸载的方法
CN110418416A (zh) * 2019-07-26 2019-11-05 东南大学 移动边缘计算系统中基于多智能体强化学习的资源分配方法
CN111328107A (zh) * 2020-01-20 2020-06-23 北京大学 多云异构移动边缘计算系统架构和能量优化的设计方法
CN111414252A (zh) * 2020-03-18 2020-07-14 重庆邮电大学 一种基于深度强化学习的任务卸载方法
CN111726826A (zh) * 2020-05-25 2020-09-29 上海大学 一种基站密集型边缘计算网络中的在线任务卸载方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度强化学习的移动边缘计算任务卸载研究;卢海峰 等;《计算机研究与发展》;20200731;第57卷(第7期);第1593-1554页 *

Also Published As

Publication number Publication date
CN112148464A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN111405568B (zh) 基于q学习的计算卸载和资源分配方法及装置
CN111405569A (zh) 基于深度强化学习的计算卸载和资源分配方法及装置
Geng et al. Energy-efficient computation offloading in cellular networks
CN114340016B (zh) 一种电网边缘计算卸载分配方法及系统
CN112579194B (zh) 基于时延和事务吞吐量的区块链共识任务卸载方法及装置
CN110351754A (zh) 基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法
CN112637276B (zh) 一种基于数字孪生技术的多用户计算迁移方法
CN111026548A (zh) 一种逆向深度强化学习的电力通信设备测试资源调度方法
CN109358953B (zh) 一种微云中的多任务应用卸载方法
CN112905315A (zh) 移动边缘计算mec网络中的任务处理方法、装置及设备
Hammami et al. On-policy vs. off-policy deep reinforcement learning for resource allocation in open radio access network
CN114461538A (zh) 一种基于实时内容预测与历史资源占用的云计算应用内存管理方法
CN113573363A (zh) 基于深度强化学习的mec计算卸载与资源分配方法
CN115473896A (zh) 基于dqn算法的电力物联网卸载策略和资源配置优化方法
Zhang et al. Energy minimization task offloading mechanism with edge-cloud collaboration in IoT networks
CN116996938A (zh) 车联网任务卸载方法、终端设备及存储介质
CN111158893B (zh) 应用于雾计算网络的任务卸载方法、系统、设备及介质
CN112148464B (zh) 一种移动边缘计算任务的卸载方法及系统
CN114090108A (zh) 算力任务执行方法、装置、电子设备及存储介质
CN117436485A (zh) 基于权衡时延和精度的多退出点的端-边-云协同系统及方法
CN116954866A (zh) 基于深度强化学习的边缘云下任务调度方法及系统
TWI792784B (zh) 基於聯邦強化學習的邊緣計算卸載優化方法及通信系統
WO2023188437A1 (ja) 制御装置、制御方法、及びプログラム
Shukla et al. ECO-RL-ECA: Efficient Computation Offloading using Reinforcement Learning in Edge-Cloud Architecture
CN110290556B (zh) 一种基于最优控制变分法的资源负载均衡调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant