CN113573342A - 一种基于工业物联网的节能计算卸载方法 - Google Patents

一种基于工业物联网的节能计算卸载方法 Download PDF

Info

Publication number
CN113573342A
CN113573342A CN202111132240.3A CN202111132240A CN113573342A CN 113573342 A CN113573342 A CN 113573342A CN 202111132240 A CN202111132240 A CN 202111132240A CN 113573342 A CN113573342 A CN 113573342A
Authority
CN
China
Prior art keywords
industrial
computing
mec server
industrial equipment
unloading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111132240.3A
Other languages
English (en)
Other versions
CN113573342B (zh
Inventor
孙君
赵尚维康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202111132240.3A priority Critical patent/CN113573342B/zh
Publication of CN113573342A publication Critical patent/CN113573342A/zh
Application granted granted Critical
Publication of CN113573342B publication Critical patent/CN113573342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0833—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network energy consumption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0917—Management thereof based on the energy state of entities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于工业物联网的节能计算卸载方法，该方法首先在短程工业物联网系统的小区内靠近工业设备的位置部署若干个MEC服务器；为系统计算工业设备本地执行计算任务时以及计算卸载时的时延与能耗；构建系统卸载决策的优化目标以及约束条件；通过Sarsa算法分析小区内环境信息，得到工业设备的任务卸载请求服务信息和MEC服务器的计算资源占用信息，通过状态值函数的迭代更新选择合适的MEC服务器进行计算任务的卸载；通过粒子群算法分配合适的MEC计算资源给请求服务的工业设备，使得系统中工业设备的总能耗最低，并提高了MEC服务器计算资源的利用率。

Description

一种基于工业物联网的节能计算卸载方法
技术领域
本发明属于无线通信技术领域，具体涉及一种基于工业物联网的节能计算卸载方法。
背景技术
在过去的几十年里，物联网作为一种新的范式，在无线通信和微电子领域取得了巨大的成功，得到了广泛的关注。在工业和制造环境中，物联网被称为工业物联网。工业物联网连接了大量移动数字设备、制造机器、工业设备等，这些设备不断产生大量的数据和信号，用于传感、控制、系统维护和数据分析，工业物联网中的通信和计算任务显然将消耗大量的能量。
考虑到工业物联网设备上的资源有限，工业物联网的能源效率是许多创新工业物联网系统的关键问题，许多工业物联网应用需要在电池上运行多年，因此节约能源消耗是延长工业物联网系统寿命的关键因素。工业物联网拥有它们独特的节能机制。根据工业物联网的工作流程，设备的计算任务请求一般拥有指定的完成截止时间，其中存在的问题是，如何在截止时间内完成任务的前提下，最小化工业设备的能耗。通常的方法是将一部分工业应用任务卸载到具有足够计算资源的计算系统上执行，因此常常在工业物联网系统中引入边缘计算（MEC），利用边缘计算服务器强大的CPU处理器为密集的计算任务提供算力支持，由此减少系统的能耗。但边缘计算也有其自身的局限性，例如边缘计算服务器有限的计算资源以及这些服务器之间的不平衡负载。
针对上述问题，需要一种合适的计算卸载方法。现有的计算卸载方法分为以下几类。第一类：将资源的最优分配问题转化为最小化能耗加权和的凸优化问题，利用拉格朗日算法迭代求取最优解，但此凸优化问题属于NP-hard问题，通过拉格朗日算法很难求取最优解，因此现有工作多数求解的都为次优解；第二类：以最小化能耗为目标在多个设备之间构建博弈模型，利用博弈理论进行卸载决策分析，但这一算法复杂度高，而且有可能不会收敛到全局最优解；第三类：定义各MEC服务器的CPU占用状态为状态空间，定义采取行为后所减少的能耗作为奖励值，采用强化学习中的q-learning算法分析环境信息通过状态值迭代的方式选择最合适的MEC服务器进行卸载，这一方案的问题在于只能为请求服务的设备分配指定的MEC进行计算卸载而不能有效的分配MEC服务器的计算资源，若同时考虑计算资源的分配问题，需要把资源分配问题离散化处理并额外扩充系统的状态空间和行为空间，这会导致极其庞大的算法复杂度并且不容易取得准确的分配方案最优解。
发明内容
发明目的：针对工业物联网系统中工业设备处理计算任务时的能耗问题，本发明提出一种基于工业物联网的节能计算卸载方法。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于工业物联网的节能计算卸载方法，该方法基于短程工业物联网系统实现，所述系统包括N个工业设备和一个基站，设定各工业设备位置固定，同时系统中还部署M个MEC服务器，每个工业设备与其位置最近的MEC服务器的距离相同，并为所述基站部署一个代理MEC服务器，每个MEC服务器均与代理MEC服务器有线连接；
每个所述工业设备均有一个计算任务，且均能将计算任务卸载到MEC服务器或本地执行，所述MEC服务器不执行系统卸载决策的计算，但实时向代理MEC服务器发送和更新本地的CPU占用状态信息和工业设备的任务卸载请求信息，所述代理MEC服务器执行系统卸载决策的计算；所述节能计算卸载方法具体包括如下步骤：
步骤1，为系统计算工业设备本地执行计算任务时的时延与能耗，以及工业设备执行计算卸载时的时延与能耗；
步骤2，根据步骤1得到的工业设备本地执行计算任务时与计算卸载时的时延与能耗，为最小化系统的处理能耗，构建系统卸载决策的优化目标以及约束条件；
步骤3，利用Sarsa算法和粒子群算法求解系统卸载决策的优化目标，具体为利用Sarsa算法分析系统的环境信息、工业设备的任务卸载请求信息和MEC服务器的计算资源占用信息，通过状态值函数得到该系统能耗最小化时工业设备的计算卸载决策，并利用粒子群算法确定MEC服务器的计算资源分配结果。
进一步地，将
Figure 41447DEST_PATH_IMAGE001
表示系统的计算卸载决策，其中
Figure 224167DEST_PATH_IMAGE002
，
Figure 535062DEST_PATH_IMAGE003
表示第j个工业设备的计算卸载决策；若
Figure 992588DEST_PATH_IMAGE004
，表 示第j个工业设备将计算任务卸载到第i个MEC服务器即卸载目标MEC服务器进行处理；若
Figure 869277DEST_PATH_IMAGE005
，表示第j个工业设备在本地执行计算任务。
进一步地，所述步骤1中，第j个工业设备本地执行计算任务时的时延包括计算时延，如下：
Figure 488478DEST_PATH_IMAGE006
式中，
Figure 286669DEST_PATH_IMAGE007
表示第j个工业设备本地执行计算任务时的计算时延，
Figure 954411DEST_PATH_IMAGE008
表示第j个工业 设备完成计算任务所需的CPU周期总数，
Figure 154448DEST_PATH_IMAGE009
表示第j个工业设备计算每比特所需的CPU转 数；
第j个工业设备本地执行计算任务时的能耗为：
Figure 944550DEST_PATH_IMAGE010
式中，
Figure 964458DEST_PATH_IMAGE011
表示第j个工业设备本地执行计算任务时的能耗，
Figure 498208DEST_PATH_IMAGE012
表示CPU在每个周期 内执行计算任务的能耗，且
Figure 349489DEST_PATH_IMAGE013
。
进一步地，所述步骤1中，当工业设备执行计算卸载时，首先第j个工业设备将计算 任务通过基站的子信道发送至与该工业设备位置最近的MEC服务器，然后MEC服务器通过有 线方式发送至由系统卸载决策决定的卸载目标MEC服务器；执行计算卸载的时延包括传输 时延与计算时延，所述传输时延表示为：
Figure 44913DEST_PATH_IMAGE014
；所述计算时延表示为：
Figure 20959DEST_PATH_IMAGE015
； 得到工业设备执行计算卸载时的时延为：
Figure 92820DEST_PATH_IMAGE016
；其中，
Figure 1870DEST_PATH_IMAGE017
表示第j个工业设 备执行计算卸载时的时延，
Figure 133774DEST_PATH_IMAGE018
表示第j个工业设备的计算任务数据量大小，
Figure 128275DEST_PATH_IMAGE019
表示第j个工 业设备完成计算任务所需的CPU周期总数，
Figure 3827DEST_PATH_IMAGE020
表示第i个MEC服务器的计算资源分配，具 体为分配给第j个工业设备的计算能力，
Figure 32963DEST_PATH_IMAGE021
表示第j个工业设备通过基站的子信道发送至 与该工业设备位置最近的MEC服务器的上行传输速率，且
Figure 335769DEST_PATH_IMAGE022
其中，
Figure 83145DEST_PATH_IMAGE023
表示第j个工业设备分配到的子信道带宽，
Figure 496809DEST_PATH_IMAGE024
表示第j个工业设备的传输 功率，
Figure 380451DEST_PATH_IMAGE025
表示高斯白噪声功率，
Figure 588578DEST_PATH_IMAGE026
表示第j个工业设备和与该工业设备位置最近的MEC服 务器之间的信道增益，且
Figure 760934DEST_PATH_IMAGE027
，
Figure 978288DEST_PATH_IMAGE028
表示第j个工业设备和与该工业设备位置最 近的MEC服务器之间的空间距离，v表示路径损耗因子，H表示信道衰落系数。
进一步地，步骤1中，当工业设备执行计算卸载时，首先第j个工业设备将计算任务发送至与该工业设备位置最近的MEC服务器，此过程产生传输能耗；之后工业设备保持待机状态等待回传结果，此过程产生待机能耗；工业设备执行计算卸载时的能耗包括传输能耗和待机能耗，表示如下：
Figure 716437DEST_PATH_IMAGE029
式中，
Figure 361045DEST_PATH_IMAGE030
表示第j个工业设备执行计算卸载时的能耗；
Figure 817434DEST_PATH_IMAGE031
表示工业设备传输计算 任务时的发射功率，
Figure 838480DEST_PATH_IMAGE032
表示工业设备等待回传结果时的待机功率。
进一步地，所述步骤2中，系统卸载决策的优化目标表示如下：
Figure 696715DEST_PATH_IMAGE033
约束条件表示如下：
Figure 512224DEST_PATH_IMAGE034
Figure 190330DEST_PATH_IMAGE035
Figure 952749DEST_PATH_IMAGE036
式中，
Figure 665491DEST_PATH_IMAGE037
表示系统的计算卸载决策，
Figure 651901DEST_PATH_IMAGE038
表示第j个 工业设备本地执行计算任务时的能耗，
Figure 82882DEST_PATH_IMAGE039
表示第j个工业设备执行计算卸载时的能耗，
Figure 180151DEST_PATH_IMAGE040
表示第i个MEC服务器的计算资源分配，具体为分配给第j个工业设备的计算能力，
Figure 747399DEST_PATH_IMAGE041
表示第j个工业设备计算每比特所需的CPU转数，
Figure 904711DEST_PATH_IMAGE042
表示第i个MEC服务器自身的计算 资源，
Figure 557409DEST_PATH_IMAGE043
表示第j个工业设备本地执行计算任务时的计算时延，
Figure 723948DEST_PATH_IMAGE044
表示第j个工业设备执行 计算卸载时的时延，
Figure 434719DEST_PATH_IMAGE045
表示完成第j个工业设备的计算任务的截止时间，
Figure 497353DEST_PATH_IMAGE046
表示第j个工 业设备的权重，
Figure 637347DEST_PATH_IMAGE047
和
Figure 341998DEST_PATH_IMAGE048
表示卸载决策，且满足：
Figure 883838DEST_PATH_IMAGE049
其中，
Figure 382952DEST_PATH_IMAGE050
，
Figure 10243DEST_PATH_IMAGE051
表示第j个工业设备的计算卸载决策；
Figure 253005DEST_PATH_IMAGE052
表示第j个工业设备将计算任务卸载到第i个MEC服务器进行处理，
Figure 914931DEST_PATH_IMAGE053
表示第j个工业 设备在本地执行计算任务。
进一步地，所述步骤3的方法如下：
将系统的计算卸载决策
Figure 584947DEST_PATH_IMAGE054
设置为智能体Agent的学习状 态，将智能体Agent可执行的行为空间设置为
Figure 637216DEST_PATH_IMAGE055
， 其中，
Figure 683670DEST_PATH_IMAGE056
，
Figure 200102DEST_PATH_IMAGE057
表示第j个工业设备的计算卸载决策，
Figure 41019DEST_PATH_IMAGE058
表示第j个工业设备的计 算卸载决策行为，若
Figure 642901DEST_PATH_IMAGE059
，表示第j个工业设备将计算任务卸载到第i个 MEC服务器进行处理；若
Figure 227466DEST_PATH_IMAGE060
，表示第j个工业设备在本地执行计算任务；智能体Agent的 学习状态和可执行的行为空间构成状态值表
Figure 598405DEST_PATH_IMAGE061
，所述状态值表
Figure 610223DEST_PATH_IMAGE061
通过奖励值和当 前状态下的行为进行更新，具体如下：
输入：工业设备信息
Figure 699402DEST_PATH_IMAGE062
，工业设备的计算任务信息
Figure 25341DEST_PATH_IMAGE063
， MEC服务器的计算资源占用信息；
其中，
Figure 516365DEST_PATH_IMAGE064
表示第j个工业设备计算每比特所需的CPU转数，
Figure 699085DEST_PATH_IMAGE065
表示第j个工业设备 的传输功率，
Figure 275560DEST_PATH_IMAGE066
表示第j个工业设备和与该工业设备位置最近的MEC服务器之间的信道增 益，
Figure 201927DEST_PATH_IMAGE067
表示第j个工业设备的计算任务数据量大小，
Figure 547458DEST_PATH_IMAGE068
表示第j个工业设备完成计算任务所 需的CPU周期总数，
Figure 901079DEST_PATH_IMAGE069
表示完成第j个工业设备的计算任务的截止时间；
输出：计算卸载决策S，状态值表
Figure 699271DEST_PATH_IMAGE070
，MEC服务器的计算资源分配
Figure 429329DEST_PATH_IMAGE071
；
步骤3.1，选择任一网络状态初始化计算卸载决策S，状态值表置0，设置折扣率
Figure 629367DEST_PATH_IMAGE072
，学习率
Figure 153889DEST_PATH_IMAGE073
，
Figure 970535DEST_PATH_IMAGE074
，第一迭代次数I=1；
步骤3.2，更新学习率
Figure 504285DEST_PATH_IMAGE075
；
步骤3.3，从0-1中选择随机数q，比较q和
Figure 558828DEST_PATH_IMAGE076
的大小；
若
Figure 988673DEST_PATH_IMAGE077
，则从智能体Agent可执行的行为空间
Figure 761457DEST_PATH_IMAGE078
中随机选择第j个工业设备的卸载行为
Figure 833318DEST_PATH_IMAGE079
；
若
Figure 742368DEST_PATH_IMAGE080
，则在当前状态值表中选择最大
Figure 874272DEST_PATH_IMAGE061
值对应的行为
Figure 134352DEST_PATH_IMAGE079
作为卸载行为； 当存在若干个相同的最大
Figure 9904DEST_PATH_IMAGE061
值，则随机选择一个最大
Figure 773461DEST_PATH_IMAGE061
值对应的行为
Figure 76266DEST_PATH_IMAGE079
作为卸 载行为；
步骤3.4，利用基于粒子群算法的资源分配算法确定MEC服务器的计算资源分配结果；
步骤3.5，通过奖励函数计算奖励值，并利用贝尔曼方程更新当前状态值表；其中，奖励函数为：
Figure 761325DEST_PATH_IMAGE081
式中，r为当前卸载决策的奖励值，
Figure 174989DEST_PATH_IMAGE082
表示当前卸载决策所产生的能耗，
Figure 58632DEST_PATH_IMAGE083
表 示采取当前卸载决策行为的下一状态所产生的能耗；
贝尔曼方程如下：
Figure 532338DEST_PATH_IMAGE084
式中，
Figure 501431DEST_PATH_IMAGE070
表示状态S下采取行为A的
Figure 718786DEST_PATH_IMAGE085
值；
Figure 722514DEST_PATH_IMAGE086
表示状态
Figure 367122DEST_PATH_IMAGE087
下采取行为
Figure 823511DEST_PATH_IMAGE088
的Q值；
步骤3.6，判断是否达到最大第一迭代次数；若达到，则输出计算卸载决策以及MEC服务器的计算资源分配结果；否则，第一迭代次数I= I +1，返回步骤3.2。
进一步地，所述步骤3.4的方法如下：
步骤3.41，设置数量为N的粒子，N个工业设备组成一个粒子群，每个工业设备作为 一个粒子；设置第二迭代结束阈值
Figure 578978DEST_PATH_IMAGE089
，最大第二迭代次数
Figure 437212DEST_PATH_IMAGE090
，初始惯性权值
Figure 987142DEST_PATH_IMAGE091
，达到最大第二迭代次数时的惯性权值
Figure 134090DEST_PATH_IMAGE092
，学习因子
Figure 693247DEST_PATH_IMAGE093
；
步骤3.42，初始化每个粒子的位置
Figure 405988DEST_PATH_IMAGE094
和速度
Figure 657978DEST_PATH_IMAGE095
，更新局部最优解
Figure 823380DEST_PATH_IMAGE096
，并更新粒子群全局最优解
Figure 920649DEST_PATH_IMAGE097
；其中
Figure 753476DEST_PATH_IMAGE098
表示第i个粒子的局部最优 解；
Figure 114050DEST_PATH_IMAGE099
表示粒子群的全局最优解；
Figure 766748DEST_PATH_IMAGE094
表示第i个粒子的位置；
Figure 667708DEST_PATH_IMAGE095
表示第i个粒子的速度；
步骤3.43，利用下列公式更新惯性因子：
Figure 355041DEST_PATH_IMAGE100
式中，
Figure 683255DEST_PATH_IMAGE101
表示惯性因子，
Figure 88828DEST_PATH_IMAGE102
表示第二迭代次数；
步骤3.44，记录当前全局最优解为
Figure 527900DEST_PATH_IMAGE103
；
步骤3.45，利用下列公式更新粒子群全局最优解：
Figure 69740DEST_PATH_IMAGE104
式中，
Figure 568854DEST_PATH_IMAGE099
表示粒子群的全局最优解；
步骤3.46，利用下列公式更新各个粒子的速度和位置：
Figure 196144DEST_PATH_IMAGE106
式中，
Figure 438907DEST_PATH_IMAGE107
表示区间(0,1)上的均匀分布的随机数；
步骤3.47，对于每一个粒子，判断若
Figure 835253DEST_PATH_IMAGE108
，则使
Figure 505269DEST_PATH_IMAGE109
；若
Figure 619855DEST_PATH_IMAGE110
，则使
Figure 666309DEST_PATH_IMAGE111
；由此对每一个粒子的局部最优解以及粒子群 的全局最优解进行更新；其中，
Figure 120424DEST_PATH_IMAGE112
表示采用
Figure 961341DEST_PATH_IMAGE094
值作为卸载决策所产生的能耗；
Figure 563224DEST_PATH_IMAGE113
表示采用
Figure 147789DEST_PATH_IMAGE114
值作为卸载决策所产生的能耗；
Figure 518727DEST_PATH_IMAGE115
表示采用
Figure 530546DEST_PATH_IMAGE099
值作 为卸载决策所产生的能耗；
步骤3.48，判断
Figure 885304DEST_PATH_IMAGE116
以及
Figure 7980DEST_PATH_IMAGE117
是否成立；若成立，则 每一个粒子的局部最优解作为MEC服务器的计算资源分配结果输出；否则，第二迭代次数
Figure 233425DEST_PATH_IMAGE118
，返回步骤3.43重新更新惯性因子。
有益效果：与现有技术相比，本发明技术方案具有以下有益技术效果：
（1）本发明针对工业物联网系统的特点构建了系统决策模型，基于Sarsa算法保守的特点对能耗优化问题进行了解耦，与现有技术相比，以较低的算法复杂度，同时完成了计算卸载决策优化和资源分配优化。
（2）本发明使用强化学习算法和进化学习算法针对原始目标问题直接求解，与现 有技术相比，不需要简化优化问题，就可以获得原始目标问题的最优解，并且通过Sarsa算 法的
Figure 681724DEST_PATH_IMAGE119
机制和粒子群算法的
Figure 992620DEST_PATH_IMAGE120
参数，本发明方法可以轻松跳出局部最优 解。
附图说明
图1是一种实施例下本发明一种基于工业物联网的节能计算卸载系统模型图；
图2是一种实施例下基于Sarsa算法得到工业物联网系统能耗最小化时工业设备的计算卸载决策流程图；
图3是一种实施例下基于粒子群算法的资源分配算法确定MEC服务器的计算资源分配结果流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于工业物联网的节能计算卸载方法，参考图1，该方法针对工业物联网的短程IIoT系统，该类系统一般覆盖范围为几百米，处于一个小区的覆盖范围内。
定义N为该IIoT系统中的工业设备数，在该IIoT系统所处的小区基站部署一代理MEC服务器用于该IIoT系统内计算卸载决策和资源分配的计算，由于工业物联网的工业设备具有低移动性的特点，假设该IIoT系统内的工业设备处于固定位置。在靠近工业设备的位置部署M个MEC服务器，尽量使得系统内N个工业设备距它们最近的MEC服务器距离相同，即尽量将MEC服务器部署在工业设备的中心位置，M可随着系统内任务流强度的大小适当变化，M个MEC与位于小区基站的代理MEC服务器通过有线链路连接。除基站部署的代理MEC外，其余MEC服务器不参与系统卸载决策的计算，但会实时的向位于基站的代理MEC发送和更新本地的CPU占用状态信息和周围工业设备的任务卸载请求信息。
所述节能计算卸载方法具体包括如下步骤：
定义
Figure 918988DEST_PATH_IMAGE121
为第j个工业设备的计算任务，
Figure 467781DEST_PATH_IMAGE122
表示第j个工业设备的计算任务数据量 大小，
Figure 821401DEST_PATH_IMAGE123
表示第j个工业设备完成计算任务所需的CPU周期总数，
Figure 619593DEST_PATH_IMAGE124
表示完成第j个工业设 备的计算任务的截止时间。定义
Figure 349652DEST_PATH_IMAGE125
表示系统的卸载策略，其中
Figure 549689DEST_PATH_IMAGE126
表示第j个工业设备的计算卸载策略，若
Figure 74211DEST_PATH_IMAGE127
，表 示第j个工业设备将计算任务卸载到第i个MEC服务器即卸载目标MEC服务器进行处理；若
Figure 625278DEST_PATH_IMAGE128
，表示第j个工业设备在本地执行计算任务。在选择执行计算卸载时，无论选择卸载 到哪一个MEC服务器，都会首先将计算任务发送到距离此工业设备最近的MEC服务器，然后 通过MEC服务器之间的有线链路转发送达目标MEC服务器。工业设备发送计算任务至MEC服 务器，需要通过相对应基站的子信道进行数据传输，因此，可以计算得到工业设备通过子信 道传输数据到MEC服务器的上行传输速率为：
Figure 893449DEST_PATH_IMAGE129
其中，
Figure 947992DEST_PATH_IMAGE130
表示第j个工业设备分配到的子信道带宽，
Figure 643416DEST_PATH_IMAGE131
表示第j个工业设备的传输 功率，
Figure 416200DEST_PATH_IMAGE132
表示高斯白噪声功率，
Figure 222482DEST_PATH_IMAGE133
表示第j个工业设备和与该工业设备位置最近的MEC服务 器之间的信道增益，表示为
Figure 397111DEST_PATH_IMAGE134
其中，
Figure 263436DEST_PATH_IMAGE135
表示第j个工业设备和与该工业设备位置最近的MEC服务器之间的空间 距离，v表示路径损耗因子，H表示信道衰落系数，是一个以瑞利分布为模型的随机变量。
所选定的计算卸载策略需要首先保证任务处理时间能够满足截止时间要求，任务处理时间主要由两部分构成：计算时延和传输时延。
当
Figure 320254DEST_PATH_IMAGE136
时，工业设备选择本地处理，此时只存在计算时延，传输时延为0，计算 时延为
Figure 664647DEST_PATH_IMAGE137
其中
Figure 21679DEST_PATH_IMAGE138
表示第j个工业设备计算每比特所需的CPU转数，即第j个工业设备的本地 计算能力。
当
Figure 324485DEST_PATH_IMAGE139
时，工业设备选择计算卸载处理，此时的计算时延为
Figure 806282DEST_PATH_IMAGE140
其中，
Figure 423208DEST_PATH_IMAGE141
表示第i个MEC服务器的计算资源分配，具体为分配给第j个工业设备 的计算能力。
计算卸载的传输时延由两部分构成，首先需要将计算任务通过无线链路传输到与该工业设备位置最近的MEC服务器，然后再通过有线链路将计算任务转发到目标MEC服务器，即传输时延为
Figure 306850DEST_PATH_IMAGE142
其中，
Figure 780557DEST_PATH_IMAGE143
为第j个工业设备所对应的位置最近的MEC服务器与目标MEC服务器的 空间距离，u表示有线链路的信息传输速率，由于有线链路信息传输速率远远大于无线链路 信息传输速率，上式中的有线链路传输时间
Figure 749650DEST_PATH_IMAGE144
通常可以忽略不计。因此，计算卸载的处理 时延为
Figure 967005DEST_PATH_IMAGE145
本方案的目标是减少工业设备的处理能耗，当工业设备选择于本地处理计算任务时，产生的能耗为
Figure 970733DEST_PATH_IMAGE146
Figure 615341DEST_PATH_IMAGE147
表示CPU在每个周期内执行计算任务的能耗，且
Figure 71730DEST_PATH_IMAGE148
。
当工业设备选择计算卸载的方式时，工业设备能耗由传输能耗和待机能耗两部分组成。计算卸载时，工业设备首先将本地任务传输到对应的MEC服务器，这会产生传输能耗，之后，工业设备会保持待机状态等待回传结果，这会产生待机能耗，即
Figure 827196DEST_PATH_IMAGE149
其中，
Figure 623114DEST_PATH_IMAGE150
表示工业设备传输计算任务时的发射功率，
Figure 438623DEST_PATH_IMAGE151
表示工业设备等待回传结 果时的待机功率。
由此，得到的优化目标表示为
Figure 382308DEST_PATH_IMAGE152
约束条件表示如下：
Figure 941466DEST_PATH_IMAGE153
Figure 654207DEST_PATH_IMAGE154
Figure 640617DEST_PATH_IMAGE155
其中，
Figure 71599DEST_PATH_IMAGE156
表示第j个工业设备的权重，
Figure 168868DEST_PATH_IMAGE157
和
Figure 1694DEST_PATH_IMAGE158
表示卸载决策，且满足：
Figure 96689DEST_PATH_IMAGE159
其中，约束
Figure 14967DEST_PATH_IMAGE160
用于保证工业设备从MEC服务器分配到的计算能力大于本地计算能 力，否则卸载过程没有意义；约束
Figure 915927DEST_PATH_IMAGE161
用于保证MEC服务器分配出去的计算能力之和不大于 自身拥有的计算能力；约束
Figure 603260DEST_PATH_IMAGE162
用于保证所选卸载决策和资源分配方案可以满足该任务的 截止时间要求。
这是一个NP-hard问题，问题中耦合着值为整数集合的卸载策略变量S和值为浮点数的资源分配变量。通常情况下，该优化目标方程无法求解。因此，考虑引入强化学习算法来解决这一问题。
Sarsa算法是一种经典的强化学习（RL）算法。与其他RL算法相同，在Sarsa算法中，会训练一个智能代理（Agent），Agent会通过与环境交互学习信息，寻找每个状态的最佳行动，不断从一个状态转变到另一个状态，在行动过程后，会根据环境信息获取对应的奖励值，通过这一步骤，Agent会得到一个每个状态所有可能行动的状态值表，即Q值表，通过反复执行这一过程，Agent将不断更新Q值表，使Q值表越来越接近真实的环境奖励值，通过Q值表的反复更新，Agent会在每一次寻找最佳行动时获得更准确的最优解。Sarsa算法与其他RL算法不同的是，Sarsa算法不是一个贪婪的RL算法，Sarsa算法在每一个迭代过程中通过采取的行动来更新Q值表，而非其他传统RL算法中依据最佳行动来更新Q值表。这一区别在于，其他传统的RL算法，在每一个迭代的过程中，是通过观测来更新Q值表，然后采取行为，而Sarsa算法则实际采取行为，然后更新Q值表，因此，Sarsa算法具有更加保守的特点，在迭代过程中，Sarsa算法中的Agent决策会逐渐趋向于最优决策但不是直接得出最优决策，基于此，作者利用Sarsa算法对原优化问题进行解耦，把原优化问题分解为卸载决策问题和资源分配问题两部分。
RL算法通常具有有限的状态空间和行为空间，这意味着通过RL算法一般只能解决解为整数类型的优化问题。如果使用RL算法解决解为浮点数类型的优化问题，需要对浮点数类型的解进行离散化，即用一足够小的单位变量对解进行量化，这一过程会极大的扩充系统的状态空间和行为空间，会带来庞大的系统复杂度和训练决策时间，在工业物联网环境中一般不支持量化带来的额外的时延和计算资源的负担。因此，基于以上特点，本发明采用Sarsa算法来求解优化问题中的卸载决策问题。
Sarsa算法中，需要确定3个关键要素，分别是优化问题中的环境状态、Agent的可 执行行为和环境对行为的评价奖励值。结合工业设备任务卸载决策问题的特点，将工业设 备卸载决策的集合设置为Agent的学习状态，即
Figure 931473DEST_PATH_IMAGE163
；将Agent可 执行的行为空间设置为
Figure 71467DEST_PATH_IMAGE164
，其中
Figure 776118DEST_PATH_IMAGE165
表示， 工业设备j的计算任务将在本地执行；
Figure 317958DEST_PATH_IMAGE166
则表示，工业设备j将计算任务卸载到第i个 MEC服务器处理。系统通过检测行为所产生的能源损耗确定每一步行为的奖励值，用于评判 Agent本次采取的行为，进而指导Agent的学习过程。据此，设置奖励函数为
Figure 817073DEST_PATH_IMAGE167
其中
Figure 647625DEST_PATH_IMAGE168
表示当前卸载决策所产生的能源消耗，
Figure 710563DEST_PATH_IMAGE169
则表示采取行为后下一 状态所产生的能源消耗。
基于贝尔曼方程，通过奖励值和行为更新Q值表，即
Figure 106909DEST_PATH_IMAGE170
其中
Figure 776925DEST_PATH_IMAGE171
为折扣率，用于表示未来效益对当前状态值影响的衰减系数，用 来限定未来状态对当前状态的影响比例。其中，
Figure 891511DEST_PATH_IMAGE172
为学习率，用于表示Agent 在每一次行为中学习的比率，I为第一迭代次数，随着迭代次数的增加，学习率逐步提升，可 见
Figure 875648DEST_PATH_IMAGE173
。
在每一轮迭代过程中，决策系统选择决策行为时采用
Figure 392080DEST_PATH_IMAGE174
的方式，即系 统有
Figure 232997DEST_PATH_IMAGE175
的概率选择Q值最高的行为，有
Figure 834880DEST_PATH_IMAGE176
的概率选择一个随机行为。
Figure 685024DEST_PATH_IMAGE177
可以 避免系统陷入局部最优解，系统有
Figure 55963DEST_PATH_IMAGE176
的概率跳出当前局部最优解。
参考图2，基于Sarsa的卸载决策算法如下：
输入：工业设备信息
Figure 67781DEST_PATH_IMAGE178
，工业设备的计算任务信息
Figure 891380DEST_PATH_IMAGE179
， MEC的计算资源占用信息；
输出：优化卸载决策S，状态值表
Figure 279636DEST_PATH_IMAGE180
，资源分配策略
Figure 708344DEST_PATH_IMAGE181
初始化：选择一随机网络状态作为待优化的卸载决策S，状态值表置0，折扣率
Figure 891063DEST_PATH_IMAGE182
，学习率
Figure 467538DEST_PATH_IMAGE183
，
Figure 659485DEST_PATH_IMAGE184
；
for each episode：
产生0-1中的随机数q；
更新学习率
Figure 473857DEST_PATH_IMAGE183
；
If
Figure 358637DEST_PATH_IMAGE185
：
从
Figure 156828DEST_PATH_IMAGE164
中随机选取卸载行为
Figure 886887DEST_PATH_IMAGE186
；
If
Figure 24607DEST_PATH_IMAGE187
：
选取该状态下Q值最大的行为作为卸载行为
Figure 814709DEST_PATH_IMAGE186
，若有Q值相同的多个行为，则从中 随机选取一个卸载行为；
end if
通过基于粒子群算法的资源分配算法确定最优资源分配策略
Figure 100197DEST_PATH_IMAGE181
；
根据当前环境得到行为
Figure 368367DEST_PATH_IMAGE186
的奖励值：
Figure 422911DEST_PATH_IMAGE188
更新Q值表：
Figure 649493DEST_PATH_IMAGE189
end for
值得注意的是，Sarsa算法中包含着优化问题中的另一部分，资源分配问题。基于Sarsa算法保守的特点，在决策过程的每一轮迭代中，计算卸载决策S会向优化目标的方向逐步靠近，但相对保守，这使得系统有机会在决策过程中同时确定最优的资源分配策略，并且资源分配问题的求解过程不会受到决策过程的约束。
由于在每一轮的决策过程中，卸载决策S已通过Sarsa算法以
Figure 156697DEST_PATH_IMAGE190
方式确 定，此时的资源分配问题变为：
Figure 962979DEST_PATH_IMAGE191
Figure 403188DEST_PATH_IMAGE192
Figure 269513DEST_PATH_IMAGE193
Figure 529593DEST_PATH_IMAGE194
此时，优化问题中只剩下
Figure 139566DEST_PATH_IMAGE195
变量，这是一个有约束非凸的最优化问题，这类问题 使用拉格朗日方程一般不易求解，本发明使用粒子群算法来解决这一问题。
粒子群优化算法（PSO）是一种进化计算技术，其通过群体中个体之间的协作和信息共享来寻找最优解。粒子群算法的优势在于算法复杂度低，无过多冗余参数。粒子群算法通过设计一种无质量的粒子来模拟鸟群中的鸟，每个粒子在搜索空间中单独的搜寻最优解，并将个体极值与整个粒子群中的其他粒子共享，粒子群中的所有粒子根据自己找到的当前个体极值和整个粒子群共享的当前全局最优解来调整自己的速度和位置，最终粒子群逐步收敛到最优值。
PSO初始化一群随机粒子，然后通过迭代的方式找到最优解，在每一次的迭代中， 粒子通过下式跟踪个体极值
Figure 371964DEST_PATH_IMAGE196
和整个粒子群的全局最优解
Figure 409190DEST_PATH_IMAGE197
来更新自己的速度
Figure 156566DEST_PATH_IMAGE198
和位置
Figure 570230DEST_PATH_IMAGE199
：
Figure 453872DEST_PATH_IMAGE200
其中
Figure 927579DEST_PATH_IMAGE201
是介于(0,1)之间的随机数，
Figure 896672DEST_PATH_IMAGE202
和
Figure 114027DEST_PATH_IMAGE203
是学习因子，通常
Figure 117755DEST_PATH_IMAGE204
，
Figure 496784DEST_PATH_IMAGE101
是惯性因子，其值非负，该值会影响算法的全局寻优能力和局部寻优能力，其值较大，全 局寻优能力强，其值较小，局部寻优能力强。为了获得更好的寻优能力，本发明采用动态的 线性递减权值，即
Figure 953173DEST_PATH_IMAGE205
其中
Figure 708639DEST_PATH_IMAGE206
为最大第二迭代次数，
Figure 566874DEST_PATH_IMAGE207
为第二迭代次数，
Figure 553022DEST_PATH_IMAGE208
为初始惯性权 值，
Figure 27866DEST_PATH_IMAGE209
为迭代至最大进化代数时的惯性权值。
参考图3，基于粒子群算法的资源分配算法如下：
输入：工业设备信息
Figure 321444DEST_PATH_IMAGE210
，工业设备的计算任务信息
Figure 34185DEST_PATH_IMAGE211
，卸 载决策S，MEC服务器的计算资源占用信息；
输出：MEC服务器的计算资源分配
Figure 286175DEST_PATH_IMAGE212
；
初始化：数量为N的随机粒子，每个粒子具有随机的速度和位置，第二迭代结束阙 值
Figure 717156DEST_PATH_IMAGE213
，最大第二迭代次数
Figure 814425DEST_PATH_IMAGE214
，学习因子
Figure 381673DEST_PATH_IMAGE215
；
while episode
Figure 538984DEST_PATH_IMAGE216
and
Figure 660524DEST_PATH_IMAGE217
do：
更新惯性权值：
Figure 295905DEST_PATH_IMAGE218
；
更新全局最优解：
Figure 983238DEST_PATH_IMAGE219
；
for i=1 to N：
更新粒子的位置
Figure 108189DEST_PATH_IMAGE199
和速度
Figure 451446DEST_PATH_IMAGE198
；
评估粒子，更新局部最优解
Figure 156096DEST_PATH_IMAGE220
和全局最优解
Figure 697936DEST_PATH_IMAGE221
；
if
Figure 197051DEST_PATH_IMAGE222
：
Figure 824341DEST_PATH_IMAGE223
；
if
Figure 67104DEST_PATH_IMAGE224
：
Figure 463450DEST_PATH_IMAGE225
；
end for
episode += 1
end while
由此，每一个粒子的局部最优解作为MEC服务器的计算资源分配结果输出。

Claims (8)

1.一种基于工业物联网的节能计算卸载方法，该方法基于短程工业物联网系统实现，所述系统包括N个工业设备和一个基站，设定各工业设备位置固定，同时系统中还部署M个MEC服务器，每个工业设备与其位置最近的MEC服务器的距离相同，并为所述基站部署一个代理MEC服务器，每个MEC服务器均与代理MEC服务器有线连接；
每个所述工业设备均有一个计算任务，且均能将计算任务卸载到MEC服务器或本地执行，所述MEC服务器不执行系统卸载决策的计算，但实时向代理MEC服务器发送和更新本地的CPU占用状态信息和工业设备的任务卸载请求信息，所述代理MEC服务器执行系统卸载决策的计算；其特征在于，所述节能计算卸载方法具体包括如下步骤：
步骤1，为系统计算工业设备本地执行计算任务时的时延与能耗，以及工业设备执行计算卸载时的时延与能耗；
步骤2，根据步骤1得到的工业设备本地执行计算任务时与计算卸载时的时延与能耗，为最小化系统的处理能耗，构建系统卸载决策的优化目标以及约束条件；
步骤3，利用Sarsa算法和粒子群算法求解系统卸载决策的优化目标，具体为利用Sarsa算法分析系统的环境信息、工业设备的任务卸载请求信息和MEC服务器的计算资源占用信息，通过状态值函数得到该系统能耗最小化时工业设备的计算卸载决策，并利用粒子群算法确定MEC服务器的计算资源分配结果。
2.根据权利要求1所述的一种基于工业物联网的节能计算卸载方法，其特征在于，将
Figure 532376DEST_PATH_IMAGE001
表示系统的计算卸载决策，其中
Figure 980674DEST_PATH_IMAGE002
，
Figure 291570DEST_PATH_IMAGE003
表示第j个工业设备的计算卸载决策；若
Figure 952358DEST_PATH_IMAGE004
，表示第j个工业设备将计 算任务卸载到第i个MEC服务器即卸载目标MEC服务器进行处理；若
Figure 563468DEST_PATH_IMAGE005
，表示第j个工业 设备在本地执行计算任务。
3.根据权利要求1所述的一种基于工业物联网的节能计算卸载方法，其特征在于，所述步骤1中，第j个工业设备本地执行计算任务时的时延包括计算时延，如下：
Figure 917089DEST_PATH_IMAGE006
式中，
Figure 715281DEST_PATH_IMAGE007
表示第j个工业设备本地执行计算任务时的计算时延，
Figure 648602DEST_PATH_IMAGE008
表示第j个工业设备 完成计算任务所需的CPU周期总数，
Figure 848639DEST_PATH_IMAGE009
表示第j个工业设备计算每比特所需的CPU转数；
第j个工业设备本地执行计算任务时的能耗为：
Figure 373161DEST_PATH_IMAGE010
式中，
Figure 658649DEST_PATH_IMAGE011
表示第j个工业设备本地执行计算任务时的能耗，
Figure 926820DEST_PATH_IMAGE012
表示CPU在每个周期内执 行计算任务的能耗，且
Figure 981363DEST_PATH_IMAGE013
。
4.根据权利要求1所述的一种基于工业物联网的节能计算卸载方法，其特征在于，所述 步骤1中，当工业设备执行计算卸载时，首先第j个工业设备将计算任务通过基站的子信道 发送至与该工业设备位置最近的MEC服务器，然后MEC服务器通过有线方式发送至由系统卸 载决策决定的卸载目标MEC服务器；执行计算卸载的时延包括传输时延与计算时延，所述传 输时延表示为：
Figure 942366DEST_PATH_IMAGE014
；所述计算时延表示为：
Figure 715150DEST_PATH_IMAGE015
；得到工业设备执行计算卸 载时的时延为：
Figure 787011DEST_PATH_IMAGE016
；其中，
Figure 961641DEST_PATH_IMAGE017
表示第j个工业设备执行计算卸载时的时延，
Figure 827965DEST_PATH_IMAGE018
表示第j个工业设备的计算任务数据量大小，
Figure 291308DEST_PATH_IMAGE019
表示第j个工业设备完成计算任务所需 的CPU周期总数，
Figure 698018DEST_PATH_IMAGE020
表示第i个MEC服务器的计算资源分配，具体为分配给第j个工业设备 的计算能力，
Figure 727154DEST_PATH_IMAGE021
表示第j个工业设备通过基站的子信道发送至与该工业设备位置最近的 MEC服务器的上行传输速率，且
Figure 29960DEST_PATH_IMAGE022
其中，
Figure 511756DEST_PATH_IMAGE023
表示第j个工业设备分配到的子信道带宽，
Figure 925420DEST_PATH_IMAGE024
表示第j个工业设备的传输功 率，
Figure 809063DEST_PATH_IMAGE025
表示高斯白噪声功率，
Figure 282769DEST_PATH_IMAGE026
表示第j个工业设备和与该工业设备位置最近的MEC服务 器之间的信道增益，且
Figure 251862DEST_PATH_IMAGE027
，
Figure 938059DEST_PATH_IMAGE028
表示第j个工业设备和与该工业设备位置最近 的MEC服务器之间的空间距离，v表示路径损耗因子，H表示信道衰落系数。
5.根据权利要求4所述的一种基于工业物联网的节能计算卸载方法，其特征在于，所述步骤1中，当工业设备执行计算卸载时，首先第j个工业设备将计算任务发送至与该工业设备位置最近的MEC服务器，此过程产生传输能耗；之后工业设备保持待机状态等待回传结果，此过程产生待机能耗；工业设备执行计算卸载时的能耗包括传输能耗和待机能耗，表示如下：
Figure 207366DEST_PATH_IMAGE029
式中，
Figure 851974DEST_PATH_IMAGE030
表示第j个工业设备执行计算卸载时的能耗；
Figure 331801DEST_PATH_IMAGE031
表示工业设备传输计算任务 时的发射功率，
Figure 87267DEST_PATH_IMAGE032
表示工业设备等待回传结果时的待机功率。
6.根据权利要求1所述的一种基于工业物联网的节能计算卸载方法，其特征在于，所述步骤2中，系统卸载决策的优化目标表示如下：
Figure 883185DEST_PATH_IMAGE033
约束条件表示如下：
Figure 698694DEST_PATH_IMAGE034
Figure 642379DEST_PATH_IMAGE035
Figure 201536DEST_PATH_IMAGE036
式中，
Figure 914277DEST_PATH_IMAGE037
表示系统的计算卸载决策，
Figure 635109DEST_PATH_IMAGE038
表示第j个工业设 备本地执行计算任务时的能耗，
Figure 66090DEST_PATH_IMAGE039
表示第j个工业设备执行计算卸载时的能耗，
Figure 163359DEST_PATH_IMAGE040
表示 第i个MEC服务器的计算资源分配，具体为分配给第j个工业设备的计算能力，
Figure 996186DEST_PATH_IMAGE041
表示第j个 工业设备计算每比特所需的CPU转数，
Figure 887919DEST_PATH_IMAGE042
表示第i个MEC服务器自身的计算资源，
Figure 71775DEST_PATH_IMAGE043
表 示第j个工业设备本地执行计算任务时的计算时延，
Figure 972735DEST_PATH_IMAGE044
表示第j个工业设备执行计算卸载 时的时延，
Figure 394489DEST_PATH_IMAGE045
表示完成第j个工业设备的计算任务的截止时间，
Figure 925965DEST_PATH_IMAGE046
表示第j个工业设备的 权重，
Figure 65959DEST_PATH_IMAGE047
和
Figure 770610DEST_PATH_IMAGE048
表示卸载决策，且满足：
Figure 843608DEST_PATH_IMAGE049
其中，
Figure 342723DEST_PATH_IMAGE050
，
Figure 235592DEST_PATH_IMAGE051
表示第j个工业设备的计算卸载决策；
Figure 478355DEST_PATH_IMAGE052
表 示第j个工业设备将计算任务卸载到第i个MEC服务器进行处理，
Figure 874701DEST_PATH_IMAGE053
表示第j个工业设 备在本地执行计算任务。
7.根据权利要求1所述的一种基于工业物联网的节能计算卸载方法，其特征在于，所述步骤3的方法如下：
将系统的计算卸载决策
Figure 544717DEST_PATH_IMAGE054
设置为智能体Agent的学习状 态，将智能体Agent可执行的行为空间设置为
Figure 862566DEST_PATH_IMAGE055
， 其中，
Figure 643440DEST_PATH_IMAGE056
，
Figure 159872DEST_PATH_IMAGE051
表示第j个工业设备的计算卸载决策，
Figure 789DEST_PATH_IMAGE057
表示第j个工业设备的计算 卸载决策行为，若
Figure 868251DEST_PATH_IMAGE058
，表示第j个工业设备将计算任务卸载到第i个MEC 服务器进行处理；若
Figure 452816DEST_PATH_IMAGE059
，表示第j个工业设备在本地执行计算任务；智能体Agent的学 习状态和可执行的行为空间构成状态值表
Figure 823754DEST_PATH_IMAGE060
，所述状态值表
Figure 835573DEST_PATH_IMAGE061
通过奖励值 和当前状态下的行为进行更新，具体如下：
输入：工业设备信息
Figure 659172DEST_PATH_IMAGE062
，工业设备的计算任务信息
Figure 250690DEST_PATH_IMAGE063
， MEC服 务器的计算资源占用信息；
其中，
Figure 476135DEST_PATH_IMAGE064
表示第j个工业设备计算每比特所需的CPU转数，
Figure 658855DEST_PATH_IMAGE065
表示第j个工业设备的传 输功率，
Figure 235330DEST_PATH_IMAGE066
表示第j个工业设备和与该工业设备位置最近的MEC服务器之间的信道增益，
Figure 161698DEST_PATH_IMAGE067
表示第j个工业设备的计算任务数据量大小，
Figure 241649DEST_PATH_IMAGE068
表示第j个工业设备完成计算任务所需的 CPU周期总数，
Figure 860849DEST_PATH_IMAGE069
表示完成第j个工业设备的计算任务的截止时间；
输出：计算卸载决策S，状态值表
Figure 659041DEST_PATH_IMAGE070
，MEC服务器的计算资源分配
Figure 389100DEST_PATH_IMAGE040
；
步骤3.1，选择任一网络状态初始化计算卸载决策S，状态值表置0，设置折扣率
Figure 589137DEST_PATH_IMAGE071
，学习率
Figure 379238DEST_PATH_IMAGE072
，
Figure 664726DEST_PATH_IMAGE073
，第一迭代次数 I=1 ；
步骤3.2，更新学习率
Figure 932896DEST_PATH_IMAGE074
；
步骤3.3，从0-1中选择随机数q，比较q和
Figure 987440DEST_PATH_IMAGE075
的大小；
若
Figure 151705DEST_PATH_IMAGE076
，则从智能体Agent可执行的行为空间
Figure 658910DEST_PATH_IMAGE077
中随机选择第j个工业设备的卸载行为
Figure 730771DEST_PATH_IMAGE057
；
若
Figure 170980DEST_PATH_IMAGE078
，则在当前状态值表中选择最大
Figure 37305DEST_PATH_IMAGE079
值对应的行为
Figure 297385DEST_PATH_IMAGE057
作为卸载行为；当 存在若干个相同的最大
Figure 907357DEST_PATH_IMAGE080
值，则随机选择一个最大
Figure 936493DEST_PATH_IMAGE081
值对应的行为
Figure 176982DEST_PATH_IMAGE057
作为卸 载行为；
步骤3.4，利用基于粒子群算法的资源分配算法确定MEC服务器的计算资源分配结果；
步骤3.5，通过奖励函数计算奖励值，并利用贝尔曼方程更新当前状态值表；其中，奖励函数为：
Figure 924358DEST_PATH_IMAGE082
式中，r为当前卸载决策的奖励值，
Figure 338022DEST_PATH_IMAGE083
表示当前卸载决策所产生的能耗，
Figure 487243DEST_PATH_IMAGE084
表示 采取当前卸载决策行为的下一状态所产生的能耗；
贝尔曼方程如下：
Figure 960950DEST_PATH_IMAGE085
式中，
Figure 930043DEST_PATH_IMAGE060
表示状态S下采取行为A的Q值；
Figure 881819DEST_PATH_IMAGE086
表示状态
Figure 88809DEST_PATH_IMAGE087
下采取行为
Figure 467838DEST_PATH_IMAGE088
的Q值；
步骤3.6，判断是否达到最大第一迭代次数；若达到，则输出计算卸载决策以及MEC服务器的计算资源分配结果；否则，第一迭代次数I= I +1，返回步骤3.2。
8.根据权利要求7所述的一种基于工业物联网的节能计算卸载方法，其特征在于，所述步骤3.4的方法如下：
步骤3.41，设置数量为N的粒子，N个工业设备组成一个粒子群，每个工业设备作为一个 粒子；设置第二迭代结束阈值
Figure 924227DEST_PATH_IMAGE089
，最大第二迭代次数
Figure 679693DEST_PATH_IMAGE090
，初始惯性权 值
Figure 803507DEST_PATH_IMAGE091
，达到最大第二迭代次数时的惯性权值
Figure 619016DEST_PATH_IMAGE092
，学习因子
Figure 562702DEST_PATH_IMAGE093
；
步骤3.42，初始化每个粒子的位置
Figure 59542DEST_PATH_IMAGE094
和速度
Figure 772283DEST_PATH_IMAGE095
，更新局部最优解
Figure 758694DEST_PATH_IMAGE096
，并 更新粒子群全局最优解
Figure 189675DEST_PATH_IMAGE097
；其中
Figure 286944DEST_PATH_IMAGE098
表示第i个粒子的局部最优 解；
Figure 854191DEST_PATH_IMAGE099
表示粒子群的全局最优解；
Figure 277083DEST_PATH_IMAGE094
表示第i个粒子的位置；
Figure 195360DEST_PATH_IMAGE095
表示第i个粒子的速 度；
步骤3.43，利用下列公式更新惯性因子：
Figure 830741DEST_PATH_IMAGE100
式中，
Figure 518074DEST_PATH_IMAGE101
表示惯性因子，
Figure 846287DEST_PATH_IMAGE102
表示第二迭代次数；
步骤3.44，记录当前全局最优解为
Figure 986281DEST_PATH_IMAGE103
；
步骤3.45，利用下列公式更新粒子群全局最优解：
Figure 894195DEST_PATH_IMAGE104
式中，
Figure 436034DEST_PATH_IMAGE105
表示粒子群的全局最优解；
步骤3.46，利用下列公式更新各个粒子的速度和位置：
Figure 935149DEST_PATH_IMAGE107
式中，
Figure 562439DEST_PATH_IMAGE108
表示区间(0,1)上的均匀分布的随机数；
步骤3.47，对于每一个粒子，判断若
Figure 539623DEST_PATH_IMAGE109
，则使
Figure 201548DEST_PATH_IMAGE110
；若
Figure 871564DEST_PATH_IMAGE111
，则使
Figure 986150DEST_PATH_IMAGE112
；由此对每一个粒子的局部最 优解以及粒子群的全局最优解进行更新；其中，
Figure 767025DEST_PATH_IMAGE113
表示采用
Figure 549036DEST_PATH_IMAGE094
值作为卸载决策所产生 的能耗；
Figure 389953DEST_PATH_IMAGE114
表示采用
Figure 991835DEST_PATH_IMAGE115
值作为卸载决策所产生的能耗；
Figure 779663DEST_PATH_IMAGE116
表 示采用
Figure 150601DEST_PATH_IMAGE117
值作为卸载决策所产生的能耗；
步骤3.48，判断
Figure 162420DEST_PATH_IMAGE118
以及
Figure 517178DEST_PATH_IMAGE119
是否成立；若成立，则每 一个粒子的局部最优解作为MEC服务器的计算资源分配结果输出；否则，第二迭代次数
Figure 905434DEST_PATH_IMAGE120
，返回步骤3.43重新更新惯性因子。
CN202111132240.3A 2021-09-27 2021-09-27 一种基于工业物联网的节能计算卸载方法 Active CN113573342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111132240.3A CN113573342B (zh) 2021-09-27 2021-09-27 一种基于工业物联网的节能计算卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111132240.3A CN113573342B (zh) 2021-09-27 2021-09-27 一种基于工业物联网的节能计算卸载方法

Publications (2)

Publication Number Publication Date
CN113573342A true CN113573342A (zh) 2021-10-29
CN113573342B CN113573342B (zh) 2021-12-07

Family

ID=78174663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111132240.3A Active CN113573342B (zh) 2021-09-27 2021-09-27 一种基于工业物联网的节能计算卸载方法

Country Status (1)

Country Link
CN (1) CN113573342B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116647880A (zh) * 2023-07-26 2023-08-25 国网冀北电力有限公司 面向差异化电力业务的基站协作边缘计算卸载方法和装置
CN116938835A (zh) * 2023-09-18 2023-10-24 北京交通大学 工业物联网场景下的带宽资源分配方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413724A (zh) * 2018-10-11 2019-03-01 重庆邮电大学 一种基于mec的任务卸载和资源分配方案
CN109814951A (zh) * 2019-01-22 2019-05-28 南京邮电大学 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN109951897A (zh) * 2019-03-08 2019-06-28 东华大学 一种能耗与延迟约束下的mec卸载方法
CN111586720A (zh) * 2020-05-11 2020-08-25 重庆邮电大学 一种多小区场景下的任务卸载和资源分配的联合优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413724A (zh) * 2018-10-11 2019-03-01 重庆邮电大学 一种基于mec的任务卸载和资源分配方案
CN109814951A (zh) * 2019-01-22 2019-05-28 南京邮电大学 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN109951897A (zh) * 2019-03-08 2019-06-28 东华大学 一种能耗与延迟约束下的mec卸载方法
CN111586720A (zh) * 2020-05-11 2020-08-25 重庆邮电大学 一种多小区场景下的任务卸载和资源分配的联合优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王登辉: "面向物联网的移动边缘计算任务卸载方法研究", 《内江师范学院学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116647880A (zh) * 2023-07-26 2023-08-25 国网冀北电力有限公司 面向差异化电力业务的基站协作边缘计算卸载方法和装置
CN116647880B (zh) * 2023-07-26 2023-10-13 国网冀北电力有限公司 面向差异化电力业务的基站协作边缘计算卸载方法和装置
CN116938835A (zh) * 2023-09-18 2023-10-24 北京交通大学 工业物联网场景下的带宽资源分配方法及电子设备
CN116938835B (zh) * 2023-09-18 2023-11-17 北京交通大学 工业物联网场景下的带宽资源分配方法及电子设备

Also Published As

Publication number Publication date
CN113573342B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113434212B (zh) 基于元强化学习的缓存辅助任务协作卸载与资源分配方法
CN113873022A (zh) 一种可划分任务的移动边缘网络智能资源分配方法
Wu et al. Deep reinforcement learning-based computation offloading for 5G vehicle-aware multi-access edge computing network
CN113573342B (zh) 一种基于工业物联网的节能计算卸载方法
Yao et al. Caching in dynamic IoT networks by deep reinforcement learning
Wu et al. Mobility-aware deep reinforcement learning with glimpse mobility prediction in edge computing
CN114340016B (zh) 一种电网边缘计算卸载分配方法及系统
Chen et al. Cache-assisted collaborative task offloading and resource allocation strategy: A metareinforcement learning approach
CN115037751B (zh) 一种无人机辅助的异构车联网任务迁移与资源分配方法
CN116390161A (zh) 一种移动边缘计算中基于负载均衡的任务迁移方法
CN114564312A (zh) 一种基于自适应深度神经网络的云边端协同计算方法
CN114385272B (zh) 面向海洋任务的在线自适应计算卸载方法及系统
Sellami et al. Deep reinforcement learning for energy-efficient task scheduling in SDN-based IoT network
US20230189075A1 (en) Wireless communication network resource allocation method with dynamic adjustment on demand
CN117580105B (zh) 一种面向电网巡检的无人机任务卸载优化方法
Yan et al. Optimizing mobile edge computing multi-level task offloading via deep reinforcement learning
Li Optimization of task offloading problem based on simulated annealing algorithm in MEC
Li et al. DQN-based computation-intensive graph task offloading for internet of vehicles
CN113821346A (zh) 基于深度强化学习的边缘计算中计算卸载与资源管理方法
CN117560724A (zh) 联邦学习的参与者选择与资源分配联合优化方法及系统
CN117369964A (zh) 边缘计算系统的任务处理方法及相关装置
CN111611069A (zh) 多数据中心间多类型任务迁移方法
CN114615705B (zh) 一种基于5g网络下单用户资源分配策略方法
CN113342529B (zh) 基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法
Sang et al. A Hybrid Heuristic Service Caching and Task Offloading Method for Mobile Edge Computing.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant