CN112689296A - 一种异构IoT网络中的边缘计算与缓存方法及系统 - Google Patents

一种异构IoT网络中的边缘计算与缓存方法及系统 Download PDF

Info

Publication number
CN112689296A
CN112689296A CN202011467098.3A CN202011467098A CN112689296A CN 112689296 A CN112689296 A CN 112689296A CN 202011467098 A CN202011467098 A CN 202011467098A CN 112689296 A CN112689296 A CN 112689296A
Authority
CN
China
Prior art keywords
sbs
content
users
computing
mbs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011467098.3A
Other languages
English (en)
Other versions
CN112689296B (zh
Inventor
田杰
支媛
刘爽
刘倩倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Central China Technology Development Of Electric Power Co ltd
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202011467098.3A priority Critical patent/CN112689296B/zh
Publication of CN112689296A publication Critical patent/CN112689296A/zh
Application granted granted Critical
Publication of CN112689296B publication Critical patent/CN112689296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

本公开提供了一种异构IoT网络中的边缘计算与缓存方法及系统，包括以下步骤：构建基于移动边缘计算的异构IoT网络模型；对异构IoT网络中不同类型的用户分别建模分析；针对计算任务型用户，构建上行链路通信模型与计算模型；针对内容请求型用户，构建下行链路通信模型与缓存模型；问题建模，明确系统优化目标，最小化所有用户的时延与能耗的加权和；采用MADDPG算法联合优化计算卸载、资源分配和内容缓存的决策。本公开采用多智能体深度确定性策略梯度算法最小化系统时延与能耗，有效降低了网络通信开销，提升了网络整体性能。

Description

一种异构IoT网络中的边缘计算与缓存方法及系统
技术领域
本公开属于无线通信技术领域，具体涉及一种异构IoT网络中的边缘计算与缓存方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着移动通信技术的发展，第三代合作伙伴计划(3GPP)定义的5G应用场景提供了三种计算模式：增强型移动宽带(eMBB)，大规模机器类通信(mMTC)以及超可靠低时延通信(uRLLC)。同时，为了满足不断增长的物联网(IoT)应用程序和设备的计算任务与内容请求，运营商采用云计算技术来弥补设备中计算资源与存储容量的局限性。但是从移动设备到远程云计算基础架构长距离的传输可能会导致较大的服务延迟和传输能耗，并且随着设备业务类型增多，IoT设备的并发访问进一步加剧了高带宽需求与频谱资源不足之间的矛盾。因此，移动边缘计算(Mobile Edge Computing,MEC)作为一种有效的解决方案被提出，MEC通过将计算、存储资源部署在用户设备附近来减轻云数据中心的负担。
在基于MEC的IoT网络中，IoT设备可以通过无线信道将全部或部分计算任务卸载到物理上邻近的MEC服务器进行处理，这可以加快任务的处理速度并为设备节省能源。相较于本地计算，MEC可以克服移动设备有限的计算能力；相较于云计算，MEC可以避免将计算任务卸载到远程云而产生的较大延迟。但是，计算卸载通过无线信道进行数据传输，可能导致无线信道拥塞，并且边缘服务器计算资源有限，因此，如何合理的进行计算卸载与资源分配成为一项热点问题。同时，IoT设备产生的内容请求有可能会重复，协作式内容缓存可以通过在移动用户附近缓存流行内容来减轻回程压力和内容访问延迟。因此，研究协作式内容缓存策略对提高数据回传速率和资源利用率至关重要。
发明人发现，针对异构IoT网络中的MEC计算卸载、资源分配、缓存等问题，传统的优化方法需要经过一系列的复杂操作和迭代来解决此类问题。随着无线网络需求的增加，传统的优化方法面临着巨大挑战。例如，目标函数中的变量数量大幅度增长，大量的变量对基于数学方法的计算和内存空间提出了严峻的挑战，同时无线信道在时域中的动态变化，信道状态信息的不确定性以及计算的高复杂度等因素也会影响传统解决方案的性能。因此为了更好的优化异构IoT网络中的MEC计算卸载、资源分配与缓存策略，强化学习作为一种有效的解决方案被广泛应用。深度强化学习通过与环境的反复交互，采用函数逼近的方法，可以很好地解决复杂高维状态空间中的决策问题。
发明内容
为了解决上述问题，本公开提出了一种异构IoT网络中的边缘计算与缓存方法及系统，在考虑计算卸载与资源分配的同时，考虑内容缓存策略，利用深度确定性策略梯度算法的多智能体强化学习方法(MADDPG)智能地解决联合问题，优化系统的时延与能耗，有效降低了网络通信开销，提升了网络整体性能，实现了对异构IoT网络中计算卸载、资源分配和内容缓存的联合优化。
为了实现上述目的，本公开采用了如下的技术方案：
本公开的第一方面提供了一种异构IoT网络中的边缘计算与缓存方法。
一种异构IoT网络中的边缘计算与缓存方法，包括以下步骤：
构建基于移动边缘计算的异构IoT网络模型；
对异构IoT网络中不同类型的用户分别建模分析，针对计算任务型用户，构建上行链路通信模型与计算模型，针对内容请求型用户，构建下行链路通信模型与缓存模型；
问题建模，明确系统优化目标，最小化所有用户的时延与能耗的加权和；
采用MADDPG算法联合优化计算卸载、资源分配和内容缓存的决策。
本公开的第二方面提供了一种异构IoT网络中的边缘计算与缓存系统，采用了本公开第一方面所述的异构IoT网络中的边缘计算与缓存方法。
本公开第三方面提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的异构IoT网络中的边缘计算与缓存方法中的步骤。
本公开第四方面提供了一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的异构IoT网络中的边缘计算与缓存方法中的步骤。
与现有技术相比，本公开的有益效果为：
本公开在考虑计算卸载与资源分配的同时，考虑内容缓存，从计算卸载、资源分配和内容缓存三个方面进行联合优化，利用多智能体深度确定性策略梯度算法(MADDPG)智能地解决联合问题，实现了异构IoT网络中的最优资源分配，有效降低了系统的时延与能耗，减小了网络通信开销，同时提高了用户体验与网络整体性能。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例一中的异构IoT网络架构的模型图；
图2是本公开实施例一中的异构IoT网络边缘计算与缓存方法的流程图；
图3是本公开实施例一中的深度强化学习模型示意图；
图4是本公开实施例一中的MADDPG算法流程图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本实公开中的具体含义，不能理解为对本公开的限制。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
本公开实施例一介绍了一种异构IoT网络中的边缘计算与缓存方法。
如图2所示的一种异构IoT网络中的边缘计算与缓存方法，包括以下步骤：
步骤S01：构建系统模型，详细描述异构IoT架构中的基础设施与设备；
步骤S02：针对计算任务型用户，构建上行链路通信模型；针对内容请求型用户，构建下行链路通信模型；
步骤S03：针对计算任务型用户，构建任务计算模型，并计算执行时延与能耗；
步骤S04：针对内容请求型用户，构建内容缓存模型，并计算传输时延与能耗；
步骤S05：问题建模，通过共同考虑计算卸载，资源分配与内容缓存策略，明确系统优化目标；
步骤S06：在异构IoT网络中，通过MADDPG算法优化计算卸载、资源分配与内容缓存。
在所述步骤S01中，考虑一个包含多个IoT用户、多个SBS与一个MBS的异构IoT网络(如图1所示)。在网络中，MBS和每个SBS都配备一个MEC服务器，可以提供丰富的计算资源与缓存资源。令Km，Ks分别表示MBS和SBS的集合，K＝Km∪Ks＝{0}∪{1，2，...K}。
每个SBS服务一个小区，小区内随机分布多个IoT用户，IoT用户包括计算任务型用户和内容请求型用户，令Io，Ir分别表示计算任务型用户和内容请求型用户的集合，在小区k中，IoT用户集合可表示为
Figure BDA0002834714020000061
Figure BDA0002834714020000062
分别表示在第k个小区覆盖范围内的第i个计算任务用户和内容请求用户。每个计算任务型IoT用户
Figure BDA0002834714020000063
具有一项计算量大且对时延敏感的任务
Figure BDA0002834714020000064
其中
Figure BDA0002834714020000065
表示计算任务的数据大小(bits)，
Figure BDA0002834714020000066
表示完成任务所需的CPU周期总数(CPU cycles per bit)。每个内容请求型IoT用户
Figure BDA0002834714020000071
具有一项请求内容
Figure BDA0002834714020000072
其中
Figure BDA00028347140200000716
表示请求内容n，的数据大小。
在所述步骤S02中，在IoT用户和SBS之间采用正交频分多址(OFDMA)进行通信。假设同一小区内的用户被分配正交频谱，并且MBS与SBS之间的频谱也是正交的。基于此，在本实施例中仅考虑SBS之间的小区间干扰。
在SBS k服务的小区中，计算任务型用户选择将计算任务卸载到MBS或SBS k，其中，MBS与SBS为其关联的用户均等地分配带宽，当SBS小区中的用户关联到MBS时，MBS为其关联用户均等分配带宽；当SBS小区内的用户关联到本小区基站，本小区SBS为其关联用户均等分配带宽。在SBS k服务的小区中，当计算任务型用户
Figure BDA0002834714020000073
选择通过无线信道将计算任务卸载到SBS k配备的MEC服务器时，计算任务型用户
Figure BDA0002834714020000074
的上行链路传输速率
Figure BDA0002834714020000075
为：
Figure BDA0002834714020000076
其中，
Figure BDA0002834714020000077
表示计算任务型用户，
Figure BDA0002834714020000078
表示计算任务型用户
Figure BDA0002834714020000079
的发射功率，Ws表示SBS的带宽，
Figure BDA00028347140200000710
表示计算任务型用户
Figure BDA00028347140200000711
到SBS k之间的信道增益，σ2表示背景噪声功率；
Figure BDA00028347140200000712
表示小区k中选择将计算任务卸载到SBS k的用户数，具体的，在SBSk服务的小区中，
Figure BDA00028347140200000713
表示计算任务型用户
Figure BDA00028347140200000714
选择将计算任务卸载到SBS k。其中，1(e)代表指标函数，如果事件e为真，则1(e)＝1，否则1(e)＝0；
当计算任务型用户
Figure BDA00028347140200000715
选择将计算任务卸载到MBS配备的MEC服务器时，计算任务型用户
Figure BDA0002834714020000081
的上行链路传输速率
Figure BDA0002834714020000082
为：
Figure BDA0002834714020000083
其中，Wm表示MBS的带宽，
Figure BDA0002834714020000084
表示计算任务型用户
Figure BDA0002834714020000085
到MBS之间的信道增益，
Figure BDA0002834714020000086
表示网络中选择将计算任务卸载到MBS的用户数，
Figure BDA0002834714020000087
表示计算任务型用户
Figure BDA0002834714020000088
选择将计算任务卸载到MBS。
在SBS k服务的小区中，SBS k传输内容到内容请求型用户
Figure BDA0002834714020000089
的下行链路传输速率
Figure BDA00028347140200000810
为：
Figure BDA00028347140200000811
其中，Pk表示SBS k的发射功率，
Figure BDA00028347140200000812
表示SBS k到内容请求型用户
Figure BDA00028347140200000813
之间的信道增益，
Figure BDA00028347140200000814
表示SBS k服务的内容请求型用户数。
在所述步骤S03中，定义
Figure BDA00028347140200000815
表示计算任务型用户
Figure BDA00028347140200000816
的卸载决策，
Figure BDA00028347140200000817
表示卸载到MBS进行计算，
Figure BDA00028347140200000818
表示在本地计算，
Figure BDA00028347140200000819
表示在卸载到关联的SBS上进行计算，
Figure BDA00028347140200000820
下面给出了三种针对计算任务型用户执行时延与能耗的计算方式：
a1.本地计算：计算任务型用户
Figure BDA00028347140200000830
在本地执行计算任务
Figure BDA00028347140200000821
用
Figure BDA00028347140200000822
表示计算任务型用户
Figure BDA00028347140200000823
的计算能力，计算任务
Figure BDA00028347140200000824
在本地计算的执行时延
Figure BDA00028347140200000825
为
Figure BDA00028347140200000826
相应的执行能耗
Figure BDA00028347140200000827
为
Figure BDA00028347140200000828
其中，ζ表示有效开关电容，具体取决于芯片的架构；
Figure BDA00028347140200000829
表示每CPU周期的能耗；
a2.卸载到SBS计算：计算任务型用户
Figure BDA0002834714020000091
将其计算任务
Figure BDA0002834714020000092
卸载到关联的SBS配备的MEC服务器进行计算，用Fs表示SBS的MEC服务器的计算资源，用
Figure BDA0002834714020000093
表示计算任务型用户
Figure BDA0002834714020000094
所占用的SBS的MEC服务器的计算资源比例，具体的，在SBSk服务的小区中，选择卸载到SBSk的用户所占用的资源和不能大于SBS的MEC服务器的计算资源，
Figure BDA0002834714020000095
计算任务
Figure BDA0002834714020000096
在关联的SBS的MEC服务器中的执行时延
Figure BDA0002834714020000097
为
Figure BDA0002834714020000098
相应的执行能耗
Figure BDA0002834714020000099
为
Figure BDA00028347140200000910
其中，es表示SBS每CPU周期的能耗；
a3.卸载到MBS计算：计算任务型用户
Figure BDA00028347140200000911
将其计算任务
Figure BDA00028347140200000912
卸载到MBS配备的MEC服务器进行计算，用
Figure BDA00028347140200000913
表示MBS的MEC服务器分配给计算任务型用户
Figure BDA00028347140200000914
的计算资源，卸载到MBS上的所有用户分配相同的计算资源；计算任务
Figure BDA00028347140200000915
在MBS的MEC服务器中的执行时延
Figure BDA00028347140200000916
为
Figure BDA00028347140200000917
相应的执行能耗
Figure BDA00028347140200000918
为
Figure BDA00028347140200000919
其中，em表示MBS每CPU周期的能耗。
由于计算结果的大小小于输入数据的大小，并且下载数据速率高于上传数据速率，因此在本实施例中忽略计算结果的下载传输时延与能耗。
在所述步骤S04中，内容缓存是指将移动设备请求内容及其相关数据缓存在边缘缓存中，以减少用户请求内容的延迟。针对内容缓存，定义N是Internet中内容的总类型，N＝{1，2，...N}，假设内容请求的受欢迎程度被建模为Zipf分布。因此，通过以下方式给出用户
Figure BDA00028347140200000920
请求的第n个内容的流行程度：
Figure BDA0002834714020000101
其中，α代表Zipf分布的形状参数。
定义缓存决策变量
Figure BDA0002834714020000102
表示SBS k配备的MEC服务器选择缓存内容请求型用户
Figure BDA0002834714020000103
的请求内容n，否则
Figure BDA0002834714020000104
Figure BDA0002834714020000105
若
Figure BDA0002834714020000106
则
Figure BDA0002834714020000107
即，当两个或两个以上SBS配备的MEC服务器缓存同一个请求内容时，将用户的请求内容缓存到MBS配备的MEC服务器，SBS配备的MEC服务器不再重复缓存请求内容。
针对提出的异构IoT网络，下面详细描述内容请求型用户
Figure BDA0002834714020000108
的四种内容传输方式：
b1.SBS→UE：若内容请求型用户
Figure BDA0002834714020000109
所关联的SBS k缓存了用户请求内容n，则SBS直接将任务发送到请求内容的设备上，内容请求型用户
Figure BDA00028347140200001010
请求内容n的下行链路传输时延
Figure BDA00028347140200001011
为
Figure BDA00028347140200001012
相应的传输能耗
Figure BDA00028347140200001013
为
Figure BDA00028347140200001014
b2.SBSnb→SBS→UE：若内容请求用户所关联的SBS中未缓存请求内容，则SBS将请求发送到邻居SBS，如果邻居SBS缓存了请求内容，则将内容转发到关联用户的SBS后传给用户。
考虑到同一MBS覆盖范围内的SBS通过光纤连接且距离较近，且该范围内的内容传输时间较短，因此假设MBS覆盖范围内邻居SBS到SBS单个内容的传输时延为固定值Tsbs，传输能耗为固定值Esbs，MBS到SBS单个内容的传输时延为固定值Tmbs，传输能耗为固定值Embs；若内容请求型用户
Figure BDA0002834714020000111
所关联的SBS k未缓存用户请求内容n，邻居SBS k′已缓存，则内容传输时延
Figure BDA0002834714020000112
为
Figure BDA0002834714020000113
相应的传输能耗
Figure BDA0002834714020000114
为
Figure BDA0002834714020000115
b3.MBS→SBS→UE：若内容请求用户所关联的SBS与邻居SBS中均未缓存请求内容，则SBS将请求发送到MBS，若MBS已缓存请求内容，则MBS将内容传输到关联用户的SBS后传给用户。
若内容请求型用户
Figure BDA0002834714020000116
所关联的SBS k与邻居SBS均未缓存内容n，MBS已缓存，则内容传输时延
Figure BDA0002834714020000117
为
Figure BDA0002834714020000118
相应的传输能耗
Figure BDA0002834714020000119
为
Figure BDA00028347140200001110
b4.Core Network→MBS→SBS→UE：若内容请求用户所关联的SBS，邻居SBS和MBS中均未缓存请求内容，则SBS将请求发送到MBS，MBS配备的MEC服务器从Internet请求内容，之后进行内容回传。
内容请求型用户
Figure BDA00028347140200001111
请求内容n的回程带宽
Figure BDA00028347140200001112
为
Figure BDA00028347140200001113
其中，
Figure BDA00028347140200001114
表示核心网络中的平均数据传输速率；内容请求型用户
Figure BDA00028347140200001115
清求内容n的回程链路时延
Figure BDA00028347140200001116
为
Figure BDA00028347140200001117
相应能耗为
Figure BDA00028347140200001118
内容传输时延
Figure BDA00028347140200001119
为
Figure BDA00028347140200001120
相应的传输能耗
Figure BDA00028347140200001121
为
Figure BDA00028347140200001122
在所述步骤S05中，问题建模，通过共同考虑计算卸载，资源分配与内容缓存策略，明确系统优化目标。
针对计算任务用户
Figure BDA0002834714020000121
计算任务的执行时延
Figure BDA0002834714020000122
为
Figure BDA0002834714020000123
能耗
Figure BDA0002834714020000124
为
Figure BDA0002834714020000125
针对内容请求用户
Figure BDA0002834714020000126
内容请求n的传输时延
Figure BDA0002834714020000127
为
Figure BDA0002834714020000128
能耗
Figure BDA0002834714020000129
为
Figure BDA00028347140200001210
对于SBS k服务的小区，小区内计算任务用户
Figure BDA00028347140200001211
的任务执行时延
Figure BDA00028347140200001212
和能耗
Figure BDA00028347140200001213
分别表示为
Figure BDA00028347140200001214
内容请求用户
Figure BDA00028347140200001215
的内容传输时延
Figure BDA00028347140200001216
和能耗
Figure BDA00028347140200001217
分别表示为
Figure BDA00028347140200001218
最小化系统中所有小区内不同业务类型用户的时延和能耗的加权和，定义ωt，ωe表示用户的时延与能耗权重参数，最小化系统效用为minx，a，y{U}，其中，
Figure BDA00028347140200001219
最小化系统效用的优化公式为：
minx，a，y{U}
C1：
Figure BDA0002834714020000131
C2：
Figure BDA0002834714020000132
C3：
Figure BDA0002834714020000133
C4：
Figure BDA0002834714020000134
C5：
Figure BDA0002834714020000135
C6：
Figure BDA0002834714020000136
C7：
Figure BDA0002834714020000137
其中，C1、C2、C3分别表示卸载决策、计算资源分配、内容缓存决策的变量。C4保证计算任务型用户只能选择一种计算方式；C5是SBS配备的MEC服务器的计算资源限制；C6，C7分别是SBS与MBS配备的MEC服务器的缓存资源限制，Ms，Mm分别表示SBS与MBS配置的MEC服务器的存储容量。
在所述步骤S06中，在异构IoT网络中，通过MADDPG算法优化计算卸载、资源分配与内容缓存。
DDPG是一种行为准则和无模型算法，在高维连续动作空间中学习策略。DDPG将actor-critic方法与DQN相结合。使用actor网络来探索策略，使用critic网络来评估所提议策略的性能。为了提高学习性能，采用了DQN的experience replay和batchnormalization等技术。DDPG的最重要特征是它可以在连续的动作空间中进行决策或分配。MADDPG算法是DDPG算法在多智能体系统下的自然扩展。在本实施例中，考虑使用卷积神经网络改进网络模型。
针对时隙，定义状态空间，行动空间和奖励函数，构建如图3所示的多智能体深度强化学习算法模型：
构建用于SBS决策计算卸载、资源分配与内容缓存的多智能体深度强化学习模型，基本流程是：在一个时隙，智能体从状态空间中观察到一个状态，然后根据策略和当前状态从动作空间中选择一个动作，即SBS选择服务用户的卸载方式与资源分配，同时决定是否缓存的用户请求内容，并获得奖励值，智能体根据获得的奖励值调整策略，逐步收敛以获得最优奖励。
具体的状态、动作及奖励函数设置如下：
定义SBS为智能体，SBS之间能够相互通信，共享当前SBS配备的MEC服务器所缓存的内容；
状态空间：时隙t，所有SBS的状态集合：
Figure BDA0002834714020000141
具体的单个SBS k的状态可以描述为：
Figure BDA0002834714020000142
其中，ca表示SBS所缓存的内容，co，ta，lo，ac分别表示当前小区内用户的请求内容，计算任务，位置，计算执行方式，计算资源分配方式等环境因素。
行动空间：时隙t，所有SBS的动作集合：
Figure BDA0002834714020000143
具体的单个SBS k的行动可以描述为：
Figure BDA0002834714020000144
其中，x，a分别表示卸载决策与计算资源分配决策，y表示SBS的缓存决策。
奖励函数：智能体通过与环境的相互作用最大化其奖励来做出决策，为了最小化系统中所有用户的时延与能耗的加权和，将奖励函数
Figure BDA0002834714020000145
定义为
Figure BDA0002834714020000146
其中，
Figure BDA0002834714020000147
表示在于时隙，SBS k服务小区内的优化效用，即优化小区内所有用户时延与能耗的加权和，
Figure BDA0002834714020000148
表示SBS k服务小区内的所有用户最大时延与能耗的加权和。
通过离线集中训练MADDPG模型，每个SBS充当学习智能体，然后在线执行阶段快速做出计算卸载、资源分配和内容缓存决策。如图4所示，MADDPG算法具体的实施过程如下：
1)初始化容量为N的经验池，用于存储训练样本；
2)随机初始化critic网络Q(s，a|θQ)，并随机初始化权重参数θQ；
3)随机初始化actor网络u(s|θu)，初始化权重参数等于θu；
4)for迭代e＝1，2，...，Emax：
5)定义环境初始设置，智能体通过与环境的交互学习得到初始状态s1；
6)for时隙t＝1，2，...，Tmax；
7)for每一个智能体SBS，通过使用当前策略θu选择动作at＝u(st|θu)+Δu，探索噪声Δu，确定计算卸载决策和资源分配向量和内容缓存决策。
8)在仿真环境中，执行
Figure BDA0002834714020000151
SBS执行行动at(即：SBS为计算任务用户决定卸载决策与资源分配，同时决定是否缓存内容请求用户的内容)，观察到新的状态st+1并得到反馈回报rt；
9)将获得的参数(st，at，rt，st+1)存储到经验池N中；
10)for agent k＝1，2，...，Kmax：
11)从经验池中随机采样一小批B信息
Figure BDA0002834714020000152
12)通过最小化从样本获得的损耗LB更新critic网络：
Figure BDA0002834714020000161
13)通过使用采样的策略梯度来更新actor网络：
Figure BDA0002834714020000162
14)更新target网络：θu′←τθu+(1-τ)θu′和θQ′←τθQ+(1-τ)θQ′
15)end for
16)end for
17)end for。
实施例二
本公开实施例二介绍了一种异构IoT网络中的边缘计算与缓存系统，系统中采用了本公开实施例一所述的异构IoT网络中的边缘计算与缓存方法。
详细步骤与实施例一提供的异构IoT网络中的边缘计算与缓存方法相同，在此不再赘述。
实施例三
本公开实施例三提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例一所述的异构IoT网络中的边缘计算与缓存方法中的步骤。
详细步骤与实施例一提供的异构IoT网络中的边缘计算与缓存方法相同，在此不再赘述。
实施例四
本公开实施例四提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的异构IoT网络中的边缘计算与缓存方法中的步骤。
详细步骤与实施例一提供的异构IoT网络中的边缘计算与缓存方法相同，在此不再赘述。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种异构IoT网络中的边缘计算与缓存方法，其特征在于，包括以下步骤：
构建基于移动边缘计算的异构IoT网络模型；
对异构IoT网络中不同类型的用户分别建模分析；针对计算任务型用户，构建上行链路通信模型与计算模型；针对内容请求型用户，构建下行链路通信模型与缓存模型；
问题建模，明确系统优化目标，最小化所有用户的时延与能耗的加权和；
采用MADDPG算法联合优化计算卸载、资源分配和内容缓存的决策。
2.如权利要求1中所述的一种异构IoT网络中的边缘计算与缓存方法，其特征在于，所述异构IoT网络包括多个IoT用户、多个SBS与一个MBS，MBS和每个SBS均配备一个MEC服务器；每个SBS服务一个小区，所述小区内随机分布有多个IoT用户，所述IoT用户包括计算任务型用户和内容请求型用户。
3.如权利要求2中所述的一种异构IoT网络中的边缘计算与缓存方法，其特征在于，在SBS k服务的小区中，计算任务型用户选择将计算任务卸载到MBS或SBS k，其中，MBS与SBS为其关联的用户均等地分配带宽，当SBS小区中的用户关联到MBS时，MBS为其关联用户均等分配带宽；当SBS小区内的用户关联到本小区基站，本小区SBS为其关联用户均等分配带宽；在SBS k服务的小区中，当计算任务型用户
Figure FDA0002834714010000021
选择通过无线信道将计算任务卸载到SBS k配备的MEC服务器时，计算任务型用户
Figure FDA0002834714010000022
的上行链路传输速率
Figure FDA0002834714010000023
为：
Figure FDA0002834714010000024
其中，
Figure FDA0002834714010000025
表示计算任务型用户，
Figure FDA0002834714010000026
表示计算任务型用户
Figure FDA0002834714010000027
的发射功率，Ws表示SBS的带宽，
Figure FDA0002834714010000028
表示计算任务型用户
Figure FDA0002834714010000029
到SBS k之间的信道增益，σ2表示背景噪声功率；
Figure FDA00028347140100000210
表示小区k中选择将计算任务卸载到SBS k的用户数，具体的，在SBS k服务的小区中，
Figure FDA00028347140100000211
表示计算任务型用户
Figure FDA00028347140100000212
选择将计算任务卸载到SBS k；其中，1(e)代表指标函数，如果事件e为真，则1(e)＝1，否则1(e)＝0；
当计算任务型用户
Figure FDA00028347140100000213
选择将计算任务卸载到MBS配备的MEC服务器时，计算任务型用户
Figure FDA00028347140100000214
的上行链路传输速率
Figure FDA00028347140100000215
为：
Figure FDA00028347140100000216
其中，Wm表示MBS的带宽，
Figure FDA00028347140100000224
表示计算任务型用户
Figure FDA00028347140100000217
到MBS之间的信道增益，
Figure FDA00028347140100000218
表示网络中选择将计算任务卸载到MBS的用户数，
Figure FDA00028347140100000219
表示计算任务型用户
Figure FDA00028347140100000220
选择将计算任务卸载到MBS；
在SBS k服务的小区中，SBS k传输内容到内容请求型用户
Figure FDA00028347140100000221
的下行链路传输速率
Figure FDA00028347140100000222
为：
Figure FDA00028347140100000223
其中，Pk表示SBS k的发射功率，
Figure FDA0002834714010000031
表示SBS k到内容请求型用户
Figure FDA0002834714010000032
之间的信道增益，
Figure FDA0002834714010000033
表示SBS k服务的内容请求型用户数。
4.如权利要求3中所述的一种异构IoT网络中的边缘计算与缓存方法，其特征在于，所述针对计算任务型用户构建计算模型的三种计算方式具体变现为：
a1.本地计算：计算任务型用户
Figure FDA0002834714010000034
在本地执行计算任务
Figure FDA0002834714010000035
用
Figure FDA0002834714010000036
表示计算任务型用户
Figure FDA0002834714010000037
的计算能力，计算任务
Figure FDA0002834714010000038
在本地计算的执行时延
Figure FDA0002834714010000039
为
Figure FDA00028347140100000310
相应的执行能耗
Figure FDA00028347140100000311
为
Figure FDA00028347140100000312
其中，ζ表示有效开关电容，具体取决于芯片的架构；
Figure FDA00028347140100000313
表示完成任务所需的CPU周期总数，
Figure FDA00028347140100000314
表示每CPU周期的能耗；
a2.卸载到SBS计算：计算任务型用户
Figure FDA00028347140100000315
将其计算任务
Figure FDA00028347140100000316
卸载到关联的SBS配备的MEC服务器进行计算，用Fs表示SBS的MEC服务器的计算资源，用
Figure FDA00028347140100000317
表示计算任务型用户
Figure FDA00028347140100000318
所占用的SBS的MEC服务器的计算资源比例，具体的，在SBSk服务的小区中，选择卸载到SBSk的用户所占用的资源和不能大于SBS的MEC服务器的计算资源，
Figure FDA00028347140100000319
计算任务
Figure FDA00028347140100000320
在关联的SBS的MEC服务器中的执行时延
Figure FDA00028347140100000321
为
Figure FDA00028347140100000322
相应的执行能耗
Figure FDA00028347140100000323
为
Figure FDA00028347140100000324
其中，es表示SBS每CPU周期的能耗，
Figure FDA00028347140100000325
表示计算任务的数据大小；
a3.卸载到MBS计算：计算任务型用户
Figure FDA00028347140100000326
将其计算任务
Figure FDA00028347140100000327
卸载到MBS配备的MEC服务器进行计算，用
Figure FDA00028347140100000328
表示MBS的MEC服务器分配给计算任务型用户
Figure FDA0002834714010000041
的计算资源，卸载到MBS上的所有用户分配相同的计算资源；计算任务
Figure FDA0002834714010000042
在MBS的MEC服务器中的执行时延
Figure FDA0002834714010000043
为
Figure FDA0002834714010000044
相应的执行能耗
Figure FDA0002834714010000045
为
Figure FDA0002834714010000046
其中，em表示MBS每CPU周期的能耗。
5.如权利要求4中所述的一种异构IoT网络中的边缘计算与缓存方法，其特征在于，所述针对内容请求型用户构建缓存模型的四种内容传输方式具体变现为：
b1.SBS→UE：若内容请求型用户
Figure FDA0002834714010000047
所关联的SBS k缓存了用户请求内容n，内容请求型用户
Figure FDA0002834714010000048
请求内容n的下行链路传输时延
Figure FDA0002834714010000049
为
Figure FDA00028347140100000410
相应的传输能耗
Figure FDA00028347140100000411
为
Figure FDA00028347140100000412
其中，
Figure FDA00028347140100000413
表示内容请求型用户
Figure FDA00028347140100000414
的请求内容n的数据大小；
b2.SBSnb→SBS→UE：
考虑到同一MBS覆盖范围内的SBS通过光纤连接且距离较近，且该范围内的内容传输时间较短，因此假设MBS覆盖范围内邻居SBS到SBS单个内容的传输时延为固定值Tsbs，传输能耗为固定值Esbs，MBS到SBS单个内容的传输时延为固定值Tmbs，传输能耗为固定值Embs；若内容请求型用户
Figure FDA00028347140100000415
所关联的SBS k未缓存用户请求内容n，邻居SBS k′已缓存，则内容传输时延
Figure FDA00028347140100000416
为
Figure FDA00028347140100000417
相应的传输能耗
Figure FDA00028347140100000418
为
Figure FDA00028347140100000419
b3.MBS→SBS→UE：若内容请求型用户
Figure FDA0002834714010000051
所关联的SBS k与邻居SBS均未缓存内容n，MBS已缓存，则内容传输时延
Figure FDA0002834714010000052
为
Figure FDA0002834714010000053
相应的传输能耗
Figure FDA0002834714010000054
为
Figure FDA0002834714010000055
b4.Core Network→MBS→SBS→UE：内容请求型用户
Figure FDA0002834714010000056
请求内容n的回程带宽
Figure FDA0002834714010000057
为
Figure FDA0002834714010000058
其中，
Figure FDA0002834714010000059
表示核心网络中的平均数据传输速率；内容请求型用户
Figure FDA00028347140100000510
清求内容n的回程链路时延
Figure FDA00028347140100000511
为
Figure FDA00028347140100000512
相应能耗为
Figure FDA00028347140100000513
内容传输时延
Figure FDA00028347140100000514
为
Figure FDA00028347140100000515
相应的传输能耗
Figure FDA00028347140100000516
为
Figure FDA00028347140100000517
6.如权利要求5中所述的一种异构IoT网络中的边缘计算与缓存方法，其特征在于，针对计算任务用户
Figure FDA00028347140100000518
计算任务的执行时延
Figure FDA00028347140100000519
为
Figure FDA00028347140100000520
能耗
Figure FDA00028347140100000521
为
Figure FDA00028347140100000522
针对内容请求用户
Figure FDA00028347140100000523
内容请求n的传输时延
Figure FDA00028347140100000524
为
Figure FDA00028347140100000525
能耗
Figure FDA00028347140100000526
为
Figure FDA00028347140100000527
对于SBS k服务的小区，小区内计算任务用户
Figure FDA0002834714010000061
的任务执行时延
Figure FDA0002834714010000062
和能耗
Figure FDA0002834714010000063
分别表示为
Figure FDA0002834714010000064
内容请求用户
Figure FDA00028347140100000613
的内容传输时延
Figure FDA0002834714010000065
和能耗
Figure FDA0002834714010000066
分别表示为
Figure FDA0002834714010000067
最小化系统中所有小区内不同业务类型用户的时延和能耗的加权和，定义ωt，ωe表示用户的时延与能耗权重参数，最小化系统效用为minx，a，y{U}，其中，
Figure FDA0002834714010000068
7.如权利要求1中所述的一种异构IoT网络中的边缘计算与缓存方法，其特征在于，所述采用MADDPG算法联合优化计算卸载、资源分配和内容缓存的决策，具体表现为：
在预设时隙内，离线集中训练MADDPG模型，每个SBS充当学习智能体，在线执行阶段快速做出计算卸载、资源分配和内容缓存决策；具体的状态、动作及奖励函数设置如下：
状态空间：时隙t，所有SBS的状态集合：
Figure FDA0002834714010000069
具体的单个SBS k的状态可以描述为：
Figure FDA00028347140100000610
其中，ca表示SBS所缓存的内容，co，ta，lo，ac分别表示当前小区内用户的请求内容，计算任务，位置，计算执行方式，计算资源分配方式等环境因素；行动空间：时隙t，所有SBS的动作集合：
Figure FDA00028347140100000611
具体的单个SBS k的行动可以描述为：
Figure FDA00028347140100000612
其中，x，a分别表示卸载决策与计算资源分配决策，y表示SBS的缓存决策；
奖励函数：智能体通过与环境的相互作用最大化其奖励来做出决策，为了最小化系统中所有用户的时延与能耗的加权和，将奖励函数
Figure FDA0002834714010000071
定义为
Figure FDA0002834714010000072
其中，
Figure FDA0002834714010000073
表示在于时隙，SBS k服务小区内的优化效用，
Figure FDA0002834714010000074
表示SBS k服务小区内的所有用户最大时延与能耗的加权和。
8.一种异构IoT网络中的边缘计算与缓存系统，其特征在于，所述系统采用了权利要求1-7中任一项所述的异构IoT网络中的边缘计算与缓存方法。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的异构IoT网络中的边缘计算与缓存方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的异构IoT网络中的边缘计算与缓存方法中的步骤。
CN202011467098.3A 2020-12-14 2020-12-14 一种异构IoT网络中的边缘计算与缓存方法及系统 Active CN112689296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011467098.3A CN112689296B (zh) 2020-12-14 2020-12-14 一种异构IoT网络中的边缘计算与缓存方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011467098.3A CN112689296B (zh) 2020-12-14 2020-12-14 一种异构IoT网络中的边缘计算与缓存方法及系统

Publications (2)

Publication Number Publication Date
CN112689296A true CN112689296A (zh) 2021-04-20
CN112689296B CN112689296B (zh) 2022-06-24

Family

ID=75449394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011467098.3A Active CN112689296B (zh) 2020-12-14 2020-12-14 一种异构IoT网络中的边缘计算与缓存方法及系统

Country Status (1)

Country Link
CN (1) CN112689296B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113950066A (zh) * 2021-09-10 2022-01-18 西安电子科技大学 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN114928862A (zh) * 2022-05-12 2022-08-19 湖南大学 基于任务卸载和服务缓存的系统开销降低方法及系统
CN115086993A (zh) * 2022-05-27 2022-09-20 西北工业大学 一种基于异构智能体强化学习的认知缓存优化方法
CN115250142A (zh) * 2021-12-31 2022-10-28 中国科学院上海微系统与信息技术研究所 一种基于深度强化学习的星地融合网络多节点计算资源分配方法
CN115499876A (zh) * 2022-09-19 2022-12-20 南京航空航天大学 Msde场景下基于dqn算法的计算卸载策略

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037231B1 (en) * 2017-06-07 2018-07-31 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for jointly determining computational offloading and content prefetching in a cellular communication system
CN108964817A (zh) * 2018-08-20 2018-12-07 重庆邮电大学 一种异构网络联合计算卸载及资源分配方法
CN109788069A (zh) * 2019-02-27 2019-05-21 电子科技大学 物联网中基于移动边缘计算的计算卸载方法
CN110087318A (zh) * 2019-04-24 2019-08-02 重庆邮电大学 基于5g移动边缘计算的任务卸载和资源分配联合优化方法
CN110377353A (zh) * 2019-05-21 2019-10-25 湖南大学 计算任务卸载系统与方法
CN110753319A (zh) * 2019-10-12 2020-02-04 山东师范大学 异构车联网中面向异质业务的分布式资源分配方法及系统
CN110941667A (zh) * 2019-11-07 2020-03-31 北京科技大学 一种移动边缘计算网络中的计算卸载方法及系统
CN111031102A (zh) * 2019-11-25 2020-04-17 哈尔滨工业大学 一种多用户、多任务的移动边缘计算系统中可缓存的任务迁移方法
EP3648436A1 (en) * 2018-10-29 2020-05-06 Commissariat à l'énergie atomique et aux énergies alternatives Method for clustering cache servers within a mobile edge computing network
CN111132191A (zh) * 2019-12-12 2020-05-08 重庆邮电大学 移动边缘计算服务器联合任务卸载、缓存及资源分配方法
CN111258677A (zh) * 2020-01-16 2020-06-09 重庆邮电大学 面向异构网络边缘计算的任务卸载方法
CN111414252A (zh) * 2020-03-18 2020-07-14 重庆邮电大学 一种基于深度强化学习的任务卸载方法
CN111447619A (zh) * 2020-03-12 2020-07-24 重庆邮电大学 一种移动边缘计算网络中联合任务卸载和资源分配方法
CN111880563A (zh) * 2020-07-17 2020-11-03 西北工业大学 一种基于maddpg的多无人机任务决策方法
CN111901392A (zh) * 2020-07-06 2020-11-06 北京邮电大学 一种面向移动边缘计算的内容部署与分发方法及系统
CN111918245A (zh) * 2020-07-07 2020-11-10 西安交通大学 基于多智能体的车速感知的计算任务卸载和资源分配方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037231B1 (en) * 2017-06-07 2018-07-31 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for jointly determining computational offloading and content prefetching in a cellular communication system
CN108964817A (zh) * 2018-08-20 2018-12-07 重庆邮电大学 一种异构网络联合计算卸载及资源分配方法
EP3648436A1 (en) * 2018-10-29 2020-05-06 Commissariat à l'énergie atomique et aux énergies alternatives Method for clustering cache servers within a mobile edge computing network
CN109788069A (zh) * 2019-02-27 2019-05-21 电子科技大学 物联网中基于移动边缘计算的计算卸载方法
CN110087318A (zh) * 2019-04-24 2019-08-02 重庆邮电大学 基于5g移动边缘计算的任务卸载和资源分配联合优化方法
CN110377353A (zh) * 2019-05-21 2019-10-25 湖南大学 计算任务卸载系统与方法
CN110753319A (zh) * 2019-10-12 2020-02-04 山东师范大学 异构车联网中面向异质业务的分布式资源分配方法及系统
CN110941667A (zh) * 2019-11-07 2020-03-31 北京科技大学 一种移动边缘计算网络中的计算卸载方法及系统
CN111031102A (zh) * 2019-11-25 2020-04-17 哈尔滨工业大学 一种多用户、多任务的移动边缘计算系统中可缓存的任务迁移方法
CN111132191A (zh) * 2019-12-12 2020-05-08 重庆邮电大学 移动边缘计算服务器联合任务卸载、缓存及资源分配方法
CN111258677A (zh) * 2020-01-16 2020-06-09 重庆邮电大学 面向异构网络边缘计算的任务卸载方法
CN111447619A (zh) * 2020-03-12 2020-07-24 重庆邮电大学 一种移动边缘计算网络中联合任务卸载和资源分配方法
CN111414252A (zh) * 2020-03-18 2020-07-14 重庆邮电大学 一种基于深度强化学习的任务卸载方法
CN111901392A (zh) * 2020-07-06 2020-11-06 北京邮电大学 一种面向移动边缘计算的内容部署与分发方法及系统
CN111918245A (zh) * 2020-07-07 2020-11-10 西安交通大学 基于多智能体的车速感知的计算任务卸载和资源分配方法
CN111880563A (zh) * 2020-07-17 2020-11-03 西北工业大学 一种基于maddpg的多无人机任务决策方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙彧; 曹雷; 陈希亮; 徐志雄; 赖俊: "多智能体深度强化学习研究综述", 《计算机工程与应用》 *
张开元，桂小林，任德旺，李敬，吴杰，任东胜: "移动边缘网络中计算迁移与内容缓存研究综述", 《软件学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113950066A (zh) * 2021-09-10 2022-01-18 西安电子科技大学 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN113950066B (zh) * 2021-09-10 2023-01-17 西安电子科技大学 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN115250142A (zh) * 2021-12-31 2022-10-28 中国科学院上海微系统与信息技术研究所 一种基于深度强化学习的星地融合网络多节点计算资源分配方法
CN115250142B (zh) * 2021-12-31 2023-12-05 中国科学院上海微系统与信息技术研究所 一种基于深度强化学习的星地融合网络多节点计算资源分配方法
CN114928862A (zh) * 2022-05-12 2022-08-19 湖南大学 基于任务卸载和服务缓存的系统开销降低方法及系统
CN115086993A (zh) * 2022-05-27 2022-09-20 西北工业大学 一种基于异构智能体强化学习的认知缓存优化方法
CN115499876A (zh) * 2022-09-19 2022-12-20 南京航空航天大学 Msde场景下基于dqn算法的计算卸载策略

Also Published As

Publication number Publication date
CN112689296B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN112689296B (zh) 一种异构IoT网络中的边缘计算与缓存方法及系统
CN111405568B (zh) 基于q学习的计算卸载和资源分配方法及装置
Tang et al. Deep reinforcement learning for task offloading in mobile edge computing systems
CN111405569A (zh) 基于深度强化学习的计算卸载和资源分配方法及装置
Rahman et al. Deep reinforcement learning based computation offloading and resource allocation for low-latency fog radio access networks
Nassar et al. Reinforcement learning for adaptive resource allocation in fog RAN for IoT with heterogeneous latency requirements
CN107766135B (zh) 移动朵云中基于粒子群和模拟退火优化的任务分配方法
Yan et al. Smart multi-RAT access based on multiagent reinforcement learning
CN109951869B (zh) 一种基于云雾混合计算的车联网资源分配方法
CN110798849A (zh) 一种超密网边缘计算的计算资源分配与任务卸载方法
CN109151864B (zh) 一种面向移动边缘计算超密集网络的迁移决策与资源优化分配方法
CN108809695A (zh) 一种面向移动边缘计算的分布上行链路卸载策略
CN113286329B (zh) 基于移动边缘计算的通信和计算资源联合优化方法
Ma et al. A strategic game for task offloading among capacitated UAV-mounted cloudlets
Liu et al. Deep reinforcement learning-based server selection for mobile edge computing
CN112118287A (zh) 基于交替方向乘子算法与移动边缘计算的网络资源优化调度决策方法
Fragkos et al. Artificial intelligence enabled distributed edge computing for Internet of Things applications
WO2024174426A1 (zh) 一种基于移动边缘计算的任务卸载及资源分配方法
CN109756912A (zh) 一种多用户多基站联合任务卸载及资源分配方法
CN114980039B (zh) D2d协作计算的mec系统中的随机任务调度和资源分配方法
Lin et al. Joint offloading decision and resource allocation for multiuser NOMA-MEC systems
Ai et al. Dynamic offloading strategy for delay-sensitive task in mobile-edge computing networks
CN116233926A (zh) 一种基于移动边缘计算的任务卸载及服务缓存联合优化方法
Ren et al. Vehicular network edge intelligent management: A deep deterministic policy gradient approach for service offloading decision
Lakew et al. Adaptive partial offloading and resource harmonization in wireless edge computing-assisted IoE networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231228

Address after: No. 546, Luoyu Road, Hongshan District, Wuhan, Hubei Province, 430000

Patentee after: HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co.,Ltd.

Address before: 250014 No. 88, Wenhua East Road, Lixia District, Shandong, Ji'nan

Patentee before: SHANDONG NORMAL University