CN116820603A - 一种基于深度强化学习的智慧工厂冗余卸载方法 - Google Patents
一种基于深度强化学习的智慧工厂冗余卸载方法 Download PDFInfo
- Publication number
- CN116820603A CN116820603A CN202310653111.1A CN202310653111A CN116820603A CN 116820603 A CN116820603 A CN 116820603A CN 202310653111 A CN202310653111 A CN 202310653111A CN 116820603 A CN116820603 A CN 116820603A
- Authority
- CN
- China
- Prior art keywords
- tasks
- task
- unloading
- redundancy
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002787 reinforcement Effects 0.000 title claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 5
- 230000001413 cellular effect Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims 2
- 238000004891 communication Methods 0.000 description 9
- 230000001934 delay Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于深度强化学习的智慧工厂冗余卸载方法，该方法包括步骤：工业互联网设备卸载任务到达边缘盒子之后，根据先来后到进行排队，对于一些轻量级的任务，边缘盒子可以将其处理完并返回结果，对于一些需要更多资源的任务，边缘盒子则将这些任务传送到云计算系统进行处理。对于卸载到云服务器的部分任务。为了使在任务延迟约束下使卸载系统的效用最大化，使用马尔可夫决策方法确定最优卸载方案。通过服务器状态以及各工业互联网设备的相关信息，确定时间阈值和可靠性，从而确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径数，在保证卸载可靠性的同时提高了获得的效用。
Description
技术领域
本发明涉及一种基于深度强化学习的智慧工厂冗余卸载方法，属于通信技术领域。
背景技术
随着物联网在工业应用场景的推进，异构智能设备之间的高水平互连带来了实现工业自动化的可能性，这可以在更少或不需要人工工作的情况下改善操作并提高生产力。智慧工厂的发展对通信的实时性提出了更高的要求，由于工业互联网设备产生量计算和通信负载，依靠远程云来上传数据并运行复杂的算法会产生高的通信延迟和计算延迟。因此通过使用边缘盒子等边缘计算构架可以一定程度上减少对远程云的依赖。
目前，将繁重的计算任务转移到例如边缘盒子等移动网络边缘的云资源上，已成为应对日益增长的计算需求的一种有前途的方法。移动边缘计算使应用、服务和内容可以实现本地化部署，为业务提供低时延、高带宽的运营环境，从而满足智慧工厂的计算需求。
在边缘卸载中需要设置合理的卸载算法，在资源有限的前提下，使计算卸载对系统的效益最大化。然而，在拥有大量计算资源的移动边缘计算环境中，边缘卸载过程中的不可靠性不可避免，而应用任务的执行失败对任务调度将造成极大的影响。因此在最大化系统效益的同时保证边缘卸载的可靠性至关重要。
发明内容
本发明目的在于针对上述现有技术的缺陷和不足，提出了一种基于深度强化学习的智慧工厂冗余卸载方法，该方法在保证卸载可靠性的同时提高了获得的效用。
本发明解决其技术问题所采用的技术方案是：一种基于深度强化学习的智慧工厂冗余卸载方法，该方法工业互联网设备卸载任务到达边缘盒子之后，根据先来后到进行排队，对于一些轻量级的任务，边缘盒子可以将其处理完并返回结果，对于一些需要更多资源的任务，边缘盒子则将这些任务传送到云计算系统进行处理。对于卸载到云服务器的部分任务。为了使在任务延迟约束下使卸载系统的效用最大化，使用马尔可夫决策方法确定最优卸载方案。通过服务器状态以及各工业互联网设备的相关信息，确定时间阈值和可靠性，从而确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径数，在保证卸载可靠性的同时提高了获得的效用。
进一步地，本发明具体包括：各任务在时间帧中所采取的卸载策略取决于当前网络的特征以及帧中的服务器状态，每个边缘盒子都被建模为一个排队系统，使用马尔可夫决策方法确定最优卸载方案。
进一步地，本发明具体包括：确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径数。
有益效果：
1、本发明采用深度q-学习方法，提出了在给定延迟约束下，卸载系统效用最大化的最优目标MEC服务器确定和传输模式选择方案。
2、本发明能够在保证卸载可靠性的同时提高了获得的效用。
附图说明
图1为本发明方法的流程图。
图2为工业互联网场景卸载示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与说明书附图对本发明创造作进一步的说明，实施方式提及的内容并非对本发明的限定。
如图1和图2所示，本发明提供了一种基于深度强化学习的智慧工厂冗余卸载方法，该方法具体包括如下步骤：
步骤1：确定最优卸载方案。
本发明将工业互联网中的数据处理和计算建模为计算任务。不同的任务可能有不同的特点，例如时延要求、成本要求和可靠性要求等。假设工业互联网网络由各种工业互联网设备以及M个边缘盒子组成，这些边缘盒子的集合记为m。卸载任务到达边缘盒子之后，根据先来后到进行排队，对于一些轻量级的任务，边缘盒子可以将其处理完并返回结果，而不需要云计算系统参与，从而节省了时间和通信成本。对于一些需要更多资源的任务，边缘盒子则将这些任务传送到云计算系统进行处理。这样边缘盒子在边缘设备和云计算系统之间中转数据，从而提高整个系统的效率和性能。
由于每个边缘盒子都被建模为一个排队系统，边缘盒子当前的服务状态可能会影响完成以下任务的时间成本。为了高效地选择卸载目标服务器，各任务在时间帧中所采取的卸载策略取决于当前网络的特征以及帧中的服务器状态。
本发明所提出的最优任务卸载问题在任务延迟约束下使卸载系统的效用最大化，可以将其表示为马尔可夫决策过程，并在马尔可夫决策方法中求解。
步骤2：基于冗余算法的可靠卸载方法。
虽然基于深度q学习的方案提供了一种最优的任务卸载方式，但任务文件传输失败会严重影响卸载效率。工业互联网设备可以在不同的频谱上工作，并支持多种通信模式。由于各个设备之间的通信可能使用相同的频谱资源，并在它们之间造成严重干扰。可能会在文件传输过程中突然被其余工业互联网设备新生成的任务占用。干扰可能会危及任务传输甚至中断卸载过程。
无同信道干扰的通信的最大距离可计算为：
其中pv表示工业互联网设备的发射功率，γmin为接收端在能解码接收数据的前提下的最小信噪比。给定静态网络拓扑结构和频谱资源分配，本发明可以得到信噪比不小于γmin的可行通信对。L0和α分别为参考单位距离下的路径损耗和路径损耗指数。假设工业互联网设备分布的密度为ρ，各个设备生成卸载任务的可能性为Pg，那么两设备之间的平均距离近似为：
其中距离缩减d′满足：
d′＞lnβ/2(1-Pg)ρ
β表示缩减系数，该系数为整数且远小于1。
考虑到计算任务需要在其延迟约束下完成，本发明将其任务文件传输在给定的时间阈值内完成定义为可靠链路。对于i类任务，时间阈值为因此，传输类型i任务的可靠性定义如下：
其中为第i类任务在第m个服务器上的工业互联网传输任务的总耗时，/>表示第i类任务的最大时延，/>表示任务在第m个服务器中的等待时间，Wm表示服务器m的计算能力，gi表示任务i所需要的计算量。
为了满足卸载任务对于可靠性的要求，需要满足Pri≥θ，其中θ表示第i类任务的卸载可靠性阈值。本发明设计一种冗余卸载算法来满足Pri≥θ的可靠性要求。在工业互联网场景中，工业互联网设备将第i类任务卸载到第m个服务器时存在多条链路，从单个任务的角度出发，忽略多个冗余传输之间的干扰，为保证可靠性，链路的个数需要满足：
但是，在卸载系统中，可能会同时生成多个任务。在同一时间框架内位于一个区域的工业互联网设备上生成的任务的平均数量将为
其中k为卸载任务的总类别数量。
如果以冗余传输路径卸载任务，路径之间可能发生严重干扰。受此干扰影响，任务传输可靠性降低，传输延迟增大。因此，卸载效用降低。因此，在给定工业区域中，每种类型的任务都存在最大冗余文件传输数。
本发明采用搜索的方法来获得最优的冗余传输路径数。为了在排除无效值的同时提高搜索效率，给出了冗余数的上界和下界。冗余的下界为：
为使总卸载效用最大化，第i类任务应选择能给其带来更高效用的卸载方式。传输路径冗余越多，干扰越严重，卸载成本越高。第i类任务的最大冗余路径数为：
其中Hm为第m个服务器的传输跳数，qc和qv分别为通过蜂窝网络和LTE-V网络卸载每次任务文件分配的频谱资源量。Wm和W0分别是第m个和第0个服务器的计算能力(计算能力从小到大排序)，fi为第i个工业互联网设备的输入量，cc和cv是蜂窝网络和和LTE-V网络的单位频谱的成本，gi是第i个工业互联网设备需要的计算量。
本发明分别基于下界和上界，可以在有限的区间内搜索到最优的冗余传输数。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。
Claims (4)
1.一种基于深度强化学习的智慧工厂冗余卸载方法，其特征在于，所述方法工业互联网设备卸载任务到达边缘盒子之后，根据先来后到进行排队，对于一些轻量级的任务，边缘盒子将其处理完并返回结果，对于一些需要更多资源的任务，边缘盒子则将这些任务传送到云计算系统进行处理，对于卸载到云服务器的部分任务，为了使在任务延迟约束下使卸载系统的效用最大化，使用马尔可夫决策方法确定最优卸载方案，通过服务器状态以及各工业互联网设备的相关信息，确定时间阈值和可靠性，从而确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径数。
2.根据权利要求1所述的一种基于深度强化学习的智慧工厂冗余卸载方法，其特征在于，所述方法包括：各任务在时间帧中所采取的卸载策略取决于当前网络的特征以及帧中的服务器状态，每个边缘盒子都被建模为一个排队系统。
3.根据权利要求1所述的一种基于平面分离的车辆大数据边缘计算卸载方法，其特征在于，所述方法通过服务器状态以及各工业互联网设备的相关信息，确定时间阈值和可靠性，包括：
考虑到计算任务需要在其延迟约束下完成，我们将其任务文件传输在给定的时间阈值内完成定义为可靠链路，对于i类任务，时间阈值为传输类型i任务的可靠性定义如下：
其中为第i类任务在第m个服务器上的工业互联网传输任务的总耗时，/>表示第i类任务的最大时延，/>表示任务在第m个服务器中的等待时间，Wm表示服务器m的计算能力，gi表示任务i所需要的计算量；
为了满足卸载任务对于可靠性的要求，需要满足Pri≥θ，其中θ表示第i类任务的卸载可靠性阈值。
4.根据权利要求1所述的一种基于平面分离的车辆大数据边缘计算卸载方法，其特征在于，所述方法包括车联网设备组；
所述车联网设备组包含：确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径；
工业互联网设备将第i类任务卸载到第m个服务器时存在多条链路，从单个任务的角度出发，忽略多个冗余传输之间的干扰，为保证可靠性，链路的个数需要满足：
在卸载系统中，可能会同时生成多个任务，在同一时间框架内位于一个区域的工业互联网设备上生成的任务的平均数量将为
其中k为卸载任务的总类别数量；
如果以冗余传输路径卸载任务，路径之间可能发生严重干扰，受此干扰影响，任务传输可靠性降低，传输延迟增大，卸载效用降低，在给定工业区域中，每种类型的任务都存在最大冗余文件传输数；
采用搜索的方法来获得最优的冗余传输路径数，为了在排除无效值的同时提高搜索效率，给出了冗余数的上界和下界，冗余的下界为：
为使总卸载效用最大化，第i类任务应选择能给其带来更高效用的卸载方式，传输路径冗余越多，干扰越严重，卸载成本越高，第i类任务的最大冗余路径数为：
其中Hm为第m个服务器的传输跳数，qc和qv分别为通过蜂窝网络和LTE-V网络卸载每次任务文件分配的频谱资源量，Wm和W0分别是第m个和第0个服务器的计算能力，计算能力从小到大排序，fi为第i个工业互联网设备的输入量，cc和cv是蜂窝网络和和LTE-V网络的单位频谱的成本，gi是第i个工业互联网设备需要的计算量；
分别基于下界和上界，在有限的区间内搜索到最优的冗余传输数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310653111.1A CN116820603A (zh) | 2023-06-05 | 2023-06-05 | 一种基于深度强化学习的智慧工厂冗余卸载方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310653111.1A CN116820603A (zh) | 2023-06-05 | 2023-06-05 | 一种基于深度强化学习的智慧工厂冗余卸载方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116820603A true CN116820603A (zh) | 2023-09-29 |
Family
ID=88115888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310653111.1A Pending CN116820603A (zh) | 2023-06-05 | 2023-06-05 | 一种基于深度强化学习的智慧工厂冗余卸载方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116820603A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117519991A (zh) * | 2024-01-04 | 2024-02-06 | 中国矿业大学 | 基于边云混合的智能化安全双重预防风险识别方法 |
-
2023
- 2023-06-05 CN CN202310653111.1A patent/CN116820603A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117519991A (zh) * | 2024-01-04 | 2024-02-06 | 中国矿业大学 | 基于边云混合的智能化安全双重预防风险识别方法 |
| CN117519991B (zh) * | 2024-01-04 | 2024-03-12 | 中国矿业大学 | 基于边云混合的智能化安全双重预防风险识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111786839B (zh) | 一种车载边缘计算网络中能效优化的计算卸载方法及系统 | |
| CN108541027B (zh) | 一种基于边缘云网络的通信计算资源置换方法 | |
| CN108901046B (zh) | 面向移动边缘计算的协同任务卸载算法及系统设计方案 | |
| CN112188442B (zh) | 基于移动边缘计算的车联网数据驱动任务卸载系统和方法 | |
| CN112600921B (zh) | 一种面向异构移动边缘网络的动态任务卸载方法 | |
| CN112004239A (zh) | 一种基于云边协同的计算卸载方法及系统 | |
| CN109951869B (zh) | 一种基于云雾混合计算的车联网资源分配方法 | |
| CN110234127B (zh) | 一种基于sdn的雾网络任务卸载方法 | |
| CN113810233B (zh) | 一种在随机网络中基于算网协同的分布式计算卸载方法 | |
| CN110545584A (zh) | 一种全双工移动边缘计算通信系统的通信处理方法 | |
| CN112416603B (zh) | 一种基于雾计算的联合优化系统和方法 | |
| CN112738272B (zh) | 一种最小化网络时延的边缘节点负载均衡方法 | |
| CN114630397B (zh) | 一种基于时隙划分的无人机接入选择方法 | |
| CN116820603A (zh) | 一种基于深度强化学习的智慧工厂冗余卸载方法 | |
| CN112612553A (zh) | 一种基于容器技术的边缘计算任务卸载方法 | |
| CN111796880A (zh) | 一种边缘云计算任务的卸载调度方法 | |
| CN111615121A (zh) | 地面机动站多跳任务计算卸载处理方法 | |
| CN111580943B (zh) | 一种面向低时延边缘计算中多跳卸载的任务调度方法 | |
| CN112235387B (zh) | 一种基于能量消耗最小化的多节点协作计算卸载方法 | |
| CN115696403B (zh) | 一种边缘计算节点协助的多层边缘计算任务卸载方法 | |
| CN115134370B (zh) | 一种多无人机辅助的移动边缘计算卸载方法 | |
| CN116761218A (zh) | 一种云边端协同系统中的联合优化方法、系统及存储介质 | |
| CN114531718B (zh) | 不完美csi情况下noma-mec系统能耗优化方法 | |
| CN112969157B (zh) | 一种无人机网络负载均衡方法 | |
| CN115955711A (zh) | 一种面向能效最优的空地6g网络资源分配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |