CN115686669B - 一种能量收集辅助的矿山物联网智能计算卸载方法 - Google Patents
一种能量收集辅助的矿山物联网智能计算卸载方法 Download PDFInfo
- Publication number
- CN115686669B CN115686669B CN202211270835.XA CN202211270835A CN115686669B CN 115686669 B CN115686669 B CN 115686669B CN 202211270835 A CN202211270835 A CN 202211270835A CN 115686669 B CN115686669 B CN 115686669B
- Authority
- CN
- China
- Prior art keywords
- mine
- calculation
- internet
- unloading
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000006870 function Effects 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 39
- 230000008901 benefit Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 230000002787 reinforcement Effects 0.000 claims abstract description 19
- 239000003245 coal Substances 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims description 16
- 238000005265 energy consumption Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000008054 signal transmission Effects 0.000 claims description 6
- 238000005562 fading Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004880 explosion Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000003306 harvesting Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种能量收集辅助的矿山物联网智能计算卸载方法，适用于煤矿井下使用。针对复杂的矿山物联网环境，构建一对多的矿井MEC网络架构增强井下信号覆盖范围，采用能量收集技术辅助矿山物联网设备供电；考虑井下数据密集和时延敏感任务特征，将减少能量损耗、计算时延和任务失败率作为优化目标，设计计算卸载效益函数；将矿山物联网设备的计算卸载过程建模成马尔科夫决策过程，构建强化学习模型；利用基于深度确定性策略梯度DDPG算法动态探索矿山物联网设备的计算卸载策略。该方法可适应动态复杂的矿山物联网环境，降低系统的能量损耗、计算时延和任务处理失败率，助力矿山物联网实现安全和高效生产。
Description
技术领域
本发明涉及一种能量收集辅助的矿山物联网智能计算卸载方法，尤其适用于煤矿井下使用，属于5G推动煤矿智能化过程中边缘计算技术与矿山物联网应用领域。
背景技术
随着矿山信息化不断发展，以及物联网技术被积极开发利用，近几年国内许多专家学者也提出矿山物联网，希望能够通过矿山物联网技术提高矿山生产与经营的安全性，让矿业变得更加智能化、科学化。矿山物联网就是针对矿山的特点与需求而建立的一种工业物联网，是物联网技术在矿山的具体应用。为推进智慧矿山建设，实现矿山生产自动化、信息化和智能化，需要对矿山物联网中数据密集且时延敏感的计算任务进行及时处理和分析。然而，一般情况下，矿山物联网设备计算、能量和内存资源受限。因此，针对智慧矿山建设需求的高效任务计算卸载方法亟待研究。
移动边缘计算(Mobile Edge Computing,MEC)技术利用边缘服务器的计算、缓存和能量资源将矿山物联网设备产生的计算任务卸载至边缘端协助处理以降低计算时延和能耗，甚至提高智慧矿山的安全性。在工业物联网等场景，可以利用边缘计算技术有效地解决设备终端计算能力不足的问题，在靠近用户的边缘上提供满意的服务质量和灵活的计算资源。采用智能计算卸载框架将单个物联网设备上的计算任务卸载到多个边缘服务器上，并对任务分配以及CPU频率进行联合优化，可最大限度地减少执行延迟和能耗。针对矿山物联网中丰富特殊的计算任务需求，如实时检测甲烷浓度的时延敏感型计算任务、采煤工作面高效运行大量感知参数处理的数据密集型任务以及火灾/爆炸警报的生命保障型任务，运用MEC技术实现矿山物联网的高效任务处理和性能优化。
近年来，由于人们在各个方面对绿色环保和可持续性的需求不断增加，可再生能源收集(Energy Harvesting，EH)技术因其在自供电补给低功耗物联网设备的运用潜力，而受到广泛关注。传统物联网系统利用电网供电必然导致大量的碳排放，这不符合节能减排的需求。在智慧矿山生产过程中，挖掘使用能量收集(Energy Harvesting,EH)技术，将井下可再生能源(包括风能、无线环境中的射频信号能量和机械能等)作为绿色供电来源，可解决矿用电池不易更换的难题，也可极大地提高井下工作生产的安全性。采用EH技术辅助矿山物联网设备供电，可以提高任务计算效益并延长设备使用寿命。
由于井下导致信号衰落的因素复杂多变、移动设备遮挡信号视距传输、多径衰落效应十分严重，目前尚欠缺针对复杂环境的无线通信理论来精确刻画井下通信模型。因此，传统的优化理论无法解决矿井下的计算卸载策略选择问题。通过将矿山物联网设备的计算卸载过程建模为马尔科夫决策过程(Markov Decision Process,MDP)，利用强化学习(Reinforcement Learning,RL)算法可在不了解系统模型的情况下，根据上一个时隙中每条边缘链路的无线信道带宽、预测的EH再生能量和当前物联网设备的电池电量选择计算卸载策略(即选择边缘服务器和计算任务的卸载率)。通过与环境不断交互，矿山物联网设备可自适应复杂环境在动态试错中探索最优的计算卸载策略并获得最优长期效益。
此外，在更加复杂的矿山物联网应用下，传统的强化学习技术面临维度灾难问题，当动作状态空间很大时，Q-learning算法的计算效率会大大降低。并且计算卸载率是连续的策略空间，Q-learning算法需先将该策略离散化才可进行学习，这将不可避免的导致离散化误差，使得最终的学习结果并非真实最优。所以引入基于神经网络的深度学习，以大幅度促进了高维度信息感知问题。基于DDPG的矿山物联网计算卸载机制结合了深度强化学习DQN和Actor-Critic算法来处理矿山物联网设备的高维且连续的计算卸载策略选择问题。
发明内容
针对现有技术的不足之处，提供一种能量收集辅助的矿山物联网智能计算卸载方法，针对矿山物联网的特殊通信环境，通过采用融合能量收集和强化学习的计算卸载方法协助矿山物联网设备任务计算处理，实现优化的任务计算效益，有助于实现安全且高效的矿山物联网应用。
为实现上述技术目的，本发明的一种能量收集辅助的矿山物联网智能计算卸载方法，具体步骤如下：
步骤1：针对煤矿井下的复杂环境，通过在矿山物联网设备近端布置多个边缘服务器提供视距LOS通信并增强覆盖范围，使用能量收集EH技术辅助矿山环境下难以频繁更换电池的物联网设备供电，构建一个矿山物联网设备和M个井下边缘服务器组成的矿井 MEC网络架构模型，其中矿山物联网设备安置了能量收集EH技术的产能模块为矿山物联网设备的电池充电，并且矿山物联网设备周围的井下边缘服务器分布在矿井下的不同位置，通过无线与矿山物联网设备进行数据连接，该模型中的矿山物联网设备可基于信道条件、矿山物联网设备的电池电量信息选择最优的边缘服务器进行任务处理；
步骤2：针对矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感的问题，因此设计矿井MEC网络架构模型计算卸载的优化目标，不仅兼顾矿山物联网设备的能量损耗与计算时延，也将矿山物联网设备的电池电量不足以完成一次完整计算卸载过程的任务失败情形作为重要指标，综合定义矿山物联网设备的计算卸载效益函数包含任务共享收益、能量损耗、计算时延和任务失败率函数，将最大化计算卸载效益函数作为优化目标；
步骤3：充分考虑井下导致信号衰落的复杂多变因素和时空变化的各类干扰，由于目前尚欠缺面向煤矿井下复杂环境的无线传输信道模型，因此将矿山物联网设备计算卸载过程建模成马尔科夫决策过程，并将无线传输信道带宽B建模成马尔科夫链，用来简化和表征矿山物联网设备与井下边缘服务器之间的信号传输速率，利用不依赖模型的强化学习算法动态探索最优计算卸载策略；
步骤4：构建基于DDPG算法的矿山物联网计算卸载机制，构建矿山物联网计算卸载系统下的深度强化学习模型，将矿山物联网设备作为学习智能体在复杂多变的矿山物联网环境中根据系统状态动态探索计算卸载策略，实现最优计算卸载效益的目标。
进一步，步骤1具体包括：
步骤1.1：对矿井MEC网络的计算卸载过程具体建模：M个边缘服务器部署在矿山物联网设备可视距通信的范围内；物联网设备至边缘服务器的无线信道带宽为Bi (k)，其中 1≤i≤M，物联网设备在时隙k内选择无线信道带宽最大的井下边缘服务器i，并将 R(k)x(k)Mbit计算任务量卸载至该边缘服务器i，其中x(k)(0≤x(k)≤1)为卸载率，当x(k)＝0时，矿山物联网设备本地处理全部计算任务；当x(k)＝1时，矿山物联网设备将所有计算任务卸载到无线信道带宽最大的井下边缘服务器；当0≤x(k)≤1时，该矿山物联网设备将 R(k)x(k)Mbit数据卸载至无线信道带宽最大的井下边缘服务器i，剩余的(1-x(k))R(k)Mbit 数据在本地处理；
步骤1.2：具体分析计算时延和能量损耗问题：矿山物联网设备进行本地计算，处理 1Mbit数据需要N个CPU周期，则本地计算需要(1-x(k))R(k)N个CPU周期，设CPU周期频率为f，本地计算1Mbit数据所需的时间为S1＝N/f，利用e0表示物联网设备本地处理1bit数据消耗的能量，
和
分别表示矿山物联网设备的本地计算时延和能耗，表达式如下：
矿山物联网设备通过带宽为Bi (k)的无线信道，在时隙k内卸载R(k)x(k)bit计算任务至边缘服务器i，S2表示井下边缘服务器计算1Mbit数据所需的时间，且有S1＞＞S2，表明边缘服务器具有更强的计算处理能力；P为矿山物联网设备的发射功率；
和
分别表示任务卸载产生的时延和能耗，表达式如下：
步骤1.3：对再生能源和任务失败问题具体建模：令时隙k内收集的能量为g(k)，且本地计算和计算卸载的总能量损耗为
矿山物联网设备的电池电量表示为 b(k)，b(k+1)则表示获取EH产能后下一时刻的电池电量，其表达式如下：
b(k+1)＝max{b(k)-E(k)+g(k),0} (5)
设计指示函数Ι(b(k+1)＝0)表示任务能否成功处理，其中若I(b(k+1)＝0)中函数体不成立时函数值为0，表示电量充足任务可成功处理；反之，则表示任务因电量不足而处理失败，即：
进一步，步骤2中，矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感，包括实时检测甲烷浓度的时延敏感型计算任务、采煤工作面高效运行大量感知参数处理的数据密集型任务以及火灾/爆炸警报的生命保障型任务；通过设计矿山物联网设备计算卸载机制的优化目标，不仅兼顾矿山物联网设备的能量损耗与计算时延，也将减小任务失败率作为重要指标，定义由任务共享收益、能量损耗、计算时延和任务失败率共同组成的计算卸载效益函数，具体如下：
由于本地和卸载处理计算任务同时进行，那么执行部分卸载方案时的总时延为本地处理时延与卸载时延的较大值，即MEC卸载模型总的计算时延定义为
将式和的能量损耗相加得到总的能量损耗为
结合式表明的一次任务失败情形，且任务失败率指任务处理失败情形占所有计算任务卸载次数的比例，具体分析有，当Ι(b(k+1)＝0)＝0时，矿山物联网设备将计算任务卸载至边缘服务器，可降低资源有限的矿山物联网设备的任务处理负担，得到任务共享收益θ0x(k)R(k)；当Ι(b(k +1)＝0)＝1时，计算任务因电量不足而处理失败，无任务共享收益；于是，效益函数U(k)用如下分段函数表示：
式中θx(x＝0,1,2,3)为各项指标的权重值；将最大化计算卸载效益函数作为优化目标，即：
max(U)。(8)
进一步，步骤3中，根据步骤1具体所述的矿井MEC网络架构模型和步骤2所述的计算卸载优化目标，同时针对目前尚欠缺面向复杂环境的无线通信理论来精确刻画井下通信模型的问题，将矿山物联网设备计算卸载过程建模成马尔科夫过程，并将信道带宽B建模成马尔科夫链，并用来简化和表征信号传输速率；建立系统状态、动作及奖励函数，得到深度强化学习框架如下：
令矿山物联网设备作为学习智能体；在时隙k内，动作a(k)＝[i(k),x(k)]为计算卸载策略，其中，i(k)表示选择井下边缘服务器i，x(k)(0≤x(k)≤1)为卸载率；系统状态s(k)，即
进一步，步骤4中，提出基于DDPG的矿山物联网计算卸载机制，构建了矿山物联网计算卸载系统下的深度强化学习模型，利用DDPG算法得到最优任务卸载策略，以实现步骤2中的优化目标，具体包括如下步骤：
步骤4.1、初始化相关学习参数，包括学习率α、折扣因子γ、记忆池大小、OU噪声参数、软更新学习率κ(κ＜＜1)、回合数以及回合内探索步长；初始化DDPG算法涉及的 Actor网络参数ξ2及Critic网络参数ξ1，通过将ξ1和ξ2赋值给Target Critic网络参数ξ1′和TargetActor网络参数ξ2′，完成两个Target网络参数的初始化，随机给出初始系统状态
进行回合探索以及网络训练；
步骤4.2、进行回合内的一步探索，即时隙数k+1，Actor网络基于当前输入的初始化系统状态s(k)输出确定性动作μ(s(k)|ξ2 (k))，矿山物联网设备基于μ(s(k)|ξ2 (k))和OU过程采样得到的噪声
选择计算卸载策略a(k)，具体公式如下：
接下来，矿山物联网设备执行计算卸载策略，即选择对应的边缘服务器i(k)和卸载率x(k)，并根据公式评估得到奖励U(k)，即计算卸载效用值；然后根据计算卸载过程观察MEC网络状态更新得到下一步状态s(k+1)；具体来说，无线信道带宽和EH产能通过马尔科夫链转移，矿山物联网设备的电池电量根据计算卸载执行后的能耗、EH产能以及前一个时隙的电池电量情况而更新；随后，将上述元素组成计算卸载经验(s(k),a(k),U(k),s(k+1))存储到经验池；
步骤4.3、判断经验池的计算卸载经验数是否达到Z；若没有，则直接跳转至步骤4.4，继续探索累计计算卸载经验，直至计算卸载经验不断累计达到Z组；若有，则基于经验回放技术，矿山物联网设备从经验池中随机采样Z组计算卸载经验，即 (sh,ah,Uh,sh+1),h∈[1,Z]，并利用这些计算卸载经验迭代更新四个神经网络参数，包括Actor 网络参数ξ2、Critic网络参数ξ1、TargetActor网络参数ξ2′、Target Critic网络参数ξ1′；其中用Adam优化器作为梯度下降算法更新Critic网络参数ξ1，具体公式如下：
通过随机梯度下降SGD算法更新Actor网络参数ξ2具体公式如下：
TargetActor网络参数ξ2′和Target Critic网络参数ξ1′则以学习率κ(κ＜＜1)进行软更新来放慢对Actor网络参数和Critic网络参数的追踪速度，具体软更新过程如下：
ξ1′＝κξ1+(1-κ)ξ1′andξ2′＝κξ2+(1-κ)ξ2′ (14)
步骤4.4、最后，判断时隙数是否达到最大回合内训练步长数，若没有，则令下一步状态s(k+1)为新的初始化系统状态s(k)，回到步骤步骤4.2；若有，则结束回合训练。
有益效果：
针对矿山物联网的特殊通信环境，提出一种基于深度确定性策略梯度(DDPG)的计算卸载机制来提高井下任务计算卸载性能，通过采用融合能量收集和强化学习的计算卸载方法协助矿山物联网设备任务计算处理，实现优化的任务计算效益，有助于实现安全且高效的矿山物联网应用；其在连续策略空间选择计算卸载率，减小离散化误差；利用卷积神经网络解决了维度灾难问题，能够更好地捕获井下环境特征，进一步优化计算卸载策略选择，提升系统性能，有效地降低了矿井MEC网络的能量损耗、计算时延和任务处理失败率。
附图说明
图1为本发明的能量收集辅助的矿山物联网智能计算卸载方法流程图；
图2为本发明中使用的矿山物联网中的MEC架构示意图。
具体实施方式
为使本发明的技术方案和优化效果更加清晰，下面将结合附图及具体实施例对本发明进行详细描述。
如图1和图2，本发明的能量收集辅助的矿山物联网智能计算卸载方法，具体步骤如下：
步骤1：针对煤矿井下的复杂环境，通过在矿山物联网设备近端布置多个边缘服务器提供视距LOS通信并增强覆盖范围，使用能量收集EH技术辅助矿山环境下难以频繁更换电池的物联网设备供电，构建一个矿山物联网设备和M个井下边缘服务器组成的矿井 MEC网络架构模型，其中矿山物联网设备安置了能量收集EH技术的产能模块为矿山物联网设备的电池充电，并且矿山物联网设备周围的井下边缘服务器分布在矿井下的不同位置，通过无线与矿山物联网设备进行数据连接，该模型中的矿山物联网设备可基于信道条件、矿山物联网设备的电池电量信息选择最优的边缘服务器进行任务处理；
步骤1.1：对矿井MEC网络的计算卸载过程具体建模：M个边缘服务器部署在矿山物联网设备可视距通信的范围内；物联网设备至边缘服务器的无线信道带宽为Bi (k)，其中 1≤i≤M，物联网设备在时隙k内选择无线信道带宽最大的井下边缘服务器i，并将 R(k)x(k)Mbit计算任务量卸载至该边缘服务器i，其中x(k)(0≤x(k)≤1)为卸载率，当x(k)＝0时，矿山物联网设备本地处理全部计算任务；当x(k)＝1时，矿山物联网设备将所有计算任务卸载到无线信道带宽最大的井下边缘服务器；当0≤x(k)≤1时，该矿山物联网设备将 R(k)x(k)Mbit数据卸载至无线信道带宽最大的井下边缘服务器i，剩余的(1-x(k))R(k)Mbit 数据在本地处理；
步骤1.2：具体分析计算时延和能量损耗问题：矿山物联网设备进行本地计算，处理 1Mbit数据需要N个CPU周期，则本地计算需要(1-x(k))R(k)N个CPU周期，设CPU周期频率为f，本地计算1Mbit数据所需的时间为S1＝N/f，利用e0表示物联网设备本地处理1bit数据消耗的能量，
和
分别表示矿山物联网设备的本地计算时延和能耗，表达式如下：
矿山物联网设备通过带宽为Bi (k)的无线信道，在时隙k内卸载R(k)x(k)bit计算任务至边缘服务器i，S2表示井下边缘服务器计算1Mbit数据所需的时间，且有S1＞＞S2，表明边缘服务器具有更强的计算处理能力；P为矿山物联网设备的发射功率；
和
分别表示任务卸载产生的时延和能耗，表达式如下：
步骤1.3：对再生能源和任务失败问题具体建模：令时隙k内收集的能量为g(k)，且本地计算和计算卸载的总能量损耗为
矿山物联网设备的电池电量表示为 b(k)，b(k+1)则表示获取EH产能后下一时刻的电池电量，其表达式如下：
b(k+1)＝max{b(k)-E(k)+g(k),0} (5)
设计指示函数Ι(b(k+1)＝0)表示任务能否成功处理，其中若I(b(k+1)＝0)中函数体不成立时函数值为0，表示电量充足任务可成功处理；反之，则表示任务因电量不足而处理失败，即：
步骤2：针对矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感的问题，因此设计矿井MEC网络架构模型计算卸载的优化目标，不仅兼顾矿山物联网设备的能量损耗与计算时延，也将矿山物联网设备的电池电量不足以完成一次完整计算卸载过程的任务失败情形作为重要指标，综合定义矿山物联网设备的计算卸载效益函数包含任务共享收益、能量损耗、计算时延和任务失败率函数，将最大化计算卸载效益函数作为优化目标；
矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感，包括实时检测甲烷浓度的时延敏感型计算任务、采煤工作面高效运行大量感知参数处理的数据密集型任务以及火灾/爆炸警报的生命保障型任务；通过设计矿山物联网设备计算卸载机制的优化目标，不仅兼顾矿山物联网设备的能量损耗与计算时延，也将减小任务失败率作为重要指标，定义由任务共享收益、能量损耗、计算时延和任务失败率共同组成的计算卸载效益函数，具体如下：
由于本地和卸载处理计算任务同时进行，那么执行部分卸载方案时的总时延为本地处理时延与卸载时延的较大值，即MEC卸载模型总的计算时延定义为
将式和的能量损耗相加得到总的能量损耗为
结合式表明的一次任务失败情形，且任务失败率指任务处理失败情形占所有计算任务卸载次数的比例，具体分析有，当Ι(b(k+1)＝0)＝0时，矿山物联网设备将计算任务卸载至边缘服务器，可降低资源有限的矿山物联网设备的任务处理负担，得到任务共享收益θ0x(k)R(k)；当Ι(b(k +1)＝0)＝1时，计算任务因电量不足而处理失败，无任务共享收益；于是，效益函数U(k)用如下分段函数表示：
式中θx(x＝0,1,2,3)为各项指标的权重值；将最大化计算卸载效益函数作为优化目标，即：
max(U)。 (8)
步骤3：充分考虑井下导致信号衰落的复杂多变因素和时空变化的各类干扰，由于目前尚欠缺面向煤矿井下复杂环境的无线传输信道模型，因此将矿山物联网设备计算卸载过程建模成马尔科夫决策过程，并将无线传输信道带宽B建模成马尔科夫链，用来简化和表征矿山物联网设备与井下边缘服务器之间的信号传输速率，利用不依赖模型的强化学习算法动态探索最优计算卸载策略；
根据步骤1具体所述的矿井MEC网络架构模型和步骤2所述的计算卸载优化目标，同时针对目前尚欠缺面向复杂环境的无线通信理论来精确刻画井下通信模型的问题，将矿山物联网设备计算卸载过程建模成马尔科夫过程，并将信道带宽B建模成马尔科夫链，并用来简化和表征信号传输速率；建立系统状态、动作及奖励函数，得到深度强化学习框架如下：
令矿山物联网设备作为学习智能体；在时隙k内，动作a(k)＝[i(k),x(k)]为计算卸载策略，其中，i(k)表示选择井下边缘服务器i，x(k)(0≤x(k)≤1)为卸载率；系统状态s(k)，即
由物联网设备到边缘服务器的无线信道带宽、EH产能和电池电量组成；将计算卸载效益函数作为系统奖励U(k)。
步骤4：构建基于DDPG算法的矿山物联网计算卸载机制，构建矿山物联网计算卸载系统下的深度强化学习模型，将矿山物联网设备作为学习智能体在复杂多变的矿山物联网环境中根据系统状态动态探索计算卸载策略，实现最优计算卸载效益的目标。
提出基于DDPG的矿山物联网计算卸载机制，构建了矿山物联网计算卸载系统下的深度强化学习模型，利用DDPG算法得到最优任务卸载策略，以实现步骤2中的优化目标，具体包括如下步骤：
步骤4.1、初始化相关学习参数，包括学习率α、折扣因子γ、记忆池大小、OU噪声参数、软更新学习率κ(κ＜＜1)、回合数以及回合内探索步长；初始化DDPG算法涉及的Actor网络参数ξ2及Critic网络参数ξ1，通过将ξ1和ξ2赋值给Target Critic网络参数ξ1′和TargetActor网络参数ξ2′，完成两个Target网络参数的初始化，随机给出初始系统状态
进行回合探索以及网络训练；
步骤4.2、进行回合内的一步探索，即时隙数k+1，Actor网络基于当前输入的初始化系统状态s(k)输出确定性动作μ(s(k)|ξ2 (k))，矿山物联网设备基于μ(s(k)|ξ2 (k))和OU过程采样得到的噪声
选择计算卸载策略a(k)，具体公式如下：
接下来，矿山物联网设备执行计算卸载策略，即选择对应的边缘服务器i(k)和卸载率x(k)，并根据公式评估得到奖励U(k)，即计算卸载效用值；然后根据计算卸载过程观察MEC网络状态更新得到下一步状态s(k+1)；具体来说，无线信道带宽和EH产能通过马尔科夫链转移，矿山物联网设备的电池电量根据计算卸载执行后的能耗、EH产能以及前一个时隙的电池电量情况而更新；随后，将上述元素组成计算卸载经验(s(k),a(k),U(k),s(k+1))存储到经验池；
步骤4.3、判断经验池的计算卸载经验数是否达到Z；若没有，则直接跳转至步骤4.4，继续探索累计计算卸载经验，直至计算卸载经验不断累计达到Z组；若有，则基于经验回放技术，矿山物联网设备从经验池中随机采样Z组计算卸载经验，即 (sh,ah,Uh,sh+1),h∈[1,Z]，并利用这些计算卸载经验迭代更新四个神经网络参数，包括Actor 网络参数ξ2、Critic网络参数ξ1、TargetActor网络参数ξ2′、Target Critic网络参数ξ1′；其中用Adam优化器作为梯度下降算法更新Critic网络参数ξ1，具体公式如下：
通过随机梯度下降SGD算法更新Actor网络参数ξ2具体公式如下：
TargetActor网络参数ξ2′和Target Critic网络参数ξ1′则以学习率κ(κ＜＜1)进行软更新来放慢对Actor网络参数和Critic网络参数的追踪速度，具体软更新过程如下：
ξ1′＝κξ1+(1-κ)ξ1′andξ2′＝κξ2+(1-κ)ξ2′ (14)
步骤4.4、最后，判断时隙数是否达到最大回合内训练步长数，若没有，则令下一步状态s(k+1)为新的初始化系统状态s(k)，回到步骤步骤4.2；若有，则结束回合训练。
Claims (2)
1.一种能量收集辅助的矿山物联网智能计算卸载方法，其特征在于，具体步骤如下：
步骤1：针对煤矿井下的复杂环境，通过在矿山物联网设备近端布置多个边缘服务器提供视距LOS通信并增强覆盖范围，使用能量收集EH技术辅助矿山环境下难以频繁更换电池的物联网设备供电，构建一个矿山物联网设备和M个井下边缘服务器组成的矿井MEC网络架构模型，其中矿山物联网设备安置了能量收集EH技术的产能模块为矿山物联网设备的电池充电，并且矿山物联网设备周围的井下边缘服务器分布在矿井下的不同位置，通过无线与矿山物联网设备进行数据连接，该模型中的矿山物联网设备可基于信道条件、矿山物联网设备的电池电量信息选择最优的边缘服务器进行任务处理；
步骤2：针对矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感的问题，因此设计矿井MEC网络架构模型计算卸载的优化目标，不仅兼顾矿山物联网设备的能量损耗与计算时延，也将矿山物联网设备的电池电量不足以完成一次完整计算卸载过程的任务失败情形作为重要指标，综合定义矿山物联网设备的计算卸载效益函数包含任务共享收益、能量损耗、计算时延和任务失败率函数，将最大化计算卸载效益函数作为优化目标；
步骤3：充分考虑井下导致信号衰落的复杂多变因素和时空变化的各类干扰，由于目前尚欠缺面向煤矿井下复杂环境的无线传输信道模型，因此将矿山物联网设备计算卸载过程建模成马尔科夫决策过程，并将无线传输信道带宽B建模成马尔科夫链，用来简化和表征矿山物联网设备与井下边缘服务器之间的信号传输速率，利用不依赖模型的强化学习算法动态探索最优计算卸载策略；
步骤4：构建基于DDPG算法的矿山物联网计算卸载机制，构建矿山物联网计算卸载系统下的深度强化学习模型，将矿山物联网设备作为学习智能体在复杂多变的矿山物联网环境中根据系统状态动态探索计算卸载策略，实现最优计算卸载效益的目标；
步骤1具体包括：
步骤1.1：对矿井MEC网络的计算卸载过程具体建模：M个边缘服务器部署在矿山物联网设备可视距通信的范围内；物联网设备至边缘服务器的无线信道带宽为Bi (k)，其中1≤i≤M，物联网设备在时隙k内选择无线信道带宽最大的井下边缘服务器i，并将R(k)x(k)Bit计算任务量卸载至该边缘服务器i，其中x(k)(0≤x(k)≤1)为卸载率，当x(k)＝0时，矿山物联网设备本地处理全部计算任务；当x(k)＝1时，矿山物联网设备将所有计算任务卸载到无线信道带宽最大的井下边缘服务器；当0≤x(k)≤1时，该矿山物联网设备将R(k)x(k)Bit数据卸载至无线信道带宽最大的井下边缘服务器i，剩余的(1-x(k))R(k)Bit数据在本地处理；
步骤1.2：具体分析计算时延和能量损耗问题：矿山物联网设备进行本地计算，处理1bit数据需要N个CPU周期，则本地计算需要(1-x(k))R(k)N个CPU周期，设CPU周期频率为f，本地计算1bit数据所需的时间为S1＝N/f，利用e0表示物联网设备本地处理1bit数据消耗的能量，
和
分别表示矿山物联网设备的本地计算时延和能耗，表达式如下：
矿山物联网设备通过带宽为Bi (k)的无线信道，在时隙k内卸载R(k)x(k)bit计算任务至边缘服务器i，S2表示井下边缘服务器计算1bit数据所需的时间，且有S1＞＞S2，表明边缘服务器具有更强的计算处理能力；P为矿山物联网设备的发射功率；T1 (k)和
分别表示任务卸载产生的时延和能耗，表达式如下：
步骤1.3：对再生能源和任务失败问题具体建模：令时隙k内收集的能量为g(k)，且本地计算和计算卸载的总能量损耗为
矿山物联网设备的电池电量表示为b(k)，b(k+1)则表示获取EH产能后下一时刻的电池电量，其表达式如下：
b(k+1)＝max{b(k)-E(k)+g(k),0} (5)
设计指示函数Ι(b(k+1)＝0)表示任务能否成功处理，其中若I(b(k+1)＝0)中函数体不成立时函数值为0，表示电量充足任务可成功处理；反之，则表示任务因电量不足而处理失败，即：
步骤2中，矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感，包括实时检测甲烷浓度的时延敏感型计算任务、采煤工作面高效运行大量感知参数处理的数据密集型任务以及火灾/爆炸警报的生命保障型任务；通过设计矿山物联网设备计算卸载机制的优化目标，不仅兼顾矿山物联网设备的能量损耗与计算时延，也将减小任务失败率作为重要指标，定义由任务共享收益、能量损耗、计算时延和任务失败率共同组成的计算卸载效益函数，具体如下：
由于本地和卸载处理计算任务同时进行，那么执行部分卸载方案时的总时延为本地处理时延与卸载时延的较大值，即MEC卸载模型总的计算时延定义为
当Ι(b(k+1)＝0)＝0时，矿山物联网设备将计算任务卸载至边缘服务器，可降低资源有限的矿山物联网设备的任务处理负担，得到任务共享收益θ0x(k)R(k)；当Ι(b(k+1)＝0)＝1时，计算任务因电量不足而处理失败，无任务共享收益；于是，效益函数U(k)用如下分段函数表示：
式中θx(x＝0,1,2,3)为各项指标的权重值；将最大化计算卸载效益函数作为优化目标，即：
max(U)； (8)
步骤4中，提出基于DDPG的矿山物联网计算卸载机制，构建了矿山物联网计算卸载系统下的深度强化学习模型，利用DDPG算法得到最优任务卸载策略，以实现步骤2中的优化目标，具体包括如下步骤：
步骤4.1、初始化相关学习参数，包括学习率α、折扣因子γ、记忆池大小、OU噪声参数、软更新学习率κ(κ＜＜1)、回合数以及回合内探索步长；初始化DDPG算法涉及的Actor网络参数ξ2及Critic网络参数ξ1，通过将ξ1和ξ2赋值给Target Critic网络参数ξ1′和TargetActor网络参数ξ2′，完成两个Target网络参数的初始化，随机给出初始系统状态
进行回合探索以及网络训练；
步骤4.2、进行回合内的一步探索，即时隙数k+1，Actor网络基于当前输入的初始化系统状态s(k)输出确定性动作
矿山物联网设备基于
和OU过程采样得到的噪声
选择计算卸载策略a(k)，具体公式如下：
接下来，矿山物联网设备执行计算卸载策略，即选择对应的边缘服务器i(k)和卸载率x(k)，并根据公式(7)评估得到奖励U(k)，即计算卸载效用值；然后根据计算卸载过程观察MEC网络状态更新得到下一步状态s(k+1)；具体来说，无线信道带宽和EH产能通过马尔科夫链转移，矿山物联网设备的电池电量根据计算卸载执行后的能耗、EH产能以及前一个时隙的电池电量情况而更新；随后，将上述元素组成计算卸载经验(s(k),a(k),U(k),s(k+1))存储到经验池；
步骤4.3、判断经验池的计算卸载经验数是否达到Z；若没有，则直接跳转至步骤4.4，继续探索累计计算卸载经验，直至计算卸载经验不断累计达到Z组；若有，则基于经验回放技术，矿山物联网设备从经验池中随机采样Z组计算卸载经验，即(sh,ah,Uh,sh+1),h∈[1,Z]，并利用这些计算卸载经验迭代更新四个神经网络参数，包括Actor网络参数ξ2、Critic网络参数ξ1、Target Actor网络参数ξ2′、Target Critic网络参数ξ1′；其中用Adam优化器作为梯度下降算法更新Critic网络参数ξ1，具体公式如下：
通过随机梯度下降SGD算法更新Actor网络参数ξ2具体公式如下：
Target Actor网络参数ξ2′和Target Critic网络参数ξ1′则以学习率κ(κ＜＜1)进行软更新来放慢对Actor网络参数和Critic网络参数的追踪速度，具体软更新过程如下：
ξ1′＝κξ1+(1-κ)ξ1′and ξ2′＝κξ2+(1-κ)ξ2′ (14)
步骤4.4、最后，判断时隙数是否达到最大回合内训练步长数，若没有，则令下一步状态s(k+1)为新的初始化系统状态s(k)，回到步骤步骤4.2；若有，则结束回合训练。
2.根据权利要求1所述的一种能量收集辅助的矿山物联网智能计算卸载方法，其特征在于，步骤3中，根据步骤1具体所述的矿井MEC网络架构模型和步骤2所述的计算卸载优化目标，同时针对目前尚欠缺面向复杂环境的无线通信理论来精确刻画井下通信模型的问题，将矿山物联网设备计算卸载过程建模成马尔科夫过程，并将信道带宽B建模成马尔科夫链，并用来简化和表征信号传输速率；建立系统状态、动作及奖励函数，得到深度强化学习框架如下：
令矿山物联网设备作为学习智能体；在时隙k内，动作a(k)＝[i(k),x(k)]为计算卸载策略，其中，i(k)表示选择井下边缘服务器i，x(k)(0≤x(k)≤1)为卸载率；系统状态s(k)，即
由物联网设备到边缘服务器的无线信道带宽、EH产能和电池电量组成；将计算卸载效益函数作为系统奖励U(k)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211270835.XA CN115686669B (zh) | 2022-10-17 | 2022-10-17 | 一种能量收集辅助的矿山物联网智能计算卸载方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211270835.XA CN115686669B (zh) | 2022-10-17 | 2022-10-17 | 一种能量收集辅助的矿山物联网智能计算卸载方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115686669A CN115686669A (zh) | 2023-02-03 |
| CN115686669B true CN115686669B (zh) | 2023-05-23 |
Family
ID=85066737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211270835.XA Active CN115686669B (zh) | 2022-10-17 | 2022-10-17 | 一种能量收集辅助的矿山物联网智能计算卸载方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115686669B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115843070B (zh) * | 2023-02-23 | 2023-06-16 | 山东省计算中心（国家超级计算济南中心） | 基于能量收集技术的海洋传感网络计算卸载方法及系统 |
| CN116963183B (zh) * | 2023-07-31 | 2024-03-08 | 中国矿业大学 | 一种智能反射面辅助的矿山物联网安全卸载方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114884957A (zh) * | 2022-07-12 | 2022-08-09 | 北京邮电大学 | 空天地网络中的计算任务卸载方法、装置和电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108880893B (zh) * | 2018-06-27 | 2021-02-09 | 重庆邮电大学 | 一种移动边缘计算服务器联合能量收集及任务卸载方法 |
| CN109257429A (zh) * | 2018-09-25 | 2019-01-22 | 南京大学 | 一种基于深度强化学习的计算卸载调度方法 |
| CN111245651B (zh) * | 2020-01-08 | 2022-03-29 | 上海交通大学 | 一种基于功率控制和资源分配的任务卸载方法 |
| US20220261059A1 (en) * | 2021-02-05 | 2022-08-18 | Stanislav Rostislavovych Bobovych | System and Method for Automated Adaptive Operation to Achieve Optimized Power Management on Internet of Things Devices |
-
2022
- 2022-10-17 CN CN202211270835.XA patent/CN115686669B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114884957A (zh) * | 2022-07-12 | 2022-08-09 | 北京邮电大学 | 空天地网络中的计算任务卸载方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115686669A (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115686669B (zh) | 一种能量收集辅助的矿山物联网智能计算卸载方法 | |
| Shi et al. | Toward energy-efficient federated learning over 5G+ mobile devices | |
| CN111176929A (zh) | 一种面向边缘联邦学习的高能效计算通信联合优化方法 | |
| CN112598150A (zh) | 一种在智能电厂中基于联邦学习提升火灾检测效果的方法 | |
| CN106131918A (zh) | 无线传感网中能量采集节点的联合路径选择和功率分配方法 | |
| CN101790251A (zh) | 基于改进粒子群优化算法的无线传感器节点联盟生成方法 | |
| CN113781002B (zh) | 云边协同网络中基于代理模型和多种群优化的低成本工作流应用迁移方法 | |
| CN112364981A (zh) | 一种混合精度神经网络的可微分搜索方法和装置 | |
| CN109242150A (zh) | 一种电网可靠性预测方法 | |
| CN109344960A (zh) | 一种防止数据信息丢失的dgru神经网络及其预测模型建立方法 | |
| Mishra et al. | Leveraging augmented intelligence of things to enhance lifetime of UAV-enabled aerial networks | |
| CN117119486B (zh) | 一种保障多小区蜂窝网长期用户速率的深度无监督学习资源分配方法 | |
| Jha et al. | A hybrid accuracy-and energy-aware human activity recognition model in IoT environment | |
| Liu et al. | Prediction of CO2 storage performance in reservoirs based on optimized neural networks | |
| Peng et al. | SCOF: Security-Aware Computation Offloading Using Federated Reinforcement Learning in Industrial Internet of Things with Edge Computing | |
| Mehrani et al. | Deep-learning based forecasting sampling frequency of biosensors in wireless body area networks | |
| CN108738046B (zh) | 一种基于半监督学习的移动边缘计算速率最大化方法 | |
| Umeonwuka et al. | Deep learning algorithms for rf energy harvesting cognitive iot devices: Applications, challenges and opportunities | |
| Wang et al. | Adaptive compute offloading algorithm for metasystem based on deep reinforcement learning | |
| CN114819096A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN110191431B (zh) | 一种电池容量衰减下的最大化网络效用的方法 | |
| Mohsenivatani et al. | Graph Representation Learning for Wireless Communications | |
| Abdoulaye et al. | Enhancing Wireless Sensor Networks Lifetime through On-Device Prediction | |
| CN116963183B (zh) | 一种智能反射面辅助的矿山物联网安全卸载方法 | |
| Zhonglin et al. | Computational Task Offloading Scheme based on Deep Learning for Financial Big Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |