CN116963183B - 一种智能反射面辅助的矿山物联网安全卸载方法 - Google Patents

一种智能反射面辅助的矿山物联网安全卸载方法 Download PDF

Info

Publication number
CN116963183B
CN116963183B CN202310949703.8A CN202310949703A CN116963183B CN 116963183 B CN116963183 B CN 116963183B CN 202310949703 A CN202310949703 A CN 202310949703A CN 116963183 B CN116963183 B CN 116963183B
Authority
CN
China
Prior art keywords
calculation
irs
unloading
mine
things
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310949703.8A
Other languages
English (en)
Other versions
CN116963183A (zh
Inventor
闵明慧
张鹏
肖家杨
李世银
杨爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FIRST PEOPLE'S HOSPITAL OF XUZHOU
China University of Mining and Technology CUMT
Original Assignee
FIRST PEOPLE'S HOSPITAL OF XUZHOU
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FIRST PEOPLE'S HOSPITAL OF XUZHOU, China University of Mining and Technology CUMT filed Critical FIRST PEOPLE'S HOSPITAL OF XUZHOU
Priority to CN202310949703.8A priority Critical patent/CN116963183B/zh
Publication of CN116963183A publication Critical patent/CN116963183A/zh
Application granted granted Critical
Publication of CN116963183B publication Critical patent/CN116963183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0917—Management thereof based on the energy state of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/145—Passive relay systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • H04W28/0975—Quality of Service [QoS] parameters for reducing delays
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提出一种智能反射面辅助的矿山物联网安全卸载方法，属于矿山物联网技术领域。井下运用MMEC网络系统提高计算实时响应和资源利用效率，并利用IRS优化煤矿井下的信号覆盖范围和卸载信道增益，在IRS辅助的MMEC网络系统以提升矿山物联网设备的能量效率为目标选择将部分计算任务在本地处理或者通过卸载到边缘服务器处理，将IRS辅助矿山物联网设备的计算卸载过程建模成马尔科夫决策过程，提出基于风险评估的安全强化学习架构，利用基于深度确定性策略梯度DDPG算法在复杂的煤矿井下环境中动态探索最优的IRS反射相移和计算卸载率并实现最大化计算卸载效益函数的优化目标，优化能量管理的同时有效地降低计算时延，保障矿山物联网的计算效率与响应性能。

Description

一种智能反射面辅助的矿山物联网安全卸载方法
技术领域
本发明涉及一种智能反射面辅助的矿山物联网安全卸载方法，属于矿山物联网技术领域。
背景技术
移动边缘计算(MEC)技术被设想为减少延迟和提高数据处理效率的有效解决方案。因此，一些研究将MEC应用于煤矿井下(MMEC)，用于实时监控和安全管理。具体在矿山物联网应用中，边缘计算技术能够将数据处理和分析推向设备边缘，提高实时性和资源利用效率，在矿山环境中实现数据的快速处理、实时分析和更高效的资源利用。它的应用前景十分广阔，将为矿山行业带来更高的智能化水平、更高的安全性以及更加高效的运营管理，推动智慧矿山发展。
智能反射面(IRS)作为智能控制传输环境和提高无线网络传输性能的有效解决方案得到了很多关注。通过调控设定IRS反射单元上的参数，如相位、幅度、频率，甚至极化方向，IRS辅助的通信系统可以可以创造良好的信号传播条件，显著提高无线通信链路质量与覆盖性能。
复杂的地下开采环境面临着电磁干扰、煤尘水雾、复杂信号衰落、大型移动设备阻挡等诸多挑战。这些因素给准确获取实时无线通信模型和信道状态信息带来了困难。此外，由于时延约束和涉及的多个耦合变量，联合设计反射相移和计算卸载率以最大化效用函数的联合优化问题是典型非凸的问题。因此，传统的优化理论无法解决复杂且动态矿井环境下的计算卸载策略选择问题。所以，深度强化学习DRL等人工智能技术成为解决IRS反射相移设计和边缘智能难点的重要方法，该方法的优势在于其能够适应复杂的通信环境和实时变化的信道条件，提供更灵活、更智能的IRS反射信号处理策略，并提升IRS在复杂矿井环境下的适应性，从而改善无线盲区覆盖的性能和可靠性。信道状态和计算需求信息以及IRS反射相移设计可以从有限状态空间中独立选取，它们的状态转换可以建模为有限状态离散马尔可夫链。因此，IRS辅助下的动态计算卸载过程可以建模为有限状态马尔可夫决策过程。在此基础上，利用DRL算法可在不了解系统模型和具体信道状态信息的情况下选择计算卸载策略。通过与环境不断交互，矿山物联网设备可自适应复杂环境在动态试错中探索最优的计算卸载策略并获得最优效益。
然而，随机探索可能遇到不安全的卸载策略，这可能导致产生过高的计算时延，这对于矿山物联网中实时数据处理和事故应急响应的影响非常严重。最近，安全学习已被纳入RL，通过设置安全指标来评价状态-动作对的风险等级，且风险级别最高的状态-行为对被记录在黑名单中以避免探索危险行为。
发明内容
针对现有技术的不足之处，提供一种智能反射面辅助的矿山物联网安全卸载方法，针对矿山物联网的特殊通信环境和安全应用需求，通过采用融合IRS和安全强化学习的计算卸载方法协助矿山物联网设备任务计算处理，实现最大的任务计算效益，优化能量管理的同时有效地降低计算时延，保障矿山物联网的计算效率与响应性能，有助于实现安全且高效的矿山物联网应用。
为实现上述技术目的，本发明的一种智能反射面辅助的矿山物联网安全卸载方法，为提高MMEC系统中矿山物联网设备的计算工作效率，利用IRS增强煤矿井下的为提升煤矿井下的信号覆盖范围和信道增益，以矿山物联网设备的工作以能量效率和计算时延为优化目标，选择将计算任务在本地进行计算或者通过卸载到边缘服务器进行计算，从而提升矿山物联网应用的数据处理效率；
具体步骤如下：
步骤1：针对煤矿井下典型的无线覆盖盲区问题，将智能反射面IRS加入到矿井移动边缘计算MMEC网络系统以增强信号覆盖范围并提供稳定可靠的无线链路，具体构建一个IRS辅助的MMEC网络系统，矿山物联网设备通过IRS建立的虚拟卸载链路将更多的计算任务卸载到边缘服务器，利用IRS可调控的反射特性来优化信号的传播，增强信号覆盖范围并提高卸载链路的信道增益；
步骤2：针对矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感的情况，设计矿山物联网设备的计算卸载效益函数同时考虑提高能量效率并降低计算时延，为IRS辅助的MMEC网络系统中矿山物联网设备的计算卸载过程中能量损耗和计算时延问题进行建模，通过联合设计IRS反射相移和计算卸载率以实现最大化计算卸载效益函数的优化目标；
步骤3：由于在煤矿井下很难准确获取实时的无线通信模型和信道状态信息，并且上述提到设计反射相移和计算卸载率的优化问题具有非凸性，因此将IRS辅助的矿山物联网设备的动态计算卸载过程和IRS相移调整过程建模成马尔科夫决策过程MDP，分别将IRS辅助的MMEC网络系统和矿山物联网设备作为环境和学习代理Agent。此外，为了保证满足计算时延阈值要求的矿山物联网安全通信，保障实时性数据处理与事故应急响应，提出基于风险评估的安全强化学习方法，最终构建IRS辅助的矿井移动边缘计算MMEC网络系统的安全强化学习模型；
步骤4：利用DDPG算法优化上述安全强化学习模型，在复杂多变的矿山通信环境中动态探索安全计算卸载策略，设计合理的IRS反射相移与计算卸载率，实现最优计算卸载效益的目标。
进一步，步骤1具体包括：
步骤1.1：煤矿井下封闭复杂的环境特征以及煤尘/矿石吸收干扰信号传输都导致严重的无线覆盖盲区问题，从而矿山物联网设备与边缘服务器之间的LoS无线通信信号损耗严重，甚至影响矿山物联网通信安全；通过在MMEC系统中引入IRS，将IRS布置在矿井巷道墙面或者综采面的顶部，利用IRS可调控的反射特性，实现虚拟卸载链路，即矿山物联网设备可以通过IRS的两段反射路径传输计算任务，从而提高信号传输的可靠性和覆盖范围，最终增强卸载信道质量；
步骤1.2：具体对IRS辅助的MMEC网络系统的计算卸载过程建模：设一个IRS辅助MMEC系统，MMEC架构是基本的点对点通信系统，由一个矿山物联网设备和一个配备MEC服务器的接入点AP组成；
IRS硬件平面包含了N个无源反射元件的IRS反射单元并被布置在接近AP的矿井巷道墙面；只考虑IRS反射元件第一次反射的信号分量，并且设IRS元件工作时相互之间没有信号耦合或联合处理，并且独立地反射入射信号；通过IRS可调控的反射特性，矿山物联网设备端发出的信号经过IRS反射元件反射到达接入点AP后与矿山物联网设备端发出的直射信号相互叠加；在IRS辅助MMEC系统中，计算任务通过两段反射链路和直射链路叠加的无线链路卸载，即等效信道增益h为：
其中，hd、hg＝[hg，1，…，hg，N]T分别表示直射路径和两段反射路径的窄带等效平坦信道，*表示共轭转置符号；/>表示IRS反射系数对角矩阵，θn∈[0，2π)表示复反射系数的相移；同时，可实现的最大无线传输数据速率R为：
其中，B表示带宽；p为信号发射功率；σ2为加性高斯白噪声的噪声功率；
矿山物联网设备在时隙k内可以将L(k)x(k)bit计算任务量通过上述无线链路卸载卸载至AP，并由内部的MEC服务器处理计算任务，其中x(k)(0≤x(k)≤1)为卸载率，当x(k)＝0时，矿山物联网设备本地处理全部计算任务；当x(k)＝1时，矿山物联网设备将所有计算任务卸载至AP处理；当0≤x(k)≤1时，该矿山物联网设备将L(k)x(k)bit数据卸载至AP处理，同时剩余的(1-x(k))L(k)bit数据在本地进行处理。
进一步，步骤2具体包括：
步骤2.1：具体分析IRS辅助MMEC网络系统能量损耗和计算时延模型：矿山物联网设备采用部分卸载方案，具体将L(k)x(k)bit数据卸载至AP处理，剩余的(1-x(k))L(k)bit数据在本地处理，所以考虑本地计算和计算卸载过程的能量损耗和计算时延问题；
设fl和φ分别表示矿物联网设备处理1bit任务的CPU频率和所需CPU周期数；fe表示MEC服务器处理1bit任务的CPU频率；令和/>分别表示物联网设备在时隙k内本地计算的计算延迟和能量损耗，表达式如下：
式中v为有效电容系数；
令和/>分别表示任务卸载产生的时延和能耗，表达式如下：
步骤2.2：对能量效率和总计算延迟具体建模：在时隙k内本地计算和任务卸载的总能量损耗通过/>得到，所以计算卸载过程的能量效率为/>此外，在部分卸载方案中IRS辅助MMEC网络系统需要并行处理本地处理计算任务和卸载处理计算任务，因此定义总计算延迟为/>
计算卸载方法需要保证计算任务的实时性，从而确保矿山的安全和高效运营；同时又需要考虑能量等资源限制的问题；定义由能量效率和计算时延共同组成的计算卸载效益函数，表达式如下：
式中正系数ω1和ω2分别表示能量效率和总计算延迟的权重参数，用于平衡效用函数的影响效果；
最后，将最大化计算卸载效益函数作为计算卸载方法的优化目标，即：
公式中，约束(a)是IRS反射系数矩阵中的相移取值范围；约束(b)是部分计算卸载过程的卸载率取值范围，优化目标为一个高维连续策略优化问题，有限取值的相移和卸载率以及都使得该优化问题具有非凸性。
进一步，步骤3中，复杂的井下无线通信环境面临着电磁干扰、煤尘雾气吸收信号、大型移动设备阻挡等困难，导致难以准确获取实时的信道状态信息并设计IRS反射相移。此外，公式中联合设计反射相移和卸载率的优化问题具有非凸性，所以传统的优化技术无法有效解决动态复杂环境下的公式中的优化问题；
为了能适应复杂的通信环境和实时变化的信道条件，将信道状态信息和计算任务需求信息的获取以及IRS反射相移转换建模为有限状态离散马尔可夫过程MDP，并构建IRS辅助的矿井移动边缘计算MMEC网络系统的环境状态、动作及奖励函数，得到强化学习模型如下：
分别将IRS辅助的MMEC网络系统和矿山物联网设备作为环境和学习智能体；设IRS辅助的MMEC网络系统的状态由时隙k的计算任务量大小L(k)、移动物联网设备在时隙k处的位置信息C(k)和IRS辅助MMEC系统在时隙k-1处估计的信道状态信息CSI：/>组成；A表示所有计算卸载策略集合，即包括所有可能的动作a的动作集合；在时隙k内，动作/>为计算卸载策略，在IRS辅助的MMEC网络系统中为a(k)＝[x(k)，θ(k)]，其中，/>表示N个IRS反射元件在时隙k处的相移，x(k)(0≤x(k)≤1)为卸载率；将计算卸载效益函数U(k)作为系统奖励r(k)；
由于矿山物联网设备利用强化学习随机探索卸载策略时存在超过安全阈值的计算时延风险，因此为了保证满足计算时延阈值要求的矿山物联网安全通信，保障实时性数据处理与事故应急响应，提出基于风险水平评估的安全强化学习方法，构建IRS辅助的矿井移动边缘计算MMEC网络系统的安全强化学习模型；
通过使用风险水平函数Γ(s(k)，a(k))评价状态-动作对的风险水平，其中s表示状态，a表示动作；将基于风险评估的安全探索与强化学习RL相结合，在动态探索计算任务卸载策略得到最大的计算卸载效益函数的同时，保证满足时延阈值要求，避免了应急管理数据处理延迟问题导致的矿山安全事故；在安全强化学习方法中，执行动作a后将评估得到的总计算延迟Tt与设定的时延阈值Tmax，Tmid，Tmin相比较的结果作为风险水平评估，即定义在时隙k状态s(k)下执行动作a(k)相对应的风险水平函数Γ(s(k)，a(k))如下：
其中，根据实际矿山物联网应用场景与应急管理安全准则设定对应的时延阈值；
在安全强化学习模型中，策略函数μ(s(k)，a)的选择同时考虑状态-动作对的价值Q(s(k)，a)和风险水平Γ(s(k)，a(k))，具体为：
其中，表示状态s(k)下所有可能选择的计算卸载策略，状态-动作对的价值越高且风险水平越低的策略更容易被选择。
进一步，步骤4中，针对公式中IRS辅助MMEC系统中的高维连续策略优化问题，提出基于DDPG的矿山物联网计算卸载机制，基于步骤3中的安全强化学习模型，利用DDPG算法得到最优任务卸载策略，以实现步骤2中的优化目标，具体包括如下步骤：
步骤4.1、初始化DDPG算法的相关学习参数，包括学习率α、折扣因子γ、记忆池大小、OU噪声软更新学习率κ(κ＜＜1)、批量大小Z、回合数以及回合内探索步长；初始化DDPG算法中的Actor网络参数/>及Critic网络参数/>通过将/>和/>赋值给Target Actor网络和Target Critic网络的网络参数/>完成Target网络参数的初始化，随机给出初始IRS辅助的矿井移动边缘计算MMEC网络系统的环境状态/>之后进行回合探索以及网络训练；
步骤4.2、进行回合内的一步探索，Actor网络基于当前输入的初始化系统状态s(k)输出确定性策略然后，矿山物联网设备基于/>和OU过程采样得到的噪声/>选择计算卸载策略a(k)，具体公式如下：
矿山物联网设备执行计算卸载策略，即设计反射相移θ(k)和卸载率x(k)，并根据公式-评估得到奖励U(k)，即计算卸载效用值，并根据公式得到动作约束函数Γ(k)；然后根据计算卸载过程观察IRS辅助的MEC系统状态更新得到下一步状态s(k+1)；具体来说，计算任务量大小和移动物联网设备的位置信息通过马尔科夫链转移，重新估计获取该位置的环境信道状态信息；随后，将上述元素组成计算卸载经验(s(k)，a(k)，r(k)，s(k+1)，Γ(s(k)，a(k))存储到经验池；
步骤4.3、判断经验池的计算卸载经验数是否达到Z；若没有，则直接跳转至步骤4.4，继续探索累计计算卸载经验，直至计算卸载经验不断累计达到Z组；若有，则基于经验回放技术，矿山物联网设备从经验池中随机采样Z组计算卸载经验，即(sh，ah，th，sh+1，Γ(sh，ah))，h∈[1，Z]，并利用这些计算卸载经验迭代更新四个神经网络参数，包括Actor网络参数Critic网络参数/>Target Actor网络参数/>Target Critic网络参数/>其中用Adam优化器作为梯度下降算法更新Critic网络参数ξ1，具体公式如下：
通过确定性策略梯度上升方法来更新Actor网络参数具体公式如下：
Target Actor网络参数和Target Critic网络参数/>则以学习率κ(κ＜＜1)进行软更新来放慢对Actor网络参数和Critic网络参数的追踪速度，具体软更新过程如下：
步骤4.4、最后，判断时隙数是否达到最大回合内训练步长数，若没有，则令下一步状态s(k+1)为新的初始化系统状态s(k)，回到步骤步骤4.2；若有，则结束回合训练。
有益效果：针对矿山物联网的特殊通信环境，通过采用融合IRS和安全强化学习的计算卸载方法协助矿山物联网设备任务计算处理，实现优化的任务计算效益；采用IRS辅助的计算卸载增强矿山物联网设备计算处理效率，并联合优化MMEC系统的能量效率与计算时延；运用基于风险水平评估的安全强化学习方法实现计算时延阈值要求的安全通信，保障实时性数据处理与事故应急响应；
为保证满足计算时延阈值要求的矿山物联网安全通信，保障实时性数据处理与事故应急响应，提出基于风险水平评估的安全强化学习方法，构建IRS辅助的矿井移动边缘计算MMEC网络系统的安全强化学习模型；
为保证满足计算时延阈值要求的矿山物联网安全通信，保障实时性数据处理与事故应急响应，提出基于风险评估的安全强化学习方法构建基于动作约束的安全强化学习架构，利用基于深度确定性策略梯度DDPG算法在复杂的煤矿井下环境中动态探索并得到最优的IRS反射相移和计算卸载率，最终提高系统的能量效率并降低计算时延，并符合矿井下的安全需要，助力矿山物联网实现安全和高效生产。
附图说明
图1为本发明的智能反射面辅助的矿山物联网安全卸载方法流程图；
图2为本发明实施例中使用的IRS辅助的MMEC网络系统示意图。
具体实施方式
下面将结合附图对本发明的实施例做进一步说明：
如图1和图2所示，一种智能反射面辅助的矿山物联网安全卸载方法，具体步骤如下：
步骤1：针对煤矿井下典型的无线覆盖盲区问题，将智能反射面IRS加入到矿井移动边缘计算MMEC网络系统以增强信号覆盖范围并提供稳定可靠的无线链路，具体构建一个IRS辅助的MMEC网络系统，矿山物联网设备通过IRS建立的虚拟卸载链路将更多的计算任务卸载到边缘服务器，利用IRS可调控的反射特性来优化信号的传播，增强信号覆盖范围并提高卸载链路的信道增益；
步骤1.1：煤矿井下封闭复杂的环境特征以及煤尘/矿石吸收干扰信号传输都导致严重的无线覆盖盲区问题，从而矿山物联网设备与边缘服务器之间的LoS无线通信信号损耗严重，甚至影响矿山物联网通信安全；通过在MMEC系统中引入IRS，将IRS布置在矿井巷道墙面或者综采面的顶部，利用IRS可调控的反射特性，实现虚拟卸载链路，即矿山物联网设备可以通过IRS的两段反射路径传输计算任务，从而提高信号传输的可靠性和覆盖范围，最终增强卸载信道质量；
步骤1.2：具体对IRS辅助的MMEC网络系统的计算卸载过程建模：设一个IRS辅助MMEC系统，MMEC架构是基本的点对点通信系统，由一个矿山物联网设备和一个配备MEC服务器的接入点AP组成；
IRS硬件平面包含了N个无源反射元件的IRS反射单元并被布置在接近AP的矿井巷道墙面；只考虑IRS反射元件第一次反射的信号分量，并且设IRS元件工作时相互之间没有信号耦合或联合处理，并且独立地反射入射信号；通过IRS可调控的反射特性，矿山物联网设备端发出的信号经过IRS反射元件反射到达接入点AP后与矿山物联网设备端发出的直射信号相互叠加；在IRS辅助MMEC系统中，计算任务通过两段反射链路和直射链路叠加的无线链路卸载，即等效信道增益h为：
其中，hd、hg＝[hg，1，…，hg，N]T分别表示直射路径和两段反射路径的窄带等效平坦信道，*表示共轭转置符号；/>表示IRS反射系数对角矩阵，θn∈[0，2π)表示复反射系数的相移；同时，可实现的最大无线传输数据速率R为：
其中，B表示带宽；p为信号发射功率；σ为加性高斯白噪声的噪声功率；
矿山物联网设备在时隙k内可以将L(k)x(k)bit计算任务量通过上述无线链路卸载卸载至AP，并由内部的MEC服务器处理计算任务，其中x(k)(0≤x(k)≤1)为卸载率，当x(k)＝0时，矿山物联网设备本地处理全部计算任务；当x(k)＝1时，矿山物联网设备将所有计算任务卸载至AP处理；当0≤x(k)≤1时，该矿山物联网设备将L(k)x(k)bit数据卸载至AP处理，同时剩余的(1-x(k))L(k)bit数据在本地进行处理。
步骤2：针对矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感的情况，设计矿山物联网设备的计算卸载效益函数同时考虑提高能量效率并降低计算时延，为IRS辅助的MMEC网络系统中矿山物联网设备的计算卸载过程中能量损耗和计算时延问题进行建模，通过联合设计IRS反射相移和计算卸载率实现最大化计算卸载效益函数的优化目标；
步骤2.1：具体分析IRS辅助MMEC网络系统能量损耗和计算时延模型：矿山物联网设备采用部分卸载方案，具体将L(k)x(k)bit数据卸载至AP处理，剩余的(1-x(k))L(k)bit数据在本地处理，所以考虑本地计算和计算卸载过程的能量损耗和计算时延问题；
设fl和φ分别表示矿物联网设备处理1bit任务的CPU频率和所需CPU周期数；fe表示MEC服务器处理1bit任务的CPU频率；令和/>分别表示物联网设备在时隙k内本地计算的计算延迟和能量损耗，表达式如下：
式中v为有效电容系数；
令和/>分别表示任务卸载产生的时延和能耗，表达式如下：
步骤2.2：对能量效率和总计算延迟具体建模：在时隙k内本地计算和任务卸载的总能量损耗通过/>得到，所以计算卸载过程的能量效率为/>此外，在部分卸载方案中IRS辅助MMEC网络系统能够并行处理本地处理计算任务和卸载处理计算任务，因此定义总计算延迟为
计算卸载方法需要保证计算任务的实时性，从而确保矿山的安全和高效运营；同时又需要考虑能量等资源限制的问题；定义由能量效率和计算时延共同组成的计算卸载效益函数，表达式如下：
式中正系数ω1和ω2分别表示能量效率和总计算延迟的权重参数，用于平衡效用函数的影响效果；
最后，将最大化计算卸载效益函数作为计算卸载方法的优化目标，即：
公式中，约束(a)是IRS反射系数矩阵中的相移取值范围；约束(b)是部分计算卸载过程的卸载率取值范围，优化目标为一个高维连续策略优化问题，有限取值的相移和卸载率以及都使得该优化问题具有非凸性。
步骤3：由于在煤矿井下很难准确获取实时的无线通信模型和信道状态信息，并且上述提到设计反射相移和计算卸载率的优化问题具有非凸性，因此将IRS辅助的矿山物联网设备的动态计算卸载过程和IRS相移调整过程建模成马尔科夫决策过程MDP，分别将IRS辅助的MMEC网络系统和矿山物联网设备作为环境和学习代理Agent。此外，为了保证满足计算时延阈值要求的矿山物联网安全通信，保障实时性数据处理与事故应急响应，提出基于风险评估的安全强化学习方法，最终构建IRS辅助的矿井移动边缘计算MMEC网络系统的安全强化学习模型；
复杂的井下无线通信环境面临着电磁干扰、煤尘雾气吸收信号、大型移动设备阻挡等困难，导致难以准确获取实时的信道状态信息并设计IRS反射相移。此外，公式中联合设计反射相移和卸载率的优化问题具有非凸性，所以传统的优化技术无法有效解决动态复杂环境下的公式中的优化问题；
为了能适应复杂的通信环境和实时变化的信道条件，将信道状态信息和计算任务需求信息的获取以及IRS反射相移转换建模为有限状态离散马尔可夫过程MDP，并构建IRS辅助的矿井移动边缘计算MMEC网络系统的环境状态、动作及奖励函数，得到强化学习模型如下：
分别将IRS辅助的MMEC网络系统和矿山物联网设备作为环境和学习智能体；设IRS辅助的MMEC网络系统的状态由时隙k的计算任务量大小L(k)、移动物联网设备在时隙k处的位置信息C(k)和IRS辅助MMEC系统在时隙k-1处估计的信道状态信息(CSI)/>组成；用/>表示一系列计算卸载策略集合。在时隙k内，动作a(k)＝[x(k)，θ(k)]为计算卸载策略，其中，/>表示N个IRS反射元件在时隙k处的相移，x(k)(0≤x(k)≤1)为卸载率；将计算卸载效益函数U(k)作为系统奖励r(k)；
然而，矿山物联网设备利用强化学习在随机探索时会导致危险的卸载策略，存在较高计算时延的风险。为了保证满足计算时延阈值要求的矿山物联网安全通信，保障实时性数据处理与事故应急响应，提出基于风险水平评估的安全强化学习方法，构建IRS辅助的矿井移动边缘计算MMEC网络系统的安全强化学习模型。具体而言：通过使用风险水平函数Γ(s(k)，a(k))评价状态-动作对的风险水平，可以将基于风险评估的安全探索与RL相结合，在动态探索计算任务卸载策略得到最大的计算卸载效益函数的同时，保证满足时延阈值要求，避免了应急管理数据处理延迟问题导致的矿山安全事故。在安全强化学习方法中，执行动作a后将评估得到的总计算延迟Tt与设定的时延阈值Tmax，Tmid，Tmin相比较的结果作为风险水平评估，即定义在时隙k状态s(k)下执行动作a(k)相对应的风险水平函数Γ(s(k)，a(k))如下：
其中，根据实际矿山物联网应用场景与应急管理安全准则设定对应的时延阈值。
在安全强化学习模型中，策略函数μ(s(k)，a)的选择同时考虑状态-动作对的价值Q(s(k)，a)和风险水平Γ(s(k)，a(k))，具体为：
其中，表示状态s(k)所有可能的动作。因此，状态-动作对的价值越高且风险水平越低的策略更容易被选择。
步骤4：利用DDPG算法优化上述安全强化学习模型，在复杂多变的矿山通信环境中动态探索安全计算卸载策略，设计合理的IRS反射相移与计算卸载率，实现最优计算卸载效益的目标。
针对公式中IRS辅助MMEC系统中的高维连续策略优化问题，提出基于DDPG的矿山物联网计算卸载机制，基于步骤3中的安全强化学习模型，利用DDPG算法得到最优任务卸载策略，以实现步骤2中的优化目标，具体包括如下步骤：
步骤4.1、初始化DDPG算法的相关学习参数，包括学习率α、折扣因子γ、记忆池大小、OU噪声软更新学习率κ(κ＜＜1)、批量大小Z、回合数以及回合内探索步长；初始化DDPG算法中的Actor网络参数/>及Critic网络参数/>通过将/>和/>赋值给Target Actor网络和Target Critic网络的网络参数/>完成Target网络参数的初始化，随机给出初始IRS辅助的矿井移动边缘计算MMEC网络系统的环境状态/>之后进行回合探索以及网络训练；
步骤4.2、进行回合内的一步探索，Actor网络基于当前输入的初始化系统状态s(k)输出确定性策略然后，矿山物联网设备基于/>和OU过程采样得到的噪声/>选择计算卸载策略a(k)，具体公式如下：
矿山物联网设备执行计算卸载策略，即设计反射相移θ(k)和卸载率x(k)，并根据公式-评估得到奖励U(k)，即计算卸载效用值，并根据公式得到动作约束函数Γ(k)；然后根据计算卸载过程观察IRS辅助的MEC系统状态更新得到下一步状态s(k+1)；具体来说，计算任务量大小和移动物联网设备的位置信息通过马尔科夫链转移，重新估计获取该位置的环境信道状态信息；随后，将上述元素组成计算卸载经验(s(k)，a(k)，r(k)，s(k+1)，Γ(s(k)，a(k))存储到经验池；
步骤4.3、判断经验池的计算卸载经验数是否达到Z；若没有，则直接跳转至步骤4.4，继续探索累计计算卸载经验，直至计算卸载经验不断累计达到Z组；若有，则基于经验回放技术，矿山物联网设备从经验池中随机采样Z组计算卸载经验，即(sh，ah，rh，sh+1，Γ(sh，ah))，h∈[1，Z]，并利用这些计算卸载经验迭代更新四个神经网络参数，包括Actor网络参数Critic网络参数/>Target Actor网络参数/>Target Critic网络参数/>其中用Adam优化器作为梯度下降算法更新Critic网络参数ξ1，具体公式如下：
通过确定性策略梯度上升方法来更新Actor网络参数具体公式如下：
TargetActor网络参数和Target Critic网络参数/>则以学习率κ(κ＜＜1)进行软更新来放慢对Actor网络参数和Critic网络参数的追踪速度，具体软更新过程如下：
步骤4.4、最后，判断时隙数是否达到最大回合内训练步长数，若没有，则令下一步状态s(k+1)为新的初始化系统状态s(k)，回到步骤步骤4.2；若有，则结束回合训练。

Claims (2)

1.一种智能反射面辅助的矿山物联网安全卸载方法，其特征在于，为提高MMEC系统中矿山物联网设备的计算工作效率，利用IRS增强煤矿井下的为提升煤矿井下的信号覆盖范围和信道增益，以矿山物联网设备的工作以能量效率和计算时延为优化目标，选择将计算任务在本地进行计算或者通过卸载到边缘服务器进行计算，从而提升矿山物联网应用的数据处理效率；
具体步骤如下：
步骤1：针对煤矿井下典型的无线覆盖盲区问题，将智能反射面IRS加入到矿井移动边缘计算MMEC网络系统以增强信号覆盖范围并提供稳定可靠的无线链路，具体构建一个IRS辅助的MMEC网络系统，矿山物联网设备通过IRS建立的虚拟卸载链路将更多的计算任务卸载到边缘服务器，利用IRS可调控的反射特性来优化信号的传播，增强信号覆盖范围并提高卸载链路的信道增益；
步骤2：针对矿山物联网应用中待处理的计算任务不仅数据密集而且时延敏感的情况，设计矿山物联网设备的计算卸载效益函数同时考虑提高能量效率并降低计算时延，为IRS辅助的MMEC网络系统中矿山物联网设备的计算卸载过程中能量损耗和计算时延问题进行建模，通过联合设计IRS反射相移和计算卸载率以实现最大化计算卸载效益函数的优化目标；
步骤3：由于在煤矿井下很难准确获取实时的无线通信模型和信道状态信息，因此将IRS辅助的矿山物联网设备的动态计算卸载过程和IRS相移调整过程建模成马尔科夫决策过程MDP，分别将IRS辅助的MMEC网络系统和矿山物联网设备作为环境和学习代理Agent；此外，为了保证满足计算时延阈值要求的矿山物联网安全通信，保障实时性数据处理与事故应急响应，提出基于风险评估的安全强化学习方法，最终构建IRS辅助的矿井移动边缘计算MMEC网络系统的安全强化学习模型；
步骤4：利用DDPG算法优化上述安全强化学习模型，在复杂多变的矿山通信环境中动态探索安全计算卸载策略，设计合理的IRS反射相移与计算卸载率，实现最优计算卸载效益的目标；
步骤1具体包括：
步骤1.1：煤矿井下封闭复杂的环境特征以及煤尘/矿石吸收干扰信号传输都导致严重的无线覆盖盲区问题，从而矿山物联网设备与边缘服务器之间的LoS无线通信信号损耗严重，甚至影响矿山物联网通信安全；通过在MMEC系统中引入IRS，将IRS布置在矿井巷道墙面或者综采面的顶部，利用IRS可调控的反射特性，实现虚拟卸载链路，即矿山物联网设备通过IRS的两段反射路径传输计算任务，从而提高信号传输的可靠性和覆盖范围，最终增强卸载信道质量；
步骤1.2：具体对IRS辅助的MMEC网络系统的计算卸载过程建模：设一个IRS辅助MMEC系统，MMEC架构是基本的点对点通信系统，由一个矿山物联网设备和一个配备MEC服务器的接入点AP组成；
IRS硬件平面包含了N个无源反射元件的IRS反射单元并被布置在接近AP的矿井巷道墙面；只考虑IRS反射元件第一次反射的信号分量，并且设IRS元件工作时相互之间没有信号耦合或联合处理，并且独立地反射入射信号；通过IRS可调控的反射特性，矿山物联网设备端发出的信号经过IRS反射元件反射到达接入点AP后与矿山物联网设备端发出的直射信号相互叠加；在IRS辅助MMEC系统中，计算任务通过两段反射链路和直射链路叠加的无线链路卸载，即等效信道增益h为：
其中，hd、hg＝[hg，1，…，hg，N]T分别表示直射路径和两段反射路径的窄带等效平坦信道，*表示共轭转置符号；/>表示IRS反射系数对角矩阵，θn∈[0，2π)表示复反射系数的相移；同时，可实现的最大无线传输数据速率R为：
其中，B表示带宽；p为信号发射功率；σ2为加性高斯白噪声的噪声功率；
矿山物联网设备在时隙k内将L(k)x(k)bit计算任务量通过上述无线链路卸载卸载至AP，并由内部的MEC服务器处理计算任务，其中x(k)(0≤x(k)≤1)为卸载率，当x(k)＝0时，矿山物联网设备本地处理全部计算任务；当x(k)＝1时，矿山物联网设备将所有计算任务卸载至AP处理；当0≤x(k)≤1时，该矿山物联网设备将L(k)x(k)bit数据卸载至AP处理，同时剩余的(1-x(k))L(k)bit数据在本地进行处理；
步骤2具体包括：
步骤2.1：具体分析IRS辅助MMEC网络系统能量损耗和计算时延模型：矿山物联网设备采用部分卸载方案，具体将L(k)x(k)bit数据卸载至AP处理，剩余的(1-x(k))L(k)bit数据在本地处理，所以考虑本地计算和计算卸载过程的能量损耗和计算时延问题；
设fl和φ分别表示矿物联网设备处理1bit任务的CPU频率和所需CPU周期数；fe表示MEC服务器处理1bit任务的CPU频率；令和/>分别表示物联网设备在时隙k内本地计算的计算延迟和能量损耗，表达式如下：
式中v为有效电容系数；
令和/>分别表示任务卸载产生的时延和能耗，表达式如下：
步骤2.2：对能量效率和总计算延迟具体建模：在时隙k内本地计算和任务卸载的总能量损耗通过/>得到，所以计算卸载过程的能量效率为/>此外，在部分卸载方案中IRS辅助MMEC网络系统需要并行处理本地处理计算任务和卸载处理计算任务，因此定义总计算延迟为/>
计算卸载方法需要保证计算任务的实时性，从而确保矿山的安全和高效运营；同时又需要考虑能量资源限制的问题；定义由能量效率和计算时延共同组成的计算卸载效益函数，表达式如下：
式中正系数ω1和ω2分别表示能量效率和总计算延迟的权重参数，用于平衡效用函数的影响效果；
最后，将最大化计算卸载效益函数作为计算卸载方法的优化目标，即：
公式中，约束(a)是IRS反射系数矩阵中的相移取值范围；约束(b)是部分计算卸载过程的卸载率取值范围，优化目标为一个高维连续策略优化问题，有限取值的相移和卸载率以及都使得该优化问题具有非凸性；
步骤4中，针对公式中IRS辅助MMEC系统中的高维连续策略优化问题，提出基于DDPG的矿山物联网计算卸载机制，基于步骤3中的安全强化学习模型，利用DDPG算法得到最优任务卸载策略，以实现步骤2中的优化目标，具体包括如下步骤：
步骤4.1、初始化DDPG算法的相关学习参数，包括学习率α、折扣因子γ、记忆池大小、OU噪声软更新学习率κ(κ＜＜1)、批量大小Z、回合数以及回合内探索步长；初始化DDPG算法中的Actor网络参数/>及Critic网络参数/>通过将/>和/>赋值给Target Actor网络和Target Critic网络的网络参数/>完成Target网络参数的初始化，随机给出初始IRS辅助的矿井移动边缘计算MMEC网络系统的环境状态/>之后进行回合探索以及网络训练；
步骤4.2、进行回合内的一步探索，Actor网络基于当前输入的初始化系统状态s(k)输出确定性策略然后，矿山物联网设备基于/>和OU过程采样得到的噪声/>选择计算卸载策略a(k)，具体公式如下：
矿山物联网设备执行计算卸载策略，即设计反射相移θ(k)和卸载率x(k)，并根据公式-评估得到奖励U(k)，即计算卸载效用值，并根据公式得到动作约束函数Γ(k)；然后根据计算卸载过程观察IRS辅助的MEC系统状态更新得到下一步状态s(k+1)；具体来说，计算任务量大小和移动物联网设备的位置信息通过马尔科夫链转移，重新估计获取该位置的环境信道状态信息；随后，将更新前后的系统状态、写在策略、奖励和动作约束函数值这些元素组成计算卸载经验(s(k)，a(k)，r(k)，s(k+1)，Γ(s(k)，a(k)))存储到经验池；
步骤4.3、判断经验池的计算卸载经验数是否达到z；若没有，则直接跳转至步骤4.4，继续探索累计计算卸载经验，直至计算卸载经验不断累计达到Z组；若有，则基于经验回放技术，矿山物联网设备从经验池中随机采样Z组计算卸载经验，即(sh，ah，rh，sh+1，Γ(sh，ah))，h∈[1，Z]，并利用这些计算卸载经验迭代更新四个神经网络参数，包括Actor网络参数Critic网络参数/>Target Actor网络参数/>Target Critic网络参数/>其中用Adam优化器作为梯度下降算法更新Critic网络参数/>具体公式如下：
通过确定性策略梯度上升方法来更新Actor网络参数具体公式如下：
Target Actor网络参数和Target Critic网络参数/>则以学习率κ(κ＜＜1)进行软更新来放慢对Actor网络参数和Critic网络参数的追踪速度，具体软更新过程如下：
步骤4.4、最后，判断时隙数是否达到最大回合内训练步长数，若没有，则令下一步状态s(k+1)为新的初始化系统状态s(k)，回到步骤4.2；若有，则结束回合训练。
2.根据权利要求1所述的一种智能反射面辅助的矿山物联网安全卸载方法，其特征在于，步骤3中，复杂的井下无线通信环境面临着电磁干扰、煤尘雾气吸收信号、大型移动设备阻挡的困难，导致难以准确获取实时的信道状态信息并设计IRS反射相移；此外，公式中联合设计反射相移和卸载率的优化问题具有非凸性，所以传统的优化技术无法有效解决动态复杂环境下的公式中的优化问题；
为了能适应复杂的通信环境和实时变化的信道条件，将信道状态信息和计算任务需求信息的获取以及IRS反射相移转换建模为有限状态离散马尔可夫过程MDP，并构建IRS辅助的矿井移动边缘计算MMEC网络系统的环境状态、动作及奖励函数，得到强化学习模型如下：
分别将IRS辅助的MMEC网络系统和矿山物联网设备作为环境和学习智能体；设IRS辅助的MMEC网络系统的状态由时隙k的计算任务量大小L(k)、移动物联网设备在时隙k处的位置信息C(k)和IRS辅助MMEC系统在时隙k-1处估计的信道状态信息CSI：/>组成；/>表示所有计算卸载策略集合，即包括所有可能的动作a的动作集合；在时隙k内，动作/>为计算卸载策略，在IRS辅助的MMEC网络系统中为a(k)＝[x(k)，θ(k)]，其中，/>表示N个IRS反射元件在时隙k处的相移，x(k)(0≤x(k)≤1)为卸载率；将计算卸载效益函数U(k)作为系统奖励r(k)；
由于矿山物联网设备利用强化学习随机探索卸载策略时存在超过安全阈值的计算时延风险，因此为了保证满足计算时延阈值要求的矿山物联网安全通信，保障实时性数据处理与事故应急响应，提出基于风险水平评估的安全强化学习方法，构建IRS辅助的矿井移动边缘计算MMEC网络系统的安全强化学习模型；
通过使用风险水平函数Γ(s(k)，a(k))评价状态-动作对的风险水平，其中s表示状态，a表示动作；将基于风险评估的安全探索与强化学习RL相结合，在动态探索计算任务卸载策略得到最大的计算卸载效益函数的同时，保证满足时延阈值要求，避免了应急管理数据处理延迟问题导致的矿山安全事故；在安全强化学习方法中，执行动作a后将评估得到的总计算延迟Tt与设定的时延阈值Tmax，Tmid，Tmin相比较的结果作为风险水平评估，即定义在时隙k状态s(k)下执行动作a(k)相对应的风险水平函数Γ(s(k)，a(k))如下：
其中，根据实际矿山物联网应用场景与应急管理安全准则设定对应的时延阈值；
在安全强化学习模型中，策略函数μ(s(k)，a)的选择同时考虑状态-动作对的价值Q(s(k)，a)和风险水平Γ(s(k)，a(k))，具体为：
其中，表示状态s(k)下所有可能选择的计算卸载策略，状态-动作对的价值越高且风险水平越低的策略更容易被选择。
CN202310949703.8A 2023-07-31 2023-07-31 一种智能反射面辅助的矿山物联网安全卸载方法 Active CN116963183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310949703.8A CN116963183B (zh) 2023-07-31 2023-07-31 一种智能反射面辅助的矿山物联网安全卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310949703.8A CN116963183B (zh) 2023-07-31 2023-07-31 一种智能反射面辅助的矿山物联网安全卸载方法

Publications (2)

Publication Number Publication Date
CN116963183A CN116963183A (zh) 2023-10-27
CN116963183B true CN116963183B (zh) 2024-03-08

Family

ID=88442482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310949703.8A Active CN116963183B (zh) 2023-07-31 2023-07-31 一种智能反射面辅助的矿山物联网安全卸载方法

Country Status (1)

Country Link
CN (1) CN116963183B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113162679A (zh) * 2021-04-01 2021-07-23 南京邮电大学 基于ddpg算法的irs辅助无人机通信联合优化方法
WO2021207748A2 (en) * 2020-08-13 2021-10-14 Futurewei Technologies, Inc. Methods and apparatus for channel reconstruction in intelligent surface aided communications
CN115686669A (zh) * 2022-10-17 2023-02-03 中国矿业大学 一种能量收集辅助的矿山物联网智能计算卸载方法
CN115802419A (zh) * 2022-09-27 2023-03-14 南京邮电大学 基于irs辅助的d2d_mec系统的能效优化方法
CN115811793A (zh) * 2022-11-23 2023-03-17 广东工业大学 一种基于智能反射面辅助的能量采集移动边缘计算方法
CN116208619A (zh) * 2023-03-21 2023-06-02 西安电子科技大学 一种智能反射表面辅助的车联网安全计算卸载方法、系统、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021207748A2 (en) * 2020-08-13 2021-10-14 Futurewei Technologies, Inc. Methods and apparatus for channel reconstruction in intelligent surface aided communications
CN113162679A (zh) * 2021-04-01 2021-07-23 南京邮电大学 基于ddpg算法的irs辅助无人机通信联合优化方法
CN115802419A (zh) * 2022-09-27 2023-03-14 南京邮电大学 基于irs辅助的d2d_mec系统的能效优化方法
CN115686669A (zh) * 2022-10-17 2023-02-03 中国矿业大学 一种能量收集辅助的矿山物联网智能计算卸载方法
CN115811793A (zh) * 2022-11-23 2023-03-17 广东工业大学 一种基于智能反射面辅助的能量采集移动边缘计算方法
CN116208619A (zh) * 2023-03-21 2023-06-02 西安电子科技大学 一种智能反射表面辅助的车联网安全计算卸载方法、系统、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Intelligent Reflecting Surface Assisted Mobile Edge Computing for Internet of Things";Z. Chu et.al.;《IEEE Wireless Communications Letters》;全文 *
"工煤矿运输系统智能化技术现状及发展趋势";陈晓晶;《工矿自动化》;第48卷(第6期);全文 *
"智能反射表面的用户随机移动无线系统物理层安全技术";张腾月;《中国博士学位论文全文数据库（信息科技I辑）》;全文 *
"智能反射面技术及其在煤矿井下 无线盲区覆盖的应用探讨";李世银 等;《工矿自动化》;第49卷(第6期);全文 *

Also Published As

Publication number Publication date
CN116963183A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN109729528B (zh) 一种基于多智能体深度强化学习的d2d资源分配方法
WO2023020080A1 (zh) 一种智能反射面辅助的无线通信系统
Rizzo et al. Signal-based deployment planning for robot teams in tunnel-like fading environments
US20220286199A1 (en) Method for predicting co-channel interference of satellite-to-ground downlink under low-orbit satellite constellation
CN104469836A (zh) 一种建立水下传感器网络中多维度信任模型的方法
CN112598150A (zh) 一种在智能电厂中基于联邦学习提升火灾检测效果的方法
Mostofi Communication-aware motion planning in fading environments
CN115686669B (zh) 一种能量收集辅助的矿山物联网智能计算卸载方法
CN113590232A (zh) 一种基于数字孪生的中继边缘网络任务卸载方法
CN116963183B (zh) 一种智能反射面辅助的矿山物联网安全卸载方法
CN102238709B (zh) 无线传感器网络的自适应抗干扰方法
CN117580105A (zh) 一种面向电网巡检的无人机任务卸载优化方法
Zhang et al. Deep reinforcement learning for modulation and coding scheme selection in cognitive HetNets
Zhao et al. A Transmission-Reliable Topology Control Framework Based on Deep Reinforcement Learning for UWSNs
Liu et al. Fractional Optimal Control for malware Propagation in the Internet of Underwater Things
Ma [Retracted] Optimal Control of Whole Network Control System Using Improved Genetic Algorithm and Information Integrity Scale
CN115412159A (zh) 基于空中智能反射面辅助的安全通信方法
CN114157392A (zh) 一种分布式irs辅助通信系统安全传输的优化方法
CN113766620A (zh) 一种认知无线电网络的功率控制方法及装置
Guo et al. Distributed trajectory design for underwater multi-robot relay networks
Wang et al. Reliable Adaptive Recoding for Batched Network Coding with Burst-Noise Channels
Qu et al. Power Allocation for Full-Duplex Communication Systems Based on Deep Deterministic Policy Gradient
CN116981039A (zh) 基于哈里斯鹰优化算法的认知无线网络功率控制方法
CN117194866B (zh) 一种基于质量弹簧阻尼系统的分布式滤波方法
CN116996919B (zh) 一种基于强化学习的单节点多域抗干扰方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant