CN116193607A - 基于信息年龄的电力物联网周期性业务数据资源调度方法 - Google Patents

基于信息年龄的电力物联网周期性业务数据资源调度方法 Download PDF

Info

Publication number
CN116193607A
CN116193607A CN202310061149.XA CN202310061149A CN116193607A CN 116193607 A CN116193607 A CN 116193607A CN 202310061149 A CN202310061149 A CN 202310061149A CN 116193607 A CN116193607 A CN 116193607A
Authority
CN
China
Prior art keywords
information age
things
power internet
network
base station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310061149.XA
Other languages
English (en)
Inventor
谭冲
周倩妮
李慧
刘洪�
郑敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN202310061149.XA priority Critical patent/CN116193607A/zh
Publication of CN116193607A publication Critical patent/CN116193607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/12—Wireless traffic scheduling
    • H04W72/1263—Mapping of traffic onto schedule, e.g. scheduled allocation or multiplexing of flows
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/35—Utilities, e.g. electricity, gas or water
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于信息年龄的电力物联网周期性业务数据资源调度方法，包括：构造基站集中式控制的电力物联网实时监测系统，建立信息年龄更新模型和能量更新模型；构造深度强化学习的网络，初始化所述深度强化学习的网络和电力物联网环境；构建最小化基站处平均加权信息年龄的优化问题，根据电力物联网中获取的传感器节点的信息年龄、能量状态建立系统的状态空间、动作空间和奖励函数；将当前电力物联网环境输入到eval网络，在当前时隙中，得到的调度决策，并基于调度决策完成调度。本发明联合考虑传感器节点能量和周期性业务数据信息年龄，保证基站处数据的及时性，以及网络中能量的充足性。

Description

基于信息年龄的电力物联网周期性业务数据资源调度方法
技术领域
本发明涉及无线传感器网络的通信技术领域，特别是涉及一种基于信息年龄的电力物联网周期性业务数据资源调度方法。
背景技术
随着无线通信和物联网技术的日益成熟使得无线传感器网络(WSNs)被广泛应用于电力环境监测领域，“泛在电力物联网”是国家电网在2019年提出的物联网工业级应用。电力物联网中，用于进行电力环境监测和决策控制的业务数据是由传感器周期生成的。为了保障基站能够根据数据快速对电力环境和设备运行状况进行实时监控和精确决策，因此要求传感器节点将周期性业务数据和突发数据尽可能及时地发送到基站。信息年龄(Ageof Information)是一种从基站角度衡量数据新鲜度的新兴指标，定义为基站最新收到的传感器数据自生成以来所经过的时间。与吞吐量和延迟等常规指标不同，AoI同时考虑了生成时间和传输延迟，为实时物联网系统提供了更全面的性能指标。时隙调度用于规划电力物联网中传感器节点上传数据的顺序，通过时隙调度的方法优化基站处的平均权重信息年龄可以有效地提升网络中数据传输的及时性，是提升网络数据传输及时性的一种重要手段。
与此同时，考虑到电力物联网中的传感器节点通常部署在输电塔甚至输电线上，更换电池或充电是不切实际的。传感器节点能量耗尽会导致无法更新数据到基站，陈旧的信息不仅对基站决策没有指导作用，甚至会对传感器节点监测的区域状态做出错误判断，从而导致异常反馈行为。由于无线资源无处不在和成本较低的特点，无线能量传输(WET)是一种有效可靠的技术为低能量的传感器节点充能实现泛在电力物联网的可持续运行。WET在提升数据传输的及时性的同时，可以延长电力物联网网络寿命。因此，如何同时考虑优化网络中的传感器节点的能量和基站处的平均权重信息年龄，使得电力物联网能够提升网络生存周期的同时，还能保持数据的及时传输是一个亟需解决的挑战。
目前关于信息年龄的技术中，多数研究的数据是通过联合采样的方式获取的。联合采样说明传感器的采样操作是由基站控制、可以在任意时刻发生的。当基站发现维护的传感器数据的AoI过大时，控制传感器进行数据采样来更新目标节点处的AoI。但在电力物联网中，传感器节点的获取业务数据的方式以周期性采样为主，间隔固定时间进行一次采样，不受基站控制。另外，在针对周期性业务数据信息年龄优化问题的研究中，主要研究最小化平均信息年龄或者峰值信息年龄的低复杂度调度算法。考虑调度对数据新鲜度的影响，但是忽略了源节点能量有限同样是影响电力物联网周期性业务数据新鲜度的重要因素之一。传感器节点进行信息采集、存储和更新时均会消耗能量，一旦传感器节点能量耗尽，数据无法更新到基站，信息年龄快速增长。
发明内容
本发明所要解决的技术问题是提供一种基于信息年龄的电力物联网周期性业务数据资源调度方法，能够综合考虑传感器节点的能量和数据的信息年龄，延长电力物联网生存周期和提高数据传输及时性。
本发明解决其技术问题所采用的技术方案是：提供一种基于信息年龄的电力物联网周期性业务数据资源调度方法，包括以下步骤：
(1)构造基站集中式控制的电力物联网实时监测系统，建立信息年龄更新模型和能量更新模型；
(2)构造深度强化学习的网络，初始化所述深度强化学习的网络和电力物联网环境，所述深度强化学习的网络包括eval网络和target网络；
(3)构建最小化基站处平均加权信息年龄的优化问题，根据电力物联网中获取的传感器节点的信息年龄、能量状态建立系统的状态空间、动作空间和奖励函数；将当前电力物联网环境输入到eval网络，在当前时隙中，得到的调度决策，并基于调度决策完成调度；
(4)被调度的传感器节点完成通信，每个时隙更新所有传感器节点的剩余能量、信息年龄以及基站处的平均权重信息年龄；
(5)基站得到网络环境反馈的奖励值，感知并收集网络环境当前状态，同时在记忆池中存储当前时隙产生的样本数据；
(6)当记忆池中的样本数量超过阈值时，从记忆池中采样经验，根据损失函数通过反向传播更新eval网络的参数，使得eval网络逐渐趋于收敛；
(7)在当前回合中，经过固定训练步长，eval网络将权重更新到target网络上；
(8)达到当前训练回合的最大步数时，结束当前回合，开始下一回合，重新初始化电力物联网实时监测系统，输入电力物联网环境，重复步骤(3)-(8)。
所述电力物联网实时监测系统包括一个基站和M个传感器节点，上行链路中，所述传感器节点根据调度将周期性业务数据更新到所述基站；所述基站维护一个本地状态链表，通过不断接收所述传感器节点的状态更新数据来保证各传感器节点在本地状态的及时性；下行链路，所述传感器节点通过捕获所述基站广播的RF信号中携带的射频能量进行电池充能。
所述信息年龄更新模型包括周期性业务数据的信息年龄更新模型、缓存队列的信息年龄更新模型和基站处信息年龄更新模型；所述能量更新模型为传感器节点的能量更新模型。
所述周期性业务数据的信息年龄更新模型为
Figure BDA0004061245260000031
其中，
Figure BDA0004061245260000032
表示t时刻周期性业务数据的信息年龄，Ti表示传感器节点i的采样周期。
所述缓存队列的信息年龄更新模型为：
Figure BDA0004061245260000033
其中，
Figure BDA00040612452600000315
表示t+1时刻缓存队列的信息年龄，
Figure BDA0004061245260000034
表示t时刻缓存队列的头部数据信息年龄，
Figure BDA0004061245260000035
表示t时刻缓存队列的头部数据的后继数据的信息年龄，
Figure BDA0004061245260000036
表示传感器节点i在t时刻的调度决策结果，qi(t)表示缓存队列在t时刻缓存的数据个数，
Figure BDA0004061245260000037
表示传感器节点i在t时刻的数据传输是否成功；L表示缓存队列的最大缓存数据个数；T表示采样周期。
所述基站处信息年龄更新模型为：
Figure BDA0004061245260000038
其中，
Figure BDA0004061245260000039
表示t时刻周期性业务数据的信息年龄，
Figure BDA00040612452600000310
表示t时刻基站处信息年龄，
Figure BDA00040612452600000311
表示传感器节点i在t时刻的调度决策结果。
所述传感器节点的能量更新模型为：
Figure BDA00040612452600000312
其中，
Figure BDA00040612452600000313
表示t时刻传感器节点i的能量状态，
Figure BDA00040612452600000314
表示t时刻传感器节点i发送数据消耗的能量，
Figure BDA0004061245260000041
表示t时刻传感器节点i补充的能量，Bmax表示传感器节点i的最大能量，
Figure BDA0004061245260000042
表示传感器节点i在t时刻的调度决策结果。
所述eval网络的输入为当前状态sk(t)和决策ak(t)，所述target网络的输入为下一状态sk(t+1)和奖励值Rk(t)。
所述深度强化学习的网络的损失函数为：loss＝(yk-Q(sk(t),ak(t)；θ))2，其中，yk表示target网络的输出，Q(sk(t),ak(t)；θ)为eval网络的输出，θ为eval网络的权重参数。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明采用基于强化学习的资源调度策略，由多个终端节点发送周期性业务数据来维护基站信息年龄的电力物联网的实时监控，传感器节点可以通过无线能量传输(WET)进行充电，并利用神经网络学习最优的调度策略，联合考虑传感器节点能量和周期性业务数据信息年龄，保证基站处数据的及时性，以及网络中能量的充足性。
附图说明
图1是本发明实施方式的流程图；
图2是本发明实施方式中电力物联网实时监测系统的示意图；
图3是本发明实施方式中基于DQN的最小化平均权重信息年龄的训练示意图；
图4-图6是本发明实施方式的仿真实验结果图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于信息年龄的电力物联网周期性业务数据资源调度方法，该方法利用神经网络学习最优的调度策略，能够联合考虑传感器节点能量和周期性业务数据信息年龄，保证基站处数据的及时性，以及网络中能量的充足性。如图1所示，包括以下步骤：
步骤1，构造基站集中式控制的电力物联网实时监测系统，建立信息年龄更新模型和能量更新模型。
图2所示的是本步骤构造的电力物联网实时监测系统，该系统是由一个基站和M个传感器节点构成的无线通信网络，用来监测物理环境信息和设备运行状态。上行链路中，传感器节点根据调度将周期性业务数据更新到基站；基站维护一个本地状态链表，通过不断接收各传感器节点的状态更新数据来保证各节点在本地状态的及时性。下行链路，传感器节点通过捕获基站广播的RF信号中携带的射频能量进行电池充能。
本步骤中的信息年龄更新模型包括周期性业务数据的信息年龄更新模型、缓存队列的信息年龄更新模型和基站处信息年龄更新模型；能量更新模型为传感器节点的能量更新模型。
对于周期采样的传感器节点i，令Ti表示传感器节点i的采样周期，
Figure BDA0004061245260000051
表示周期性业务数据的信息年龄，则周期性业务数据的信息年龄更新模型为：
Figure BDA0004061245260000052
采集成功的数据以先入先出的方式被缓存至长度为L的缓存队列中。令qi(t)表示缓存队列当前缓存数据个数，令
Figure BDA0004061245260000053
表示传感器节点i在当前时隙的调度决策结果，当
Figure BDA0004061245260000054
时表示没有调度，
Figure BDA0004061245260000055
时表示完成调度，令
Figure BDA0004061245260000056
表示传感器节点i在当前时隙数据传输是否成功，
Figure BDA0004061245260000057
表示传输没有成功，
Figure BDA0004061245260000058
表示传输成功。若缓存队列的头部数据信息年龄为
Figure BDA0004061245260000059
头部数据的后继数据的信息年龄为
Figure BDA00040612452600000510
则缓存队列的信息年龄更新模型为：
Figure BDA00040612452600000511
令
Figure BDA00040612452600000512
表示基站处传感器节点i的信息年龄，根据调度决策和结果，基站处信息年龄更新模型为：
Figure BDA00040612452600000513
基于无线携能的非线性能量补充模型，基站的平均发射功率为PBS，基站和传感器节点之间的下行信道增益为gi(t)，传感器节点补充的能量为
Figure BDA0004061245260000061
为：
Figure BDA0004061245260000062
其中，a1,i，a2,i和a3,i为非线性能量补充模型的参数，由曲线拟合得到，是常量。
Figure BDA0004061245260000063
表示传感器节点发送数据消耗的能量，根据香农公式，传输
Figure BDA0004061245260000064
bit大小的数据消耗的能量为：
Figure BDA0004061245260000065
其中，σ2为目的噪声功率，hi(t)是基站和传感器节点i之间的下行信道增益。
令
Figure BDA0004061245260000066
表示传感器节点i的能量状态，则传感器节点的能量更新模型为：
Figure BDA0004061245260000067
其中，Bmax表示传感器节点i的最大能量。
步骤2，构造深度强化学习的网络，所述深度强化学习的网络包括eval网络和targetwangl，初始化eval网络和target网络，初始化电力物联网环境。
图3为基于DQN的最小化平均权重信息年龄的训练示意图，如图3所示根据电力物联网状态选择一个调度决策。执行调度决策后，得到电力物联网反馈的奖励值和下一个状态，将当前状态sk(t)、调度决策ak(t)、奖励值Rk(t)和下一状态sk(t+1)作为一条经验存入记忆池，然后再将sk(t+1)输入到eval网络，进行循环，直到记忆池满。
从记忆池中随机选择部分样本进行学习，将当前状态sk(t)和调度决策ak(t)输入eval网络，得到Q(sk(t),ak(t)；θ)；将下一状态sk(t+1)和奖励值Rk(t)输入target网络，得到Q(sk(t),ak(t)；θ′)，则target网络输出为：
Figure BDA0004061245260000068
其中，θ表示eval网络的权重参数和θ′表示target网络的权重参数，γ是用来减小新值影响的折扣参数。
根据eval网络和target网络结果构造的损失函数为：
loss＝(yk-Q(sk(t),ak(t)；θ))2
eval网络根据loss反向传播更新网络参数，每过一定的步数后，将当前eval网络的权重更新到target网络。
步骤3，构建最小化基站处平均加权信息年龄的优化问题，根据电力物联网中获取的传感器节点的信息年龄、能量状态建立系统的状态空间、动作空间和奖励函数。输入当前电力物联网环境到eval网络，在当前时隙中，根据得到的调度策略a完成调度。
本步骤中，定义π为系统调度策略，以最小化基站处所有节点的平均权重信息年龄为目标。因此该优化问题可以表示为：
Figure BDA0004061245260000071
其中，Eπ表示在策略π下的优化目标的期望，wi表示传感器节点i的权重，K表示帧的数量，T表示一帧中时隙的数量，M表示传感器节点数量。
步骤4：被调度的传感器节点完成通信，每个时隙更新所有传感器节点的剩余能量、信息年龄以及基站处的平均权重信息年龄。
步骤5：基站得到网络环境反馈的奖励值r，感知并收集网络环境当前状态，同时在记忆池中存储当前时隙产生的样本数据。
步骤6：当记忆池中的样本数量足够时，从记忆池中采样经验，根据损失函数通过反向传播更新eval网络的参数，使得eval网络逐渐趋于收敛。
步骤7：在当前回合中，经过固定训练步长，eval网络将权重更新到target网络上。
步骤8：达到当前训练回合的最大步数时，结束当前回合，开始下一回合，重新初始化电力物联网实时监测系统，输入电力物联网环境，重复步骤3-步骤8。
下面通过一个具体的实施例进一步说明本发明。
本实施例提供一种最小化基站处平均权重信息年龄的资源调度方法的仿真实验方法，包括以下步骤：
步骤一：首先部署一个拥有一个基站和五个传感器节点的电力物联网网络；
步骤二：将每一个传感器节点的电池容量设置为100J，基站发射功率为3W，传感器节点采集数据大小设置为10,20,30,40,50；权重设置为1,0.9,0.8,0.7,0.6；采样间隔设置为160,170,180,190,200。传感器节点缓存队列长度是300。
步骤三：进行基于轮询策略的资源调度方法，每个时隙进行一次有效调度。
步骤四：进行基于DQN的资源调度策略，由神经网络学习最优调度策略。设置一个回合的有50帧，每帧100个时隙；记忆池大小设置为2000；一次训练选取的样本数为32。为了实现探索，采取ε-greegy策略，初始ε设置为0.9；学习速度设置为0.01；折扣因子设置为0.9；参数更新步长设置为200。
步骤五：进行算法收敛性测试。从图4可以看出，基站处的平均权重信息年龄在50轮训练学习之后逐渐收敛，趋向最优的调度策略。
步骤六：通过不同算法比较基站处的平均加权信息年龄和传感器节点电池状态来进行进一步性能比较。如图5所示，基于DQN的资源调度策略和基于轮询算法的调度方法相比，基于DQN算法的资源调度方法在4000时隙后信息年龄更优，如图6所示，基于轮询算法的调度策略在1500时隙所有传感器节点能量耗尽，而基于DQN的资源调度策略在5000时隙时仍有10％能量剩余。基于轮询算法的调度策略由于前期的频繁调度，节点能量过早耗尽，无法成功完成数据传输，信息年龄快速增长。而基于DQN算法的调度策略综合考虑信息年龄和节点能量，可以保障传感器节点在后续也能完成周期性业务数据的传输，信息年龄增长平缓。

Claims (9)

1.一种基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，包括以下步骤：
(1)构造基站集中式控制的电力物联网实时监测系统，建立信息年龄更新模型和能量更新模型；
(2)构造深度强化学习的网络，初始化所述深度强化学习的网络和电力物联网环境，所述深度强化学习的网络包括eval网络和target网络；
(3)构建最小化基站处平均加权信息年龄的优化问题，根据电力物联网中获取的传感器节点的信息年龄、能量状态建立系统的状态空间、动作空间和奖励函数；将当前电力物联网环境输入到eval网络，在当前时隙中，得到的调度决策，并基于调度决策完成调度；
(4)被调度的传感器节点完成通信，每个时隙更新所有传感器节点的剩余能量、信息年龄以及基站处的平均权重信息年龄；
(5)基站得到网络环境反馈的奖励值，感知并收集网络环境当前状态，同时在记忆池中存储当前时隙产生的样本数据；
(6)当记忆池中的样本数量超过阈值时，从记忆池中采样经验，根据损失函数通过反向传播更新eval网络的参数，使得eval网络逐渐趋于收敛；
(7)在当前回合中，经过固定训练步长，eval网络将权重更新到target网络上；
(8)达到当前训练回合的最大步数时，结束当前回合，开始下一回合，重新初始化电力物联网实时监测系统，输入电力物联网环境，重复步骤(3)-(8)。
2.根据权利要求1所述的基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，所述电力物联网实时监测系统包括一个基站和M个传感器节点，上行链路中，所述传感器节点根据调度将周期性业务数据更新到所述基站；所述基站维护一个本地状态链表，通过不断接收所述传感器节点的状态更新数据来保证各传感器节点在本地状态的及时性；下行链路，所述传感器节点通过捕获所述基站广播的RF信号中携带的射频能量进行电池充能。
3.根据权利要求1所述的基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，所述信息年龄更新模型包括周期性业务数据的信息年龄更新模型、缓存队列的信息年龄更新模型和基站处信息年龄更新模型；所述能量更新模型为传感器节点的能量更新模型。
4.根据权利要求3所述的基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，所述周期性业务数据的信息年龄更新模型为
Figure FDA0004061245250000021
其中，
Figure FDA0004061245250000022
表示t时刻周期性业务数据的信息年龄，Ti表示传感器节点i的采样周期。
5.根据权利要求3所述的基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，所述缓存队列的信息年龄更新模型为：
Figure FDA0004061245250000023
其中，
Figure FDA0004061245250000024
表示t+1时刻缓存队列的信息年龄，
Figure FDA0004061245250000025
表示t时刻缓存队列的头部数据信息年龄，
Figure FDA0004061245250000026
表示t时刻缓存队列的头部数据的后继数据的信息年龄，
Figure FDA0004061245250000027
表示传感器节点i在t时刻的调度决策结果，qi(t)表示缓存队列在t时刻缓存的数据个数，
Figure FDA0004061245250000028
表示传感器节点i在t时刻的数据传输是否成功；L表示缓存队列的最大缓存数据个数；T表示采样周期。
6.根据权利要求3所述的基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，所述基站处信息年龄更新模型为：
Figure FDA0004061245250000029
其中，
Figure FDA00040612452500000210
表示t时刻周期性业务数据的信息年龄，
Figure FDA00040612452500000211
表示t时刻基站处信息年龄，
Figure FDA00040612452500000212
表示传感器节点i在t时刻的调度决策结果。
7.根据权利要求3所述的基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，所述传感器节点的能量更新模型为：
Figure FDA00040612452500000213
其中，
Figure FDA00040612452500000214
表示t时刻传感器节点i的能量状态，
Figure FDA00040612452500000215
表示t时刻传感器节点i发送数据消耗的能量，
Figure FDA00040612452500000216
表示t时刻传感器节点i补充的能量，Bmax表示传感器节点i的最大能量，
Figure FDA00040612452500000217
表示传感器节点i在t时刻的调度决策结果。
8.根据权利要求1所述的基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，所述eval网络的输入为当前状态sk(t)和决策ak(t)，所述target网络的输入为下一状态sk(t+1)和奖励值Rk(t)。
9.根据权利要求8所述的基于信息年龄的电力物联网周期性业务数据资源调度方法，其特征在于，所述深度强化学习的网络的损失函数为：loss＝(yk-Q(sk(t),ak(t)；θ))2，其中，yk表示target网络的输出，Q(sk(t),ak(t)；θ)为eval网络的输出，θ为eval网络的权重参数。
CN202310061149.XA 2023-01-18 2023-01-18 基于信息年龄的电力物联网周期性业务数据资源调度方法 Pending CN116193607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310061149.XA CN116193607A (zh) 2023-01-18 2023-01-18 基于信息年龄的电力物联网周期性业务数据资源调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310061149.XA CN116193607A (zh) 2023-01-18 2023-01-18 基于信息年龄的电力物联网周期性业务数据资源调度方法

Publications (1)

Publication Number Publication Date
CN116193607A true CN116193607A (zh) 2023-05-30

Family

ID=86433862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310061149.XA Pending CN116193607A (zh) 2023-01-18 2023-01-18 基于信息年龄的电力物联网周期性业务数据资源调度方法

Country Status (1)

Country Link
CN (1) CN116193607A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116938613A (zh) * 2023-09-18 2023-10-24 北京交通大学 基于非线性信息年龄的监测传感器的休眠方法及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116938613A (zh) * 2023-09-18 2023-10-24 北京交通大学 基于非线性信息年龄的监测传感器的休眠方法及电子设备
CN116938613B (zh) * 2023-09-18 2023-12-01 北京交通大学 基于非线性信息年龄的监测传感器的休眠方法及电子设备

Similar Documents

Publication Publication Date Title
CN109862610B (zh) 一种基于深度强化学习ddpg算法的d2d用户资源分配方法
CN109729528B (zh) 一种基于多智能体深度强化学习的d2d资源分配方法
CN110809306B (zh) 一种基于深度强化学习的终端接入选择方法
Ortiz et al. Reinforcement learning for energy harvesting point-to-point communications
CN110784882B (zh) 一种基于强化学习的能量采集d2d通信资源分配方法
CN109831808B (zh) 一种基于机器学习的混合供电c-ran的资源分配方法
CN109195207B (zh) 一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法
CN116193607A (zh) 基于信息年龄的电力物联网周期性业务数据资源调度方法
Yang et al. Deep reinforcement learning based wireless network optimization: A comparative study
CN113438315A (zh) 基于双网络深度强化学习的物联网信息新鲜度优化方法
CN113613207B (zh) 一种基于多智能体强化学习的车联网频谱共享方法
CN112738849B (zh) 应用于多跳环境反向散射无线网络的负载均衡调控方法
CN111491358A (zh) 基于能量采集的自适应调制和功率控制系统与优化方法
CN116260871A (zh) 一种基于本地和边缘协同缓存的独立任务卸载方法
CN116321255A (zh) 一种无线联邦学习中高时效模型压缩和用户调度方法
CN114501667A (zh) 一种考虑业务优先级的多信道接入建模及分布式实现方法
CN116471629A (zh) 一种基于深度强化学习的物联网智能拥塞控制方法
CN117580105B (zh) 一种面向电网巡检的无人机任务卸载优化方法
Li et al. Energy-aware irregular slotted ALOHA methods for wireless-powered IoT networks
CN113821346A (zh) 基于深度强化学习的边缘计算中计算卸载与资源管理方法
CN115756873B (zh) 一种基于联邦强化学习的移动边缘计算卸载方法和平台
CN115460710B (zh) 基于深度强化学习的车辆边缘计算场景中的智能计算卸载方法
Ong et al. Cognitive radio network throughput maximization with deep reinforcement learning
CN106712813B (zh) 基于网络生命周期门限选择天线的mimo中继选择方法
Chu et al. Reinforcement learning based multi-access control with energy harvesting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination