CN116669186A - 一种基于马尔科夫决策过程的自适应功率分配方法 - Google Patents

一种基于马尔科夫决策过程的自适应功率分配方法 Download PDF

Info

Publication number
CN116669186A
CN116669186A CN202211596435.8A CN202211596435A CN116669186A CN 116669186 A CN116669186 A CN 116669186A CN 202211596435 A CN202211596435 A CN 202211596435A CN 116669186 A CN116669186 A CN 116669186A
Authority
CN
China
Prior art keywords
information
distortion
age
state
decision process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211596435.8A
Other languages
English (en)
Inventor
姚渭箐
董亮
罗弦
庄严
李想
刘芬
袁翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Information and Telecommunication Branch of State Grid Hubei Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Hubei Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Hubei Electric Power Co Ltd
Priority to CN202211596435.8A priority Critical patent/CN116669186A/zh
Publication of CN116669186A publication Critical patent/CN116669186A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0473—Wireless resource allocation based on the type of the allocated resource the resource being transmission power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/35—Utilities, e.g. electricity, gas or water
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请涉及一种基于马尔科夫决策过程的自适应功率分配方法，具体包括以下步骤：获取电力物联网络的参数信息，建立系统信息年龄更新模型，信息失真更新模型和能量收集模型，将动态状态更新表示为马尔可夫决策过程；构建最小化信息年龄和信息失真加权和的优化目标问题，根据获取的各发送端节点的信息年龄和信息失真的随机变量，建立电力物联网络系统的状态空间、决策空间和奖励函数；在每个时隙更新接收端节点的信息年龄和信息失真，在奖励函数趋于稳定时，得到最优的功率分配方案。本申请解决了现有电力信息传输低时延和高有效的需求，提供了一种基于马尔科夫决策过程的自适应功率分配方法，有效实现信息时延和信息失真的权衡，有效降低能耗。

Description

一种基于马尔科夫决策过程的自适应功率分配方法
技术领域
本申请属于无线通信领域，特别是一种基于马尔科夫决策过程的自适应功率分配方法。
背景技术
随着嵌入式系统的快速发展，多终端通信和云计算，越来越多的智能设备和低功耗传感器连接到互联网，这被称为物联网。特别是物联网网络已经越来越多在与数据收集和近年来的服务共享，如环境监测智慧城市规划，工业自动化，还有目标监视和跟踪。在这些系统中，特别是电力物联网中，一个数字的传感器节点用于监测的现象兴趣不断，并报告所获得的观察结果实时传输到远程中心。不同于传统通信系统的数据速率(或吞吐量)最重要的指标，失真和及时性在物联网的基础上，对信号恢复的关注更多监控系统。也就是说，是否监视器所恢复的信号可以精确地表征现象和信号是否及时或过时非常重要。当系统支持较高的数据速率时，监视器只能看到失真的减少或改善信息传递的及时性。在物联网网络和传感器网络中，失真的恢复信号通常用均方误差来测量的解码信号或估计信号。在网络信息论的框架下需要对恢复相关源的时延和失真进行优化。
发明内容
本申请实施例的目的在于提供一种基于马尔科夫决策过程的自适应功率分配方法，有效实现信息时延和信息失真的权衡，有效降低能耗。
为实现上述目的，本申请提供如下技术方案：
本申请实施例提供一种基于马尔科夫决策过程的自适应功率分配方法，具体包括以下步骤：
获取电力物联网络的参数信息，建立系统信息年龄更新模型，信息失真更新模型和能量收集模型，将动态状态更新表示为马尔可夫决策过程；
构建最小化信息年龄和信息失真加权和的优化目标问题，根据获取的各发送端节点的信息年龄和信息失真的随机变量，建立电力物联网络系统的状态空间、决策空间和奖励函数；
在每个时隙更新接收端节点的信息年龄和信息失真，在奖励函数趋于稳定时，得到最优的功率分配方案。
所述获取电力物联网络的参数信息，建立系统信息年龄更新模型，信息失真更新模型和能量收集模型，将动态状态更新表示为马尔可夫决策过程具体包括步骤：
设电力物联网络由两个电力信息感知节点组成的发送端和一个基站构成的接收端，为了使两个源节点同时接入系统，保证各个源节点之间的信号不会互相干扰，采用频分多址复用技术，即利用不同频带来区分信号源，各源节点的数据在不同频带上传输，从而避免信号的相互干扰,同时，源节点通过能量收集提供发射动力,
建立由五个参数构成(S,A,Pst,C(s,a),α)的马尔科夫决策过程，S是系统状态的集合，A是行动的集合，Pst是系统状态从一个状态采取行动后转移到另一个状态的转移概率，C(s,a)是在s状态下采用决策a的代价函数,α是关于未来系统状态和行动回报函数中的权重因子，且α∈[0,1]。
定义信息年龄为当前时隙接收端最新数据包自生成以来所产生的时间，可表示为随机过程
Δ＝t-U(t) (1)
t为当前时刻，U(t)为改数据包产生时刻；设高斯观测噪声的均值为0，方差为在一个均值为0方差为/>的平稳高斯过程，第k个源的发射功率为Pk，，k＝1,2，信息失真可表示为
其中为信道噪声功率，构建最小化信息年龄和信息失真加权和的优化目标问题：
C(s,a)＝Δ+D (3)。
与现有技术相比，本申请的有益效果是：解决了现有电力信息传输低时延和高有效的需求，提供了一种基于马尔科夫决策过程的自适应功率分配方法，有效实现信息时延和信息失真的权衡，有效降低能耗。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1：电力物联网中电力信息感知与传输模型的结构示意图；
图2：本发明的方法流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供的一种基于信息年龄的电力感知信息自适应短码分配方法，参见图1所示，电力物联网中电力信息感知与传输模型由2个电力信息感知节点和2基站组成。图1中箭头线表示电力感知信息传输。
参见图2所示，本发明实施例提供的一种基于信息年龄的电力感知信息自适应短码分配方法，具体包括以下步骤：
S1：获取电力物联网络的参数信息，建立系统信息年龄更新模型，信息失真更新模型和能量收集模型，将动态状态更新表示为马尔可夫决策过程。电力物联网络由两个电力信息感知节点组成的发送端和一个基站构成的接收端。为了使两个源节点同时接入系统，保证各个源节点之间的信号不会互相干扰，采用频分多址复用技术，即利用不同频带来区分信号源，各源节点的数据在不同频带上传输，从而避免信号的相互干扰。同时，源节点通过能量收集提供发射动力。假设两个源节点的传感器每个时隙收集到1个单位能量的概率为分别为λ1，λ2，即Pr{Ek1＝1}＝λ1，Pr{Ek2＝1}＝λ2。
建立由五个参数构成(S,A,Pst,C(s,a),α)的马尔科夫决策过程，S是系统状态的集合，A是行动的集合，Pst是系统状态从一个状态采取行动后转移到另一个状态的转移概率，C(s,a)是在s状态下采用决策a的代价函数。α是关于未来系统状态和行动回报函数中的权重因子，且α∈[0,1]。
S2：构建最小化信息年龄和信息失真加权和的优化目标问题，根据获取的各发送端节点的信息年龄和信息失真的随机变量，建立电力物联网络系统的状态空间、决策空间和奖励函数；
定义信息年龄为当前时隙接收端最新数据包自生成以来所产生的时间，可表示为随机过程
Δ＝t-U(t) (1)
t为当前时刻，U(t)为改数据包产生时刻；设高斯观测噪声的均值为0，方差为，在一个均值为0方差为/>的平稳高斯过程，第k(k＝1,2)个源的发射功率为Pk，信息失真可表示为
其中为信道噪声功率。
系统状态集：统状态集即系统在每个时隙的状态的集合。定义系统在每个时隙下的状态为S＝(δ1,δ2,d1,d2,e1,e2),其中δ1,δ2分别在当前时隙下为源节点1和源节点2发出的更新的信息年龄，d1,d2为在当前时隙下源节点1和源节点2发出更新信息的失真，e1,e2为当前时隙下源节点1和源节点2上可用的能量。
行动集：行动集为当前时隙下采取动作的集合，由源节点1的发射功率p1(1≤p1≤e1)，源节点2的发射功率p2(1≤p2≤e2)，即A＝(p1,p2)。
代价函数：状态s下采用动作a的成本设置为成本函数C(s,a)。构建最小化信息年龄和信息失真加权和的优化目标问题，在对于给定状态Sk＝s采用动作ak＝(p1,p2)产生的成本为下一个时隙决策时刻年龄和信息失真的加权和，即C(s,a)＝Δ+D。
转移概率：根据马尔科夫性质可知，当前时隙的系统状态仅与前一个时隙的系统状态和行动有关，与其它时隙的系统状态和行动无关。转移概率Pst指在采取行动a∈A后状态S＝(δ1δ2，d1d2，e1e2)转移到下一个状态t＝(δ1′,δ2′,d1′,d2′,e1′,e2′)的概率。
S3：根据上个时隙的决策，下个时隙接收端将更新节点的信息年龄和信息失真，寻找最优的决策策略，在奖励函数趋于稳定时即得到最优的功率分配方案。
策略π是为每个状态选择行动(发射功率和决策)的规则，即从状态空间S到可行功率{0,1,2…e}和决策{0,1}的映射。对于系统的功率和决策控制，将寻找一种策略π*，将最小化具有任何初始状态s的系统平均成本，如下面的优化问题所示
对所有的s∈S。
公式(3)可以通过下面的函数方程来解决
由于公式(4)不是收缩映射，通过引入贴现因子α来解决此问题
对所有的s∈S，其中0＜α＜1是折现因子。
此外，α最优策略和α最优成本函数Vα(s)满足
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.一种基于马尔科夫决策过程的自适应功率分配方法，其特征在于，具体包括以下步骤：
获取电力物联网络的参数信息，建立系统信息年龄更新模型，信息失真更新模型和能量收集模型，将动态状态更新表示为马尔可夫决策过程；
构建最小化信息年龄和信息失真加权和的优化目标问题，根据获取的各发送端节点的信息年龄和信息失真的随机变量，建立电力物联网络系统的状态空间、决策空间和奖励函数；
在每个时隙更新接收端节点的信息年龄和信息失真，在奖励函数趋于稳定时，得到最优的功率分配方案。
2.根据权利要求1所述的基于马尔科夫决策过程的自适应功率分配方法，其特征在于，所述获取电力物联网络的参数信息，建立系统信息年龄更新模型，信息失真更新模型和能量收集模型，将动态状态更新表示为马尔可夫决策过程具体包括步骤：
设电力物联网络由两个电力信息感知节点组成的发送端和一个基站构成的接收端，为了使两个源节点同时接入系统，保证各个源节点之间的信号不会互相干扰，采用频分多址复用技术，即利用不同频带来区分信号源，各源节点的数据在不同频带上传输，从而避免信号的相互干扰,同时，源节点通过能量收集提供发射动力,
建立由五个参数构成(S,A,Pst,C(s,a),α)的马尔科夫决策过程，S是系统状态的集合，A是行动的集合，Pst是系统状态从一个状态采取行动后转移到另一个状态的转移概率，C(s,a)是在s状态下采用决策a的代价函数,α是关于未来系统状态和行动回报函数中的权重因子，且α∈[0,1]。
3.根据权利要求1所述的基于马尔科夫决策过程的自适应功率分配方法，其特征在于，定义信息年龄为当前时隙接收端最新数据包自生成以来所产生的时间，可表示为随机过程
Δ＝t-U(t) (1)
t为当前时刻，U(t)为改数据包产生时刻；设高斯观测噪声的均值为0，方差为在一个均值为0方差为/>的平稳高斯过程，第k个源的发射功率为Pk，，k＝1,2，信息失真可表示为
其中为信道噪声功率，构建最小化信息年龄和信息失真加权和的优化目标问题：
C(s,a)＝Δ+D (3)。
4.根据权利要求1所述的基于马尔科夫决策过程的自适应功率分配方法，其特征在于，所述构建最小化信息年龄和信息失真加权和的优化目标问题，根据获取的各发送端节点的信息年龄和信息失真的随机变量，建立电力物联网络系统的状态空间、决策空间和奖励函数，其中状态空间包括该状态下的信息年龄大小，信息失真大小和剩余能量大小；决策空间是行动集，指所获取的随机变量功率；奖励函数指进行决策后的目标函数。
CN202211596435.8A 2022-12-13 2022-12-13 一种基于马尔科夫决策过程的自适应功率分配方法 Pending CN116669186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211596435.8A CN116669186A (zh) 2022-12-13 2022-12-13 一种基于马尔科夫决策过程的自适应功率分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211596435.8A CN116669186A (zh) 2022-12-13 2022-12-13 一种基于马尔科夫决策过程的自适应功率分配方法

Publications (1)

Publication Number Publication Date
CN116669186A true CN116669186A (zh) 2023-08-29

Family

ID=87724819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211596435.8A Pending CN116669186A (zh) 2022-12-13 2022-12-13 一种基于马尔科夫决策过程的自适应功率分配方法

Country Status (1)

Country Link
CN (1) CN116669186A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828510A (zh) * 2023-08-31 2023-09-29 华南师范大学 基于物联网的功率分配方法以及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828510A (zh) * 2023-08-31 2023-09-29 华南师范大学 基于物联网的功率分配方法以及装置
CN116828510B (zh) * 2023-08-31 2024-01-09 华南师范大学 基于物联网的功率分配方法以及装置

Similar Documents

Publication Publication Date Title
Gupta et al. Green sensing and communication: A step towards sustainable IoT systems
CN102316496A (zh) 无线传感器网络中基于卡尔曼滤波的数据融合方法
CN107786959A (zh) 在无线传感器网络中基于自适应测量的压缩数据收集方法
Kumari et al. An energy efficient smart metering system using edge computing in LoRa network
Salim et al. K-predictions based data reduction approach in WSN for smart agriculture
CN116669186A (zh) 一种基于马尔科夫决策过程的自适应功率分配方法
CN112995172B (zh) 物联网设备和物联网平台之间对接的通信方法及通信系统
Deng et al. Energy balanced dispatch of mobile edge nodes for confident information coverage hole repairing in IoT
CN111355616A (zh) 一种基于物理层数据的战术通信网关键节点识别方法
Idrees et al. Energy-efficient Data Processing Protocol in edge-based IoT networks
CN112738849B (zh) 应用于多跳环境反向散射无线网络的负载均衡调控方法
CN106257849B (zh) 基于多目标量子萤火虫搜索机制的频谱感知方法
CN108173579A (zh) 无线供能mimo中继系统中的功率分配方法及无线供能mimo中继系统
CN109474904B (zh) 一种考虑能耗和覆盖的无线传感器网络压缩数据收集方法
Lin Research on data release and location monitoring technology of sensor network based on internet of things
Wang et al. Dynamic Routing Algorithm with Q-learning for Internet of things with Delayed Estimator
CN111182488A (zh) 一种基于时间信道的溯源数据节能传输方法
CN108282199A (zh) 无线供能mimo中继系统中的功率分配方法及无线供能mimo中继系统
Dai et al. MEC enabled cooperative sensing and resource allocation for industrial IoT systems
CN115915454A (zh) Swipt辅助的下行资源分配方法及装置
CN107949042B (zh) 能量采集型无线传感网络的低存储自适应传输调度方法
Cui et al. Simba: Similar-evolution based aggregation in wireless sensor networks
Ghosh et al. Light-weight ML aided autonomous IoT networks
CN108055665A (zh) 一种基于改进多目标pso优化的目标信道访问方法
CN117279019B (zh) 频谱效率的预测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231215

Address after: 430077 No. 341 Xudong Street, Hongshan District, Wuhan City, Hubei Province

Applicant after: STATE GRID HUBEI ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION CO.

Applicant after: WUHAN University

Address before: 430077 No. 341 Xudong Street, Hongshan District, Wuhan City, Hubei Province

Applicant before: STATE GRID HUBEI ELECTRIC POWER CO.,LTD. INFORMATION AND COMMUNICATION CO.