CN115361734B - 基于信息时效性的功率和irs相移联合优化方法及装置 - Google Patents
基于信息时效性的功率和irs相移联合优化方法及装置 Download PDFInfo
- Publication number
- CN115361734B CN115361734B CN202210825377.5A CN202210825377A CN115361734B CN 115361734 B CN115361734 B CN 115361734B CN 202210825377 A CN202210825377 A CN 202210825377A CN 115361734 B CN115361734 B CN 115361734B
- Authority
- CN
- China
- Prior art keywords
- information
- irs
- state update
- data packet
- violation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 230000010363 phase shift Effects 0.000 title claims abstract description 94
- 238000005457 optimization Methods 0.000 title claims abstract description 85
- 230000005540 biological transmission Effects 0.000 claims abstract description 76
- 230000008569 process Effects 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 62
- 230000009471 action Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 241000272186 Falco columbarius Species 0.000 claims 2
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000002787 reinforcement Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 101100379079 Emericella variicolor andA gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/04—TPC
- H04W52/18—TPC being performed according to specific parameters
- H04W52/26—TPC being performed according to specific parameters using transmission rate or quality of service QoS [Quality of Service]
- H04W52/267—TPC being performed according to specific parameters using transmission rate or quality of service QoS [Quality of Service] taking into account the information rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/145—Passive relay systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/04—TPC
- H04W52/18—TPC being performed according to specific parameters
- H04W52/24—TPC being performed according to specific parameters using SIR [Signal to Interference Ratio] or other wireless path parameters
- H04W52/241—TPC being performed according to specific parameters using SIR [Signal to Interference Ratio] or other wireless path parameters taking into account channel quality metrics, e.g. SIR, SNR, CIR, Eb/lo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/04—TPC
- H04W52/38—TPC being performed in particular situations
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明所提供的基于信息时效性的功率和IRS相移联合优化方法及装置，包括获取峰值信息年龄违规概率；对峰值信息年龄违规概率进行随机网络演算处理，得到峰违规限制条件；获取IRS信息，根据信号信息、信道信息以及IRS信息计算有效容量，根据有效容量和违规限制条件构建有效容量优化模型；将有效容量优化模型求解过程转化为马尔科夫决策过程；基于双延迟DDPG方法求解马尔科夫决策过程，确定IRS相移值以及源节点的发送功率值。本发明利用峰值信息年龄违规概率量化信息时效性保障需求，在信息时效性保障需求下，联合控制设备功率和IRS相移以最优化IRS辅助的短包数据传输系统中的有效容量，且不会产生复杂的计算。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及的是基于信息时效性的功率和IRS相移联合优化方法及装置。
背景技术
关于有效容量优化问题，主要是通过设计优化方案在满足数据传输时延限制条件下最优化有效容量。然而，信息时效性不同于传统通信时延，传统通信时延是针对单一数据包来说，而信息时效性的对象是信息流，即一系列数据包。传统时延通常是对单一数据包在网络中的传输进行优化来减小延时，而信息时效性与数据的采样和传输都有关，这样，传统通信时延的有效容量优化方案并不适用于信息时效性限制条件下最优化有效容量。
因此，现有技术存在缺陷，有待改进与发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供基于信息时效性的功率和IRS相移联合优化方法及装置，旨在解决现有技术中传统通信时延的有效容量优化方案并不适用于信息时效性限制条件下最优化有效容量的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于信息时效性的功率和IRS相移联合优化方法，包括：
获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率；
对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件；
获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型；
将所述有效容量优化模型求解过程转化为马尔科夫决策过程；
基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值。
在一种实现方式中，所述获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率，包括：
获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息；
根据所述信号信息，得到所述状态更新数据包对应的峰值信息年龄；
根据所述信道信息以及所述峰值信息年龄，得到所述状态更新数据包对应的峰值信息年龄违规概率；
其中，所述信号信息包括前一个状态更新数据包与当前状态更新数据包之间的生成间隔时间，以及当前状态更新数据包的总停留时间；所述信道信息包括信道数。
在一种实现方式中，第n个状态更新数据包对应的峰值信息年龄表示为PAoI(n)＝TI(n-1,n)+T(n)；
其中，所述TI(n-1,n)表示第(n-1)个状态更新数据包和第n个状态更新数据包生成间隔时间，所述T(n)表示第n个状态更新数据包的总停留时间；
第n个状态更新数据包对应的峰值信息年龄违规概率表示为
其中，Pr{x}表示事件x成立的概率，所述Ath表示峰值信息年龄的预设门限值，所述L表示信道数。
在一种实现方式中，对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件，包括：
对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规上界；
对所述违规上界进行限制处理，得到所述峰值信息年龄违规概率的违规限制条件。
在一种实现方式中，所述峰值信息年龄违规概率的违规上界表示为
其中，所述表示一个常数，所述Ath表示峰值信息年龄的第一预设门限值，所述L表示信道数，所述TI(n-1,n)表示在指数域第(n-1)个状态更新数据包和第n个状态更新数据包达到时间间隔，所述TS(n)表示在指数域第n个状态更新数据包的服务时间，所述表示TI(n-1,n)的梅林变换，所述/>表示TS(n)的梅林变换；
所述峰值信息年龄违规概率的违规限制条件表示为
其中，所述εth表示峰值信息年龄违规概率的预设违规概率门限值。
在一种实现方式中，所述信号信息还包括传输状态更新数据包的信号；所述信道信息还包括源节点和IRS之间的信道增益，以及IRS和目的节点之间的信道增益；所述IRS信息包括IRS的对角线相移矩阵；
获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型，包括：
根据传输状态更新数据包的信号、源节点和IRS之间的信道增益、IRS和目的节点之间的信道增益以及IRS的对角线相移矩阵，得到源节点发送状态更新数据包时接收到的信号；
根据源节点发送状态更新数据包时接收到的信号，得到传输状态更新数据包的信噪比；
根据所述信噪比得到传输状态更新数据包的解码错误概率函数；
根据所述信噪比和所述解码错误概率函数得到对应的有效容量；
根据所述有效容量和所述违规限制条件构建有效容量优化模型。
在一种实现方式中，源节点发送第n个状态更新数据包时接收到的信号表示为
其中，所述hSI(n)∈CF×1表示源节点和IRS之间的信道增益，所述H表示矩阵的共轭转置运算，所述表示IRS的对角线相移矩阵，所述hID(n)∈CF×1表示IRS和目的节点之间的信道增益，所述P(n)表示传输第n个状态更新数据包的传输功率，所述s(n)表示传输第n个状态更新数据包的信号，所述s(n)信号的功率值为1，所述n0表示目的节点处的高斯白噪声；
传输第n个状态更新数据包时的信噪比表示为其中，所述σ2表示噪声的功率；
传输第n个状态更新数据包的解码错误概率函数表示为
其中，所述C(γ(n))＝log2(1+γ(n))，所述所述M表示状态更新数据包的bit数，所述L表示信道数；
IRS辅助的短包数据传输系统中的有效容量表示为
其中，E(·)表示期望，所述γ(n)表示传输第n个状态更新数据包时信噪比，所述ε(γ(n))表示传输第n个状态更新数据包的解码错误概率函数，所述M表示第n个状态更新数据包的大小；
所述有效容量优化模型表示为
γ(n)≥γth
Pmin≤P(n)≤Pmax；
其中，所述γth表示传输状态更新数据包信噪比的预设信噪比门限值，Pmin表示数据包传输功率的预设最小值，Pmax表示数据包传输功率的预设最大值。
在一种实现方式中，将所述有效容量优化模型求解过程转化为马尔科夫决策过程，包括：
将所述有效容量优化模型对应的短包数据传输系统作为一个智能体，将所述智能体的决策过程建模为一个离散的MDP；
所述MDP在迭代次数t时行动空间表示为：
at＝[P(n)t,θ1(n)t,L,θf(n)t,L,θF(n)t]；
其中，所述t表示迭代次数，所述P(n)t表示传输第n个状态更新数据包的功率值，θ1(n)t,L,θf(n)t,L,θF(n)t分别表示IRS的第1个子单元到第F个子单元的相移；P(n)t的取值范围为Pmin≤P(n)t≤Pmax，每个f子单元的相移取值范围为[0,2π]；
所述MDP在迭代次数t时状态空间表示为：
其中，所述表示迭代次数(t-1)的有效容量值；
所述MDP在迭代次数t时奖励值表示为
且需满足和γ(n)≥γth，否则奖励rt＝0。
在一种实现方式中，所述基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值，包括：
利用Actor网络根据所述MDP的当前状态信息输出一个动作，并根据所述当前状态信息和所述动作获得奖励和下一个状态信息；
利用两个Critics网络学习Q函数值，两个所述Critics网络分别学习得到Q函数值，将两个Q函数值的最小值作为每个Q函数更新的Q函数值；
将所述动作中加入噪声，平滑所述Q函数沿着不同动作的变化；
更新策略和所述Q函数，直至达到最大迭代次数，得到IRS相移值以及所述源节点的发送功率值。
在一种实现方式中，所述基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值之后，还包括：
将所述IRS相移值发送至IRS控制器，以及将所述发送功率值发送至源节点。
本发明还提供一种基于信息时效性的功率和IRS相移联合优化装置，包括：
获取模块，用于获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率；
演算模块，用于对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件；
构建模块，用于获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型；
转化模块，用于将所述有效容量优化模型求解过程转化为马尔科夫决策过程；
求解模块，用于基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值。
本发明还提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于信息时效性的功率和IRS相移联合优化程序，所述基于信息时效性的功率和IRS相移联合优化程序被所述处理器执行时实现如上所述的基于信息时效性的功率和IRS相移联合优化方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于信息时效性的功率和IRS相移联合优化方法的步骤。
本发明所提供的基于信息时效性的功率和IRS相移联合优化方法及装置，所述基于信息时效性的功率和IRS相移联合优化方法包括：获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率；对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件；获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型；将所述有效容量优化模型求解过程转化为马尔科夫决策过程；基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值。本发明利用峰值信息年龄违规概率量化信息时效性保障需求，构建出有效容量优化模型，利用双延迟DDPG的深度强化学习算法求解有效容量优化模型，进而在信息时效性保障需求下，联合控制设备功率和IRS相移以最优化IRS辅助的短包数据传输系统中的有效容量，且优化过程中不会产生复杂的计算。
附图说明
图1是本发明中基于信息时效性的功率和IRS相移联合优化方法较佳实施例的流程图。
图2是本发明中IRS辅助的短包数据传输系统的示意图。
图3是本发明中基于信息时效性的功率和IRS相移联合优化方法较佳实施例中步骤S100的具体流程图。
图4是本发明中峰值AoI的示例图。
图5是本发明中基于信息时效性的功率和IRS相移联合优化方法较佳实施例中步骤S200的具体流程图。
图6是本发明中基于信息时效性的功率和IRS相移联合优化方法较佳实施例中步骤S300的具体流程图。
图7是本发明中基于信息时效性的功率和IRS相移联合优化方法较佳实施例中步骤S500的具体流程图。
图8是本发明中基于双延迟DDPG方法求解所述马尔科夫决策过程的示意图。
图9是本发明中基于信息时效性的功率和IRS相移联合优化装置较佳实施例的功能原理框图。
图10是本发明中终端的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明是针对在智能反射平面(Intelligent Reflecting Surface,IRS)辅助的短包数据传输系统，利用基于深度强化学习的设备功率和IRS相移联合优化方法，以保障信息时效性统计保障需求情况下最大化IRS辅助的短包数据传输系统中的有效容量(Effective Capacity,EC)。
具体地，由于信息时效性不同于传统通信时延，传统时延是针对单一数据包来说，而信息时效性的对象是信息流，即一系列数据包。并且信息的时效性与数据的采样和传输都有关，通常对数据在网络中的传输进行优化来减小延时，而对信息时效性进行优化，需要联合优化数据包的产生(即数据的采样)和数据的传输。因此，在信息时效性统计保障需求下有效容量优化问题是一个亟需研究的问题。
并且，在IRS辅助的通信系统中，信息时效性统计保障下有效容量优化问题需要联合优化设备的功率和IRS相移，在满足信息时效性需求下最大化有效容量。但是，由于限制条件和目标函数的非凸性和恒模约束，利用半正定松弛法(Semidefinite Relaxation)、穷搜法等求解上述优化问题将会产生较复杂的计算。特别对于大规模网络，这将是不切实际的。
本发明是为了解决IRS辅助的短包数据传输系统中基于信息时效性的设备功率和IRS相移联合优化存在的问题，由于深度强化学习的优势特点，利用其方法求解非凸优化问题将具有很大的优势。但是，考虑到传统的深度强化学习的缺陷，比如深度Q网络(Deep QNetwork,DQN)对于动作连续的情况效率不高，以及深度确定性策略梯度(DDPG,DeepDeterministic Policy Gradient)学习的Q函数通常会被高估，使得学到的策略失效。这样基于深度强化学习的设备功率和IRS相移联合优化方案设计将是具有挑战性的问题。
请参见图1，图1是本发明中基于信息时效性的功率和IRS相移联合优化方法的流程图。如图1所示，本发明实施例所述的基于信息时效性的功率和IRS相移联合优化方法包括以下步骤：
步骤S100、获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率。
具体地，如图2所示，本发明的短包数据传输系统包括一个源节点S和目的节点D，并且源节点S和目的节点D之间无法建立直接链路，由IRS协助源节点S和目的节点D之间建立通信链路。这是由于源节点S和目的节点D之间直接链路信道状态较差，通过改变IRS每个子单元的相移改变源节点S到目的节点D之间的信道状态，从而提升两者的通信质量。IRS包括F＝Fx×Fy个相移器，并且全部的相移器由IRS控制器进行配置。源节点S检测某个物理过程的状态，向目的节点发送N个状态更新数据包用于更新目的节点D处关于源节点S处的信息。目的节点可以是基站，无线接入节点等终端。在本发明中，目的节点运行本发明的方法步骤程序得到IRS相移和功率控制决策。
在一种实现方式中，如图3所示，所述步骤S100具体包括：
步骤S110、获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息；
步骤S120、根据所述信号信息，得到所述状态更新数据包对应的峰值信息年龄；
步骤S130、根据所述信道信息以及所述峰值信息年龄，得到所述状态更新数据包对应的峰值信息年龄违规概率。
其中，所述信号信息包括前一个状态更新数据包与当前状态更新数据包之间的生成间隔时间，以及当前状态更新数据包的总停留时间，所述总停留时间是指排队时间与服务时间之和；所述信道信息包括信道数。
在短数据包通信中，数据包的长度通常较短。然而，传统的香农公式是描述编码分组长度趋近于无穷时实现无失真数据传输的最大传输速率，这将无法正确描述有限码长传输的系统性能。并且，在香农公式中，假设数据包为无限长，且解码误差为0，但是，由于检测算法的能力有限以及调制和解码方案的影响，在短数据包通信中不能忽略解码错误概率。在本发明中，解码错误概率将会影响数据包传输成功与否，进而影响数据包传输的时延以及数据包的信息时效性。另外，解码错误概率和系统有效容量受到数据包传输功率和IRS每个子单位相移的控制。因此，本发明联合优化设备传输功率和IRS每个子单元的相移，在保障信息时效性需求下，最大化系统有效容量。
具体地，本发明利用峰值信息年龄(Age of Information,AoI)违规概率量化信息时效性保障需求。
在一种实施例中，首先根据信息年龄定义获取峰值AoI违规概率，如图4所示，源节点设备将会发送N个状态更新数据包，发送第n个状态更新数据包的峰值AoI包括第(n-1)个状态更新数据包和第n个状态更新数据包生成间隔时间以及第n个状态更新数据包的服务时间，其可以表示为：PAoI(n)＝TI(n-1,n)+T(n)；其中，TI(n-1,n)表示第(n-1)个状态更新数据包和第n个状态更新数据包生成间隔时间，T(n)表示第n个状态更新数据包的总停留时间；第n个状态更新数据包对应的峰值信息年龄违规概率表示为其中，Pr{x}表示事件x成立的概率，所述Ath表示峰值信息年龄的预设门限值，可以是根据经验预先设置的门限值，所述L表示信道数。
所述步骤S100之后为：步骤S200、对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件。
也就是说，基于随机网络演算理论获得峰值AoI违规概率的违规限制条件。
在一种实现方式中，如图5所示，所述步骤S200具体包括：
步骤S210、对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规上界；
步骤S220、对所述违规上界进行限制处理，得到所述峰值信息年龄违规概率的违规限制条件。
在一种实施例中，首先，根据随机网络演算理论得到峰值AoI违规概率的违规上界，其可以表示为：所述峰值信息年龄违规概率的违规上界表示为
其中，所述表示一个常数，所述Ath表示峰值信息年龄的第一预设门限值，所述L表示信道数，所述TI(n-1,n)表示在指数域第(n-1)个状态更新数据包和第n个状态更新数据包达到时间间隔，所述TS(n)表示在指数域第n个状态更新数据包的服务时间，所述表示TI(n-1,n)的梅林变换，所述/>表示TS(n)的梅林变换。另外，对于任意数据包n，第(n-1)个状态更新数据包和第n个状态更新数据包达到时间间隔，以及第n个状态更新数据包的服务时间都是独立同分布。
然后通过限制峰值AoI的上界得到峰值AoI违规概率的违规限制条件，其可以表示为：其中，所述εth表示峰值信息年龄违规概率的预设违规概率门限值，所述预设违规概率门限值可以由经验值得到。
所述步骤S200之后为：步骤S300、获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型。
具体地，根据有效容量定义获得IRS辅助的短包数据传输系统中的有效容量。
在一种实现方式中，所述信号信息还包括传输状态更新数据包的信号；所述信道信息还包括源节点和IRS之间的信道增益，以及IRS和目的节点之间的信道增益；所述IRS信息包括IRS的对角线相移矩阵。如图6所示，所述步骤S300具体包括：
步骤S310、根据传输状态更新数据包的信号、源节点和IRS之间的信道增益、IRS和目的节点之间的信道增益以及IRS的对角线相移矩阵，得到源节点发送状态更新数据包时接收到的信号；
步骤S320、根据源节点发送状态更新数据包时接收到的信号，得到传输状态更新数据包的信噪比；
步骤S330、根据所述信噪比得到传输状态更新数据包的解码错误概率函数；
步骤S340、根据所述信噪比和所述解码错误概率函数得到对应的有效容量；
步骤S350、根据所述有效容量和所述违规限制条件构建有效容量优化模型。
在一种实施例中，源节点发送第n个状态更新数据包时，目的节点接收到的信号表示为其中，所述hSI(n)∈CF×1表示源节点和IRS之间的信道增益；C表示复数集合，F×1表示F行，一列的矩阵，F表示IRS的子单元个数；所述H表示矩阵的共轭转置运算，所述/>表示IRS的对角线相移矩阵，所述hID(n)∈CF×1表示IRS和目的节点之间的信道增益，所述P(n)表示传输第n个状态更新数据包的传输功率，所述s(n)表示传输第n个状态更新数据包的信号，所述s(n)信号的功率值为1，所述n0表示目的节点处的高斯白噪声。并且，源节点的设备功率P(n)和IRS的每个子单元相移θ1(n),L,θf(n),L,θF(n)是决策变量，其目的是在保障信息时效性需求下提升系统的有效容量。
传输第n个状态更新数据包时的信噪比表示为其中，所述σ2表示噪声的功率。
传输第n个状态更新数据包的解码错误概率函数表示为其中，所述C(γ(n))＝log2(1+γ(n))，所述/>所述M表示状态更新数据包的bit数，所述L表示信道数(时域)；C函数表示信道容量，V函数表示信道色散，Q表示高斯Q函数。
IRS辅助的短包数据传输系统中的有效容量表示为
其中，E(·)表示期望，所述γ(n)表示传输第n个状态更新数据包时信噪比，所述ε(γ(n))表示传输第n个状态更新数据包的解码错误概率函数，所述M表示第n个状态更新数据包的大小，单位为bit。
这样，获得信息时效性保障需求下有效容量最大化问题，即有效容量优化模型，将其表示为：
γ(n)≥γth
Pmin≤P(n)≤Pmax；
其中，所述γth表示传输状态更新数据包信噪比的预设信噪比门限值，Pmin表示数据包传输功率的预设最小值，Pmax表示数据包传输功率的预设最大值。
所述步骤S300之后为：步骤S400、将所述有效容量优化模型求解过程转化为马尔科夫决策过程。
在一种实现方式中，将所述有效容量优化模型求解过程转化为马尔科夫决策过程具体为：将所述有效容量优化模型对应的短包数据传输系统作为一个智能体，将所述智能体的决策过程建模为一个离散的MDP。
所述MDP在迭代次数t时行动空间表示为：
at＝[P(n)t,θ1(n)t,L,θf(n)t,L,θF(n)t]；
其中，所述t表示迭代次数，所述P(n)t表示传输第n个状态更新数据包的功率值，θ1(n)t,L,θf(n)t,L,θF(n)t分别表示IRS的第1个子单元到第F个子单元的相移；P(n)t的取值范围为Pmin≤P(n)t≤Pmax，每个f子单元的相移取值范围为[0,2π]；
所述MDP在迭代次数t时状态空间表示为：
其中，所述表示迭代次数(t-1)的有效容量值；
所述MDP在迭代次数t时奖励值表示为
此时需要满足和γ(n)≥γth，否则奖励rt＝0。
所述步骤S400之后为：步骤S500、基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值。
在一种实现方式中，如图7所示，所述步骤S500具体包括：
步骤S510、利用Actor网络根据所述MDP的当前状态信息输出一个动作，并根据所述当前状态信息和所述动作获得奖励和下一个状态信息；
步骤S520、利用两个Critics网络学习Q函数值，两个所述Critics网络分别学习得到Q函数值，将两个Q函数值的最小值作为每个Q函数更新的Q函数值；
步骤S530、将所述动作中加入噪声，平滑所述Q函数沿着不同动作的变化；
步骤S540、更新策略和所述Q函数，直至达到最大迭代次数，得到IRS相移值以及所述源节点的发送功率值。
如图8所示，双延迟DDPG(TwinDelayed DDPG)一种深度强化学习算法，包括一个Actor(演员)，两个Critics(评论家)，Actor网络的功能是输出一个动作，这个动作输入到Critic后能够获得最大的Q函数值，Critic网络的功能是预估Q函数值，将Actor得到的动作和状态值输入到Critic对Actor网络得到的动作进行评判。利用Actor(演员)网络根据MDP当前的状态信息(st)输出一个动作(at)，并且根据当前的状态信息和动作获得奖励(rt)和下一个状态信息(st+1)。利用两个Critics(评论家)网络学习Q函数值，其中，两个评论家网络分别学习得到Q函数值，将两个Q函数值的最小值作为每个Q函数更新的Q函数值。将动作中加入噪声，通过平滑Q函数沿着不同动作的变化，使得策略不易受到Q函数的错误的影响。更新策略和Q函数，策略更新的频率要低于Q函数的更新频率。Q函数更新多次，策略网络才更新一次。
具体地，强化学习过程是智能体与环境的交互过程，智能体通过每次的决策，积累经验，使往后的决策获得更好的奖励，Q函数值是指累计的奖赏值。智能体得到决策并且执行决策后，更新策略和Q函数，直到程序设定的最大智能体与环境的交互次数。更新完毕之后，优化了发送状态更新数据包时IRS的相移和设备发送功率值，进而满足信息时效性需求下提升有效容量。
在一种实现方式中，所述步骤S500之后还包括：步骤S600、将所述IRS相移值发送至IRS控制器，以及将所述发送功率值发送至源节点。
具体地，当源节点要发送状态更新数据包时，目的节点经过上述步骤优化后，得到IRS相移值和发送功率值决策，即，目的节点会告知IRS控制器按照决策出的所述IRS相移值调控IRS相移，以及告知源节点设备按照所述发送功率值发送状态更新数据包。通过调整IRS的相移能够改变信道状态，控制源节点设备的发送功率能够提升通信质量。
本发明提出了IRS辅助的短包数据传输系统中在满足信息时效性保障需求下最优化有效容量的研究方法，即，首先利用峰值信息年龄违规概率以量化信息时效性保障需求，并且利用随机网络演算理论推导出峰值AoI违规概率的上界以及根据有效容量定义得到IRS辅助的短包数据传输系统中的有效容量，进而构建满足信息时效性保障需求的有效容量最大化问题；还提出了基于信息时效性的功率和IRS相移联合优化方法，即，利用双延迟DDPG(TwinDelayed DDPG)的深度强化学习算法，提出基于深度强化学习的设备功率和IRS相移联合优化方案，以求解所构建的有效容量最大化问题，进而实现可行且高效的优化方案。
进一步地，如图9所示，基于上述基于信息时效性的功率和IRS相移联合优化方法，本发明还相应提供了一种基于信息时效性的功率和IRS相移联合优化装置，包括：
获取模块100，用于获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率；
演算模块200，用于对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件；
构建模块300，用于获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型；
转化模块400，用于将所述有效容量优化模型求解过程转化为马尔科夫决策过程；
求解模块500，用于基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值。
进一步地，如图10所示，基于上述基于信息时效性的功率和IRS相移联合优化方法，本发明还相应提供了一种终端，如基站、无线接入节点，包括：存储器20、处理器10及存储在所述存储器20上并可在所述处理器10上运行的基于信息时效性的功率和IRS相移联合优化程序30，所述基于信息时效性的功率和IRS相移联合优化程序30被所述处理器10执行时实现如上所述的基于信息时效性的功率和IRS相移联合优化方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于信息时效性的功率和IRS相移联合优化方法的步骤。
综上所述，本发明公开的基于信息时效性的功率和IRS相移联合优化方法及装置，所述基于信息时效性的功率和IRS相移联合优化方法包括：获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率；对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件；获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型；将所述有效容量优化模型求解过程转化为马尔科夫决策过程；基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值。本发明利用峰值信息年龄违规概率量化信息时效性保障需求，构建出有效容量优化模型，利用双延迟DDPG的深度强化学习算法求解有效容量优化模型，进而在信息时效性保障需求下，联合控制设备功率和IRS相移以最优化IRS辅助的短包数据传输系统中的有效容量，且优化过程中不会产生复杂的计算。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (5)
1.一种基于信息时效性的功率和IRS相移联合优化方法，其特征在于，包括：
获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率；
对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件；
获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型；
将所述有效容量优化模型求解过程转化为马尔科夫决策过程；
基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值；
所述获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率，包括：
获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息；
根据所述信号信息，得到所述状态更新数据包对应的峰值信息年龄；
根据所述信道信息以及所述峰值信息年龄，得到所述状态更新数据包对应的峰值信息年龄违规概率；
其中，所述信号信息包括前一个状态更新数据包与当前状态更新数据包之间的生成间隔时间，以及当前状态更新数据包的总停留时间；所述信道信息包括信道数；
第n个状态更新数据包对应的峰值信息年龄表示为PAoI(n)＝TI(n-1,n)+T(n)；
其中，所述TI(n-1,n)表示第(n-1)个状态更新数据包和第n个状态更新数据包生成的间隔时间，所述T(n)表示第n个状态更新数据包的总停留时间；
第n个状态更新数据包对应的峰值信息年龄违规概率表示为
其中，Pr{x}表示事件x成立的概率，所述Ath表示峰值信息年龄的预设门限值，所述L表示信道数；
对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件，包括：
对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规上界；
对所述违规上界进行限制处理，得到所述峰值信息年龄违规概率的违规限制条件；
所述峰值信息年龄违规概率的违规上界表示为
其中，所述表示一个常数，所述Ath表示峰值信息年龄的预设门限值，所述L表示信道数，所述/>表示第(n-1)个状态更新数据包和第n个状态更新数据包生成的间隔时间，所述/>表示在指数域第n个状态更新数据包的服务时间，所述/>表示的梅林变换，所述/>表示/>的梅林变换；
所述峰值信息年龄违规概率的违规限制条件表示为
其中，所述εth表示峰值信息年龄违规概率的预设违规概率门限值；
所述信号信息还包括传输状态更新数据包的信号；所述信道信息还包括源节点和IRS之间的信道增益，以及IRS和目的节点之间的信道增益；所述IRS信息包括IRS的对角线相移矩阵；
获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型，包括：
根据传输状态更新数据包的信号、源节点和IRS之间的信道增益、IRS和目的节点之间的信道增益以及IRS的对角线相移矩阵，得到源节点发送状态更新数据包时接收到的信号；
根据源节点发送状态更新数据包时接收到的信号，得到传输状态更新数据包的信噪比；
根据所述信噪比得到传输状态更新数据包的解码错误概率函数；
根据所述信噪比和所述解码错误概率函数得到对应的有效容量；
根据所述有效容量和所述违规限制条件构建有效容量优化模型；
源节点发送第n个状态更新数据包时接收到的信号表示为
其中，所述表示源节点和IRS之间的信道增益，所述H表示矩阵的共轭转置运算，所述/>表示IRS的对角线相移矩阵，所述/>表示IRS和目的节点之间的信道增益，所述P(n)表示传输第n个状态更新数据包的传输功率，所述s(n)表示传输第n个状态更新数据包的信号，所述s(n)信号的功率值为1，所述n0表示目的节点处的高斯白噪声；
传输第n个状态更新数据包时的信噪比表示为其中，所述σ2表示噪声的功率；
传输第n个状态更新数据包的解码错误概率函数表示为
其中，所述C(γ(n))＝log2(1+γ(n))，所述所述M表示第n个状态更新数据包的大小，所述L表示信道数；
IRS辅助的短包数据传输系统中的有效容量表示为
其中，表示期望，所述γ(n)表示传输第n个状态更新数据包时信噪比，所述ε(γ(n))表示传输第n个状态更新数据包的解码错误概率函数，所述M表示第n个状态更新数据包的大小；
所述有效容量优化模型表示为
γ(n)≥γth
Pmin≤P(n)≤Pmax；
其中，所述γth表示传输状态更新数据包信噪比的预设信噪比门限值，Pmin表示数据包传输功率的预设最小值，Pmax表示数据包传输功率的预设最大值；
将所述有效容量优化模型求解过程转化为马尔科夫决策过程，包括：
将所述有效容量优化模型对应的短包数据传输系统作为一个智能体，将所述智能体的决策过程建模为一个离散的MDP；
所述MDP在迭代次数t时行动空间表示为：
at＝[P(n)t,θ1(n)t,…,θf(n)t,…,θF(n)t]；
其中，所述t表示迭代次数，所述P(n)t表示传输第n个状态更新数据包的功率值，θ1(n)t,…,θf(n)t,…,θF(n)t分别表示IRS的第1个子单元到第F个子单元的相位值；P(n)t的取值范围为Pmin≤P(n)t≤Pmax，每个f子单元的相移取值范围为[0,2π]；
所述MDP在迭代次数t时状态空间表示为：
其中，所述表示迭代次数(t-1)的有效容量值；
所述MDP在迭代次数t时奖励值表示为
且需满足和γ(n)≥γth，否则奖励rt＝0；
所述基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值，包括：
利用Actor网络根据所述MDP的当前状态信息输出一个动作，并根据所述当前状态信息和所述动作获得奖励和下一个状态信息；
利用两个Critics网络学习Q函数值，两个所述Critics网络分别学习得到Q函数值，将两个Q函数值的最小值作为每个Q函数更新的Q函数值；
将所述动作中加入噪声，平滑所述Q函数沿着不同动作的变化；
更新策略和所述Q函数，直至达到最大迭代次数，得到IRS相移值以及所述源节点的发送功率值。
2.根据权利要求1所述的基于信息时效性的功率和IRS相移联合优化方法，其特征在于，所述基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值之后，还包括：
将所述IRS相移值发送至IRS控制器，以及将所述发送功率值发送至源节点。
3.一种基于信息时效性的功率和IRS相移联合优化装置，其特征在于，包括：
获取模块，用于获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率；
演算模块，用于对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件；
构建模块，用于获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型；
转化模块，用于将所述有效容量优化模型求解过程转化为马尔科夫决策过程；
求解模块，用于基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值；
所述获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息，根据所述信号信息和所述信道信息得到所述状态更新数据包对应的峰值信息年龄违规概率，包括：
获取源节点上待发送的状态更新数据包对应的信号信息以及信道信息；
根据所述信号信息，得到所述状态更新数据包对应的峰值信息年龄；
根据所述信道信息以及所述峰值信息年龄，得到所述状态更新数据包对应的峰值信息年龄违规概率；
其中，所述信号信息包括前一个状态更新数据包与当前状态更新数据包之间的生成间隔时间，以及当前状态更新数据包的总停留时间；所述信道信息包括信道数；
第n个状态更新数据包对应的峰值信息年龄表示为PAoI(n)＝TI(n-1,n)+T(n)；
其中，所述TI(n-1,n)表示第(n-1)个状态更新数据包和第n个状态更新数据包生成的间隔时间，所述T(n)表示第n个状态更新数据包的总停留时间；
第n个状态更新数据包对应的峰值信息年龄违规概率表示为
其中，Pr{x}表示事件x成立的概率，所述Ath表示峰值信息年龄的预设门限值，所述L表示信道数；
对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规限制条件，包括：
对所述峰值信息年龄违规概率进行随机网络演算处理，得到所述峰值信息年龄违规概率的违规上界；
对所述违规上界进行限制处理，得到所述峰值信息年龄违规概率的违规限制条件；
所述峰值信息年龄违规概率的违规上界表示为
其中，所述表示一个常数，所述Ath表示峰值信息年龄的预设门限值，所述L表示信道数，所述/>表示第(n-1)个状态更新数据包和第n个状态更新数据包生成的间隔时间，所述/>表示在指数域第n个状态更新数据包的服务时间，所述/>表示的梅林变换，所述/>表示/>的梅林变换；
所述峰值信息年龄违规概率的违规限制条件表示为
其中，所述εth表示峰值信息年龄违规概率的预设违规概率门限值；
所述信号信息还包括传输状态更新数据包的信号；所述信道信息还包括源节点和IRS之间的信道增益，以及IRS和目的节点之间的信道增益；所述IRS信息包括IRS的对角线相移矩阵；
获取IRS信息，根据所述信号信息、所述信道信息以及所述IRS信息计算有效容量，根据所述有效容量和所述违规限制条件构建有效容量优化模型，包括：
根据传输状态更新数据包的信号、源节点和IRS之间的信道增益、IRS和目的节点之间的信道增益以及IRS的对角线相移矩阵，得到源节点发送状态更新数据包时接收到的信号；
根据源节点发送状态更新数据包时接收到的信号，得到传输状态更新数据包的信噪比；
根据所述信噪比得到传输状态更新数据包的解码错误概率函数；
根据所述信噪比和所述解码错误概率函数得到对应的有效容量；
根据所述有效容量和所述违规限制条件构建有效容量优化模型；
源节点发送第n个状态更新数据包时接收到的信号表示为
其中，所述表示源节点和IRS之间的信道增益，所述H表示矩阵的共轭转置运算，所述/>表示IRS的对角线相移矩阵，所述/>表示IRS和目的节点之间的信道增益，所述P(n)表示传输第n个状态更新数据包的传输功率，所述s(n)表示传输第n个状态更新数据包的信号，所述s(n)信号的功率值为1，所述n0表示目的节点处的高斯白噪声；
传输第n个状态更新数据包时的信噪比表示为其中，所述σ2表示噪声的功率；
传输第n个状态更新数据包的解码错误概率函数表示为
其中，所述C(γ(n))＝log2(1+γ(n))，所述所述M表示第n个状态更新数据包的大小，所述L表示信道数；
IRS辅助的短包数据传输系统中的有效容量表示为
其中，表示期望，所述γ(n)表示传输第n个状态更新数据包时信噪比，所述ε(γ(n))表示传输第n个状态更新数据包的解码错误概率函数，所述M表示第n个状态更新数据包的大小；
所述有效容量优化模型表示为
γ(n)≥γth
Pmin≤P(n)≤Pmax；
其中，所述γth表示传输状态更新数据包信噪比的预设信噪比门限值，Pmin表示数据包传输功率的预设最小值，Pmax表示数据包传输功率的预设最大值；
将所述有效容量优化模型求解过程转化为马尔科夫决策过程，包括：
将所述有效容量优化模型对应的短包数据传输系统作为一个智能体，将所述智能体的决策过程建模为一个离散的MDP；
所述MDP在迭代次数t时行动空间表示为：
at＝[P(n)t,θ1(n)t,…,θf(n)t,…,θF(n)t]；
其中，所述t表示迭代次数，所述P(n)t表示传输第n个状态更新数据包的功率值，θ1(n)t,…,θf(n)t,…,θF(n)t分别表示IRS的第1个子单元到第F个子单元的相位值；P(n)t的取值范围为Pmin≤P(n)t≤Pmax，每个f子单元的相移取值范围为[0,2π]；
所述MDP在迭代次数t时状态空间表示为：
其中，所述表示迭代次数(t-1)的有效容量值；
所述MDP在迭代次数t时奖励值表示为
且需满足和γ(n)≥γth，否则奖励rt＝0；
所述基于双延迟DDPG方法求解所述马尔科夫决策过程，确定IRS相移值以及所述源节点的发送功率值，包括：
利用Actor网络根据所述MDP的当前状态信息输出一个动作，并根据所述当前状态信息和所述动作获得奖励和下一个状态信息；
利用两个Critics网络学习Q函数值，两个所述Critics网络分别学习得到Q函数值，将两个Q函数值的最小值作为每个Q函数更新的Q函数值；
将所述动作中加入噪声，平滑所述Q函数沿着不同动作的变化；
更新策略和所述Q函数，直至达到最大迭代次数，得到IRS相移值以及所述源节点的发送功率值。
4.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于信息时效性的功率和IRS相移联合优化程序，所述基于信息时效性的功率和IRS相移联合优化程序被所述处理器执行时实现如权利要求1～2任意一项所述的基于信息时效性的功率和IRS相移联合优化方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1～2任意一项所述的基于信息时效性的功率和IRS相移联合优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210825377.5A CN115361734B (zh) | 2022-07-14 | 2022-07-14 | 基于信息时效性的功率和irs相移联合优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210825377.5A CN115361734B (zh) | 2022-07-14 | 2022-07-14 | 基于信息时效性的功率和irs相移联合优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115361734A CN115361734A (zh) | 2022-11-18 |
| CN115361734B true CN115361734B (zh) | 2024-05-14 |
Family
ID=84031642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210825377.5A Active CN115361734B (zh) | 2022-07-14 | 2022-07-14 | 基于信息时效性的功率和irs相移联合优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115361734B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116232440B (zh) * | 2023-03-23 | 2024-05-14 | 鹏城实验室 | 数据采集方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110856264A (zh) * | 2019-11-08 | 2020-02-28 | 山东大学 | 一种在传感器网络中最优化信息年龄的分布式调度方法 |
| CN113259968A (zh) * | 2021-04-14 | 2021-08-13 | 国网四川省电力公司电力科学研究院 | 基于信息新鲜度的配电网设备智能计算方法 |
| CN114615684A (zh) * | 2022-02-25 | 2022-06-10 | 哈尔滨工业大学（深圳） | 闭环系统的信息年龄优化方法、装置及存储介质 |
| CN114710410A (zh) * | 2022-06-07 | 2022-07-05 | 南京信息工程大学 | 基于深度强化学习的网络数据采集效率优化方法及系统 |
-
2022
- 2022-07-14 CN CN202210825377.5A patent/CN115361734B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110856264A (zh) * | 2019-11-08 | 2020-02-28 | 山东大学 | 一种在传感器网络中最优化信息年龄的分布式调度方法 |
| CN113259968A (zh) * | 2021-04-14 | 2021-08-13 | 国网四川省电力公司电力科学研究院 | 基于信息新鲜度的配电网设备智能计算方法 |
| CN114615684A (zh) * | 2022-02-25 | 2022-06-10 | 哈尔滨工业大学（深圳） | 闭环系统的信息年龄优化方法、装置及存储介质 |
| CN114710410A (zh) * | 2022-06-07 | 2022-07-05 | 南京信息工程大学 | 基于深度强化学习的网络数据采集效率优化方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于MDP的Massive MIMO物理层安全算法;蒋华;侯梦茹;张昕然;王庆瑞;;计算机应用与软件;20181112(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115361734A (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113537514B (zh) | 一种高能效的基于数字孪生的联邦学习框架 | |
| CN110784882B (zh) | 一种基于强化学习的能量采集d2d通信资源分配方法 | |
| CN109831808B (zh) | 一种基于机器学习的混合供电c-ran的资源分配方法 | |
| CN112468265B (zh) | 基于强化学习的无线局域网调制编码自适应选择方法及无线设备 | |
| CN112203307B (zh) | 一种支持信息年龄优化的多信道无线网络调度方法 | |
| CN115361734B (zh) | 基于信息时效性的功率和irs相移联合优化方法及装置 | |
| CN105379412A (zh) | 一种控制多个无线接入节点的系统和方法 | |
| US11871251B2 (en) | Method of association of user equipment in a cellular network according to a transferable association policy | |
| Padakandla et al. | Energy sharing for multiple sensor nodes with finite buffers | |
| CN111740794B (zh) | 一种多用户能量收集认知无线电系统 | |
| Wang et al. | Adaptive resource allocation for semantic communication networks | |
| CN112512109B (zh) | 一种端到端功率分配方法、装置、全双工中继系统及计算机可读存储介质 | |
| CN114268348A (zh) | 一种基于深度强化学习的无蜂窝大规模mimo功率分配方法 | |
| Mishra et al. | Raddpg: Resource allocation in cognitive radio with deep reinforcement learning | |
| Toorchi et al. | Fast and low-complexity reinforcement learning for delay-sensitive energy harvesting wireless visual sensing systems | |
| CN114257988B (zh) | 超可靠车联网中面向不完美csi的资源分配方法及系统 | |
| CN115987406A (zh) | 一种基于深度强化学习的水声通信链路自适应方法 | |
| CN113747386A (zh) | 认知无线电网络频谱共享中的智能功率控制方法 | |
| Mary et al. | Reinforcement learning for physical layer communications | |
| Mary et al. | Reinforcement Learning for Physical Layer Communications | |
| Zheng et al. | Deep Reinforcement Learning-based Quantization for Federated Learning | |
| CN111431628B (zh) | 一种提升水声通信链路平均吞吐量的方法 | |
| CN114205053B (zh) | 卫星通信系统强化学习自适应编码调制方法、系统及装置 | |
| Jaiswal et al. | Whittle's index-based age-of-information minimization in multi-energy harvesting source networks | |
| Gao et al. | Semantic-Aware Jointed Coding and Routing Design in Large-Scale Satellite Networks: A Deep Learning Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |