CN113645644B - 一种反向散射辅助无线供能通信系统吞吐量优化方法 - Google Patents
一种反向散射辅助无线供能通信系统吞吐量优化方法 Download PDFInfo
- Publication number
- CN113645644B CN113645644B CN202111088214.5A CN202111088214A CN113645644B CN 113645644 B CN113645644 B CN 113645644B CN 202111088214 A CN202111088214 A CN 202111088214A CN 113645644 B CN113645644 B CN 113645644B
- Authority
- CN
- China
- Prior art keywords
- transmitter
- data
- time
- radio frequency
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims description 8
- 230000009471 action Effects 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000007613 environmental effect Effects 0.000 claims abstract description 18
- 230000007774 longterm Effects 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 22
- 238000013144 data compression Methods 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/22—Scatter propagation systems, e.g. ionospheric, tropospheric or meteor scatter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种反向散射辅助无线供能通信系统吞吐量优化方法,将优化反向散射辅助的无线供能通信系统长期平均吞吐量作为一个马尔可夫决策过程,所述马尔可夫决策过程包括系统状态s,动作a和奖励函数R三要素,采用深度Q学习算法来获取马尔可夫决策过程对应的最优在线策略,然后在所述环境射频源开启时,发射机按照最优在线策略执行。本发明能够适应信道状态、能量捕获条件和数据缓存的动态变化,可有效提高系统的长期平均有效吞吐量。
Description
技术领域
本申请属于无线供能通信技术领域,尤其涉及一种反向散射辅助无线供能通信系统吞吐量优化方法。
背景技术
射频供能的感知节点主要有两种数据传输方式:反向散射和无线供能通信。无线供能通信捕获环境中存在的射频能量存储在电池中,然后主动生成用于信息传输的射频载波信号,但当周围射频信号不足时需要很长一段时间才能有足够的能量用于数据传输。而反向散射通信无需主动生成载波,而是发送端将一系列数字信号映射到天线处的射频反向散射波形上,通过调整天线的负载阻抗来产生与原始信号不同的波形,但传输速率相对较小,传输距离较短,且需要稳定射频源才能正常工作。混合通信结合两种通信方式的优点,使得射频供能的感知节点数据传输能适用于更多的场景。
通过改变发送端不同模式的工作时间、主动通信的发射功率和数据压缩比,可以达到系统长期平均吞吐量的最大化。然而现有技术的方法,要么部署的节点只具备一种通信方式,对环境适应能力较差;要么并未考虑数据采样速率,不适用感知网络;要么所研究网络吞吐量为瞬时最大化问题,没有考虑数据采样能耗问题,不能满足无源感知网络长期平均吞吐量最大化的需求,以及采样能耗不可忽略等因素。此外,在一些场景(如环境监测)中,由于采样速率远高于环境变化速度,采集所得数据之间存在一定的时间相关性,而在混合通信的现有工作中还没有对数据压缩这方面的考虑。
发明内容
本申请的目的是提供一种反向散射辅助无线供能通信系统吞吐量优化方法,以克服已有方法忽略了感知节点的采样能耗、未考虑感知数据相关性,以及无法满足长期平均吞吐量优化等不足。
为了实现上述目的,本申请技术方案如下:
一种反向散射辅助无线供能通信系统吞吐量优化方法,所述无线供能通信系统包括环境射频源、发射机和接收机,所述发射机上配置有传感器,所述反向散射辅助无线供能通信系统吞吐量优化方法,包括:
按照预设的时间块T,设置环境射频源在每个时间块T内开启αT时间,关闭(1-α)T时间,α为占空比因子;
将优化反向散射辅助的无线供能通信系统长期平均吞吐量作为一个马尔可夫决策过程,所述马尔可夫决策过程包括系统状态s,动作a和奖励函数R三要素,采用深度Q学习算法来获取马尔可夫决策过程对应的最优在线策略;
在所述环境射频源开启时,发射机按照最优在线策略执行,其中:
当环境射频源开启时,发射机执行:
从射频信号中捕获能量,传感器采样数据,将多余能量存储;
或,通过反向散射方式采样和传输数据;
当环境射频源关闭时,发射机消耗存储能量执行主动传输或传感器采样,直至能量耗尽进入休眠模式。
进一步的,第n个时间块开始时的系统状态s(n)包括信道增益幅值的平方h(n)、发射机的剩余能量b(n)和缓存数据量q(n),记为s(n)={h(n),b(n),q(n)};第n个时间块采取的动作a(n)包括发射机在环境射频源开启时的能量捕获时间th (n)、反向散射时间tb (n)、环境射频源关闭时发射机进行主动传输的时间ta (n),主动传输的发射功率pt (n)及数据压缩比c(n),记为a(n)={th (n),tb (n),ta (n),pt (n),c(n)};在状态s(n)下采取动作a(n)得到的系统奖励R (n)为:
其中,rb为反向散射传输速率,q′(n)是经过αT时间后剩余的数据量,qth是触发主动传输的缓存数据量阈值,f(c(n))是误差容忍率函数,ra (n)为主动传输速率,分别如下公式计算得到:
f(c(n))=1-(p1c(n)2+p2c(n)+p3)δ2/(c(n)+p4) (3);
其中,rs是传感器采样速率,p1、p2、p3、p4均为常数,δ是叠加到传感器测量信号上的高斯白噪声标准差,W是信道带宽,N0是噪声谱密度,dt,r是发射机和接收机之间的距离,β是路径损耗指数。
进一步的,所述第n个时间块采取的动作a(n)的限制条件表示如下:
c(n)∈{k/Na|k=0,1,...,Na,Na∈Z} (13)
其中,式(5)(6)是时间约束,式(7)(8)(9)是数据量约束,式(10)是能量约束,式(11)(12)(13)分别是将时间、功率和压缩比离散化后的取值约束,pmin和pmax分别是发射机进行主动传输时最小功率和最大功率,bmax是发射机电池最大容量,qmax是发射机缓存容量,ps是传感器感知功耗,pt (n)为0表示传感器进行感知不传输数据,c(n)=0表示没有数据在传输,c(n)=1时表示没有进行数据压缩,Nt和Na分别是时间离散等级和压缩率离散等级,Δpt是功率离散化步长,式(9)中1{X}表示当括号内表达式X为真时取1,否则取0,bOFF (n)是环境射频源关闭时发射机消耗的能量,为主动传输或感知消耗的能量,由式(14)计算得到:
进一步的,所述深度Q学习算法对应的神经网络包括用于训练的基础网络和用于计算的目标网络,训练所述神经网络包括:
步骤2.1、初始化Q网络及其训练参数;
步骤2.1.1、初始化基础网络参数ω1、目标网络参数ω2,令两组参数相等;
步骤2.1.2、初始化经验池,令其大小为LM;
步骤2.1.3、初始化训练参数,包括贪婪策略因子ε、学习率η、折扣因子γ、神经网络权重赋值间隔Nw、样本选择间隔Nb、选择样本数NS和每次训练的最大迭代次数Kmax;
步骤2.2、迭代学习最优策略;
步骤2.2.1、随机选择一个状态s作为初始状态输入基础网络,经过卷积层的特征提取和全连接层,得到所有动作对应的Q值;
步骤2.2.2、根据ε贪婪策略选择动作,所述ε贪婪策略是以ε的概率随机选择一个动作,以1-ε的概率选取Q值最大的动作,ε在算法迭代过程中不断降低,直至为0,实现算法在深度与广度上的延伸;
步骤2.2.3、在当前系统状态s执行相应动作a,到达下一状态s',获得系统奖励值R;
步骤2.2.4、将当前状态、所选动作、奖励值与下一状态作为一组序列样本(s,a,R,s')存储到经验池中;
步骤2.2.5、每隔Nb时间,从经验池中采样NS组样本来训练基础Q网络,将样本分别输入基础网络和目标网络,得到实际Q值和目标Q值,根据两组Q值计算基础Q网络的损失函数,为最小化损失函数利用梯度下降法更新基础网络参数ω1;
步骤2.2.6、每隔Nw时间,更新目标网络参数ω2,令ω2=ω1;
步骤2.2.7、将下一状态作为当前状态重复训练,直至到达预设的迭代次数Kmax。
进一步的,所述发射机在主动传输和反向散射传输之前都采用轻量级数据压缩方案对感知数据采用固定压缩比进行压缩。
进一步的,所述发射机在主动传输和反向散射传输之前都采用轻量级数据压缩方案对感知数据按照所述压缩比进行压缩。
本申请提出的一种反向散射辅助无线供能通信系统吞吐量优化方法,基于深度Q学习获得模式切换、时间分配、功率控制和数据压缩率选择的在线策略,适用于使用反向散射辅助无线供能通信的无源感知节点采集数据并传输的场景。本申请的有益效果主要表现在:适用于具有反向散射无线电的无源感知通信系统采样并传输数据的应用场景,根据信道状态、节点电池电量和缓存数据量,基于深度Q学习获得模式切换、时间分配、功率控制和数据压缩率选择的在线策略,能够适应信道状态、能量捕获条件和数据缓存的动态变化,可有效提高系统的长期平均有效吞吐量。
附图说明
图1为本申请反向散射辅助无线供能通信系统吞吐量优化方法流程图;
图2为本申请发射机工作模式示意图;
图3为射频能量源占空比对四种通信方式吞吐量的影响仿真结果图;
图4为不同触发主动传输的缓存数据量阈值qth对四种通信方式吞吐量的影响仿真结果图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
参照图1~图2,一种反向散射辅助无线供能通信系统吞吐量优化方法,包括以下步骤:
步骤S1、按照预设的时间块T,设置环境射频源在每个时间块T内开启αT时间,关闭(1-α)T时间,α为占空比因子。
本申请设置一个时长T,将时间分为若干个时长为T的时间块,也称为时间块T。设置环境射频源在每个时间块T内以占空比模式工作,α为占空比因子,α∈(0,1]。占空比模式即开启αT时间,关闭(1-α)T时间。可以先开启αT时间,然后关闭(1-α)T时间;或者先关闭(1-α)T时间,然后再开启αT时间。
本一个实施例中,T=1s,α∈{0.5,0.6,0.7,0.8,0.9,1}。
步骤S2、将优化反向散射辅助的无线供能通信系统长期平均吞吐量作为一个马尔可夫决策过程,所述马尔可夫决策过程包括系统状态s,动作a和奖励函数R三要素,采用深度Q学习算法来获取马尔可夫决策过程对应的最优在线策略。
本申请将优化反向散射辅助的无线供能通信系统长期平均吞吐量作为一个马尔可夫决策过程,马尔可夫决策过程包括系统状态s,动作a和奖励函数R三要素。并用深度Q学习算法来执行马尔可夫决策过程,深度Q学习算法是借助神经网络的知识来表征状态的动作价值函数,这里的神经网络可以选用DNN,CNN或者RNN。
在一个实施例中,马尔可夫决策过程的三要素系统状态s,动作a和奖励函数R具体为:第n个时间块开始时的系统状态s(n)包括信道增益幅值的平方h(n)、发射机的剩余能量b(n)和缓存数据量q(n),记为s(n)={h(n),b(n),q(n)};第n个时间块可采取的动作a(n)包括发射机在环境射频源开启时的能量捕获时间th (n)、反向散射时间tb (n)、环境射频源关闭时发射机进行主动传输的时间ta (n),主动传输的发射功率pt (n)及数据压缩比c(n),记为a(n)={th (n),tb (n),ta (n),pt (n),c(n)};在状态s(n)下采取动作a(n)得到的系统奖励R(n)为:
其中,rb为反向散射传输速率,只与发射机的电路构成相关,q′(n)是经过αT时间后剩余的数据量,qth是触发主动传输的缓存数据量阈值,f(c(n))是与压缩比相关的误差容忍率函数,ra (n)为主动传输速率,分别由公式(2)(3)(4)计算得到:
f(c(n))=1-(p1c(n)2+p2c(n)+p3)δ2/(c(n)+p4) (3);
其中,rs是传感器采样速率,p1、p2、p3、p4均为与采用的压缩算法相关的常数,δ是叠加到传感器感测信号上的高斯白噪声标准差,W是信道带宽,N0是噪声谱密度,dt,r是发射机和接收机之间的距离,β是路径损耗指数。
再进一步,第n个时间块采取的动作a(n)的限制条件表示如下:
c(n)∈{k/Na|k=0,1,...,Na,Na∈Z} (13)
其中,式(5)(6)是时间约束,式(7)(8)(9)是数据量约束,式(10)是能量约束,式(11)(12)(13)分别是将时间、功率和压缩比离散化后的取值约束,pmin和pmax分别是发射机进行主动传输时可设置的最小功率和最大功率,bmax是发射机电池最大容量,qmax是发射机缓存容量,ps是传感器感知功耗,pt (n)为0表示传感器进行感知不传输数据,c(n)=0表示没有数据在传输,c(n)=1时表示没有进行数据压缩,Nt和Na分别是时间离散等级和压缩比离散等级,Δpt是功率离散化步长,式(9)中1{X}表示当括号内表达式X为真时取1,否则取0,bOFF (n)是环境射频源关闭时发射机消耗的能量,为主动传输或感知消耗的能量,由式(14)计算得到:
在一个实施例中,采用rb=5kbps,ph=2mW,信道状态服从瑞利分布fh(n)(h(n))=e-h(n),h(n)≥0,bmax=3mJ,qmax=5kbp,qth=0.5qmax,rs=3.2kbps,ps=1mW,pmax=12mW,pmin=6mW,ps=2mW,W=2kHz,N0=5*10-17W/Hz,β=2.8,Δpt=1mW。
需要说明的是,上述马尔可夫决策过程的三要素系统状态s,动作a和奖励函数R只是一种具体的实现方式,本领域技术人员可以在系统状态中加入其它可能会用到的参数,例如还可以加入传感器和环境射频源的参数,如环境射频源的功率等,相应的动作和奖励函数也可以相应的调整,本申请不限于马尔可夫决策过程的三要素系统状态s,动作a和奖励函数R的具体组成形式。
在另一个实施例中,本申请采用卷积神经网络设计深度Q学习的神经网络,深度Q学习的神经网络包括用于训练的基础网络和用于计算的目标网络,通过特征提取实现连续状态的函数拟合过程,构建两个相同网络,可打乱状态间的相关性,提高算法的稳定性。基于所建马尔可夫决策过程,利用深度Q学习算法,使智能体和环境交互进行迭代学习。
本实施例训练所述神经网络包括如下步骤:
步骤2.1、初始化Q网络及其训练参数;
步骤2.1.1、初始化基础网络参数ω1、目标网络参数ω2,令两组参数相等;
步骤2.1.2、初始化经验池,令其大小为LM;
步骤2.1.3、初始化训练参数,包括贪婪策略因子ε、学习率η、折扣因子γ、神经网络权重赋值间隔Nw、样本选择间隔Nb、选择样本数NS和每次训练的最大迭代次数Kmax;
步骤2.2、迭代学习最优策略;
步骤2.2.1、随机选择一个状态s作为初始状态输入基础网络,经过卷积层的特征提取和全连接层,得到所有动作对应的Q值;
步骤2.2.2、根据ε贪婪策略选择动作,所述ε贪婪策略是以ε的概率随机选择一个动作,以1-ε的概率选取Q值最大的动作,ε在算法迭代过程中不断降低,直至为0,实现算法在深度与广度上的延伸;
步骤2.2.3、在当前系统状态s执行相应动作a,到达下一状态s',获得系统奖励值R;
步骤2.2.4、将当前状态、所选动作、奖励值与下一状态作为一组序列样本(s,a,R,s')存储到经验池中;
步骤2.2.5、每隔Nb时间,从经验池中采样NS组样本来训练基础Q网络,将样本分别输入基础网络和目标网络,得到实际Q值和目标Q值,根据两组Q值计算基础Q网络的损失函数,为最小化损失函数利用梯度下降法更新基础网络参数ω1;
步骤2.2.6、每隔Nw时间,更新目标网络参数ω2,令ω2=ω1;
步骤2.2.7、将下一状态作为当前状态重复训练,直至到达预设的迭代次数Kmax。
在本实施例中,所述步骤3.2.5中的实际Q值是基础Q网络的输出值Q(s(n),a(n);ω1),目标Q值用Qtar表示,表示为:
其中,Q(s(n+1),a(n+1);ω2)是目标Q网络的输出,A是所有动作的集合。训练的目的是为了最小化损失函数L(ω1),表示为:
L(ω1)=E[|Qtar-Q(s(n),a(n);ω1)|2] (16)
梯度下降更新参数ω1的方法为:
其中表示Q(s(n),a(n);ω1)的梯度,即Q(s(n),a(n);ω1)对a(n)的导函数。本实施例中,LM=500,ε初始值设置为1,并在每次迭代过程中以0.995的相关系数降低直至0.1,η=0.001,γ=0.9,Nw=200,NS=32,Nb=5,Kmax=1000。
在训练好深度Q学习算法对应的神经网络之后,就可以采用训练好的神经网络来得到马尔可夫决策过程对应的最优在线策略,最优在线策略也就是与输入到神经网络的系统状态对应的最优动作。例如将第n个时间块开始时的系统状态s(n)输入到基础网络,基础网络输出的最优在线策略作为第n个时间块采取的动作a(n)。
步骤S3、在所述环境射频源开启时,发射机按照最优在线策略执行,其中:
当环境射频源开启时,发射机执行:
从射频信号中捕获能量,传感器采样数据,将多余能量存储;
或,通过反向散射方式采样和传输数据;
当环境射频源关闭时,发射机消耗存储能量执行主动传输或传感器采样,直至能量耗尽进入休眠模式。
具体的,在射频源开启时,发射机执行以下两个操作之一:一是从射频信号中捕获能量,传感器采样数据,将多余能量存储,二是通过反向散射方式采样和传输数据;当射频源关闭时,发射机消耗存储能量执行以下两个操作之一:一是主动传输,直至数据传完或能量耗尽,进入休眠模式;二是传感器采样,直至能量耗尽进入休眠模式。
本申请将当前的信道状态(即信道增益幅值的平方)、发射机的剩余能量和缓存数据量输入到基础网络中,基础网络输出发射机在射频源开启时的能量捕获时间th和反向散射时间tb,射频源关闭时节点进行主动传输的时间ta,主动传输的发射功率pt及数据压缩比c,那么,在射频源开启时,发射机持续th时间从射频信号中捕获能量并进行传感器采样数据,将多余能量存储,持续tb时间通过反向散射方式采样和以压缩比c将数据压缩后传输;当射频源关闭时,发射机消耗存储能量执行以下两个操作之一:一是以压缩比c对缓存数据进行压缩后以发射功率pt持续ta时间进行主动传输,若pt为0或c为0则持续ta时间进行传感器采样,直至能量耗尽进入休眠模式。
在另一个实施例中,本申请发射机在每次传输,包括主动传输和反向散射传输之前都采用轻量级数据压缩方案对感知数据进行压缩。
需要说明的是,马尔可夫决策过程三要素系统状态s,动作a和奖励函数R并非只有前面所列出的一种方式,例如动作a中就可以不包括数据压缩比。此时,在对感知数据进行压缩时,可以采用固定的压缩比进行压缩。在对感知数据进行压缩时,可以采用本领域比较成熟的任何一种轻量级数据压缩方案(LTC,Lightweight Temporal Compression)进行压缩,这里不再赘述。
而在第n个时间块采取的动作a(n)包括数据压缩比c(n)时,发射机在主动传输和反向散射传输之前都采用轻量级数据压缩方案对感知数据按照所述压缩比进行压缩。
本申请还通过实验进行效果验证,实验采用Python3.8实现,在Intel Core I52.60GHz的CPU,8G内存的计算机上运行。
如图3所示,不同射频能量源占空比下四种通信方式的最大长期平均吞吐量性能比较,分别为本申请提出的反向散射辅助无线供能通信的混合通信方式(HTC)、纯反向散射通信方式(BTC)、纯无线供能通信方式(ATC)和未进行数据压缩的混合通信(HT),可以看出本申请提出的混合通信方式吞吐量性能始终优于其他三种。图4给出了传输数据阈值对不同通信方式的影响,可以看出纯无线供能通信的吞吐量性能容易受阈值变化的影响,而混合通信具有反向散射通信功能,在阈值变化时具有稳定性,且吞吐量在qth为0.8qmax时相对于无线供能通信提高了15%。综上,本申请方法是合理有效的。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (3)
1.一种反向散射辅助无线供能通信系统吞吐量优化方法,所述无线供能通信系统包括环境射频源、发射机和接收机,所述发射机上配置有传感器,其特征在于,所述反向散射辅助无线供能通信系统吞吐量优化方法,包括:
按照预设的时间块T,设置环境射频源在每个时间块T内开启αT时间,关闭(1-α)T时间,α为占空比因子;
将优化反向散射辅助的无线供能通信系统长期平均吞吐量作为一个马尔可夫决策过程,所述马尔可夫决策过程包括系统状态s,动作a和奖励函数R三要素,采用深度Q学习算法来获取马尔可夫决策过程对应的最优在线策略;
在所述环境射频源开启时,发射机按照最优在线策略执行,其中:
当环境射频源开启时,发射机执行:
从射频信号中捕获能量,传感器采样数据,将多余能量存储;
或,通过反向散射方式采样和传输数据;
当环境射频源关闭时,发射机消耗存储能量执行主动传输或传感器采样,直至能量耗尽进入休眠模式;
其中,第n个时间块开始时的系统状态s(n)包括信道增益幅值的平方h(n)、发射机的剩余能量b(n)和缓存数据量q(n),记为s(n)={h(n),b(n),q(n)};第n个时间块采取的动作a(n)包括发射机在环境射频源开启时的能量捕获时间th (n)、反向散射时间tb (n)、环境射频源关闭时发射机进行主动传输的时间ta (n),主动传输的发射功率pt (n)及数据压缩比c(n),记为a(n)={th (n),tb (n),ta (n),pt (n),c(n)};在状态s(n)下采取动作a(n)得到的系统奖励R(n)为:
其中,rb为反向散射传输速率,q′(n)是经过αT时间后剩余的数据量,qth是触发主动传输的缓存数据量阈值,f(c(n))是误差容忍率函数,ra (n)为主动传输速率,分别如下公式计算得到:
f(c(n))=1-(p1c(n)2+p2c(n)+p3)δ2/(c(n)+p4) (3);
其中,rs是传感器采样速率,p1、p2、p3、p4均为常数,δ是叠加到传感器测量信号上的高斯白噪声标准差,W是信道带宽,N0是噪声谱密度,dt,r是发射机和接收机之间的距离,β是路径损耗指数;
所述第n个时间块采取的动作a(n)的限制条件表示如下:
c(n)∈{k/Na|k=0,1,...,Na,Na∈Z} (13)
其中,式(5)(6)是时间约束,式(7)(8)(9)是数据量约束,式(10)是能量约束,式(11)(12)(13)分别是将时间、功率和压缩比离散化后的取值约束,pmin和pmax分别是发射机进行主动传输时最小功率和最大功率,bmax是发射机电池最大容量,qmax是发射机缓存容量,ps是传感器感知功耗,pt (n)为0表示传感器进行感知不传输数据,c(n)=0表示没有数据在传输,c(n)=1时表示没有进行数据压缩,Nt和Na分别是时间离散等级和压缩率离散等级,Δpt是功率离散化步长,式(9)中1{X}表示当括号内表达式X为真时取1,否则取0,bOFF (n)是环境射频源关闭时发射机消耗的能量,为主动传输或感知消耗的能量,由式(14)计算得到:
所述深度Q学习算法对应的神经网络包括用于训练的基础网络和用于计算的目标网络,训练所述神经网络包括:
步骤2.1、初始化Q网络及其训练参数;
步骤2.1.1、初始化基础网络参数ω1、目标网络参数ω2,令两组参数相等;
步骤2.1.2、初始化经验池,令其大小为LM;
步骤2.1.3、初始化训练参数,包括贪婪策略因子ε、学习率η、折扣因子γ、神经网络权重赋值间隔Nw、样本选择间隔Nb、选择样本数NS和每次训练的最大迭代次数Kmax;
步骤2.2、迭代学习最优策略;
步骤2.2.1、随机选择一个状态s作为初始状态输入基础网络,经过卷积层的特征提取和全连接层,得到所有动作对应的Q值;
步骤2.2.2、根据ε贪婪策略选择动作,所述ε贪婪策略是以ε的概率随机选择一个动作,以1-ε的概率选取Q值最大的动作,ε在算法迭代过程中不断降低,直至为0,实现算法在深度与广度上的延伸;
步骤2.2.3、在当前系统状态s执行相应动作a,到达下一状态s',获得系统奖励值R;
步骤2.2.4、将当前状态、所选动作、奖励值与下一状态作为一组序列样本(s,a,R,s')存储到经验池中;
步骤2.2.5、每隔Nb时间,从经验池中采样NS组样本来训练基础Q网络,将样本分别输入基础网络和目标网络,得到实际Q值和目标Q值,根据两组Q值计算基础Q网络的损失函数,为最小化损失函数利用梯度下降法更新基础网络参数ω1;
步骤2.2.6、每隔Nw时间,更新目标网络参数ω2,令ω2=ω1;
步骤2.2.7、将下一状态作为当前状态重复训练,直至到达预设的迭代次数Kmax。
2.根据权利要求1所述的反向散射辅助无线供能通信系统吞吐量优化方法,其特征在于,所述发射机在主动传输和反向散射传输之前都采用轻量级数据压缩方案对感知数据采用固定压缩比进行压缩。
3.根据权利要求1所述的反向散射辅助无线供能通信系统吞吐量优化方法,其特征在于,所述发射机在主动传输和反向散射传输之前都采用轻量级数据压缩方案对感知数据按照所述压缩比进行压缩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111088214.5A CN113645644B (zh) | 2021-09-16 | 2021-09-16 | 一种反向散射辅助无线供能通信系统吞吐量优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111088214.5A CN113645644B (zh) | 2021-09-16 | 2021-09-16 | 一种反向散射辅助无线供能通信系统吞吐量优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113645644A CN113645644A (zh) | 2021-11-12 |
CN113645644B true CN113645644B (zh) | 2024-04-05 |
Family
ID=78425936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111088214.5A Active CN113645644B (zh) | 2021-09-16 | 2021-09-16 | 一种反向散射辅助无线供能通信系统吞吐量优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113645644B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112087721A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种反向散射辅助的无线供能通信网络的节点间通信方法 |
CN112218313A (zh) * | 2020-09-18 | 2021-01-12 | 广州大学 | 一种基于能量调度的通信系统及其通信吞吐量优化方法 |
CN112564779A (zh) * | 2020-12-08 | 2021-03-26 | 南京爱而赢科技有限公司 | 反向散射通信网络基于传输公平的吞吐量优化方法 |
-
2021
- 2021-09-16 CN CN202111088214.5A patent/CN113645644B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112087721A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种反向散射辅助的无线供能通信网络的节点间通信方法 |
CN112218313A (zh) * | 2020-09-18 | 2021-01-12 | 广州大学 | 一种基于能量调度的通信系统及其通信吞吐量优化方法 |
CN112564779A (zh) * | 2020-12-08 | 2021-03-26 | 南京爱而赢科技有限公司 | 反向散射通信网络基于传输公平的吞吐量优化方法 |
Non-Patent Citations (1)
Title |
---|
Online policies for throughput maximization of backscatter assisted wireless powered communication via reinforcement learning approaches;Xiaofeng Su;Pervasive and Mobile Computing;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113645644A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109548044B (zh) | 一种基于ddpg的能量可收集通信的比特率优化方法 | |
Kazemi et al. | Reinforcement learning in power control games for internetwork interference mitigation in Wireless Body Area Networks | |
Kim et al. | Performance analysis of the energy adaptive MAC protocol for wireless sensor networks with RF energy transfer | |
CN108900269B (zh) | 无线和电力线双媒质协作通信系统的误码率性能分析方法 | |
Luo et al. | A nonlinear recursive model based optimal transmission scheduling in RF energy harvesting wireless communications | |
CN112738849B (zh) | 应用于多跳环境反向散射无线网络的负载均衡调控方法 | |
CN112671456B (zh) | 反向散射通信中的最优标签选择方法 | |
CN113645644B (zh) | 一种反向散射辅助无线供能通信系统吞吐量优化方法 | |
Kone et al. | Adaptive management of energy consumption, reliability and delay of wireless sensor node: Application to IEEE 802.15. 4 wireless sensor node | |
CN101778465A (zh) | Cdma蜂窝系统中基于误差估计的比例功率控制方法 | |
Kim et al. | Energy adaptive MAC for wireless sensor networks with RF energy transfer: Algorithm, analysis, and implementation | |
Rioual et al. | Reinforcement-learning approach guidelines for energy management | |
Başaran et al. | Adaptive sampling techniques for autonomous agents in wireless sensor networks | |
CN110971323A (zh) | 传播路径模型地图系统及路径损耗确定系统 | |
US20230030851A1 (en) | Devices and methods for low power adaptive channel sensing | |
Kazemi et al. | Design considerations of reinforcement learning power controllers in Wireless Body Area Networks | |
Tang et al. | Energy states aided relay selection and optimal power allocation for cognitive relaying networks | |
CN112291760B (zh) | 一种基于LoRa的地下无线传感网络节点能耗优化方法 | |
CN115734252B (zh) | 基于反向散射中继传输的认知无线供能网络优化方法 | |
CN112637884B (zh) | 基于扩张状态观测器的wsn的模型预测控制方法 | |
CN114051205B (zh) | 基于强化学习动态多用户无线通信场景下边缘优化方法 | |
CN115528712B (zh) | 一种源网荷储备不同区储能容量平衡方法及系统 | |
CN116996919B (zh) | 一种基于强化学习的单节点多域抗干扰方法 | |
Hung et al. | Multiple frequency shift keying optimization of adaptive data rate for ultra-low power wireless sensor network | |
Li et al. | Decentralized online learning with compressed communication for near-sensor data analytics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |