CN114071482A - 一种认知无线电网络中AoI约束下的网络吞吐量优化方法 - Google Patents

Abstract

本发明公开了一种认知无线电网络中AoI约束下的网络吞吐量优化方法，将训练好的神经网络模型部署在次级接收器上，初始化训练好的神经网络模型，将认知无线电网络的当前状态空间输入到所述神经网络模型，获得神经网络模型输出的动作空间。然后据当前时刻信道状态是否繁忙，对神经网络模型输出的动作空间进行剪切，得到符合当前信道状态的动作，将获得的动作信息广播给次级发射器，次级发射器执行相应的动作，并将吞吐量结果反馈给次级接收器。本发明引入了AoI指标来测量接收器所需的数据新鲜度，时间复杂度极低，不仅优化了长期的吞吐量，也保证了接收数据的新鲜度，避免次级接收器掌握的数据过于陈旧。

Description

一种认知无线电网络中AoI约束下的网络吞吐量优化方法

技术领域

本申请属于网络吞吐量优化技术领域，尤其涉及一种认知无线电网络中AoI约束下的网络吞吐量优化方法。

背景技术

RF(Radio Frequency)无线供能技术有效地缓解了无线网络中能量匮乏的问题。相较于如太阳能有设备昂贵、供能不稳定等缺点，RF供能技术可以提供稳定的、大范围的无线供能。该技术可广泛应用于智慧家居、智慧医疗等物联网应用。此外，认知无线电技术使次级用户找寻可用机会接入授权频谱，而不削弱授权用户传输的服务质量，有效地缓解了当前授权频谱利用率较低的问题。环境反向散射(ambient backscatter,AB)技术使次级用户通过调制环境RF信号(如电视信号)来传输自己的数据，既缓解了可用频谱不足的问题，又缓解了供能困难的问题，同时，还无需为反向散射设备部署专用的RF信号源。

在RF(Radio Frequency)供能环境反向散射辅助的认知无线电网络中，存在次级接收器需要保证更新信息的时效性场景，如智慧医疗、灾难监测等领域，因此需要无线节点对监测对象进行实时监测。而当前的指标，如吞吐量指标和延迟指标都无法保证接收器所需的数据新鲜度。

发明内容

本申请的目的是提供一种认知无线电网络中AoI约束下的网络吞吐量优化方法，以保证在AoI约束的前提下，优化次级网络长期吞吐量。

为了实现上述目的，本申请技术方案如下：

一种认知无线电网络中AoI约束下的网络吞吐量优化方法，所述认知无线电网络包括信号源、次级发射器和次级接收器，所述认知无线电网络中AoI约束下的网络吞吐量优化方法，包括：

将训练好的神经网络模型部署在次级接收器上，初始化训练好的神经网络模型；

将认知无线电网络的当前状态空间输入到所述神经网络模型，获得神经网络模型输出的动作空间；

据当前时刻信道状态是否繁忙，对神经网络模型输出的动作空间进行剪切，得到符合当前信道状态的动作；

将获得的动作信息广播给次级发射器，次级发射器执行相应的动作，并将吞吐量结果反馈给次级接收器。

进一步的，所述状态空间包括能量状态空间、信道增益状态空间、信道状态空间和AoI状态空间，其中：

能量状态空间为S_c＝{(c_t,0,c_t,1,....,c_t,N-1)；c_t,i∈(0,C)}，其中c_t,i表示次级发射器ST_i的初始能量，i表示次级发射器ST的序号；

信道增益状态空间为S_g＝{(ρ_t,h,ρ_t,g)}，ρ_t,h,ρ_t,g分别表示从次级发射器到次级接收器的信道衰减，以及从信号源到次级接收器的信道衰减；

信道状态空间为S_b＝{b_t；b_t∈{0,1}}，其中b_t＝1表示信道繁忙，b_t＝0表示信道空闲；

AoI状态空间：S_a＝{(a_t,0,a_t,1,....,a_t,N-1)；a_t,i∈(1,a_max)}，其中a_t,i表示关次级发射器于ST_i的AoI，a_max表示次级接收器可容忍的最大AoI。

进一步的，所述动作空间信道状态为繁忙时的动作空间A_1和信道状态为空闲时的动作空间A_0。

其中α_t,i表示次级发射器ST_i执行AB模式传输的时长，ST_i捕获的能量为

P_T表示信号源的发射功率；g_t,i表示从信号源到次级接收器的信道增益；N表示次级发射器的数量；

其中β_t,i表示次级发射器ST_i执行overlay模式传输的时长，e_t,i表示次级接收器为次级发射器ST_i分配的用来执行overlay模式传输的可消耗能量值。

进一步的，所述神经网络模型在执行动作空间的奖励函数为：

其中R_t表示一个帧的总吞吐量，

表示平均总吞吐量，当信道状态为繁忙时，

其中，W为传输带宽，η为反射系数，σ²为信道噪声功率，λ_t,i∈{0,1}表示是否传输成功；当信道状态为空闲时，

进一步的，所述认知无线电网络中AoI约束下的网络吞吐量优化方法，还包括：

次级接收器根据接收到的反馈，更新下一帧的状态空间。

本申请提出的一种认知无线电网络中AoI约束下的网络吞吐量优化方法，引入了AoI指标来测量接收器所需的数据新鲜度，时间复杂度极低；利用无需做离散化的连续状态和动作空间，不会丢弃空间的重要信息；不仅优化了长期的吞吐量，也保证了接收数据的新鲜度，避免次级接收器掌握的数据过于陈旧。

附图说明

图1为认知无线电网络的结构示意图；

图2为本申请认知无线电网络中AoI约束下的网络吞吐量优化方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

AoI是一种性能指标，其作用是测量从数据生成到接收器成功收到最新数据所经过的时间。与传统的延迟度量不同，AoI是从目的接收器的角度判定接收数据的及时性。在保证AoI约束的前提下，优化次级网络长期吞吐量，是一个非常值得研究的问题。这不仅提高了次级网络的吞吐量，也保证了接收数据的新鲜度，避免次级接收器掌握的数据过于陈旧。本申请考虑次级接收器根据当前帧的信道信息，如信道繁忙与否、信道增益，各次级发射器的可用能量，次级接收器中关于次级发射器的AoI状态，来决策各次级发射器的时间调度和能量分配。

如图1所示的环境反向散射认知无线电网络中，包括信号源PT、次级发射器ST和次级接收器Gateway。信号源可以为电视塔、WiFi接入点、广播基站或蜂窝基站等。图1中实处了N个次级发射器和一个次级接收器。每个次级发射器ST配备一个有限容量C的电池和单天线，以时分复用的方式向次级接收器Gateway传输数据。次级接收器Gateway配备单天线，有线能源供能，负责接收次级发射器ST发送的数据，记录和更新关于每个次级发射器ST的AoI。次级接收器Gateway主要任务是根据当前的状态信息(信道状态、信道增益、ST的能量、AoI)负责进行多个ST的时间调度和能量分配管理，以期在AoI的约束下优化次级网络长期吞吐量。上述认知无线电网络以T为一个帧周期，每个帧由一个或多个时隙组成。时隙长度可以不同，由次级接收器Gateway控制。

次级发射器ST根据信道状态来执行不同的行为，当信道状态为繁忙时，ST以时分复用的方式执行AB模式传输，在其他ST执行AB模式传输时，未进行AB模式传输的ST捕获能量；当信道状态为空闲时，STs以时分复用的方式根据Gateway为其分配的可消耗能量进行overlay模式传输。AB模式传输时，ST通过调制是否反射PT信号来传输自己的数据，如ST反射PT信号，则表示传输1，反之则表示传输0。Overlay模式传输时，当信道繁忙时，ST不传输数据；当信道空闲时，ST以独占信道的方式传输数据。

本申请提供的一种认知无线电网络中AoI约束下的网络吞吐量优化方法，如图2所示，包括：

步骤S1、将训练好的神经网络模型部署在次级接收器上，初始化训练好的神经网络模型。

本申请扩展了deep deterministic policy gradient(DDPG)算法，使其适应两个动作空间。DDPG采用卷积神经网络作为策略网络和Q网络，输入状态，来寻找最优执行动作。

在本申请中，状态空间包括：

能量状态空间：S_c＝{(c_t,0,c_t,1,....,c_t,N-1)；c_t,i∈(0,C)}，其中c_t,i表示ST_i的初始能量，i表示次级发射器ST的序号；

信道增益状态空间：S_g＝{(h_t,0,h_t,1,....,h_t,N-1,g_t,0,g_t,1,...,g_t,N-1)}，其中h_t,i表示从ST_i到Gateway的信道增益，g_t,i表示从PT到Gateway的信道增益。

为了加速收敛，本申请重新定义了信道增益状态空间S_g。根据

(ρ_t，h，ρ_t，g分别表示从ST到Gateway，以及从PT到Gateway的信道衰减，d_i表示ST_i到Gateway的距离，D_i表示PT到Gateway的距离，δ表示路径损失指数)，S_g可以重新表示为：

S_g＝{(ρ_t,h,ρ_t,g)}；

信道状态空间：S_b＝{b_t；b_t∈{0,1}}，其中b_t＝1表示信道繁忙，b_t＝0表示信道空闲；

AoI状态空间：S_a＝{(a_t,0,a_t,1,....,a_t,N-1)；a_t,i∈(1,a_max)}，其中a_t,i表示关于ST_i的AoI，a_max表示Gateway可容忍的最大AoI；

最后，状态空间为S＝S_c×S_a×S_g×S_b。

在本申请中，ST可执行的动作因信道状态而有所不同，因此本申请定义两个动作空间，A_1和A_0，A_1表示信道状态为繁忙时的动作空间，A_0表示信道状态为空闲时的动作空间。

其中α_t,i表示ST_i执行AB模式传输的时长。ST_i捕获的能量为

P_T表示PT的发射功率；g_t,i表示从信号源到次级接收器的信道增益；N表示次级发射器的数量

其中β_t,i表示ST_i执行overlay模式传输的时长，e_t,i表示Gateway为ST_i分配的用来执行overlay模式传输的可消耗能量值。

此外，本申请的目标是在AoI的约束下，寻找优化次级网络长期吞吐量的时间和能量管理策略π。因此，即时奖励是吞吐量与AoI的函数。由于信道状态不同，ST执行的动作不同，因此，本申请的两个即时奖励函数为：当信道状态为繁忙时，奖励函数为r_t ¹(s_t,a_t)，当信道状态为空闲时，奖励函数为r_t ⁰(s_t,a_t)，定义如下：

其中R_t表示一个帧的总吞吐量，

表示平均总吞吐量。

当信道状态为繁忙时，

其中，W为传输带宽，η为反射系数，σ²为信道噪声功率，λ_t,i∈{0,1}表示是否传输成功。

当信道状态为空闲时，

在训练神经网络模型时，一般包括如下步骤：

步骤S1.1、初始化训练轮次TL、每一轮次的帧数TS、actor、critic的学习率LR_A和LR_C、长期优化所需的折扣因子r、软更新因子τ、小批量尺寸BS、探索噪声N_t和探索噪声的衰减因子κ，清空重放记忆池M，随机初始化actor网络和critic网络的权重θ^a和θ^c，并分别将actor target网络和critic target网络的权重初始化为θ^a-←θ^a，θ^c-←θ^c。

步骤S1.2、随机从状态空间中取出一个状态s_t。

步骤S1.3、基于当前的θ^a和状态，得到动作a_t＝π(s_t|θ^a)+N_t，其中，如果s_t中的b_t＝1，那么a_t符合A_1的动作要求，反之符合A_0的动作要求。

步骤S1.4、根据s_t中的b_t，根据A_1或A_0中的约束将a_t中超出的部分剪切，以符合相应动作空间要求。

步骤S1.5、将动作信息(α_t,0,α_t,1,....,α_t,N-1)或(β_t,0,β_t,1,...,β_t,N-1,e_t,0,e_t,1,...,e_t,N-1)广播给ST，ST根据动作信息执行相应操作，并将吞吐量结果反馈给Gateway。

步骤S1.6、Gateway根据接收到的反馈根据s_t中的b_t计算奖励，r_t ¹(s_t,a_t)或r_t ⁰(s_t,a_t)，并进行如下的状态更新，

步骤S1.7、检测s_t+1,g和s_t+1,b，并与c_t和a_t拼接在一起，作为下一帧的状态s_t+1＝{(c_t+1,0,c_t+1,1,....,c_t+1,N-1),(a_t,0,a_t,1,....,a_t,N-1),(ρ_t,h,ρ_t,g)，b_t}。

步骤S1.8、将元组(s_t,a_t,r_t,s_t+1)存入记忆库中，并执行N_t＝N_t×κ。

步骤S1.9、按照DDPG算法训练和更新方法来更新神经网络的权重。

需要说明的是，关于神经网络模型的训练，已经是比较成熟的技术，这里不再赘述。

在训练好神经网络模型后，将其部署在次级接收器，然后初始化网络参数，如ST的数量N，ST与PT的距离D，ST与Gateway的距离d，ST的电池容量C，最大的AoI a_max，反向散射系数η。

步骤S2、将认知无线电网络的当前状态空间输入到所述神经网络模型，获得神经网络模型输出的动作空间。

为了获取认知无线电网络的具体执行策略，来优化网络吞吐量，本申请将认知无线电网络的当前状态空间输入到所述神经网络模型，获得神经网络模型输出的动作空间，即得到动作a_t＝π(s_t|θ^a)+N_t，其中，如果s_t中的b_t＝1，那么a_t符合A_1的动作要求，反之符合A_0的动作要求。

步骤S3、根据当前时刻信道状态是否繁忙，对神经网络模型输出的动作进行调整剪切，得到符合当前信道状态所对应的动作空间要求的动作。详细方法如下：

基于s_t中的b_t，根据A_1或A_0中的约束将a_t中违背约束的部分调整剪切：如，当b_t＝0，N＝3，T＝1，c_t＝(3,1,4)，得到的动作为a_t＝(1,0,0.5,4,0,2)，由于此时的动作应该满足动作空间A_0中的约束

因此，调整a_t的β部分，归一化为(0.67，0，0.33)，将能量部分剪切为(3，0，2)，调整剪切后的a_t为(0.67，0，0.33，3，0，2)。

步骤S4、将获得的动作信息广播给次级发射器，次级发射器执行相应的动作，并将吞吐量结果反馈给次级接收器。

将动作信息(α_t,0,α_t,1,....,α_t,N-1)或(β_t,0,β_t,1,...,β_t,N-1,e_t,0,e_t,1,...,e_t,N-1)广播给ST，ST根据动作信息执行相应操作，并将吞吐量结果反馈给Gateway。

本申请的另一个实施，所述认知无线电网络中AoI约束下的网络吞吐量优化方法，还包括：

次级接收器根据接收到的反馈，更新下一帧的状态空间。

本实施例中，Gateway根据接收到的反馈，按照公式(5，6)进行状态更新。

然后检测s_t+1,g和s_t+1,b，并与c_t和a_t拼接在一起，作为下一帧的状态s_t+1＝{(c_t+1,0,c_t+1,1,....,c_t+1,N-1),(a_t,0,a_t,1,....,a_t,N-1),(ρ_t,h,ρ_t,g)，b_t}。此后再次回到步骤S2继续预测下一帧的动作，如此循环，使得次级发射器执行相应的动作，以优化网络吞吐量。

需要说明的是，在公式(1)和(2)中，

可以将吞吐量限制到10以内，方便训练。而当a_t,i≥a_max时，由于AoI超出了约束，则给一个较大的惩罚。当b_t＝1时，

这是因为，如果AoI超出约束，则分配越多的时间和能量，越是浪费，因此，惩罚值越大。m的取值根据a_max设置。举例来说，如果a_max＝5，则m≥20；如果a_max＝10，则m≥10。如此，哪怕

的结果很小，惩罚值也会超过a_max。

在公式(3)-(6)中，λ_t,i＝1表示传输成功，λ_t,i＝0表示传输失败。AB模式传输和overlay模式传输都有一定的失败概率，而当STi中的可用能量小于一个最小值，不足以执行AB模式传输和overlay模式最低传输时，λ_t,i＝0。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种认知无线电网络中AoI约束下的网络吞吐量优化方法，所述认知无线电网络包括信号源、次级发射器和次级接收器，其特征在于，所述认知无线电网络中AoI约束下的网络吞吐量优化方法，包括：

将训练好的神经网络模型部署在次级接收器上，初始化训练好的神经网络模型；

将认知无线电网络的当前状态空间输入到所述神经网络模型，获得神经网络模型输出的动作空间；

据当前时刻信道状态是否繁忙，对神经网络模型输出的动作空间进行剪切，得到符合当前信道状态的动作；

将获得的动作信息广播给次级发射器，次级发射器执行相应的动作，并将吞吐量结果反馈给次级接收器。

2.根据权利要求1所述的认知无线电网络中AoI约束下的网络吞吐量优化方法，其特征在于，所述状态空间包括能量状态空间、信道增益状态空间、信道状态空间和AoI状态空间，其中：

能量状态空间为S_c＝{(c_t,0,c_t,1,....,c_t,N-1)；c_t,i∈(0,C)}，其中c_t,i表示次级发射器ST_i的初始能量，i表示次级发射器ST的序号；

信道增益状态空间为S_g＝{(ρ_t,h,ρ_t,g)}，ρ_t,h,ρ_t,g分别表示从次级发射器到次级接收器的信道衰减，以及从信号源到次级接收器的信道衰减；

信道状态空间为S_b＝{b_t；b_t∈{0,1}}，其中b_t＝1表示信道繁忙，b_t＝0表示信道空闲；

AoI状态空间：S_a＝{(a_t,0,a_t,1,....,a_t,N-1)；a_t,i∈(1,a_max)}，其中a_t,i表示关次级发射器于ST_i的AoI，a_max表示次级接收器可容忍的最大AoI。

3.根据权利要求1所述的认知无线电网络中AoI约束下的网络吞吐量优化方法，其特征在于，所述动作空间信道状态为繁忙时的动作空间A_1和信道状态为空闲时的动作空间A_0。

其中α_t,i表示次级发射器ST_i执行AB模式传输的时长，ST_i捕获的能量为

P_T表示信号源的发射功率；g_t,i表示从信号源到次级接收器的信道增益；N表示次级发射器的数量；

其中β_t,i表示次级发射器ST_i执行overlay模式传输的时长，e_t,i表示次级接收器为次级发射器ST_i分配的用来执行overlay模式传输的可消耗能量值。

4.根据权利要求3所述的认知无线电网络中AoI约束下的网络吞吐量优化方法，其特征在于，所述神经网络模型在执行动作空间的奖励函数为：

其中R_t表示一个帧的总吞吐量，

表示平均总吞吐量，当信道状态为繁忙时，

其中，W为传输带宽，η为反射系数，σ²为信道噪声功率，λ_t,i∈{0,1}表示是否传输成功；当信道状态为空闲时，

5.根据权利要求1所述的认知无线电网络中AoI约束下的网络吞吐量优化方法，其特征在于，所述认知无线电网络中AoI约束下的网络吞吐量优化方法，还包括：

次级接收器根据接收到的反馈，更新下一帧的状态空间。

Images