CN115001907A - 一种irs辅助微型配电网智能计算方法 - Google Patents

Abstract

本发明公开了一种IRS辅助微型配电网智能计算方法。该方法首次考虑了微网通信中IRS辅助FTU卸载最大化传输速率的方法，在用户服务质量、IRS物理限制的约束条件下，设计了卸载决策和IRS相位优化方法。利用深度神经网络，通过接收信号估计信道参数。利用循环神经网络和神经常微分方程，提出一种低导频开销的信道估计算法。提出了一种基于深度Q学习的学习框架，最终得到了最大化传输速率的FTU卸载决策和IRS相位优化方法。

Description

一种IRS辅助微型配电网智能计算方法

技术领域

本发明属于无线通信领域，尤其涉及一种IRS辅助微型配电网智能计算方法。

背景技术

随着太阳能、风电等分布式电源的不断接入，传统配电网拓扑结构从单电源辐射状网络变成复杂的多电源网络，对传统配电网的潮流分布产生很大的影响。因此，基于单电源辐射状网络的通信传输方法已经不再适用。在大量分布式电源不断接入的情况下，为提高通信的可靠性，同时增加分布式电源的利用率，对配电网的通信传输技术提出了更高的要求。随着智能电网的不断发展，配电网中配备了馈线终端单元(Feeder Terminal Unit,FTU)。FTU是安装在配电室或馈线上的智能终端设备，它可以与远方的配电子站通信，将配电设备的运行数据发送到配电子站，还可以接受配电子站的控制命令，对配电设备进行控制和调节。

在分布式能源系统中，边缘设备会实时生成许多数据，通过FTU等设备向云端发送数据容易造成节点之间的通用计算资源不足。移动边缘计算(Mobile Edge Computing，MEC)作为一种有前途的技术可以有效地保证计算资源，降低资本成本并提供灵活性，同时也为微网的智能调度提供了一个有力的平台。在MEC中，无线设备将其计算密集型或延迟敏感任务卸载到无线电接入网边缘的附近基站或服务器，以节省电池功率和计算资源。将传统FTU升级为边缘计算FTU，将终端先接入FTU，由FTU来负责汇集接入主站，能够优化设备配置，降低成本，将设备分层分级，增强设备的本地处理能力，并且减轻主站接入管理的工作量和压力。

可重构智能反射表面(Intelligent Reconfigurable Surfaces,IRS)的引入可以改变无线通信传输方向，提高基站的覆盖范围，为用户建立足够可靠的通信链路。由于微电网环境的多样性，特别是在建筑物密集、传输有阻碍的情况下，IRS能很好地改善通信质量。将IRS应用于MEC系统，可以改善MEC服务的信道条件，更好地部署未来电力物联网，提升设备终端的通信服务质量。

因此，针对微网中的信息传输速率最大化需求，需要设计IRS辅助FTU卸载的传输速率最大化方法方案，以适应系统传输速率最大化的要求。

发明内容

为了满足微网中的信息传输速率最大化需求，本发明公开了一种IRS辅助微型配电网智能计算方法。

本发明公开了一种IRS辅助微型配电网智能计算方法，包括如下步骤：

步骤A，利用快速灵活的去噪网络(Fast and Flexible Denoising Network，FFDNet)，提出一种信道的估计算法，通过接收信号估计信道增益；

步骤B，利用循环神经网络(Recurrent Neural Network，RNN)和神经常微分方程(Neural Ordinary Differential Equations，ODE)，提出一种低导频开销的信道估计算法；

步骤C，建立发射端到FTU之间的卸载模型，计算所有移动设备的总速率；

步骤D，建立基于深度Q学习(Deep Q-Network，DQN)的学习框架；

步骤E，根据提出的深度强化学习框架，得到系统卸载决策与IRS相位；

其中，步骤A具体包括：

A1，使用最小二乘法的信道估计

作为卷积神经网络(ConvolutionalNeural Network，CNN)的输入，其中Z＝[Z₁,...,Z_K]，K为用户数，Z_k＝[h_dk,f_k]为第k个用户的复合链路，h_dk,f_k为第k个用户的直接链路和间接链路。ζ是独立且相同分布的加性噪声。

A2，基于快速灵活的去噪网络(Fast and Flexible Denoising Network，FFDNet)的信道估计器的输入是大小为

的张量，M为发射端天线数，N为IRS数量。FFDNet网络具有D层，其中第一层使用卷积运算(Conv2D)+线性整流函数(Linearrectification function，ReLU)操作，随后的D-2层使用Conv2D+批量归一化(batchnormalization,BN)+ReLU操作，最后一层使用Conv2D操作输出估计的噪声。

A3，使用残差学习策略从LS估计中学习残差噪声的映射。从输入中减去残差噪声以获得去噪的信道子矩阵，然后从FFDNet获得估计的信道输出。基于FFDNet的信道估计器的公式为

其中

是FFDNet的估计信道矩阵输出，

是最小二乘法信道矩阵噪声输入，Ω是依赖于加性噪声方差的参数，Ψ是在初始训练过程中优化的神经网络参数矩阵。

A4，FFDNet通过最小化MSE损失

进行离线训练，其中i表示第i次迭代步骤，N_tr为每一批次采样的数据数量。

其中，步骤B具体包括：

B1，接收端信号可表示为

其中N_p是导频序列的长度，P为导频功率，C(i)为级联信道增益，Γ_i为IRS相位，V_i为噪声，服从高斯分布。

B2,对于给定的信号状态，利用循环神经网络(Recurrent Neural Network，RNN)提取隐藏的动态状态集。制定了神经常微分方程(Neural Ordinary DifferentialEquations，ODE)-RNN网络结构，实现从信号到状态的映射。其中ODE的中间隐藏状态输出为u(i)＝ODE_ωR(u(i-1),Y_i)，最后估计的信道状态为

ODE，RNNCell表示对应网络的函数，ω_R,ω_D为网络权重。

B3，采用门控递归单元(Gated Recurrent Unit，GRU)作为RNNCell函数的隐藏状态更新公式，复位门r(i)＝σ(W_r(u(i)))，更新门z(i)＝σ(W_z(u(i)))，其中

是激活函数，W_r，W_z分别为复位门和更新门网络函数。

其中，步骤C具体包括：

C1，移动设备可以在本地执行计算任务，也可以将数据上传到MEC服务器。当在本地执行任务时，平均本地计算速率为

其中D_k是处理1bit任务数据所需的周期数，f^*为CPU计算频率，E_k为能量限制，c表示计算能效系数，T为时间周期。

C2，当设备将其任务卸载到FTU时，FTU处的接收信号为y_k＝h_kw_ks_k+n₀，其中h_k＝g_k+d_rkΘ^H为用户k到MEC服务器的复合信道。其中g_k为用户k到MEC服务器的直接链路，d_rk为间接链路。n₀～CN(0,σ²)为噪声向量，服从高斯分布。

是IRS的相位，N为IRS数量。

B为离散IRS相移器的位数，则可知用户k卸载到MEC的速率为

C3，计算整个MEC网络的效用，即所有移动设备的总速率，即

其中v＝[v₁，···,v_k]为卸载决策变量。v_k∈{0,1}表示第k个移动设备对任务执行方式的选择，其中v_k＝1表示计算任务已卸载，v_k＝0表示计算任务未卸载。

其中，步骤D具体包括：

D1，定义状态空间S＝{h,Θ}，其中h＝[h₁,...,h_K]，动作空间

定义将当前状态映射到相应动作上的概率分布的策略π(s_t+1|s_t,a_t)，其中s_t,a_t分别为时刻t的状态和动作。定义奖励函数r_t＝R_sum，则求得状态-动作值函数即Q函数为

其中γ∈(0,1]为折扣因子，P(.)为是采取行动a_t后从状态s_t到下一个状态s_t+1的转换概率。

D2，初始化用户经验池D，初始目标网络和预测网络参数δ,δ'，学习速率a，折扣因子γ，软更新系数τ，批次大小N_B。

其中，步骤E具体包括：

E1，基于贪婪策略选择动作。以概率1-ε选择使状态-动作值函数最大的动作

以概率ε随机选择动作

E2，基于动作获取新产生的状态s_t+1，计算奖励函数。将(s_t,a_t,s_t+1,r_t)存储入经验池D，从D采样一小批样本。得到最后的累计奖励y_t＝r_t+γQ(s_t+1,a_max；δ')。

E3，执行梯度下降并更新Q网络。每N_r步用δ'替换目标网络参数δ。

本发明的有益效果在于：

为了满足微网中的信息传输速率最大化需求提高FTU卸载的传输速率，本发明提出一种IRS辅助微型配电网智能计算方法。在用户服务质量、IRS物理限制的约束条件下，设计了卸载决策和IRS相位优化方法。利用深度神经网络，通过接收信号估计信道参数。利用循环神经网络和神经常微分方程，提出一种低导频开销的信道估计算法。提出了一种基于深度Q学习的学习框架，最大化了FTU卸载的传输速率。与传统的FTU相比可以实现更高的传输速率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明实施例的方法流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

一种IRS辅助微型配电网智能计算方法，其具体包括如下步骤：

步骤A，利用快速灵活的去噪网络(Fast and Flexible Denoising Network，FFDNet)，提出一种信道的估计算法，通过接收信号估计信道增益；

步骤B，利用循环神经网络(Recurrent Neural Network，RNN)和神经常微分方程(Neural Ordinary Differential Equations，ODE)，提出一种低导频开销的信道估计算法；

步骤C，建立发射端到FTU之间的卸载模型，计算所有移动设备的总速率；

步骤D，建立基于深度Q学习(Deep Q-Network，DQN)的学习框架；

步骤E，根据提出的深度强化学习框架，得到系统卸载决策与IRS相位；

其中，步骤A具体包括：

A1，使用最小二乘法的信道估计

作为卷积神经网络(ConvolutionalNeural Network，CNN)的输入，其中Z＝[Z₁,...,Z_K]，K为用户数，Z_k＝[h_dk,f_k]为第k个用户的复合链路，h_dk,f_k为第k个用户的直接链路和间接链路，ζ是独立且相同分布的加性噪声；

A2，基于快速灵活的去噪网络(Fast and Flexible Denoising Network，FFDNet)的信道估计器的输入是大小为

的张量，M为发射端天线数，N为IRS数量；FFDNet网络具有D层，其中第一层使用卷积运算(Conv2D)+线性整流函数(Linearrectification function，ReLU)操作，随后的D-2层使用Conv2D+批量归一化(batchnormalization,BN)+ReLU操作，最后一层使用Conv2D操作输出估计的噪声；

A3，使用残差学习策略从LS估计中学习残差噪声的映射，从输入中减去残差噪声以获得去噪的信道子矩阵，然后从FFDNet获得估计的信道输出。基于FFDNet的信道估计器的公式为

其中

是FFDNet的估计信道矩阵输出，

是最小二乘法信道矩阵噪声输入，Ω是依赖于加性噪声方差的参数，Ψ是在初始训练过程中优化的神经网络参数矩阵；

A4，FFDNet通过最小化MSE损失

进行离线训练，其中i表示第i次迭代步骤，N_tr为每一批次采样的数据数量；

其中，步骤B具体包括：

B1，接收端信号可表示为

其中N_p是导频序列的长度，P为导频功率，C(i)为级联信道增益，Γ_i为IRS相位，V_i为噪声，服从高斯分布；

B2,对于给定的信号状态，利用循环神经网络(Recurrent Neural Network，RNN)提取隐藏的动态状态集；制定了神经常微分方程(Neural Ordinary DifferentialEquations，ODE)-RNN网络结构，实现从信号到状态的映射；其中ODE的中间隐藏状态输出为

最后估计的信道状态为

ODE，RNNCell表示对应网络的函数，ω_R,ω_D为网络权重；

B3，采用门控递归单元(Gated Recurrent Unit，GRU)作为RNNCell函数的隐藏状态更新公式，复位门r(i)＝σ(W_r(u(i)))，更新门z(i)＝σ(W_z(u(i)))，其中

是激活函数，W_r，W_z分别为复位门和更新门网络函数；

其中，步骤C具体包括：

C1，移动设备可以在本地执行计算任务，也可以将数据上传到MEC服务器。当在本地执行任务时，平均本地计算速率为

其中D_k是处理1bit任务数据所需的周期数，f^*为CPU计算频率，E_k为能量限制，c表示计算能效系数，T为时间周期；

C2，当设备将其任务卸载到FTU时，FTU处的接收信号为y_k＝h_kw_ks_k+n₀，其中h_k＝g_k+d_rkΘ^H为用户k到MEC服务器的复合信道；其中g_k为用户k到MEC服务器的直接链路，d_rk为间接链路；n₀～CN(0,σ²)为噪声向量，服从高斯分布；

是IRS的相位，N为IRS数量。

B为离散IRS相移器的位数，则可知用户k卸载到MEC的速率为

C3，计算整个MEC网络的效用，即所有移动设备的总速率，即

其中v＝[v₁，···,v_k]为卸载决策变量，v_k∈{0,1}表示第k个移动设备对任务执行方式的选择，其中v_k＝1表示计算任务已卸载，v_k＝0表示计算任务未卸载；

其中，步骤D具体包括：

D1，定义状态空间S＝{h,Θ}，其中h＝[h₁,...,h_K]，动作空间

定义将当前状态映射到相应动作上的概率分布的策略π(s_t+1|s_t,a_t)，其中s_t,a_t分别为时刻t的状态和动作，定义奖励函数r_t＝R_sum，则求得状态-动作值函数即Q函数为

其中γ∈(0,1]为折扣因子，P(.)为是采取行动a_t后从状态s_t到下一个状态s_t+1的转换概率；

D2，初始化用户经验池D，初始目标网络和预测网络参数δ,δ'，学习速率a，折扣因子γ，软更新系数τ，批次大小N_B；

其中，步骤E具体包括：

E1，基于贪婪策略选择动作，以概率1-ε选择使状态-动作值函数最大的动作

以概率ε随机选择动作

E2，基于动作获取新产生的状态s_t+1，计算奖励函数。将(s_t,a_t,s_t+1,r_t)存储入经验池D，从D采样一小批样本，得到最后的累计奖励y_t＝r_t+γQ(s_t+1,a_max；δ')；

E3，执行梯度下降并更新Q网络，每N_r步用δ'替换目标网络参数δ。

为了满足微网中的信息传输速率最大化需求提高FTU卸载的传输速率，本发明提出一种IRS辅助微型配电网智能计算方法。在用户服务质量、IRS物理限制的约束条件下，设计了卸载决策和IRS相位优化方法。利用深度神经网络，通过接收信号估计信道参数。利用循环神经网络和神经常微分方程，提出一种低导频开销的信道估计算法。提出了一种基于深度Q学习的学习框架，最大化了FTU卸载的传输速率。与传统的FTU相比可以实现更高的传输速率。

本说明书中各个部分采用递进的方式描述，每个部分重点说明的都是与其他部分的不同之处，各个部分之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种IRS辅助微型配电网智能计算方法，其具体包括如下步骤：

步骤A，利用快速灵活的去噪网络(Fast and Flexible Denoising Network，FFDNet)，提出一种信道的估计算法，通过接收信号估计信道增益；

步骤B，利用循环神经网络(Recurrent Neural Network，RNN)和神经常微分方程(Neural Ordinary Differential Equations，ODE)，提出一种低导频开销的信道估计算法；

步骤C，建立发射端到FTU之间的卸载模型，计算所有移动设备的总速率；

步骤D，建立基于深度Q学习(Deep Q-Network，DQN)的学习框架；

步骤E，根据提出的深度强化学习框架，得到系统卸载决策与IRS相位；

其中，步骤A具体包括：

A1，使用最小二乘法的信道估计

作为卷积神经网络(Convolutional NeuralNetwork，CNN)的输入，其中Z＝[Z₁,...,Z_K]，K为用户数，Z_k＝[h_dk,f_k]为第k个用户的复合链路，h_dk,f_k为第k个用户的直接链路和间接链路，ζ是独立且相同分布的加性噪声；

A2，基于快速灵活的去噪网络(Fast and Flexible Denoising Network，FFDNet)的信道估计器的输入是大小为

的张量，M为发射端天线数，N为IRS数量；FFDNet网络具有D层，其中第一层使用卷积运算(Conv2D)+线性整流函数(Linearrectification function，ReLU)操作，随后的D-2层使用Conv2D+批量归一化(batchnormalization,BN)+ReLU操作，最后一层使用Conv2D操作输出估计的噪声；

A3，使用残差学习策略从LS估计中学习残差噪声的映射，从输入中减去残差噪声以获得去噪的信道子矩阵，然后从FFDNet获得估计的信道输出。基于FFDNet的信道估计器的公式为

其中

是FFDNet的估计信道矩阵输出，

是最小二乘法信道矩阵噪声输入，Ω是依赖于加性噪声方差的参数，Ψ是在初始训练过程中优化的神经网络参数矩阵；

A4，FFDNet通过最小化MSE损失

进行离线训练，其中i表示第i次迭代步骤，N_tr为每一批次采样的数据数量。

2.根据权利要求1所述的方法，其特征在于，步骤B具体包括：

B1，接收端信号可表示为

其中N_p是导频序列的长度，P为导频功率，C(i)为级联信道增益，Γ_i为IRS相位，V_i为噪声，服从高斯分布；

B2,对于给定的信号状态，利用循环神经网络(Recurrent Neural Network，RNN)提取隐藏的动态状态集；制定了神经常微分方程(Neural Ordinary Differential Equations，ODE)-RNN网络结构，实现从信号到状态的映射；其中ODE的中间隐藏状态输出为

最后估计的信道状态为

ODE，RNNCell表示对应网络的函数，ω_R,ω_D为网络权重；

B3，采用门控递归单元(Gated Recurrent Unit，GRU)作为RNNCell函数的隐藏状态更新公式，复位门r(i)＝σ(W_r(u(i)))，更新门z(i)＝σ(W_z(u(i)))，其中

是激活函数，W_r，W_z分别为复位门和更新门网络函数。

3.根据权利要求1所述的方法，其特征在于，步骤C具体包括：

C1，移动设备可以在本地执行计算任务，也可以将数据上传到MEC服务器。当在本地执行任务时，平均本地计算速率为

其中D_k是处理1bit任务数据所需的周期数，f^*为CPU计算频率，E_k为能量限制，c表示计算能效系数，T为时间周期；

C2，当设备将其任务卸载到FTU时，FTU处的接收信号为y_k＝h_kw_ks_k+n₀，其中h_k＝g_k+d_rkΘ^H为用户k到MEC服务器的复合信道；其中g_k为用户k到MEC服务器的直接链路，d_rk为间接链路；n₀～CN(0,σ²)为噪声向量，服从高斯分布；

是IRS的相位，N为IRS数量。

B为离散IRS相移器的位数，则可知用户k卸载到MEC的速率为

C3，计算整个MEC网络的效用，即所有移动设备的总速率，即

其中v＝[v₁，···,v_k]为卸载决策变量，v_k∈{0,1}表示第k个移动设备对任务执行方式的选择，其中v_k＝1表示计算任务已卸载，v_k＝0表示计算任务未卸载。

4.根据权利要求1所述的方法，其特征在于，步骤D具体包括：

D1，定义状态空间S＝{h,Θ}，其中h＝[h₁,...,h_K]，动作空间

定义将当前状态映射到相应动作上的概率分布的策略π(s_t+1|s_t,a_t)，其中s_t,a_t分别为时刻t的状态和动作，定义奖励函数r_t＝R_sum，则求得状态-动作值函数即Q函数为

其中γ∈(0,1]为折扣因子，P(.)为是采取行动a_t后从状态s_t到下一个状态s_t+1的转换概率；

D2，初始化用户经验池D，初始目标网络和预测网络参数δ,δ'，学习速率a，折扣因子γ，软更新系数τ，批次大小N_B。

5.根据权利要求1所述的方法，其特征在于，步骤E具体包括：

E1，基于贪婪策略选择动作，以概率1-ε选择使状态-动作值函数最大的动作

以概率ε随机选择动作

E2，基于动作获取新产生的状态s_t+1，计算奖励函数。将(s_t,a_t,s_t+1,r_t)存储入经验池D，从D采样一小批样本，得到最后的累计奖励y_t＝r_t+γQ(s_t+1,a_max；δ')；

E3，执行梯度下降并更新Q网络，每N_r步用δ'替换目标网络参数δ。

Images