CN108153943B - 基于时钟循环神经网络的功率放大器的行为建模方法 - Google Patents

Abstract

本发明公开了一种基于时钟循环神经网络的功率放大器的行为建模方法，克服普通的神经网络模型迭代次数较多、对于长期记忆效应表现差等问题。本方法利用循环神经网络的输出除了与即时输入有关，也与历史输入有关的特点，用来描述功率放大器的记忆效应。在此基础上又将普通循环神经网络隐含层的权重划分为若干个模块，每个模块拥有自己的周期，本模块的权重只在自己的周期时更新权重，从而减少权重更新的次数以加快神经网络模型的训练。本方法能够很好地描述功率放大器的非线性特性和记忆效应，具有较高的精度。

Description

基于时钟循环神经网络的功率放大器的行为建模方法

技术领域

本发明涉及一种基于时钟循环神经网络的功率放大器行为建模方法，属于非线性系统建模与分析应用技术领域。

背景技术

功率放大器是发射机的重要模块，是一个复杂的非线性系统。为了能使功率放大器高效率的工作，功率放大器中的晶体管多工作在接近饱和区甚至截止区，因此功率放大器经常会产生严重的非线性失真，并且因为器件的等效电抗影响，功率放大器会产生记忆效应。

功放的建模方法可分为物理建模和行为建模两种。物理建模需要知道电路内部的具体结构外加对电路知识的熟练掌握才能建立；而行为建模则仅需功放的输入输出数据，将功率放大器当作一个整体就可以描述系统响应特性，相比物理建模简单得多。

一般来说，功率放大器行为建模可以分为无记忆模型和记忆模型两种。无记忆功放模型的种类很多，例如Saleh模型，无记忆多项式模型等。无记忆功放模型相对简单，对于窄带系统建模有很好的效果。然而随着系统带宽的增加，功率放大器的记忆效应明显，无记忆模型无法很好地描述记忆效应，所以现在大多采用有记忆功放模型。有记忆模型一般采用Volterra级数模型和神经网络模型等。Volterra级数是对泰勒级数的扩展，该模型适用于弱非线性系统。不过系统的参数会随着阶次和记忆深度的增加而迅速增加，故计算量和收敛性受到了影响。而神经网络能够逼近任意非线性的函数，并且具有灵活有效的自组织学习能力，因而被广泛用于功率放大器系统的行为建模。

但是传统的神经网络模型只在描述短期记忆效应上表现良好，对于长期记忆效应的描述表现很差。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于时钟循环神经网络的功率放大器行为建模方法，解决传统的神经网络模型只在描述短期记忆效应上表现良好，对于长期记忆效应的描述表现很差的问题，能很好描述功率放大器非线性特性和记忆效应。

为了实现上述目标，本发明采用如下的技术方案：

一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，包括如下步骤：

步骤1)采集功率放大器的输入信号数据向量 x_in＝[x_in(1),x_in(2),…x_in(N)]和输出信号数据向量 y_out＝[y_out(1),y_out(2),…y_out(N)]，其中，N为数据长度。

步骤2)初始化时钟循环神经网络，其中时钟循环神经网络的模型结构有四层：输入层、第一隐含层、第二隐含层和输出层；

步骤3)：利用时钟循环神经网络对行为模型进行建模，包括如下步骤：

步骤31)根据时钟循环神经网络结构，计算时钟循环神经网络各层的输出；

步骤32)计算目标误差函数，其定义为：

其中y(t)为第t次迭代的时钟循环神经网络模型的输出，上标T为矩阵的转置运算；

步骤33)用RMSprop算法训练网络，得到模型的权值矩阵的变化量；

步骤34)迭代次数加1，即t＝t+1，并对下一步进行判定：

当目标误差函数大于误差阈值或者迭代次数小于最大迭代次数 N_max时，继续步骤35)；

当目标误差函数不大于误差阈值或者迭代次数等于最大迭代次数N_max时，停止迭代，执行步骤4)；

步骤35)根据权值矩阵的变化量更新权值系数；

步骤36)返回步骤31)；

步骤4)通过步骤3)得到的权系数，计算时钟循环神经网络模型最终的输出y。

前述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤2)具体过程如下：

步骤21)设置时钟循环神经网络输入层有P个神经元，接受输入信号数据向量并将其传递到第一隐含层；

所述第一隐含层有L₁个神经元，每个神经元有传递函数 f_R＝R_h(T)，h＝1,2,…L₁，第一隐含层向量

所述第二隐含层有L₂个神经元，每个神经元有传递函数 f_S＝S_j(T)，j＝1,2,…L₂，第二隐含层向量

所述输出层有M个神经元，该层神经元的输出y_m，m＝1,2,…,M，是第二隐含层神经元输出的线性组合；

步骤22)在时钟循环神经网络模型中，设置五种权系数矩阵：

从第二隐含层到输出层的L₂×M维权系数矩阵W^y；

第二隐含层的L₂×1维自循环权系数矩阵W²²；

从第一隐含层到第二隐含层的L₁×L₂维权系数矩阵W²¹；

第一隐含层的L₁×1维自循环权系数矩阵W¹¹；

从输入层到隐含层的P×L₁维权系数矩阵W^x；

其中W^y，W²¹，W^x的初始权值均采用Glorot均匀分布；W²²，W¹¹的初始权值均采用He均匀分布；

步骤23)设置时钟循环神经网络中的各个参数值。

前述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤23)中参数值包括：

第一隐含层的自循环权系数矩阵W¹¹、从输入层到隐含层的权系数矩阵W^x平均分为g₁个模块，每个模块拥有周期

第二隐含层的自循环权系数矩阵W²²、从第一隐含层到第二隐含层的权系数矩阵W²¹平均分为g₂个模块，每个模块拥有周期

训练最大迭代次为N_max；

学习速率为η；

误差函数阈值为ε。

前述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤31)中各层输出为：y(t)＝W^y(t)S(t)；

S(t)＝f_s[W²¹(t)R(t)+W²²(t)S(t-1)]；

R(t)＝f_R[W^x(t)x_in(t)+W¹¹(t)R(t-1)]；

其中，x_in(t)表示第t次迭代时的输入；

W^y(t)表示第t次迭代时从第二隐含层到输出层的权系数矩阵；

S(t)表示第t次迭代时第二隐含层的输出；

R(t)表示第t次迭代时第一隐含层的输出；

W²²(t)表示第t次迭代时第二隐含层的自循环权系数矩阵；

W²¹(t)表示第t次迭代时从第一隐含层到第二隐含层的权系数矩阵；W¹¹(t)表示第t次迭代时第一隐含层的自循环权系数矩阵；

W^x(t)表示第t次迭代时从输入层到隐含层的权系数矩阵；

S(0)＝1，R(0)＝1；

前述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤33)中模型的权值矩阵的变化量为：

其中，

E[g²]_t＝0.9×E[g²]_t-1+0.1×(g_t)²，g_t表示第t次迭代时的梯度，E[g²]₀＝0；μ＝10^-8，

表示第t次迭代时输入层第q个神经元到第一隐含层第h个神经元的权值矩阵的变化量；

表示第t次迭代时第一隐含层第h个神经元的自循环权值矩阵的变化量；

表示第t次迭代时第一隐含层第h个神经元到第二隐含层第j个神经元的权值矩阵的变化量；

表示第t次迭代时第二隐含层第j个神经元的自循环权值矩阵的变化量；

表示第t次迭代时第二隐含层第j个神经元到输出层第m个神经元的权值矩阵的变化量。

前述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤35)中权值矩阵更新方式为：同一权系数矩阵中的每个模块内部的神经元是全连接的，模块之间由周期大的模块神经元连接到周期小的模块神经元；只有当时钟循环神经网络的迭代次数t是第一隐含层中各模块的周期T_i的整数倍时，W¹¹、W^x中本模块的隐层权值才得以更新；只有当时钟循环神经网络的迭代次数t 是第二隐含层中各模块的周期T_k的整数倍时，W²²、W²¹中本模块的隐层权值才得以更新。

本发明的有益效果：1)本发明利用循环神经网络的输出除了与即时输入有关，也与历史输入有关的特点，用来描述功率放大器的记忆效应。在此基础上又将普通循环神经网络隐含层的权重划分为若干个模块，每个模块拥有自己的周期，本模块的权重只在自己的周期时更新权重，避免了在每个迭代次数所有权重一起更新的庞大运算量，在减少了权重更新次数的同时也加快了神经网络模型的训练；

2)在相同的迭代次数下，时钟循环神经网络比普通神经网络具有更高的精度。

附图说明

图1是D类功率放大器黑盒模型图；

图2是时钟循环神经网络模型结构图；

图3(a)是时钟循环神经网络模型输出的时域波形示意图，(b) 是(a)的误差结果图；

图4(a)是时钟循环神经网络模型输出的频谱示意图，(b)是 (a)的误差结果图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围

本实施例以D类功率放大器为例，结合附图，详细说明本发明的实施方式。

D类功率放大器工作在开关状态，功率转换效率较高，是一种典型的非线性系统。如图1所示为D类功率放大器电路的黑盒模型。其中，输入的2PSK调相信号x_in幅度为8.5V，频率为2kHz，码元宽度 0.25ms。经过D类功率放大器后输出信号为y_out，并带有失真。利用PSpice仿真软件对功率放大器电路进行仿真后，采集1751个输入信号和输出信号作为实验数据进行行为建模，采样频率为100kHz。

如图2所示为时钟循环神经网络模型结构图。

本发明是一种基于时钟循环神经网络的功率放大器的行为建模方法，包括如下步骤：

步骤1)采集功率放大器的输入信号数据向量 x_in＝[x_in(1),x_in(2),…x_in(N)]和输出信号数据向量 y_out＝[y_out(1),y_out(2),…y_out(N)]，其中，N为数据长度。

步骤2)初始化时钟循环神经网络。时钟循环神经网络的模型结构有四层：输入层、第一隐含层、第二隐含层和输出层。其过程如下：

步骤21)设置时钟循环神经网络输入层有P＝1000个神经元，接受输入信号数据向量并将其传递到第一隐含层；第一隐含层有L₁个神经元，每个神经元有传递函数f_R＝R_h(T)(h＝1,2,…L₁)，第一隐含层向量

第二隐含层有L₂个神经元，每个神经元有传递函数f_S＝S_j(T)(j＝1,2,…L₂)，第二隐含层向量

输出层有M＝1000个神经元，该层神经元的输出y_m(m＝1,2,…,M)是第二隐含层神经元输出的线性组合。

步骤22)在时钟循环神经网络模型中，有五种权系数矩阵：从第二隐含层到输出层的L₂×M维权系数矩阵W^y；第二隐含层的L₂×1 维自循环权系数矩阵W²²；从第一隐含层到第二隐含层的L₁×L₂维权系数矩阵W²¹；第一隐含层的L₁×1维自循环权系数矩阵W¹¹；从输入层到隐含层的P×L₁维权系数矩阵W^x。其中W^y，W²¹，W^x的初始权值均采用Glorot均匀分布；W²²，W¹¹的初始权值均采用He均匀分布。

步骤23)设置时钟循环神经网络第一隐含层的周期T₁＝ {1,2,4,8,16}；第二隐含层的周期T₂＝{1,2,4,8,16}；训练最大迭代次数N_max＝80；学习速率η＝0.002。误差函数阈值为ε＝0.5。

步骤3)利用时钟循环神经网络对行为模型进行建模，其过程如下：

步骤31)根据时钟循环神经网络结构，计算时钟循环神经网络各层的输出：

y(t)＝W^y(t)S(t)

S(t)＝f_s[W²¹(t)R(t)+W²²(t)S(t-1)]

R(t)＝f_R[W^x(t)x_in(t)+W¹¹(t)R(t-1)]

其中x_in(t)表示第t次迭代时的输入；W^y(t)表示第t次迭代时从第二隐含层到输出层的权系数矩阵；S(t)表示第t次迭代时第二隐含层的输出；R(t)表示第t次迭代时第一隐含层的输出；W²²(t)表示第t次迭代时第二隐含层的自循环权系数矩阵；W²¹(t)表示第t次迭代时从第一隐含层到第二隐含层的权系数矩阵；W¹¹(t)表示第t次迭代时第一隐含层的自循环权系数矩阵；W^x(t)表示第t次迭代时从输入层到隐含层的权系数矩阵；t为迭代次数，

S(0)＝1， R(0)＝1；

步骤32)计算目标误差函数，其定义为：

其中y(t)为第t次迭代的时钟循环神经网络模型的输出，y_out为系统的实际输出，上标T表示矩阵的转置运算。

步骤33)用RMSprop算法训练网络，得到模型的权值矩阵的变化量：

其中

E[g²]_t＝0.9×E[g²]_t-1+0.1×(g_t)²， g_t表示第t次迭代时的梯度，E[g²]₀＝0；μ＝10^-8，

表示第 t次迭代时输入层第q个神经元到第一隐含层第h个神经元的权值矩阵的变化量；

表示第t次迭代时第一隐含层第h个神经元的自循环权值矩阵的变化量；

表示第t次迭代时第一隐含层第 h个神经元到第二隐含层第j个神经元的权值矩阵的变化量；

表示第t次迭代时第二隐含层第j个神经元的自循环权值矩阵的变化量；

表示第t次迭代时第二隐含层第j个神经元到输出层第m 个神经元的权值矩阵的变化量。

步骤34)迭代次数加1，即t＝t+1，并对下一步进行判定：

当目标误差函数大于误差阈值或者迭代次数小于最大迭代次数 N_max时，继续步骤35)；

当目标误差函数不大于误差阈值或者迭代次数等于最大迭代次数N_max时，停止迭代，执行步骤4)；

步骤35)在时钟循环神经网络中，第一隐含层的自循环权系数矩阵W¹¹、从输入层到隐含层的权系数矩阵W^x平均分为g₁＝5个模块，每个模块拥有周期T₁＝{1,2,4,8,16}；第二隐含层的自循环权系数矩阵 W²²、从第一隐含层到第二隐含层的权系数矩阵W²¹平均分为g₂＝5个模块，每个模块拥有周期T₂＝{1,2,4,8,16}。同一权系数矩阵中的每个模块内部的神经元是全连接的，模块之间由周期大的模块神经元连接到周期小的模块神经元。只有当时钟循环神经网络的迭代次数t是第一隐含层中各模块的周期T_i的整数倍时，W¹¹、W^x中本模块的隐层权值才得以更新；只有当时钟循环神经网络的迭代次数t是第二隐含层中各模块的周期T_k的整数倍时，W²²、W²¹中本模块的隐层权值才得以更新。

步骤36)：返回步骤31)。

步骤4)：通过步骤3)得到的权系数，计算时钟循环神经网络模型最终的输出y。

在隐含层神经元L₁＝L₂＝50，迭代次数为80的情况下，时钟循环神经网络模型的平均误差为0.0147V，最大瞬时误差为0.1308V；平均频域误差为0.6885dB。可以看到始终循环神经网络模型很好地描述了功率放大器的记忆效应与非线性特性，具有较高的精度。

综上所述，以上实施例仅用以说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，包括如下步骤：

步骤1)采集功率放大器的输入信号数据向量x_in＝[x_in(1)，x_in(2)，…x_in(N)]和输出信号数据向量y_out＝[y_out(1)，y_out(2)，…y_out(N)]，其中，N为数据长度；

步骤2)初始化时钟循环神经网络，其中时钟循环神经网络的模型结构有四层：输入层、第一隐含层、第二隐含层和输出层；

步骤3)：利用时钟循环神经网络对行为模型进行建模，包括如下步骤：

步骤31)根据时钟循环神经网络结构，计算时钟循环神经网络各层的输出；

步骤32)计算目标误差函数，其定义为：

其中y(t)为第t次迭代的时钟循环神经网络模型的输出，上标T为矩阵的转置运算；

步骤33)用RMSprop算法训练网络，得到模型的权值矩阵的变化量；

步骤34)迭代次数加1，即t＝t+1，并对下一步进行判定：

当目标误差函数大于误差阈值或者迭代次数小于最大迭代次数N_max时，继续步骤35)；

当目标误差函数不大于误差阈值或者迭代次数等于最大迭代次数N_max时，停止迭代，执行步骤4)；

步骤35)根据权值矩阵的变化量更新权值系数；

步骤36)返回步骤31)；

步骤4)通过步骤3)得到的权系数，计算时钟循环神经网络模型最终的输出y；

所述步骤2)具体过程如下：

步骤21)设置时钟循环神经网络输入层有P个神经元，接受输入信号数据向量并将其传递到第一隐含层；

所述第一隐含层有L₁个神经元，每个神经元有传递函数f_R＝R_h(T)，h＝1，2，...L₁，第一隐含层向量

所述第二隐含层有L₂个神经元，每个神经元有传递函数f_S＝S_j(T)，j＝1，2，...L₂，第二隐含层向量

所述输出层有M个神经元，该层神经元的输出y_m，m＝1，2，…，M，是第二隐含层神经元输出的线性组合；

步骤22)在时钟循环神经网络模型中，设置五种权系数矩阵：

从第二隐含层到输出层的L₂×M维权系数矩阵W^y；

第二隐含层的L₂×1维自循环权系数矩阵W²²；

从第一隐含层到第二隐含层的L₁×L₂维权系数矩阵W²¹；

第一隐含层的L₁×1维自循环权系数矩阵W¹¹；

从输入层到隐含层的P×L₁维权系数矩阵W^x；

其中W^y，W²¹，W^x的初始权值均采用Glorot均匀分布；W²²，W¹¹的初始权值均采用He均匀分布；

步骤23)设置时钟循环神经网络中的各个参数值。

2.根据权利要求1所述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤23)中参数值包括：

第一隐含层的自循环权系数矩阵W¹¹、从输入层到隐含层的权系数矩阵W^x平均分为g₁个模块，每个模块拥有周期

第二隐含层的自循环权系数矩阵W²²、从第一隐含层到第二隐含层的权系数矩阵W²¹平均分为g₂个模块，每个模块拥有周期

训练最大迭代次为N_max；

学习速率为η；

误差函数阈值为ε。

3.根据权利要求1所述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤31)中各层输出为：y(t)＝W^y(t)S(t)；

S(t)＝f_s[W²¹(t)R(t)+W²²(t)S(t-1)]；

R(t)＝f_R[W^x(t)x_in(t)+W¹¹(t)R(t-1)]；

其中，x_in(t)表示第t次迭代时的输入；

W^y(t)表示第t次迭代时从第二隐含层到输出层的权系数矩阵；

S(t)表示第t次迭代时第二隐含层的输出；

R(t)表示第t次迭代时第一隐含层的输出；

W²²(t)表示第t次迭代时第二隐含层的自循环权系数矩阵；

W²¹(t)表示第t次迭代时从第一隐含层到第二隐含层的权系数矩阵；

W¹¹(t)表示第t次迭代时第一隐含层的自循环权系数矩阵；

W^x(t)表示第t次迭代时从输入层到隐含层的权系数矩阵；

S(0)＝1，R(0)＝1。

4.根据权利要求3所述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤33)中模型的权值矩阵的变化量为：

其中，

E[g²]_t＝0.9×E[g²]_t-1+0.1×(g_t)²，g_t表示第t次迭代时的梯度，E[g²]₀＝0；μ＝10^-8，

表示第t次迭代时输入层第q个神经元到第一隐含层第h个神经元的权值矩阵的变化量；

表示第t次迭代时第一隐含层第h个神经元的自循环权值矩阵的变化量；

表示第t次迭代时第一隐含层第h个神经元到第二隐含层第j个神经元的权值矩阵的变化量；

表示第t次迭代时第二隐含层第j个神经元的自循环权值矩阵的变化量；

表示第t次迭代时第二隐含层第j个神经元到输出层第m个神经元的权值矩阵的变化量。

5.根据权利要求4所述的一种基于时钟循环神经网络的功率放大器的行为建模方法，其特征是，所述步骤35)中权值矩阵更新方式为：

同一权系数矩阵中的每个模块内部的神经元是全连接的，模块之间由周期大的模块神经元连接到周期小的模块神经元；

只有当时钟循环神经网络的迭代次数t是第一隐含层中各模块的周期T_i的整数倍时，W¹¹、W^x中本模块的隐层权值才得以更新；

只有当时钟循环神经网络的迭代次数t是第二隐含层中各模块的周期T_k的整数倍时，W²²、W²¹中本模块的隐层权值才得以更新。

Images