CN110610030B - 一种基于WaveNet神经网络结构的功率放大器行为建模方法 - Google Patents

Abstract

本发明公开了一种基于WaveNet神经网络结构的功率放大器行为建模方法，相较于当下常用的RNN、LSTM等记忆神经单元，本方法所采用的WaveNet网络每次迭代无需等待之前序列的预测结果，具备并行特点，所以模型训练和收敛十分迅速。同时，模型内部采用了时间卷积网络结构，卷积运算能提取序列的内在特征；而时间卷积又具备因果性质，模型当前的输出只与历史数据和即时数据相关，能够描述放大器的记忆效应。本方法在表征功率放大器的非线性特性和记忆效应上，具备较高的精度；而在模型训练上，拥有惊人的训练和收敛速度。

Description

一种基于WaveNet神经网络结构的功率放大器行为建模方法

技术领域

本发明涉及非线性系统建模与分析应用领域，尤其涉及一种基于WaveNet神经网络结构的功率放大器行为建模方法。

背景技术

功率放大器是发射机的重要模块，是一个复杂的非线性系统，功率放大器经常会产生严重的非线性失真，并且随着系统带宽的增加，功率放大器也会产生记忆效应。

发射机的内部结构大多比较复杂，对发射机的行为建模可以在不知道发射机内部组成的情况下，只依据系统的输入、输出测试数据就可以模拟出它的非线性和记忆效应。行为模型可以用来分析不同发射机所对应的模型参数差异，通过修改模型参数获取不同的发射机发射信号。在系统级仿真中，这种方法被广泛使用，并且经大量实验证明，这种方法能够精确地对功放进行建模。

一般来说，功率放大器行为建模可以分为无记忆模型和记忆模型两种。无记忆功放模型的种类很多，例如Saleh模型，无记忆多项式模型等。无记忆功放模型相对简单，对于窄带系统建模有很好的效果。然而随着系统带宽的增加，功率放大器的记忆效应明显，无记忆模型无法很好地描述记忆效应，所以现在大多采用有记忆功放模型。有记忆模型一般采用Volterra级数模型和神经网络模型等。Volterra级数是对泰勒级数的扩展，该模型适用于弱非线性系统，而且系统的参数会随着阶次和记忆深度的增加而迅速增加，故计算量和收敛性受到了影响。而神经网络能够逼近任意非线性的函数，并且具有灵活有效的自组织学习能力，因而被广泛用于功率放大器系统的行为建模。在神经网络中常被用于建模的是循环神经网络——RNN以及相关变体LSTM和GRU，但是循环神经网络训练时间序列时，每次循环需要等待前一次结果，致使该网络存在训练速率低下、收敛缓慢等问题。同时，循环神经网络对于长时间跨度的依赖关系不敏感，也就是说，能够利用的上下文信息是有限的，因此循环神经网络在描述功放的长期记忆效应上表现一般。

发明内容

发明目的：针对上述现有技术，提出一种能很好描述功率放大器非线性特性和记忆效应的功率放大器行为建模方法。

技术方案：一种基于WaveNet神经网络结构的功率放大器行为建模方法，包括如下步骤：

步骤A：采集功率放大器的输入信号数据向量x_in＝[x_in(1),x_in(2),…,x_in(N)]和输出信号数据向量y_out＝[y_out(1),y_out(2),…,y_out(N)]，其中，N为数据长度；

步骤B：将输入和输出数据进行归一化：

其中,max(·)表示求向量中最大值的运算，min(·)表示求向量中最小值的运算，t表示时间节点；

得到归一化输入信号数据向量

和归一化输出信号数据向量

步骤C：构建WaveNet神经网络结构模型，所述WaveNet神经网络结构模型由3组网络构成：高维映射网络、时间卷积网络、全连接输出网络；

步骤D：对构建好的所述WaveNet神经网络结构模型进行训练；

步骤E：模型训练完毕，根据给定的输入，得到所述WaveNet神经网络结构模型的输出序列y_pred。

进一步的，所述步骤C包括如下具体步骤：

步骤C-1：构建一维数据向多维数据的高维映射网络：设定映射维度为D，输入节点数为输入序列长度，隐含节点数为D，将输入数据一一映射成D维空间向量，输入序列中t时间节点的数据的映射操作为：

z(t)^D为映射的D维向量；f_d1为激活函数，采用RELU修正线性单元作为激活函数；W_d1为第一层的权值矩阵，采用服从[0,1]上的均匀分布进行初始化；B_d1为第一层网络偏置，初始化为0；

经过高维映射网络之后，输入数据由

映射为z^D＝[z(1)^D,z(2)^D，…z(N)^D]；

步骤C-2：构建TCN时间卷积网络：所述TCN时间卷积网络为深度卷积神经网络，包括L层因果扩展卷积层以及L层因果卷积层；所述TCN时间卷积网络整体的感受野大小为2^{L +1}，即一个输出由长度为2^L+1的序列堆栈多层映射所得；所述TCN时间卷积网络的输入为D维向量序列z^D，序列长度为N；输入首先经过因果扩展卷积层，然后经过因果卷积层，直到将序列长度映射为1；

步骤C-3：批标准化处理：在每个卷积层之后，添加批标准化，使得这一层输出数据的每个维度均值都为0，方差都为1；

步骤C-4：构建全连接输出网络，通过所述全连接网络将输出向量映射为标量数据，作为当前时间节点的预测值：

y_pred(t)＝f_2×L+2(W_2×L+2·z_2×L+2(t)^D+B_2×L+2)

其中，f_2×L+2为最后一层激活函数——sigmoid函数；z_2×L+2(t)^D为第t个时间节点卷积网络的最后一层输出；y_pred(t)为模型输出，W_2×L+2为该全连接层的权值矩阵，采用服从[0,1]上的均匀分布进行初始化；B_2×L+2为该全连接层的偏置，初始化为0。

进一步的，所述步骤D包括如下具体步骤：

设置WaveNet神经网络结构模型相关训练参数：设置训练最大迭代次为Cnt_max；学习速率为η；时间节点t为1；迭代次数i为1；训练整体采用早停法，早停重复阈值为γ次，参考标准为训练集损失，即当训练集损失出现γ次相同数值时，网络停止训练；设置重复次数计数器p为0；

步骤D-1：根据当前网络，计算t时刻的模型输出y_pred(t)以及t时刻的损失L(t)，损失函数采用平方差函数：

其中

为系统t时刻的实际归一化输出；

步骤D-2：判断时间节点t是否小于N，若t<N，则t+1，返回步骤D-1；若相等则计算第i次迭代的总损失L_i，总损失为所有时间节点的累计损失：

步骤D-3：判断L_i是否等于上次迭代损失L_i-1，若相等则计数器p+1，若不相等，则p归为0；

步骤D-4：判断p是否等于阈值γ，若相等，则结束训练跳至步骤E；

步骤D-5：训练优化器采用Adam优化器，采用动态策略计算更新梯度，计算顺序如下：

首先，计算梯度的矩估计量：

m_i＝β₁m_i-1+(1+β₁)g_i

v_i＝β₂v_i-1+(1+β₂)g_i ²

式中，i表示当前迭代次数；m_i为第i次迭代之后梯度的一阶矩矢量；v_i为第i次迭代后梯度二阶矩矢量；β₁和β₂为两个超参数，用于调节当前梯度和上一次的矩估计所占的比重；g_i为本次迭代的梯度矩阵，即损失L_i对当前权值矩阵的偏导；

然后，作偏差校正：

式中，

为校正后的一阶矩矢量，

为校正后的二阶矩矢量；

为β₁的i次幂，

为β₂的i次幂；

最后，利用矩估计量更新权值矩阵：

W_i为第i次迭代的权值矩阵，即此刻所使用的权值；W_i+1为梯度下降计算出的权值矩阵；ε是为了避免除数为零的小量。

步骤D-6：判断迭代次数i是否大于最大值Cnt_max。若迭代次数i小于最大迭代次数Cnt_max，迭代次数i+1，t＝1，返回步骤D-1。

进一步的，所述TCN时间卷积网络的L层因果扩展卷积层的卷积核长度为2，扩展倍率分别为：1,2,4,8,…,2^L-1。

有益效果：本发明采用WaveNet结构的时间卷积神经网络来对功率放大器的非线性特性和记忆效应进行建模。时间卷积网络在保证了因果特性的基础上，能够较好地提取出序列的非线性特征。而深层时间卷积网络又可以大幅拓展网络的感受野，从而提取序列的记忆效应。但是网络层数增长带来的梯度弥散、性能恶化等问题，也使得深层网络训练难以进行，所以本发明中增大了卷积步长并且加入了因果扩展卷积来减少网络深度，加入批标准化来较少梯度弥散。在输入数据处理上，采用了高维映射的方法，提升了网络的泛化性能和表征性能。由于大部分计算只使用了卷积操作，所以这种网络相较于循环神经网络具有训练、收敛迅速的优势。本发明中的WaveNet结构神经网络能够提取输入序列的大部分特征，实现快速建模的同时又保证了高精度。因此，本发明模型训练速度非常快，在相同的时间里，WaveNet神经网络结构模型训练次数要远大于普通的神经网络模型；精度要远高于普通神经网络。

附图说明

图1为功率放大器黑盒模型图；

图2为多维数据下的，增大步进长度的因果卷积示意图；

图3为L＝3的时间卷积网络示意图；

图4为本发明中所用网络结构图；

图5为WaveNet神经网络结构模型输出的时域波形及误差结果图；

图6为WaveNet神经网络结构模型输出的频谱及误差结果图。

具体实施方式

下面结合附图对本发明做更进一步的解释。

功率放大器工作在开关状态，功率转换效率较高，是一种典型的非线性系统。如图1所示为功率放大器电路的黑盒模型。其中，输入的线性调频信号x_in幅度为8.5V，线性调频起始频率为2800Hz，调频带宽为400Hz。经过功率放大器后输出信号为y_out，并带有失真。利用PSpice仿真软件对功率放大器电路进行仿真后，采集2000个输入信号和输出信号作为实验数据进行行为建模，采样频率为100kHz。

本发明的一种基于WaveNet神经网络结构的功率放大器行为建模方法，包括如下步骤：

步骤A：采集功率放大器的输入信号数据向量x_in＝[x_in(1),x_in(2),…,x_in(N)]和输出信号数据向量y_out＝[y_out(1),y_out(2),…,y_out(N)]，其中，N为数据长度，大小为2000。

步骤B：将输入和输出数据进行归一化：

其中,max(·)表示求向量中最大值的运算，min(·)表示求向量中最小值的运算，t表示时间节点。

得到归一化输入信号数据向量

和归一化输出信号数据向量

步骤C：构建WaveNet神经网络结构模型：本方法中WaveNet神经网络结构模型由3组网络构成：高维映射网络、时间卷积网络、全连接输出网络。如图4所示。构建过程如下：

步骤C-1：构建一维数据向高维数据的映射网络：设定映射维度为64，输入节点数为64，隐含节点数为64，激活函数采用RELU修正线性单元作。将输入数据一一映射成64维空间向量，网络输出为64个64维向量。其中，输入序列中t时间节点的数据的映射操作为：

z(t)⁶⁴为映射的64维向量；f_d1为激活函数；

为输入序列中的一个输入数据；W_d1为第一层的权值矩阵，采用服从[0,1]上的均匀分布进行初始化；B_d1为第一层网络偏置，初始化为0。经过高维映射网络之后，输入数据由

映射为z⁶⁴＝[z(1)⁶⁴,z(2)⁶⁴,…z(N)⁶⁴]。

步骤C-2：构建TCN时间卷积网络：TCN时间卷积网络为深度卷积神经网络，设定网络总层数为10层，包括5层因果扩展卷积层以及5层因果卷积层。TCN时间卷积网络的整体的感受野大小就为64，即一个输出由长度为64的序列堆栈多层映射所得。TCN时间卷积网络的输入为64维向量序列z⁶⁴，序列长度为2000。输入首先经过因果扩展卷积层，然后经过因果卷积层，直到将序列长度映射为1。

扩展卷积又称空洞卷积，是指跳过部分输入数据来让卷积核可以应用于大于卷积核本身长度的区域。扩展卷积中的扩展倍率参数，可以影响卷积之间的距离和卷积中空洞数据点的数量，适当的扩展倍率可以大大减少网络层数和运算量。而因果扩展卷积是指一种输出只取决于输出之前时间节点的扩展卷积方法，符合时序模型的客观规律。本实施例中采用5层因果扩展卷积层，扩展倍率分别为1,2,4,8，16，连接5层因果卷积层，卷积核长度为2，即步进长度为2，每个卷积层卷积核数量和维度相等，均为64。后5层采用增加步进长度的因果卷积，虽然也可以减少网络层数和计算量，但是增加步进长度会导致卷积核稀疏，所以把因果卷积层放在了高层，底层采用扩展卷积提取数据特征，每个卷积层的输出为下一层的输入。本方法中的多维卷积示意图如图2所示；6层时间卷积网络整体结构如图3所示。

步骤C-3：批标准化处理：由于网络层数很大，网络很深，训练时必定存在收敛缓慢、梯度消失等问题，所以在每层卷积层之后，添加批标准化，使得这一层输出数据的每个维度均值都为0，方差都为1；作为下一层的输入数据，这样的标准化能保证梯度正常传递。

步骤C-4：构建全连接输出层。由于之前数据映射到了64维空间，时间卷积网络并不改变数据维度，所以时间卷积网络的输出为一个1×1×64向量，最后添加一个全连接网络将输出向量映射为标量数据，作为当前时间节点的预测值：

y_pred(t)＝f_2×L+2(W_2×L+2·z_2×L+2(t)^D64+B_2×L+2)

其中，f_2×L+2为最后一层激活函数——sigmoid函数；z_2×L+2(t)⁶⁴为第t个时间节点卷积网络的最后一层输出；y_pred(t)为模型输出，W_2×L+2为该全连接层的权值矩阵，采用服从[0,1]上的均匀分布进行初始化；B_2×L+2为该全连接层的偏置，初始化为0。即将64维输出数据映射到1维数据，输入节点为64，隐含节点为1。

步骤D：网络搭建完毕，设置WaveNet神经网络结构模型相关训练参数：设置训练最大迭代次数为2000；学习速率为1E^-4；时间节点t为1；迭代次数i为1。训练整体采用早停法，设置早停重复阈值为γ＝3次，参考标准为训练集损失，即当训练集损失出现γ次相同数值时，网络停止训练；重复次数计数器p为0。

步骤D-1：根据当前网络，计算t时刻的模型输出y_pred(t)以及t时刻的损失L(t)，损失函数采用平方差函数：

其中

为系统t时刻的实际归一化输出，即系统此刻的实际输出。

步骤D-2：判断时间节点t是否小于N。若t<N，则t+1，返回步骤D-1；若相等则计算第i次迭代的总损失L_i，总损失为所有时间节点的累计损失：

步骤D-3：判断L_i是否等于上次迭代损失L_i-1，若相等则计数器p+1，若不相等，则p归为0。

步骤D-4：判断p是否等于阈值γ，若相等，则结束训练跳至步骤E。

步骤D-5：训练优化器采用Adam优化器，Adam优化器具备自适应特点，能对梯度的矩估计进行综合考虑，采用动态策略计算更新梯度，计算顺序如下：

首先，计算梯度的矩估计量，

m_i＝β₁m_i-1+(1+β₁)g_i

v_i＝β₂v_i-1+(1+β₂)g_i ²

式中，i表示当前迭代次数；m_i为第i次迭代之后梯度的一阶矩矢量；v_i为第i次迭代后梯度二阶矩矢量；梯度初始化值分别为m₀＝0、v₀＝0；β₁和β₂为两个超参数，取值为β₁＝0.9、β₂＝0.999。用于调节当前梯度和上一次的矩估计所占的比重；g_i为本次迭代的梯度矩阵，即损失L_i对当前权值矩阵的偏导。

然后，因为矩估计量初始化为0，那么迭代之后会存在向0偏置的现象，为了减少矩估计量的零偏现象，需要作偏差校正：

式中，

为校正后的一阶矩矢量，

为校正后的二阶矩矢量；

为β₁的i次幂，

为β₂的i次幂。

最后，利用矩估计量更新权值矩阵：

W_i为第i次迭代的权值矩阵，即此刻所使用的权值；W_i+1为梯度下降计算出的权值矩阵；ε是为了避免除数为零的小量，取值为ε＝1e^-8。

步骤D-6：判断迭代次数i是否大于最大值Cnt_max。若迭代次数i小于最大迭代次数Cnt_max，迭代次数i+1，t＝1，返回步骤D-1。

步骤E：训练完毕，根据给定的输入，得到神经网络模型的输出序列y_pred。

本次实施方式所用硬件配置及软件环境为:

所测得的总训练时间为133.716秒，训练迭代次数为616次，时域预测结果以及误差如图5所示，时域平均误差为-0.00565V，时域最大瞬时误差绝对值为0.0772V；对应的频域以及误差如图6所示，频域平均误差为0.0599dB，频域最大误差绝对值为2.78dB。可以看出WaveNet神经网络结构模型训练非常迅速，在很短的时间内训练了相当大的周期数，且达到了很高的预测精度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于WaveNet神经网络结构的功率放大器行为建模方法，其特征在于，包括如下步骤：

步骤A：采集功率放大器的输入信号数据向量x_in＝[x_in(1)，x_in(2)，…，x_in(N)]和输出信号数据向量y_out＝[y_out(1)，y_out(2)，…，y_out(N)]，其中，N为数据长度；

步骤B：将输入和输出数据进行归一化：

其中，max(·)表示求向量中最大值的运算，min(·)表示求向量中最小值的运算，t表示时间节点；

得到归一化输入信号数据向量

和归一化输出信号数据向量

步骤C：构建WaveNet神经网络结构模型，所述WaveNet神经网络结构模型由3组网络构成：高维映射网络、时间卷积网络、全连接输出网络；

步骤D：对构建好的所述WaveNet神经网络结构模型进行训练；

步骤E：模型训练完毕，根据给定的输入，得到所述WaveNet神经网络结构模型的输出序列y_pred；

所述步骤C包括如下具体步骤：

步骤C-1：构建一维数据向多维数据的高维映射网络：设定映射维度为D，输入节点数为输入序列长度，隐含节点数为D，将输入数据一一映射成D维空间向量，输入序列中t时间节点的数据的映射操作为：

z(t)^D为映射的D维向量；f_d1为激活函数，采用RELU修正线性单元作为激活函数；W_d1为第一层的权值矩阵，采用服从[0，1]上的均匀分布进行初始化；B_d1为第一层网络偏置，初始化为0；

经过高维映射网络之后，输入数据由

映射为z^D＝[z(1)^D，z(2)^D，...z(N)^D]；

步骤C-2：构建TCN时间卷积网络：所述TCN时间卷积网络为深度卷积神经网络，包括L层因果扩展卷积层以及L层因果卷积层；所述TCN时间卷积网络整体的感受野大小为2^L+1，即一个输出由长度为2^L+1的序列堆栈多层映射所得；所述TCN时间卷积网络的输入为D维向量序列z^D，序列长度为N；输入首先经过因果扩展卷积层，然后经过因果卷积层，直到将序列长度映射为1；

步骤C-3：批标准化处理：在每个卷积层之后，添加批标准化，使得这一层输出数据的每个维度均值都为0，方差都为1；

步骤C-4：构建全连接输出网络，通过所述全连接输出网络将输出向量映射为标量数据，作为当前时间节点的预测值：

y_pred(t)＝f_2×L+2(W_2×L+2·z_2×L+2(t)^D+B_2×L+2)

其中，f_2×L+2为最后一层激活函数——sigmoid函数；z_2×L+2(t)^D为第t个时间节点卷积网络的最后一层输出；y_pred(t)为模型输出，W_2×L+2为该全连接输出网络的权值矩阵，采用服从[0，1]上的均匀分布进行初始化；B_2×L+2为该全连接输出网络的偏置，初始化为0。

2.根据权利要求1所述的基于WaveNet神经网络结构的功率放大器行为建模方法，其特征在于，所述步骤D包括如下具体步骤：

设置WaveNet神经网络结构模型相关训练参数：设置训练最大迭代次为Cnt_max；学习速率为η；时间节点t为1；迭代次数i为1；训练整体采用早停法，早停重复阈值为γ次，参考标准为训练集损失，即当训练集损失出现γ次相同数值时，网络停止训练；设置重复次数计数器p为0；

步骤D-1：根据当前网络，计算t时刻的模型输出y_pred(t)以及t时刻的损失L(t)，损失函数采用平方差函数：

其中

为系统t时刻的实际归一化输出；

步骤D-2：判断时间节点t是否小于N，若t＜N，则t+1，返回步骤D-1；若相等则计算第i次迭代的总损失L_i，总损失为所有时间节点的累计损失：

步骤D-3：判断L_i是否等于上次迭代损失L_i-1，若相等则计数器p+1，若不相等，则p归为0；

步骤D-4：判断p是否等于阈值γ，若相等，则结束训练跳至步骤E；

步骤D-5：训练优化器采用Adam优化器，采用动态策略计算更新梯度，计算顺序如下：

首先，计算梯度的矩估计量：

m_i＝β₁m_i-1+(1+β₁)g_i

v_i＝β₂v_i-1+(1+β₂)g_i ²

式中，i表示当前迭代次数；m_i为第i次迭代之后梯度的一阶矩矢量；v_i为第i次迭代后梯度二阶矩矢量；β₁和β₂为两个超参数，用于调节当前梯度和上一次的矩估计所占的比重；g_i为本次迭代的梯度矩阵，即损失L_i对当前权值矩阵的偏导；

然后，作偏差校正：

式中，

为校正后的一阶矩矢量，

为校正后的二阶矩矢量；

为β₁的i次幂，

为β₂的i次幂；

最后，利用矩估计量更新权值矩阵：

W_i为第i次迭代的权值矩阵，即此刻所使用的权值；W_i+1为梯度下降计算出的权值矩阵；ε是为了避免除数为零的小量；

步骤D-6：判断迭代次数i是否大于最大值Cnt_max；若迭代次数i小于最大迭代次数Cnt_max，迭代次数i+1，t＝1，返回步骤D-1。

3.根据权利要求1所述的基于WaveNet神经网络结构的功率放大器行为建模方法，其特征在于，所述TCN时间卷积网络的L层因果扩展卷积层的卷积核长度为2，扩展倍率分别为：1，2，4，8，...，2^L-1。

Images